L'Ermitage d'Agen, 1790-1911