Au XIXème siècle, la tour médiévale et des bâtiments épars faisaient partie du Castel, propriété du Léon Dufour, naturaliste, entomologiste et médecin. Héritier du siècle des Lumières, le « savant » laissa plus de 300 manuscrits et une correspondance avec les plus grands scientifiques de son temps.
En 1884, son fils restructure la tour et les dépendances en un seul bâtiment. Le manoir évoque l’esprit troubadour avec sa loggia ornée de faux vitraux au pied de laquelle on imaginerait bien Cyran de Bergerac. L’ensemble est un bel exemple d’architecture romantique.