A la fin du XIIème - début XIIIème siècle : le Seigneur Gérard DE VILLON, dont les ancêtres et lui-même étaient alliés au LEBLANC, Seigneurs de Dun, fit en 1234, à sa venue à SAINT-ANDRE (notre future CHOFAYE), un testament par lequel il légait à son fils Renaud six terres situées sur la paroisse de SAINT-ANDRE : Les Combes, Layes, Martin du Moulin, le Montcel, La Renauderie, La Vaure ainsi que des droits sur La Chèse, Mazoncle, Vellon et Ventrigny. A son fils Hugues, il léguait les terres, entre autres celles de Villon et Chalaye, lesquelles dépendaient alors de la Paroisse de SAINT-GERMAIN-LA-MONTAGNE. Les DE VILLON furent les premiers propriétaires terriens connus à SAINT-ANDRE. Ils étaient fort riches, malgré la cuisante défaite que leur infligea PHILIPPE AUGUSTE en 1181, lors de la destruction de la forteresse de Dun. Ils s'éteignirent définitivement au début du XVème siècle n'ayant plus d'héritiers mâles. Antoinette DE VILLON, l'une des dernières descendantes, épousa vers l'an 1380, Jean D'AMANZE.

Succédant aux DE VILLON, les D'AMANZE, (du nom de leur Paroisse d'origine, près de LA CLAYETTE), s'installèrent à CHOFFAILLE en 1383. Quelques années plus tard, Jean D'AMANZE entreprend la construction du Château, lequel sera terminé au début des années 1400, par son successeur et fils Jacques. A peu près à la même période, la Chapelle de la ville fait place à une Eglise dont les dernières pierres disparaitront vers 1836 - 1840 pour faire place à l'Eglise actuelle. Dans sa première version, le Château fut; semble-t-il, paré de trois tours et deux ailes, ayant disparues au fil des siècles. Des fossés l'entouraient et l'entrée, commandée par un pont-levis, se trouvait au lieu-dit actuel "Le Châtillon". L'entrée actuelle a été réalisée ultérieurement, sous les DE SAINT GEORGES.Onze générations de D'AMANZE se sont succédées à CHOFFAILLE, jusqu'en 1718. Trente ans auparavant, c'est-à-dire vers 1688, Anne-Marie ROLLIN, veuve de Jacques D'AMANZE, écrit dans sa forme actuelle CHAUFFAILLES.

En 1764, Claudine-Marie-Josèphe DE SAINT-GEORGES, (fille de Marie-Cécile D'AMANZE et de Claude-Marie de SAINT-GEORGES), épousa Abel-Claude-Marie DE SAINT-GEORGES, marquis de VICHY. De cette union naquit une fille prénommée Abel-Claude-Cécile, qui en 1800 hérita du Château et de ses biens annexes. Peu de temps après, les fossés furent comblés, les deux ailes démolies, les dépendances morcelées et vendues. En 1809, Monsieur de VICHY DE SAINT-GEORGES, vendit le Château à Monsieur Pierre DEVILLE, Maire de Chauffailles. En 1836, Monsieur Auguste GOYNE, également Maire, achèta à son tour le Château. D'importantes modifications interviennent durant ces trentes années de fortunes diverses, sans que l'on puisse les dater avec précision. Ce qui est sûr c'est que la chapelle qui, en dernier lieu, faisait office de salle à manger, fut démolie : les traces de son existence sont encore visibles, sur l'un des murs de la cour intérieure. Auguste GOYNE fit don du Château à Casimir DUMOULIN, son filleul, qui épousa Elise REYNIER, de SAINT-GERMAIN-LA-MONTAGNE. De leur union naquit en 1882, à Paris, Elisabeth. A sa mort, en 1941, elle lègua par testament, le Château dans son état actuel, à l'hôpital de CHAUFFAILLES. Il est devenu,depuis plusieurs années, la propriété de la ville de CHAUFFAILLES, qui a entrepris de le restaurer pour en faire un lieu à vocation culturelle : Musée, salles d'expositions diverses...