Madeleine de Caqueray et Henri de Guéyniveau eurent trois enfants : Charles, Henri et Willemine. Cette dernière eu une aventure avec le fils d’un carrier, Georges M.
Celui-ci se vantait alors à qui voulait l’entendre qu’il deviendrait chatelain un jour.
Enceinte de son amant, Willemine fut envoyée à Bruges (Belgique) pour accoucher.
Mais, à son retour, une seconde grossesse contraint la famille à accepter le mariage. Les parents de Guéyniveau décèderont peu après.
En quelques années seulement, de 1925 à 1927, Georges M dilapida toute la fortune familiale, aidé plus ou moins frauduleusement par des hommes d’affaires.
Après ces aventures, le Château fut laissé à l’abandon jusqu’aux début des années 1950.