Il existait à l'origine une maison forte, attestée en 1368, propriété de la famille Bocars. Elle fut acquise à la fin du 15e siècle par la puissante famille de Chabannes dont l'un des représentants célèbres fut Jacques de Chabannes, maréchal de la Palisse, tombé à Pavie en 1525 (cf. château de la Palisse, Allier, MH). La maison forte de Vandenesse fut transformée par eux en puissant château à plan circulaire, défendu par 6 tours. Au 16e siècle, Vandenesse passe par mariage à Jean Olivier, fils d'un chancelier de France puis, en 1604, aux Du Bois de Fienne. En 1663, Louis XIV érigea la terre en marquisat. Le mobilier du château est saisi au moment de la vente des biens nationaux par le district de Moulins la République, le 27 Germinal an III. En l'an IV, la moitié du château, côté Nord-Ouest, a été détruite par le propriétaire, Bourbon-Graviere, acquéreur national. Grâce au maintien de deux puissantes tours carrées et de deux tours rondes, réunies par des corps de logis, le château conserve encore un aspect imposant. Charles Elie de Talleyrand Périgord, prince de Chalais, est propriétaire du domaine au 19e siècle. Il fait reconstruire l'église du village, Saint-Saturnin en style néo-roman. En 1883, le château est aux mains du comte de Mérode et passe en 1909 à son cousin, le comte de la Roche Aymon . Il faut noter que l'on trouve dans cette famille Charles Antoine de La Roche Aymon, archevêque de Reims, pair et grand aumônier de France qui a baptisé, marié et sacré roi de France, Louis XVI. Son portait, peint par le suédois Alexandre Roslin (1718-1793) est au château. Le puissant château rond qui présentait l'aspect d'une enceinte circulaire est devenu un hémicycle prolongé par des communs de grandes dimensions. La cour du château est aujourd'hui ouverte (depuis les destructions de la Révolution) et la cour des communs est presque fermée. La maison forte mentionnée en 1386 comportait essentiellement un donjon carré massif et un corps de logis. Au 15e siècle furent édifiées 7 tours sur plan ovale, reliées entre elles et au donjon par des courtines surmontées d'un chemin de ronde. L'ensemble était entouré de fossés franchis par un pont-levis qui donnait accès au donjon. Le donjon carré encore couronné de machicoulis est le seul vestige des bâtiments du 14e siècle. Le château fut gravement endommagé à la fin du 15e siècle et au cours des guerres de religion. Les combats entre troupes catholiques et protestantes font rage dans le Nivernais. En 1570, les troupes de l'amiral de Coligny pénètrent dans le Sud du Morvan, brûlèrent l'église de Vandenesse et n'épargnèrent pas le château. A la fin du 17e siècle, les courtines furent démolies. Elles furent remplacées par des corps de logis percés de hautes fenêtres. Ils épousèrent le plan de l'ancienne enceinte ovale en prenant dans leur alignement la base des tours et du donjon. A cette même époque furent aussi édifiés à l'extérieur de l'enceinte de vastes communs construits autour d'une grande cour carrée. On accède à cette cour par un imposant porche fortifié. Le développement des communs se termine par un grand bâtiment à toiture à pans coupés présentant encore une belle façade pignon. Toute la partie Nord-Ouest du château a donc disparu ainsi que les traces des douves et du pont-levis. Ne subsiste que le donjon carré noyé dans les bâtiments, deux tours rondes et une tour carrée ainsi que les corps de logis les reliant. A l'intérieur, le château a beaucoup souffert de la Révolution et aussi de l'occupation allemande. Ne subsistent que deux cheminées monumentales, celle du 15e siècle venant du manoir d'Arcilly et celle du 16e siècle, venant du château (MH) d'Anizy.
295