Le château est composé d'un corps central (avec une toiture à l'impériale) flanqué de deux pavillons. Sur cour, un perron semi-circulaire donne accès à une porte d'entrée au décor sculpté. Côté parc, on accède à la porte d'entrée par un escalier en fer à cheval orné de vases décoratifs. A l'est de la cour d'honneur, une basse-cour comporte hangar, grange, fenil, citerne, chenil et abreuvoir. Certaines de ces constructions ont des parements de bois découpé et un décor à claire-voie. Ce château est construit sur l'emplacement du château fort de Vèvre, mentionné en 1090. Il a été reconstruit vers 1500 pour François Estevard, bailli de Sancerre. De ce château détruit en 1569 par l'armée du duc des Deux-Ponts subsiste une salle voûtée située dans le bâtiment ouest des communs. Les circonstances de la construction du château actuel sont mal connues : selon les uns, nouveau château aurait été élevé à partir de 1595 pour Antoine de La Grange, seigneur d'Arquian, gouverneur de Berry durant les guerres de la Ligue. Celui-ci aurait vendu le château inachevé à son frère François de La Grange, seigneur de Montigny, gouverneur de Berry, grand maître de la cavalerie de France qui en aurait terminé la construction vers 1610. L'historien Buhot de Kersers réfute l'appartenance de la seigneurie de La Grange à cette famille. L'attribution à la famille de Buffevant (ou Buffevent) est plus probable, soit à Louis, seigneur de la Grange-Chaumont, gentilhomme ordinaire de la Chambre du roi en 1585, soit à Louis II, devenu gouverneur d'Auxerre, qui, en 1628, épousa Marie-Anne de Bretagne. L'aveu et dénombrement de la terre de La Grange rendu par ce dernier en 1640 mentionne le lieu et manoir ancien de ladite seigneurie. En 1639 est créé un parterre en compartiments et un jardin potager. En 1647, la famille Buffevent accueille saint Vincent de Paul à La Grange. En 1655, dans l'aveu et dénombrement rendu par Marie-Anne de Bretagne, veuve de Louis II de Buffevent ; le fief est décrit comme consistant en chastel, basse-cour, jardin.... Si la construction du château a pu intervenir entre 1640 et 1665, en revanche celle des communs semble antérieure et dater du règne d'Henri IV. En 1698, Paul de Grivel hérite de La Grange et fait modifier la décoration intérieure. En 1763, le château est acquis par François Brisson, président de la première chambre des enquêtes du Parlement de Paris. A t'on, au 18e siècle, doublé en profondeur le corps central en créant un vestibule couvert d'un dôme ? Le domaine est restauré sous la Restauration par le comte Jean-Pierre Bachasson de Montalivet, haut dignitaire de l'Empire puis ministre de l'Intérieur de Napoléon 1er, acquéreur de La Grange en 1807-1816 : pose des panneaux peints du cabinet de l'Amour de l'Hôtel Lambert, complétés par Alaux. L'un des deux ministres Montalivet fit remonter dans le vestibule les lambris au décor Rocaille avec les dessus-de-porte où sont posées des toiles peintes provenant de la salle à manger du château. Entre 1823 et les années 1840, on a procédé à la modification de l'entrée de la cour d'honneur, la démolition du bâtiment est de la basse-cour, à des modifications de la décoration intérieure du château (bibliothèque) , à la restauration du parc, la construction de bâtiments d'exploitation dans la basse-cour et de la maison-portière, dues à Camille de Montalivet, ministre de l'Intérieur de Louis-Philippe puis ministre de l'Académie des Beaux-Arts entre 1830 et 1865.
