Le château de Combret est bâti au nord du village actuel, au sommet d'une colline sur laquelle le château fort fut construit. Combret était à la fin du XIIIe siècle une coseigneurie partagée entre Gibelin de Panat, Hugues d'Arjac et Gui de Séverac. Aucun document connu ne fait mention des propriétaires successifs avant le XVIe siècle. En , Antoine d'Arjac, baron de Cayla, vend Combret à Hugues Caulet, Seigneur de Cadars et receveur des tailles du Comté de Rodez. En 1641, le château est vendu par Jean-Jacques Caulet, Sieur de La Balme au diocèse d'Albi et avocat au parlement de Toulouse, à Jean de Tullier, Conseiller du Roi, trésorier général des finances à Montauban, qui avait été bailli de Rodez. Son cousin Pierre de Tullier en ayant hérité, le cède à Joseph Antoine de Coignac. En 1779, Jean Hilarion Viguier de Grun, Chevalier de Saint-Louis, Gouverneur des pages de la grande écurie du roi, s'en rend acquéreur. Le château ayant échappé à sa vente proclamée comme bien d'émigré en 1793, revint à Henriette de Viguier de Grun, fille de Louis et de Victoire de Boissière. Par son mariage avec Louis-Anet d'Yzarn de Freissinet de Valady, Henriette Viguier de Grun, apporta le château à cette famille, dans laquelle il demeure depuis.
Le château est isolé du village par un haut mur d’enceinte percé d’un grand portail d’entrée en bois du XVIIe siècle. Celui-ci est inscrit dans un arc en plein cintre orné de colonnettes engagées et protégé par un toit en bâtière couvert de lauzes. A gauche, une porte plus discrète encadrée de pilastres plats à chapiteaux ioniques à volutes est réservée aux piétons. Le mur d’enceinte se poursuit à angle droit en contrebas de l’église. Les écuries, aujourd’hui démolies, lui étaient autrefois adossées. Le château bordant la cour d’honneur à l’ouest voit sa façade méridionale s’élever au-dessus d’une terrasse herbeuse. Il présente un grand corps de logis rectangulaire flanqué au sud d’une tourelle d’angle et d’une échauguette. Au nord, il est cantonné d’une tourelle et d’un imposant donjon. Une autre tour d’escalier en retour d’équerre fait la jonction entre le donjon et le bâtiment proprement dit. Au nord ont été aménagées des terrasses au XVIIe siècle, délimitées par des balustres en pierre portant les armes des Tullier et des Meynard (Jean de Tullier avait épousé Madeleine de Meynard). En 1889, le marquis de Valady s’inspira de ces balustrades pour agrémenter le château d’escaliers situés à l’ouest, à l’angle nord-est et au nord, lorsqu’il repensa l’organisation intérieure du château. Le corps de logis s’élève sur trois niveaux, couvert d’une toiture en lauzes à lucarnes refaite à la fin du XIXe siècle, au moment où l’on a arasé la tour de l’escalier qui s’élevait au cœur du bâtiment principal. Lorsque les baies n’ont pas été repercées au XIXe siècle, elles ont conservé leurs croisillons et leurs meneaux. La façade ouest donnant sur la vallée est étayée de contreforts jusqu’à hauteur du 1er étage. On aperçoit à l’étage une baie romane en plein cintre occultée. La façade est est animée par une série de belles fenêtres à meneaux. Le rez-de-chaussée est percé de soupiraux qui éclairent les pièces du rez-de-chaussée. Une belle porte d’entrée à pilastres plats et chapiteaux doriques ouvre sur l’escalier. L’angle sud-est est défendu par une échauguette de plan carré élevée sur trompe. Le donjon de 18 m. de haut a conservé son allure altière. Il est dépourvu d’ouvertures au nord et à l’est. Vestige d’une construction primitive, il assurait le guet tout en étant un grenier à céréales. L’accès se faisait à l’étage. La salle voûtée au rez-de-chaussée a servi de chai : le raisin était acheminé par un soupirail ouvert à la base nord de la tour. Au XVI siècle, il a été percée de cinq baies à meneau éclairant les différentes pièces qui ont été aménagées à chaque étage dans les deux niveaux voûtés. A ce moment-là un escalier en vis a été bâti dans la partie ouest de la tour. Les différents niveaux comptaient, à l’origine, deux grandes pièces situées de part et d’autre de l’escalier à volées droites. Ces volumes ont été redistribués et cloisonnés à partir de 1889 par le marquis de Valady. Au rez-de-chaussée se trouve la cuisine agrandie de la souillarde bâtie sur la façade est par Victoire de Boissière (1775-1846). La salle à manger était autrefois un chai qui communiquait avec une cave transformée en office. A l’étage, on y trouvait les pièces de réception : salon et salle à manger. Elles ont changé d’affectation. Le salon au sud a été divisé en deux pour y abriter des chambres. La salle à manger, une fois installée au rez-de-chaussée, a été divisée en grand salon et petit salon. Le deuxième étage est occupé par quatre chambres. Au nord du château au fond du jardin, se trouve un bâtiment sur deux niveaux. Le rez-de-chaussée ouvert à l’ouest par une porte de bois à claire-voie assure l’aération d’une vaste salle voûtée en plein cintre.
352