Le manoir de la Baronnie-de-Portneuf présente également un intérêt patrimonial pour sa valeur architecturale. La résidence est un bon exemple de maison d'inspiration française, comme en témoignent le carré en pièce sur pièce fait de madriers posés sur le cant et coulissés entre des poteaux corniers et intermédiaires, l'élévation d'un étage et demi, le toit à deux versants et la présence d'une cheminée au centre du carré initial. En 1845, la maison est allongée et quelques éléments d'inspiration britannique sont ajoutés, dont la galerie couverte. La charpente du toit témoigne aussi de son évolution. Celle du carré initial, plutôt complexe, est d'inspiration française, tandis que celle de l'allonge est d'inspiration britannique et de facture simplifiée. La résidence se distingue aussi par son intérieur, comprenant des foyers en pierre de taille, des plafonds à caissons, des poutres, des murs habillés de planches et des boiseries. Deux anciens caveaux aux murets en pierre sont présents dans l'entresol, le plus récent ayant un dallage en pierre. Grâce aux travaux de restauration, le manoir de la Baronnie-de-Portneuf, qui constitue un des rares exemples de manoir en bois, est dans un bon état de conservation.