L'intérêt patrimonial de cet immeuble se caractérise comme suit. Vers la fin des années 1740, les habitants de cette partie du territoire jusqu'alors rattachée à la paroisse de Saint-Étienne de Beaumont, se concertent pour que soit créée une nouvelle paroisse. Ils commencent en 1748 la construction d'un presbytère qui accueillera, l'année suivante, leur premier curé, l'abbé Louis-Pascal Sarrault. Ce presbytère incluait une chapelle qui servit au culte jusqu'en 1757, moment où l'église fut complétée. Une première église fut construite à Saint-Charles-de-Bellechasse à compter de 1752; la première messe y fut célébrée le 8 mai 1757. La paroisse ne fut érigée canoniquement qu'en 1827, sous le nom de Saint-Charles-Borromée.
L'histoire religieuse de Saint-Charles est marquée par la reconstruction entre 1827 et 1829 de son église sur le même site par François Audet dit Lapointe suivant des plans inspirés de Thomas Baillairgé et dans le même esprit que celle d'origine (1757), en gardant le choeur, mais en élargissant et allongeant la nef. Technique originale, on construira la nouvelle église au-delà et au-dessus de l'ancienne dont on enlèvera les murs à la fin des travaux seulement. La reconstruction de l'église a commencé en 1827; les murs sont alors édifiés jusqu'aux fenêtres. Les travaux sont repris au printemps 1828 et la pierre angulaire est bénie le 7 août. La première messe est célébrée le 5 octobre de la même année. En 1829, on continue la finition intérieure du temple : peinture, bancs, boiseries, plafonnage et voûte. Le clocher n'aurait été édifié qu'en 1835.
Le portique en façade composé d'un entablement, d'une imposte en forme d'arc en plein cintre et l'archivolte, la fenêtre palladienne et la parfaite symétrie des ouvertures reflètent le néoclassicisme. Le fronton triangulaire présent dans l'ornementation de la chambre des cloches complète les éléments de ce répertoire stylistique. L'abside, chapeautée d'un clocheton, est recouverte de bardeaux de cèdre. Cette portion a été conservée de l'église d'origine construite en 1757. La sacristie actuelle fut construite entre 1846 et 1850. Le clocher, érigé en 1852 par André Paquet, sera remplacé en 1874. En 1918, la fabrique fait refaire par J-P. Gauvin le tombeau des trois autels dans le style d'origine.
Le revêtement intérieur et la voûte sont en bois. On doit à André Paquet de Saint-Charles, le décor intérieur de l'église. Cet élève et disciple de Thomas Baillairgé prendra huit ans à réaliser les plans du maître avec un succès incontestable, comme c'est d'ailleurs le cas pour l'église du même nom à Charlesbourg. Le retable est formé de quatre panneaux ornés de trophées, trois tableaux et deux fenêtres encadrés de dix pilastres avec chapiteaux. Ces chapiteaux sont surmontés d'un entablement richement décoré qui se prolonge jusqu'à l'arrière de l'église. La cuve à pans coupés qui forme la chaire est ornée sur sa face principale d'un bas-relief représentant Moïse avec les tables de la Loi. Au mur, un panneau décoratif, surmonté d'un abat-voix finement exécuté, est encadré de pilastres ioniques et orné d'une colombe en relief dans une gloire. Le banc d'¿uvre est surmonté d'un fronton en segment de cercle supportant des lanternes avec, au trumeau, un médaillon du saint patron de la paroisse. Les tabernacles des autels latéraux sont également des oeuvres de Paquet. Un orgue Mitchell de 1881 a remplacé celui de marque Stein de 1854.
L'église Saint-Charles-Borromée a l'honneur de compter parmi les concepteurs, artistes et artisans qui l'ont faite ce qu'elle est, les plus grands talents : Thomas Baillairgé qui en aurait inspiré les plans et le décor intérieur, André Paquet qui a exécuté avec un immense talent l'ensemble du décor actuel, Laval Marquis, Alphonse Dion, Théophile Hamel, Antoine Plamondon, Ranvoizé, Laurent Amyot, François Sasseville, Pierre Lespérance, Jean de la Lande et François-Noël Levasseur.