La construction de la première église en pierre de la paroisse de Saint-Philippe-et-Saint-Jacques fut commencée en 1712 et terminée en 1722, sur le site du cimetière actuel. Cette même église sera agrandie en 1744 et démolie en 1906, pour être remplacée par un bâtiment mis en chantier cinq ans plus tôt, sur le site de l'église actuelle.
Dans le cimetière, on distingue derrière la chapelle funéraire, une croix blanche situé près du monument élevé à la mémoire d'Étienne, le premier Corriveau arrivé en Amérique. Tout près de la croix, des pierres au sol marquent l'emplacement de la première église de Saint-Vallier.
Dans la monographie de Clermont Bourget, celui-ci analyse une carte du général Murray, de 1763. Celle-ci indique la présence d'un enclos qui correspond aux limites du cimetière actuel avec en son centre, l'ancienne église détruite en 1906.