Cette résidence aurait été construite vers 1881, soit l'année de l'acquisition du terrain au cordonnier Bougie de Nicodème Audet, marchand général, député puis conseiller législatif au parlement de Québec. Nicodème Audet est un personnage politique important dans l'ancien comté de Dorchester. Il a été député conservateur au provincial.
Ce magnifique bâtiment de style Second empire a été pensé pour y opérer un magasin général au rez-de-chaussée avec résidence du propriétaire aux 2e et 3e étages. La cave servait d'entrepôt au magasin.
Nicodème Audet est décédé en 1905 à un âge assez avancé. L'immeuble aurait été vendu à ce moment à Pierre Labrecque, autre marchand général qui y fit des affaires jusque dans les années 1930-1940. Puis ce fut au tour de madame Rosa Laverdière qui l'exploita quelques années. Elle a élevé sa famille aux étages supérieurs. Puis elle le vendit pour poursuivre ses activités commerciales dans l'immeuble voisin côté sud. On dit qu'elle le vendit pour payer les études de ses filles institutrices. C'est une dame Laliberté de Québec qui l'a acheté et opéré comme magasin de vêtements peu de temps (1-2 ans). Ensuite, c'est Edouard Turgeon qui l'a transformé pour lui donner l'allure qu'il a aujourd'hui et en faire le siège de la Banque canadienne nationale. Monsieur Bernard Noël a été le gérant de cette banque et il a habité les étages supérieurs. La banque a opéré là de 1950 à 1959, puis Paul Baillargeon a déménagé dans le nouvel immeuble juste en face construit par Paul Baillargeon qui devint propriétaire de l'ancien bâtiment qu'il a transformé en immeuble à logements. Monsieur Yves Turgeon et madame Anne Bilodeau sont les nouveaux propriétaires de cet immeuble depuis septembre 2011.