Vanaf 1857 zorgden de Franciscanessen van Bergen op Zoom voor katholieke kinderen in een gedeelte van het Stads-, Wees- en Armkinderhuis.
De jongens verhuisden in 1861 naar het pensionaat in Huijbergen. In 1872 kwam er een aparte stichting. Het Vincentiusgesticht is in 1867 gebouwd naar ontwerp van architect C.P. van Genk.
In 1868 breidde hij de hofjeswoningen aan de zijde van de Blauwehandstraat uit in dezelfde sobere stijl.
In 1886 werd de pastorie tot weeshuis ingericht.
Bron: J. Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant, Alphen aan de Maas, 2010