De Broeders van Huijbergen vestigden in 1890 hun eerste nevenklooster aan de Karrestraat in Breda. Op verzoek van de Sint Vincentiusvereniging begonnen ze met een school, die in 1891 gebouwd werd aan de Karrestraat.
De broeders namen al spoedig ook de leiding van het weeshuis op zich. In 1895 volgde een nieuwe school aan de Kerkstraat en een jaar later aan de Leuvenaarstraat.
Het gebouw was eigendom van de Vincentiusvereniging, die het in 1952 verkocht aan de firma Raming. De broeders mochten nog een jaar of 6, 7 in hun klooster blijven wonen en in die tussentijd konden ze uitzien naar een andere behuizing.
In 1960 vertrokken de broeders naar een nieuw klooster in de Roland Holststraat. De oude gebouwen aan de Karrestraat verkeerden in slechte staat en zijn gesloopt.
Bron: J. Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant, Alphen aan de Maas, 2010