Zoals zo vaak aan het eind van de negentiende eeuw, kon ook in Oosterhout de plaatselijke Vincentiusvereniging het werk niet aan. Ze vroeg om hulp en na bemiddeling door de bisschop kwam die van de kant van de Broeders van Huijbergen. Die begonnen in 1895 met een bewaarschool en het geven van catechismusles.
Een jaar later was hun klooster met een lagere school aan de Arendstraat klaar. In 1899 openden de broeders ook een weeshuis. Het gebouw werd later als patronaat in gebruik genomen. Inmiddels is het gesloopt om plaats te maken voor winkels. De broeders verlieten het pand in 1958 voor hun nieuwbouw in de Huize Limburgstraat 21.
Broederhuis aan de Arendstraat. Bron: Collectie Jan Smits
Het broederhuis was een bakstenen gebouw in neorenaissance stijl. Het had in het midden een trapgevel met een raam in de top, bekroond met een gietijzeren kruis. Het huis had een leien dak. Boven de ingang was een gedenksteen aangebracht. De trapgevel boven de afgeschuinde hoek was versierd met een heiligenbeeld op een sokkel in een nis. Het weeshuis aan de rechterzijde was meer neoklassiek van opzet. De gevel was gepleisterd en versierd met banden.