Op initiatief van pastoor P.Ph. Thijssen kwamen de Barmhartige Zusters van de H. Carolus Borromeus naar Oeffelt. Ze betrokken daar 20 mei 1876 een huurhuis van Jan Geurts uit circa 1860, ’t Hoog Huijs. Dat werd het Sint-Jozefgesticht.
Maar het werd een vreugde van korte duur. De zusters konden het werk in Oeffelt niet aan en het huis was te klein voor meer zusters. Toen de gemeenteraad een groter huis afwees, vertrokken de zusters naar Uden en elders.
Het klooster werd op 22 september 1877 alweer opgeheven. Veel later was het een hotel en daarna kwam het huis in gebruik als dubbel woonhuis.
Bron: Jan Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant, Alphen aan de Maas, 2010