Pastoor J.B. Panken had al vanaf 1891 om Zusters van Moerdijk gevraagd voor een bewaarschool, een naaischool en een tehuis voor bejaarden. In augustus 1899 gaf de bisschop van ‘s-Hertogenbosch de congregatie toestemming voor een succursaalhuis.
Het kerkbestuur had een klooster laten bouwen naar ontwerp van architect W. van Aalst uit ‘s-Hertogenbosch. Na waterschade in 1953 werd nieuwbouw niet verantwoord geacht, het klooster werd opgeknapt.
In 1956 besloot men tot verkoop, de zusters verlieten Lage Zwaluwe in 1957. Het gebouw werd door de parochie verhuurd en in 1958 verkocht aan een bouwbedrijf. Het is nog steeds in particulier bezit.
Het eenvoudige herenhuis van twee verdiepingen is nog in oorspronkelijke staat. In de tuin staan enige opvallende bomen.
Bron: J. Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant, Alphen a/d Maas, 2010