Pastoor Van de Ven had al veel pogingen zien mislukken om zusters voor onderwijs en zorg naar Luyksgestel te krijgen. In december 1933 vond hij de Franciscanessen van Veghel bereid het Huis van de H. Lucia te betrekken.
Het klooster, dat in de pastorietuin werd gebouwd door architect J. van Halteren, was toen nog niet helemaal klaar. In januari 1934 konden de scholen in gebruik worden genomen, het klooster werd 18 mei 1934 ingezegend. In 1937 verbouwde men de mannenzaal en in 1952 volgden drie nieuwe schoollokalen.
De franciscanessen hieven het klooster op in april 1988 en verkochten het in 1992 aan de gemeente. Die liet het met extra appartementen en een zijvleugel naar ontwerp van bureau Van Halteren, Roggen, Broere verbouwen tot bejaardenhuis. Alleen de hoofdvorm en de naam van het gebouw bleven behouden.
De haaks aangebouwde kapel werd gerenoveerd met terugplaatsing van de oude inrichting. Het huis werd opgenomen in de Regionale Stichting Zorgcentrum de Kempen.
De eveneens haaks aangebouwde meisjesschool is verdwenen. De Lourdesgrot in de tuin is gemaakt door Willem Dirx.
Bron: J. Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant, Alphen a/d Maas, 2010