Het huis Herdershof maakte deel uit van het klooster Maria ter Engelen van de Franciscanessen van Oudenbosch aan de Sint Bernaertstraat. Het oudste bouwdeel dateert uit 1890. De villa is in 1930 verbouwd en toen als klooster in gebruik genomen.
Aan de achterzijde, boven de inrijpoort, was het huis verbonden met de villa ernaast. De belendende villa Casa Blanca, een al even opvallend huis, werd in 1955 aangekocht. Naast de villa Herdershof lag de kloostervleugel met de kapel. Deze was erg donker, met hoog in de muren kleine ramen. Het altaar stond in een spitsboognis. Het klokkengeveltje is van omstreeks 1930.
In 1923 had het neoclassicistische complex aan de zijkant in de tuin van het huis Alverno een grote uitbreiding gekregen, met onder andere een hoekige erker over twee verdiepingen en een kapel. In 1993 bouwde A. Oomen in de tuin het nieuwe verzorgingshuis Sint Anna met een moderne kapel. Hier is nu het bestuur van de congregatie gevestigd.
In 2002 verlieten de franciscanessen het klooster Maria ter Engelen. Het maakt grotendeels plaats voor woningen. In 2010 is men ook in de tuin begonnen met woningbouw.
Bron: Jan Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant. Alphen a/d Maas, 2010.