Het middeleeuwse kasteeltje IJpelaar met bijbehorende hoeven wordt in een akte van 1280 voor het eerst genoemd. Het ontwikkelde zich tot een landgoed met lanen. Het seminarie voor de opleiding van priesterstudenten vestigde zich in het oude landhuis IJpelaar op 1 oktober 1878.

Er kwam een min of meer neogotisch en carrévormig gebouw, naar tekeningen van P. Soffers. P.J.H. Cuypers bouwde in 1887 de kapel.
In 1915 namen de zusters Franciscanessen Alles voor Allen de huishouding op zich.
In 1944 werd het gebouw volledig verwoest. De architecten J. Savenije, Siebers en van Dael ontwierpen een nieuw gebouw in de Delftse School stijl, dat de plattegrond volgt van het oude seminarie. Hierin bevond zich een eigen klooster voor de zusters, dat in 1950 gereed was.
De franciscanessen vertrokken in 1969. IJpelaar is nu de Academie voor Beeldende Kunst, Sint Joost. De academie voerde een zorgvuldige verbouwing uit, waarbij de binnenplaats werd overdekt en tot expositieruimte werd bestemd.
Bron: J. Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant, Alphen aan de Maas, 2010

