Eind vijftiende eeuw gaf kanunnik Jacob van Croy het huis zijn huidige naam. Het kasteel werd verschillende malen verbouwd. De laatste adellijke bewoonster die het kasteel in bezit had maakte in 1873 per testament van het huis een liefdadige instelling.
Vanaf 12 november 1873 verzorgden de Zusters van Liefde van Tilburg in het kasteel kosteloos een dertigtal bejaarden. De vroegere eetzaal werd omgevormd tot een eenvoudige refter, de balzaal werd kapel. Architect C. Roffelsen voerde in 1935 verbouwingen uit.
De zusters staakten hun werk in 1955 en vertrokken. Ongehuwde vrouwen van het Apostolaatsinstituut Maria, Moeder van de Goede Herder namen de zorg over. En de Missiezusters van het Kostbaar Bloed werkten hier van 24 september 1966 tot 1977. Na de restauratie van 1977 kreeg het gebouw een kantoorfunctie.
In zijn oudste vorm dateert het kasteel uit het einde van de vijftiende eeuw. Het bestaat uit twee parallel lopende vleugels, geflankeerd door torens. De poort met de twee hoektorens stamt uit 1500, evenals de zuidgevel en de achtkantige hoektoren. De hierdoor ontstane binnenplaats werd in de zeventiende eeuw overkapt. In het midden van de achttiende eeuw, toen het in het bezit kwam van de familie van der Brugghen, werd er aansluitend aan een gekanteelde trapgevel in dezelfde stijl nog een trapgevel aan toegevoegd. In 1790 werden de torens verbouwd. De rechthoekige voorpoort dateert uit circa 1500.
Het kasteel stond vroeger in Stiphout, maar door een grenswijziging in 1968 kwam het in Aarle-Rixtel te liggen.
Bron: J. Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant, Alphen aan de Maas, 2010