Het kloosterkasteel is van groot historisch belang vanwege de middeleeuwse en latere bouwfasen en als herinnering aan de geschiedenis van de Duitse Orde en de latere kloostervestigingen.
Er bestond van oudsher een nauwe relatie tussen het kasteel en de gedeeltelijk nog middeleeuwse kerk ten noorden van het grachtenstelsel. Het middeleeuwse gotische kasteel was een indrukwekkend gebouw met gotische siervormen. Uit deze periode zijn alleen de kelders van het hoofdgebouw overgebleven. De Duitse Orde vernieuwde het hoofdgebouw in 1740. De kelders zijn daarbij in gotiserende stijl gewijzigd, wellicht als herinnering aan de bloeitijd van de Duitse Orde.
Het paviljoen van de voorburcht, de zogenaamde donjon, dateert waarschijnlijk uit de zestiende eeuw. Het heeft trapgevels, hoektorentjes en een traptoren. De aansluitende poort van deze voorburcht draagt het jaartal 1548. Ernaast liggen aanbouwen van architect Magis uit Helmond uit 1943.
Het statige hoofdgebouw staat op de gewelfde kelders van het middeleeuwse kasteel. Het heeft een U-vorm met drie vleugels met ambachtelijk-traditionele motieven en elementen van de Lodewijk XIV stijl rond de ingang. In 1881 kwam het kasteel in handen van Franse jezuïeten. Na een brand in 1883 is het dak gewijzigd, waardoor meer ruimte voor de bewoners ontstond. Inwendig is de herbouw sober uitgevoerd.
De tweede voorburcht dateert uit 1606-1607. De voorpoort heeft een torenvormige doorgang en een toren op de zuidwesthoek. Aan de oprijlaan, voor de voorpoort, een smeedijzeren hek uit 1740.
Tussen 1907 en 1909 verrees op de plaats van oudere bijgebouwen aan het kasteelplein de zogenaamde jezuïetenbouw, naar ontwerp van architect J. Dony uit ‘s-Hertogenbosch.
Na overname van het kasteel door de Paters van de H. Geest plaatsten de paters in 1935, onder leiding van broeder Gerlachus Reijntjes en zijn medewerker Theophile Jan Verver, naar tekeningen van architect Th. van de Boomen uit Eindhoven, een bakstenen kapel in de gedempte tussengracht.
Op 11 mei 1940 schoten de Duitsers de zuidelijke vleugel van de jezuïetenbouw in brand. De hoektoren en de zuidelijke vleugel brandden geheel uit, maar werden in 1943 onder leiding van architect J. Magis uit Helmond hersteld. In 1960 is de jezuïetenbouw door middel van een nieuwe refter en glazen loopgang, naar ontwerp van architect H. Reuser uit Nijmegen, verbonden met de hoofdbouw. De kapel en de reftervleugel doen afbreuk aan de oorspronkelijke situatie van dit monumentale bouwblok.
De kapel kreeg in 1965 een hoognodige restauratie onder architect F. Husmann uit Venlo.
