Dit huis aan de St. Jorisstraat kent een lange geschiedenis, met vele eigenaars en bewoners. Het werd gebouwd op de plaats van een voormalig refugiehuis van de abdij Sint Gertrudis uit Leuven.
In 1809 werd hier het Loyers of Kuystens Mannengasthuis gevestigd. Willem Loyer en zijn vrouw Heylwich stichtten het Loyersgasthuis in 1440 op de Uilenburg. Het werd in 1614 overgeplaatst naar de Tolbrug en in 1809 in dit pand aan de Sint Jorisstraat ondergebracht. Een dienstbode verzorgde er een vijftal oude mannen. Volgens Sasse van Ysselt werden er dat in het begin van de twintigste eeuw twaalf, hieraan ontleende het huis zijn naam.
In de zestiger jaren van de twintigste eeuw verkeerde het pand in slechte staat en dreigde het te worden gesloopt. De actieve Bosschenaar Jan van der Eerden heeft indertijd het sloopplan voor De twaalf Apostelen tegengehouden. Pas toen men ook voor de belendende panden een bestemming had gevonden - men overwoog er het gemeentearchief of het museum Slager te vestigen - volgde restauratie in 1975.
In 1976 kocht de congregatie van de Broeders van O.L. Vrouw van Lourdes (Broeders van Dongen) de panden St. Jorsisstraat 70-72 en betrok de communiteit van Reinier van Arkel het huis. Op 1 juli 2020 vertrokken de laatste broeders De Twaalf Apostelen.
Het gaat hier om een in oorsprong vijftiende-eeuws huis. De voorgevel van het in klassieke traditie gebouwde huis stamt uit 1824. Bij de restauratie in 1975 zijn hoekschoorstenen aangebracht.
Dit verhaal is aangepast op 3 mei 2021 aan de hand van een aanvulling van J. Klein Overmeen. Redactie.