Aldendriel is gebouwd in de tweede helft van de 15e eeuw en is eeuwenlang bewoond geweest door de familie Van der Voort, waarschijnlijk afkomstig van het kasteeltje De Voort uit Groeningen. Daarna kwam het slot in handen van de heren Van Well, die het gebruikten als jachtslot en zomerverblijf.
In de loop der tijd is het in verschillende handen overgegaan, allemaal adellijke personen en families.In 1903 raakte Aldendriel zijn adellijke bewoning kwijt. De toenmalige eigenaar, Frans baron de Schloisnigh, verkocht het kasteel aan de familie Verstraaten, die eeuwenlang de rentmeesters van het kasteel en zijn bezittingen had geleverd.
Van het oorspronkelijke gebouwcomplex is niet veel meer over. Het kasteel is in de loop der eeuwen diverse keren verbouwd. De bijgebouwen waren oorspronkelijk in een oudere vakwerkconstructie opgetrokken. Pas later zijn de huidige bakstenen gebouwen verrezen.
Tussen 1648 en 1744 stelde de toenmalige eigenaar van Aldendriel een deel van het kasteel beschikbaar aan de dorpelingen voor de misviering. In 1744 kreeg de Millse bevolking toestemming om een schuurkerk te bouwen. Dat was het einde van kerk-kasteel Aldendriel.
In 1765 liet de toenmalige eigenaar graaf Van der Pas een complete renovatie aan de gebouwen uitvoeren.
Rond 1960 was er nog even sprake van dat Aldendriel het nieuwe gemeentehuis van Mill zou worden. Maar de gemeenteraad besloot anders en Aldendriel werd vervolgens met subsidie door de toenmalige eigenaar J.A. van Oudenaarde uit Den Haag gerestaureerd en gemoderniseerd.
Tegenwoordig wordt een gedeelte van Aldendriel gebruikt voor evenementen, bruiloften en partijen.
