Voor meerdere generaties is de Sint-Remigiuskerk niet weg te denken uit Lithoijen. Maar deze kerk kent verschillende voorgangers. Tussen Lith en Lithoijen lag eeuwen geleden de hoeve het Groenewoud. in die omgeving moet ook een oude tufstenen parochiekerkje hebben gestaan, gewijd aan Sint-Remigius. Deze deed dienst voor zowel Lith en Lithoijen.
Na 1648 kwam dit in handen van de Hervormden, terwijl de katholieken na verloop van tijd een schuurkerk mochten bouwen op de plaats van de huidige dorpskern.
Deze schuurkerk werd in 1843 vervangen door een waterstaatskerk (zie foto), terwijl het oude kerkje gesloopt werd. In 1902 werd de waterstaatskerk door de huidige neogotische Sint-Remigiuskerk vervangen.
