Deze standerdmolen is van oorsprong niet een echt Geffense molen. De Vlijt is namelijk al in de 17e eeuw in Boxtel gebouwd. Als bouwjaar worden 1601 en 1685 genoemd. Bijna of ruim twee eeuwen heeft de molen daar gestaan en gedraaid. In 1857 verhuisde de molen eerst naar Sint-Michielsgestel (Genenberg). In 1875 kwam De Vlijt ten slotte naar Geffen.
Dat was op initiatief van de toenmalige oud-burgemeester van Geffen, Willem van Erp, die ook eigenaar van de molen was. Hij liet hem opbouwen iets ten noorden van de rijksweg, tegenover de Koksteeg. In datzelfde jaar liet hij ook een molen slopen, maar het is niet helemaal duidelijk welke molen dat geweest moet zijn.
In ieder geval was de 'nieuwe' molen niet veel rust gegund (het leek Zeldenrust wel), want vijf jaar later kreeg De Vlijt al weer een nieuwe plek, nu aan de Molenstraat. In die buurt had altijd de andere molen van Geffen, Zeldenrust, gestaan, maar die was enige tijd daarvoor van zijn plek weggehaald. In tegenstelling tot Zeldenrust stond De Vlijt ten zuiden van de spoorlijn.
Vanaf 1899 was de molenaarsfamilie De Kinderen uit Batenburg eigenaar van deze molen.
In 1973 kocht de gemeente Geffen De Vlijt, die inmiddels in verval was geraakt. Drie jaar later was de wederopbouw én de zoveelste verhuizing achter de rug. De Groenstraat werd de nieuwe locatie en daar staat De Vlijt nog steeds.
Bij gelegenheid van de ingebruikname van de gerestaureerde molen in 1976 werden in Geffen voor het eerst ‘Molenfeesten’ gehouden. Het succes van deze feesten was zo groot, dat men besloot dit jaarlijks te herhalen, maar onder een nieuwe naam: Effe noar Geffe. Dit evenement in het eerste weekend van september werd een begrip en brengt ook nu nog tienduizenden mensen op de been, velen van ver buiten de regio.
