De naam Kessel is afgeleid van het Latijnse castellum, dat versterking of fort betekent. En inderdaad: eind jaren zeventig van de vorige eeuw zijn in de uiterwaarden bij Kessel gallo-romeinse bouwfragmenten (van een tempel of een wachtpost?) gevonden.
Het Hof van Kessel gaat echter niet zover terug in de tijd. Het dateert van eeuwen later, toen Kessel een heerlijkheid werd.
Een van de heren van Kessel heeft in de loop van de 14e eeuw een versterkt kasteel laten bouwen. Er bestaat een zeventiende-eeuwse tekening van het herenhuis uit circa 1685 door de bekende landschapsschilder Abraham Rademaker. Die tekening bevindt zich nu in de collectie van het Rijksmuseum.
Van der Aa meldt in zijn Aardrijkskundig Woordenboek uit de negentiende eeuw, dat de restanten van het kasteel in 1801 zouden zijn gesloopt en dat op de plek waar het gestaan zou hebben, alleen nog maar een boomgaard te zien is.
Wat we in ieder geval nog kunnen zien oude kaarten, is dat het perceel waarop het kasteel gestaan zou hebben en dat "’t Hof" wordt genoemd, nog steeds omwaterd was, wat goed zou kunnen duiden op een verdedigbare plaats. Die omwatering is er trouwens nog steeds.
Op het perceel is in 1922-1923 een huis gebouwd door Johannes de Werd. Zijn nakomelingen hebben er achtereenvolgens een champignonkwekerij en een legbatterij voor kippen (de eerste in Nederland) gehad.
Tegenwoordig is op het terrein een varkensbedrijf gevestigd.