Rond 1360 bouwt Walraven van Valkenburg op een strategische plaats aan de Maas een kasteel. Van daaruit gaat hij tol heffen. Nabij het kasteel ontstaat een nederzetting die reeds in 1380 stadsrechten krijgt van Reinoud van Valkenburg, een halfbroer van Walraven. De stad wordt voorzien van versterkingen en groeit uit tot de hoofdstad van het Land van Ravenstein, waartoe ook Herpen en Uden behoren.
In 1509/1510 is de soevereine heerlijkheid Land van Ravenstein in handen van Philips van Kleef. Hij vernieuwt in die jaren de vestingwerken door de aanleg van o.a. muren, rondelen en bolwercken. In 1543 worden deze op last van keizer Karel V opgeblazen. De rondelen en een bolwerck zijn echter nog beleefbaar. De grachten rond de stad blijven grotendeels gespaard.
Philips van Kleef overlijdt in 1528 zonder nakomelingen. Het Land van Ravenstein vererft dan naar de hertog van Kleef. Nadat deze in 1609 zonder nakomelingen is gestorven komt Ravenstein tijdelijk onder gezag van de protestantse keurvorst van Brandenburg, die in
Kleef de baas is geworden. Dat leidt na het einde van het Twaalfjarig Bestand' (1621) tot de versterking van Ravenstein met aarden vestingwerken, zoals bastions en ravelijnen. In de stad wordt een Staats garnizoen gelegerd.
In 1631 verdwijnt Kleef naar de zijlijn. Het katholieke huis Pfalz-Neuburg krijgt het nu voor het zeggen. De aarden wallen worden in 1672, het Rampjaar, door de Fransen met de grond gelijk gemaakt. De grachten worden daardoor versmald.Twee ravelijnen blijven overwegend ongemoeid. Als vestingstad is Ravenstein uitgespeeld.
Onder aan van de in 1672 geslechte bastions is in 2012 een bolwerck aangetroffen dat in 1509 is gebouwd onder Philips van Kleef. Het is gebouwd naar Italiaans model, uniek in Nederland en sinds 2016 weer beleefbaar.
De vestingstad Ravenstein ademt in alles nog de laat-middeleeuwse sfeer.
