Heusden wordt al genoemd in de oudste bronnen in 722. Maar in de 13e eeuw krijgt Heusden daadwerkelijk stadsrechten. Er wordt een stadsmuur aangelegd met vier poorten. In 1357 wordt het Land van Heusden aan het Graafschap Holland verkocht. In de vijftiende eeuw wordt de stadsmuur gesloopt en vervangen door aarden wallen.
In de beginjaren van de Tachtigjarige Oorlog verwoesten de Spanjaarden Heusden. Dat gebeurde in 1569. Als de stad weer in Staatse handen is, geeft Willem van Oranje opdracht Heusden van een deugdelijke omwalling te voorzien. Zijn vestingbouwer Jacob Kemp begint in 1581 aan de opdracht om de vesting Heusden te vernieuwen volgens het Oud Nederlands Vestingstelsel.
Tijdens het Twaalfjarig Bestand (1609-1621) vinden aanvullende verbeteringen plaats. Als de strijd weer wordt voortgezet, speelt Heusden een belangrijke rol als bruggenhoofd voor de Staatsen. In deze tijd krijgt Heusden geleidelijk aan de reputatie van onneembare vesting.
Tijdens de algehele herziening van de Nederlandse defensie door Menno van Coehoorn, wordt de vesting Heusden tussen 1700-1730 aangepast aan het Nieuw Nederlands Vestingstelsel. Hierbij worden de hoornwerken geslecht.
Aan het eind van de achttiende eeuw staat Heusden bekend vanwege zijn patriottische gezindheid. Dat is de reden dat de Franse Graaf De Mirabeau Heusden in zijn aanvalsplan betrekt. Tot degenen die in 1794 via Heusden optrekken behoort ook Cornelis Rudolphus Theodorus Kraijenhoff, de latere vestingbouwer, toen nog in Franse dienst.
Na de stichting van het Koninkrijk der Nederlanden wordt de vesting, die eerder deel uitmaakte van de Zuider Waterlinie, overbodig. In 1821 verliest het stadje zijn vestingstatus en in 1879 ook zijn garnizoen. De verdedigingswerken raken ernstig in verval en er wordt vaak over slechting van de wallen gesproken.
Net op tijd groeit het inzicht dat de monumentale waarde van de vesting zo groot is, dat behoud ervan een schone zaak zou zijn. Na allerlei overwegingen besluit men uiteindelijk dat de restauratie moet gebeuren volgens de kaart van Joan Blaeu uit 1646, en overeenkomstig het ontwerp van Jacob Kemp, inclusief de soms onhandige indelingen.
Heusden heeft na de restauratie van 1978 negen bastions, zes ravelijnen, een beschermend eilandje en een natte gracht. Op enkele bastions staan standerdmolens en torens. Deze vestingrestauratie leverde Heusden in 1980 de Urbes Nostrae-prijs op, de hoogste Europese prijs op het gebied van restauratie.
