De verbindingsweg tussen Oud Gastel en Fijnaart (Willemstad) kruiste eeuwenlang de Dintel bij het huidige Stampersgat. Vanouds ging de overtocht daar met een veer, dat vermoedelijk al van rond 1560 dateert. Met zekerheid fungeerde het veer in 1711.
In 1859-1860 bouwde het Heemraadschap van Mark en Dintel op deze plek een dubbele ophaalbrug. Als gevolg daarvan veranderde de straatnaam Veerdam in Stampersgat in de Brugstraat. Dit zou de belangrijkste straat van het dorp worden. In 1903 of 1904 werd de ophaalbrug afgebroken. De houten brug was niet stevig genoeg om de tram te dragen die over de brug moest gaan rijden. Er kwam een stalen draaibrug voor in de plaats.
Deze brug werd vernield tijdens oorlogshandelingen in 1940, waardoor gedurende de Tweede Wereldoorlog er weer een pontveer bij Stampersgat dienst deed om de Dintel over te kunnen steken. De Duitsers lieten vijftig Mongoolse krijgsgevangenen een noodbrug aanleggen, maar die overleefde de gevechten in 1944 niet. De Duitsers zelf bliezen namelijk de brug op en opnieuw werd het pontje ingezet.
Bij de bevrijding legden de geallieerden een vlakke Baileybrug over de Dintel. Omdat deze de scheepvaart belemmerde, werd hij korte tijd later vervangen door een hogere - geknikte - baileybrug. In 1950 werd de baileybrug voorlopig vervangen door een stalen brug, bestaande uit twee delen. Al tijdens de oorlogsjaren was een plan ontworpen voor een nieuwe brug, maar doordat het tracé van de verbindingsweg verlegd werd, was een nieuw ontwerp vereist.
Provinciale Waterstaat van Noord-Brabant gebruikte een bestaand ontwerp van Rijkswaterstaat (voor een brug over het Markkanaal bij Terheijden) als onderlegger voor de nieuwe brug die wat verder oostelijk van Stampersgat kwam te liggen: de huidige Witte Brug in de N640. De stalen hulpbrug in Stampersgat werd in 1965 afgebroken en versleept naar Standdaarbuiten, om daar tijdelijk als hulpbrug dienst te doen.
De huidige brug bestaat uit een middenoverspanning en twee zij-overspanningen. De middenoverspanning is van het type verstijfde staafboog, opgetrokken uit voorgespannen beton en staal. De zij-overspanningen rusten op de landhoofden en de uitkragende delen van de middenoverspanning. De Brugstraat is door de ingebruikname van deze brug een doodlopende straat geworden.
