In 1603 slaat de bliksem in op de donjon (in de volksmond de “Dikke Brabander”). De schade blijft beperkt tot de spits. In 1666 volgt opnieuw een blikseminslag met beperkte schade.
Maar op 24 juli 1680 is het raak. De achthoekige Dikke Brabander wordt voor de derde maal door de bliksem getroffen en vliegt in brand. In de toren is op dat moment 60.000 pond buskruit en een groot aantal granaten opgeslagen. Het kasteel wordt met een enorme knal opgeblazen. Bij de explosie worden alle huizen in de straat vernietigd. Op de plek van de donjon ontstaat een diepe krater gevuld met zwart water.
Hoeveel slachtoffers er vallen is niet precies bekend maar er wordt gesproken over zestig tot zeventig doden. De weinige omwonenden die de explosie overleven zijn zwaargewond en overlijden dezelfde dag of binnen enkele dagen. Het verhaal gaat dat onder de puinhopen een dodelijk getroffen vrouw wordt aangetroffen met een kind tussen haar benen. Het kind overleeft het wonderwel.
Veel huizen in de omgeving worden zwaar beschadigd. In totaal ligt een derde van de stad in puin. Gelukkig is de zware drukgolf van de stad Heusden af gericht, waardoor het grootste deel van de stad gespaard blijft. Het meeste puin wordt over de stadswal geworpen. Er ligt daar zelfs zoveel puin dat het gebied slechts met grote moeite begaanbaar is. Delen van de drie meter dikke muur liggen aan de andere kant van de vesting.
Van het kasteel blijft slecht wat muurwerk en een deel van de vierkante toren staan. Dit laatste deel wordt later wat opgeknapt en nog enige tijd gebruikt voor opslag. In de loop der tijd worden de restanten gesloopt. De beschikbaar komende stenen worden hergebruikt voor bebouwing in de stad. Tot op de dag van vandaag zijn in oude muren nog restanten te vinden.
Halverwege de twintigste eeuw is er niets meer van te zien. Alleen de fundering zit nog in de grond. Na de oorlog vindt archeologisch onderzoek plaats onder leiding van J. G. N. Renaud (1911–2007). Met de restauratie van de vesting is een deel van het kasteel opnieuw opgemetseld met moderne materialen. Op het voormalige voorhuis is een kerk gebouwd.
Bronnen
Van Oudenhoven, J., Beschryvinghe der wijt-vermaerde frontier-stadt Heusden, Amsterdam, 1651.
Van Lennep, J., Hofdijk W., Merkwaardige Kasteelen van Nederland II, Amsterdam, 1854, 31.
Van Oudheusden, J., Verhalen van Brabant, Zwolle, 2011.
Kok, J., Vaderlandsch Woordenboek deel 20 Haal-Hol, Amsterdam, 1789.