Aggersborggård er en af de danske herregårde, hvis historie rækker længst tilbage I tiden, helt til året 1086. Aggersborg var en kongsgård fra 1086 til 1579.

Stamhuset Aggersborggaard blev oprettet af christen Madsen Speitzer og hans kone Anne Margrethe lund I 1767 og opløst I 1779. Stamhuset bestod af aggersborggård på godt 600 tønder hartkorn, men fik ikke nogen egentlig stadfæstelse som stamhus.

Mads speitzer blev som 32-årig gift med den 28-årige anne margrethe gleerup, men det ubehagelige indtryk, Som samtiden havde af ham, viste sig også her. Allerede I 1780 blev han skilt fra konen, fordi „Han viste sig Hård mod hende, som han begegnede med hug og slag samt foragtede hende og holdt sig til andre, ligesom Han også skal have besvangret en af deres tjenestepiger‟. Hans skudsmål som herremand er lige så dårligt. 

Hans brutale optræden fik bønderne til en sen nat, da han var på vej til gården Ørndrup, at møde op Maskerede og overfalde ham. Han blev gennempryglet og senere slæbt hen til en stor sten, hvor man knuste Den højre hånd, der så ofte havde gennempryglet dem uden nævneværdig grund. Han blev læsset på sin vogn, Som så ved hestenes egen hjælp måtte finde hjem. De skyldige forsvandt til udlandet!

Der går en mængde sang om Speitzer, bl.A. At han spillede kort med fanden og tabte, men reddede sig ved at Køre om kap med ham til Aggersborg, hvor han lige nåede at smække porten I.