1390-1434 skriver Niels Krabbe sig til „Østerholm‟. På den tid er herresædet i Gl.Åsted formodentligt opgivet og avlsbygningerne m.v. flyttet et par km mod syd. Her – på østerholmene umiddelbart øst for Nissum by og syd for Åsted kirke – opførte ridderen Lucas Krabbe o. 1500 det første befæstede stenhus på 9,5 x 7m, i to stokværk over en lav kælder. 1536 opførtes hovedfløjen mod syd med riddersal og portgennemgang. Det ældste stenhus indgår endnu som vestfløjen i det borganlæg, som sønnen Ivar Krabbe med byggerier o.1550 fuldførte til en 4-fløjet borg om en lille gårdsplads på 9×9 m – og med voldgrave og høje, omkransende volde. Inden sin død i 1561 nåede Ivar Krabbe at få kompletteret godset, så han 4.7.1560 kunne få kgl. brev på birkeretten i Åsted sogn. Samtidig fik han også birkeret for Krabbesholm gods i Resen ved Skive. Birketinget i Åsted holdtes umiddelbart øst for kirken. Retterstedet – „Galgehøj‟ – lå i Gl.Åsted nær det gamle voldsted – og endnu meget synligt på lang afstand. 1688 sammenlagdes herreder og birker i Salling, med fælles tingsted på Bostrup Tinghøj ved Lyby kirke, hvor det gamle sysselting sagdes at være holdt.