Restrup Hovedgårds tidlige historie er dunkel. Restrup omtales flere gange i løbet af 1400-tallet, men betegnelsen dækker formentlig over et område bestående af flere gårde. Det er derfor ikke muligt at fastlægge Lille Restrups tidligste ejerforhold. I 1459 omtales dog en væbner Niels Pedersen, der benævnes af Restrup. Sidst i 1400-tallet forbindes også Skadeland-slægten med Restrup

I perioden 1508-11 opkøbte landsdommer og rigsråd Niels Clementsen flere gårde i Restrup, hvoraf den ene med sikkerhed vides at være Restrup Hovedgård, som Marine Nielsdatter og hendes søn Niels Skadeland skøder til landsdommeren i året 1508.

Efter tvistigheder med Kronen beslaglagde den danske konge, Christian 2. Restrup Hovedgaard i 1518. Samme år dør Niels Clementsen. Restrup Hovedgaards tid som krongods blev dog kort. Niels Clementsens enke besad atter gården i 1520. Niels Clementsens datter og hendes mand Christen Harbouarvede Restrup (deres ligsten kan ses indmuret i koret i Hvam Kirke), og gården var i slægten Harbous besiddelse til efter år 1600.

På grund af økonomiske vanskeligheder i begyndelsen af 1600-tallet pantsatte Harbou-slægten Restrup Hovedgård med tilhørende bøndergårde til flere sider, og først i 1646 blev Restrup Hovedgaard for en længerevarende periode samlet under rigsråd Mogens Kaas (Sparre), som besad flere gårde i omegnen.

Restrup Hovedgaard var omkring år 1600 en mindre adelig gård, der allerede tidligt havde fået adelsprivilegier og var således fritaget for almindelige skatter, men skulle svare ekstraordinære skatter i krigstid. For mindre adelige gårde som Restrup Hovedgaard fik adelsprivilegierne store økonomiske konsekvenser særligt i sidste halvdel af 1600-tallet, hvor danskerne førte talrige krige bl.a. mod svenskerne.

Mogens Kaas’ søn opnåede ikke at føre gården igennem de vanskelige tider, og Restrup blev atter pantsat til flere sider. De følgende år gik Restrup langsomt i forfald, enkelte bygninger blev solgt, andre jævnet med jorden. I 1691 kunne end ikke adelsprivilegierne opretholdes.

Navnet “Lille Restrup” eller “Lille Restrup Hovedgaard” dukker først op i 1800-tallet, og i alle tidligere omtaler benævnes gården Restrup Hovedgaard eller blot Restrup.