Der har ligget en herregård hér, eller lige her i nærheden, i mere end 600 år. Det ved vi fra et salgsbrev fra 1391. Så engang i middelalderen – måske efter den Sorte Død er Hessel bygget.
 Hessel er en af de sidste små, jyske herregårde, med et komplet firlænget gårdanlæg, hvor alle bygninger er tækket med strå. Trods ombygninger, reparationer mm stammer de fleste af bygningerne fra 1700 tallet, laden med den specielle konstruktion er fra 1600 tallet. Den gamle studestald står uforandret som den stod i 1800 tallet selvom den er blevet brugt helt op i 1950erne. Stuehuset står også uforandret, som den blev indrettet af den sidste familieslægt – som en uberørt tidslomme fra 1800 tallet.
 
Flere konger og adelige har ejet Hessel, men om de har boet her er en anden sag. Vi kender til de fleste ejere, men også til nogle skæbner og folk, der har boet på Hessel. Både tjenestepigen Ane Sørensdatter som i 1836 fødte et barn i dølgsmål og begravede det i rullestuen – og 2. forvalteren Vilhelm Bruhn som skrev sine erindringer om sin tid på Hessel i 1867.