I perioden fra 1407-1661 blev borgen og den gods styret af forskellige adelige lensmænd. Lenet var regnet for at være et af de vigtigste i landet, og det var oftest rigets mægtigste mænd, der sad inde med Kalø Len. Blandt dem må nævnes rigshofmesteren Otte Nielsen Rosenkrantz (død1477) og dennes tipoldesøn rigsråden Jørgen Ottesen Rosenkrantz. Under Erik Eriksen Banner, der var lensmand i perioden 1514-1554, fik borgens fangehul en ret prominent beboer.

Kong Christian 2. havde taget seks svenske gidsler med til Danmark. De var stillet som sikkerhed forud for et møde med den svenske rigsforstander Sten Sture den yngre. Blandt gidslerne var den ganske unge Gustav Vasa, som Christian 2. lod fængsle på Kalø i perioden 1518-19. Gustav Vasa fik mod løfte og håndslag til Erik Banner, lov til at bevæge sig frit omkring på borgen og i området onkring den. Hjemlængslen til Sverige blev måske for stor, for Gustav Vasa brød sit løfte, og efter et års ophold på Kalø flygtede han forklædt som bonde til Lübeck, hvor han ankom september 1519. En anden berømt fange var præsten Søren Quist, der i 1625 blev dømt og henrettet for et mord, han ikke havde begået.