Genom gifte och arv övergick gården till släkten Banér. Knut Eskilsson Banér mördades av Christian Tyrann år 1520 vid Stockholms blodbad, och halvbrodern Nils Eskilsson Banér blev även han mördad fast vid Raseborg i Finland 1544. Den senares änka, Ingeborg Larsdotter Tott, fortsatte driva gården och det är nu, år 1544, som man för första gången finner namnet Engsholm och då hopkopplat med Borghaga, ett tillhörande "hemman".
Sonen, riksrådet Axel Nilsson Banér, efterträddes av sin son, riksrådet Sten Axelsson Banér, som hade oturen att jämte brodern Gustaf bli halshuggen i Linköpings blodbad år 1600.
