La famiglia da Porto risulta stabilita a Vicenza fin dal secolo XI, proveniente, secondo le ipotesi piu' accreditate, da Portogruaro, al tempo in cui Ulderico, Patriarca di Aquileia, accusato di eresia, fu cacciato dalla laguna, ed a seguito della sua fuga numerose famiglie nobili furono costrette a spostarsi in terraferma. Il primo personaggio della famiglia di cui si abbia notizia in citta' e' PORTO, giureconsulto, vivente nel 987, dal quale deriva la famiglia, che in occasione del passaggio di carlo V a Vicenza fu insignita col Diploma dell'Imperatore promulgato in Bologna il 14 dicembre 1532, del titolo di "conti Palatini (...) nonche' di cavalieri Aureati", con il privilegio di fregiarsi dell'aquila imperiale che infatti spesso compare nello stemma familiare. Manfredo Da Porto Barbaran, ultimo discendente maschio della famiglia, riconosce, in un suo manoscritto, diversi rami. Di questi quello a cui si deve la costruzione della villa di Montorso e' quello "E", che fa capo a GABRIELE figlio di Simone, sposo di Lucia Sesso. La Villa da Porto si presenta come uno dei più estesi complessi edificati tra le ville venete, soprattutto se si considera l'ala che esisteva un tempo a ovest. Si trova a ridosso del Colle della Fratta, che la protegge a nord ed è limitrofa all'antico abitato di Montorso.