Chegan os Castro de Lemos
Fernando de Andrade, II conde de Vilalba e I conde de Andrade, morreu en 1540 ou 1542. Do seu matrimonio con Francisca de Zúñiga, condesa de Monterrei, tivo dúas fillas, Teresa, a maior, e Catalina.
Buscando alianzas, Teresa de Andrade e Zúñiga casou con Fernando Ruíz de Castro, IV conde de Lemos e I marqués de Sarria. Pero Teresa morreu con só 23 anos, en 1523, polo que os seus dereitos pasaron ao fillo, Pedro Fernández de Castro e Andrade, que recibiu o condado de Vilalba, título do que non fixo aprecio e o de Andrade, título que sempre ostentou.
Entre os séculos XVI - XVIII o castelo de Vilalba estivo en mans de alcaides, mordomos e administradores que se ocupaban, con negocio de intermediario, en reparar das propiedades e rendas que xa eran dos Lemos. Foi esta unha familia con grandes responsabilidades no goberno das Españas durante os Austrias. Recordamos a Pedro Fernández de Castro y Zúñiga (1575-1637), VII conde de Lemos, V conde de Vilalba, magnífico estadista e diplomático e tamén mecenas de escritores como Lope de Vega, Góngora ou Cervantes de quen recibiu a dedicatoria da segunda parte do Quixote.
