Chegan os Berwick e os Alba
En 1777 morre sen descendencia Joaquín López de Zúñiga Sotomaior e Castro, XIII conde de Lemos, XII conde de Vilalba... e extínguese a casa de Lemos. Títulos e propiedades pasan aos parentes máis próximos, os Berwick, na persoa de James Francis Edward Fitz-James Stuart e Ventura Colón de Portugal (1718-1785). Foi este o III duque de Berwick, grande de España e XIII titular do condado de Vilalba. Estaba casado con María Teresa da Silva e Álvarez de Toledo, filla dos duques de Alba. E en 1794, tamén por falta de descendencia directa, únense os Berwick e os Alba na persoa de Carlos Miguel Fitz-James Stuart e Silva (1794-1835).
E foi así como se acumularon nunha soa familia títulos, dereitos e propiedades que a fixeron gran posuidora de riquezas e influencias.
Jacobo Luís Fitz-James Stuart e Ventimiglia (1821-1881) herdou do seu pai, Carlos Miguel Fitz-James, o condado de Vilalba. Temos noticias del a través de documentos que consultaron tanto Manuel Mato Vizoso como Antonio Peña Novo e por ambos sabemos que na I Guerra Carlista (1833-1839) os veciños reforzaron a muralla da vila con pedra procedente do castelo. Un dos administradores do señor duque iniciou preito no que pretendía que Concello e veciños pagasen os danos ocasionados. Houbo reunións nas parroquias e levantáronse actas e todos se opuxeron a pagar. O asunto acabou cando o Concello pediu que o duque acreditase con documentos a propiedade do castelo e o dereito a ser resarcido. O curioso lector comprenderá que trescentos anos de enredos, disputas e pouco coidado de papeis de herdanzas, compras, vendas, cesións, foros, preitos,... provocaron que faltasen títulos. Finalmente consta que o duque de Berwick e Alba desistiu das súas pretensións e os veciños nada pagaron por defender Vilalba das partidas carlistas e do exército do xeneral Gómez.
A finais do século XIX o castelo conservaba unha configuración moi semellante ao trazado inicial. Na praza inmediata, hoxe chamada do coronel Pena, erguíase a Casa da Tulla, destinada a gardar as fanegas de rendas que se cobraban en centeo e trigo. Daquela as feiras, o comercio da vila, chamaba a establecerse a xentes de fóra. Novas actividades traían riqueza e precisábanse máis vivendas. E canda as casas pedíanse rúas hixiénicas para que circulasen viandantes, carruaxes e bestas. Como a situación económica do Concello era de constante escaseza, vendéronse solares considerados baldíos e que se acaroaban á muralla da vila. A casa ducal de Berwick-Alba adoptou a mesma fórmula e vendeu espazos abeirados á muralla do castelo valéndose dunha argucia legal na que dous dos veciños vellos testemuñaron que se pagaban rendas aos Alba dente tempo inmemorial. E foi así como casas de desigual fortuna construtiva substituíron as murallas e como se rachou a posibilidade de crear ao redor da torre unha gran praza que favorecería os edificios circundantes e que sería espazo de lecer e comerciar para vilalbeses e visitantes.
