Los Andrade, señores feudales del territorio, levantaron varios castillos para proteger sus infinitas propiedades. En Pontedeume, el castillo de Andrade se alza sobre la Pena Leboreira, dominando la desembocadura del río Eume. En la villa, el Torreón, único resto del antiguo pazo, es ahora oficina de turismo y Centro de Interpretación de la historia de la familia.