A Torre, de planta rectangular, é uma construção tipicamente medieval, do séc. XIV, de estilo românico – gótico, onde sobressaem as ameias românicas, uma fiada de merlões, uma porta ogivada, frestas e um conjunto de janelas geminadas góticas. A avaliar pela fieira destas janelas, a torre primitiva teria dois andares, além do rés-do-chão, mas posteriormente nela teriam sido rasgadas janelas modernas para ganhar um outro andar. Numa Gravura publicada no Tripeiro de 1909 não aparecem ainda estas janelas.

Segundo uma informação do Diccionario Geographico, manuscrito da Torre do Tombo e que data de 1758, recolhida por Sousa Viterbo, a torre antiga chamada de Pedro Sem acha-se ao presente sem telha nem madeira e somente a pedraria existe. E Anselmo Braamcamp Freire, apoiando-se em dados que lhe foram fornecidos, em 1889, pelo conde de Bertiandos, neto do 2º Conde de Terena, afirma que a velha torre de Pero do Sem se vê hoje por trás do Palácio da Torre da Marca, dos Marqueses de Terena, sítio para onde foi mudada, pedra por pedra, do alto da quinta do Campo Pequeno (actual Largo da Maternidade), nos anos de 1808 a 1818, durante a menoridade do que foi depois 2ª Conde de Terena, por seu tio Simão Brandão e Mello. A. de Magalhães Basto, que refere esta versão de Braamcamp Freire, acrescenta que prefere conservar o caso em dúvida. Pelo menos, em 1813 já a Torre estava onde a vemos hoje, como se prova pela planta do Porto de George Balk. E J.J. Gonçalves Coelho considera essa hipótese inadmissível à face do aspecto que apresenta e aventa uma explicação a partir das obras de reparação que foram feitas e em que lhe foram colocados gatos de ferro, construindo-se-lhe novos tectos, divisões, escadas e pavimentos e cobrindo-se com telhado todo o antigo terraço.

Na segunda metade dos anos oitenta, foi a Torre sujeita a grandes obras de consolidação e restauro que, sem nada alterar do seu exterior, modificaram profundamente o seu interior, que nada tinha de característico, para o adaptar a novas funções.

O Edifício do Palácio

O Palácio, do séc. XVIII, forma um conjunto de linhas simples mas muito harmonioso, com a fachada principal voltada a sul, separada da Rua D. Manuel II por um pequeno terreiro gradeado. Esta é constituída por três pisos: o piso térreo com uma porta monumental, encimada por um brasão esquartejado com coronel de Marquês, e três janelas de cada lado; o piso intermédio ou sobreloja, também com três janelas de cada lado, mas as que rodeiam o portal, de menores dimensões; e o andar nobre com sete janelas de sacada. O Dr. Flórido de Vasconcelos, que sublinha a singularidade de uma sala com abóbada em meia laranja, considera também que o alçado desta fachada tem pouco a ver com as arquitecturas locais e bem assim a cobertura com três telhados de duas águas correspondendo aos três corpos assinalados na frontaria e que tem mais a ver com as construções do sul do país.

Do lado poente, paralela à Rua de Júlio Dinis, a sobreloja, com nove portas e três janelas, abre-se para um terreiro ao qual se sobe por uma escadaria de tipo barroco, hoje, em parte prejudicada pela abertura da Rua de Júlio Dinis. O andar nobre tem doze janelas de sacada.

A ala nascente dá para a Rua da Boa Nova e dispõe apenas de sete janelas ao nível da sobreloja e de sete janelas de sacada (uma delas inutilizada) ao nível do piso superior, porque nela vem encostar a torre medieval. No interior, a entrada dá para um átrio de pedra, com duas portas, uma de cada lado, de acesso ás dependências do rés-do-chão e, ao fundo, com três portas, a do meio a abrir para um desvão de escadas e as dos lados, de acesso à escadaria, também de pedra e em dois lanços paralelos que convergem para um patamar, donde nasce um lanço central que depois se alarga em três, para servir o andar nobre. A caixa de escada, servida por três janelões que de um pátio interior espalha a luz sobre o ambiente, cria um espaço de belo efeito, ao mesmo tempo monumental e singelo. Nos salões do andar nobre ressaltam os tectos, o do centro, ao cimo da escadaria, de masseira, e os quatro restantes, de estuques. Ao caracterizar a decoração destes estuques, o Dr. Flórido de Vasconcelos afirma que embora integrada nos modelos ingleses, parece indicar certa preferência pelos ornatos menos secos, mais aparatosos e com tendência a ocupar a totalidade dos espaços decorados. E realça, como se disse, um tecto em abóbada semi-esférica, com quatro triângulos, ligeiramente curvos, fazendo a passagem ao quadrado-planta muito raramente utilizado entre nós. Além disso, a repartição dos elementos decorativos pelo intradorso da abóbada é feita segundo as intersecções de arcos desenhados por bandeiras estriadas, que vão limitando espaços em forma de triângulo esférico e arco quebrado (de inspiração gótica ou muçulmana?), onde se inserem ornatos de origem renascentista.

Entre 1999 e 2000, foram feitas obras de conservação no exterior e na zona de r/c, escadaria e átrio do 1º andar do imóvel, com demolição do pano de parede que tinha cegado o janelão central do patamar da escadaria para nele instalar um nicho de Santo António e com remoção do revestimento em azulejo do lambrim que lhe fora introduzido nos anos trinta, sob orientação e com um subsídio da Direcção Regional de Edifícios e Monumentos do Norte.

Estão em estudo obras [já realizadas] de restauro nos estuques do tectos e de beneficiação e reparação nas diversas salas e circuitos, tendo em conta o seu divisionamento primitivo e as necessidades do seu funcionamento actual.

O Edifício da Torre - O edifício do Palácio