O Castelo de Penela começou a ser construído no século XI. Está situado no alto de uma colina, na freguesia de São Miguel, no terreiro no qual se encontra a Igreja de São Miguel. Existem sepulturas antropomórficas da Baixa Idade Média cavadas no arenito existente entre a Igreja e o castelo.

Parte integrante da antiga linha defensiva do Mondego, depois do Castelo de Montemor-o-Velho é o arcaboiço medieval mais amplo e robusto que subsistiu até os nossos dias.

De arquitectura militar românica, gótica e manuelina, possivelmente teve duas 2 épocas de construção/reconstrução principais: o séc. XIV, a que pertence o circuito das muralhas e o séc. XV a que pertence a porta da vila e o castelejo.

A arquitectura do Castelo é composta por uma planta poligonal irregular com implantação Norte-Sul. Possui duas portas, uma a Sul-Oeste, a da Vila, de arco a pleno centro e ombreiras cortadas abertas na face de uma torre. E outra a Norte-Este, a da Traição ou dos Campos - onde D. João Afonso Telo foi emboscado e posteriormente teve a cabeça decepada - rasgada numa torre com 2 aberturas em tércio-ponto dispostas em cotovelo. Os panos de muralha a Oeste são mais elevados e fortificados que os a Este. As muralhas, ameadas, são flanqueadas de torres. Das 12 torres originais, continuam de pé de Sul para Norte, uma quinária, uma redonda e duas quadrangulares. Da torre de menagem persistem ainda hoje apenas uma porta de arco quase a pleno centro e 2 bombardeiras.

Passou a estar classificado e protegido ao abrigo de MN, Dec. 16-06-1910, DG 136 de 23 de Junho de 1910, ZEP, DG 208 de 05 Setembro 1958.