CRONOLOGIA
A sua construção teve início provavelmente na primeira metade do século XII, altura em que foi construído o recinto amuralhado, ao que tudo indica aproveitando uma alcáçova que existiria no local e uma primitiva igreja. A cerca da vila foi erguida apenas no último quartel do mesmo século. A torre de menagem, foi construída durante o reinado de D. Dinis, em 1325. Os paços e a segunda Igreja de Nossa Senhora da Pena são obra do mesmo monarca. Há autores que atribuem a construção deste templo ao rei D. João I.
Junto à Igreja de São Pedro terão sido construídos os Paços de D. Dinis e da Raínha Santa. No início do século XVI D. Manuel mandou construir uma sacristia, entre a capela-mor da igreja e a torre sineira.

OBRAS DE RECUPERAÇÃO
Em 1915, a Liga dos Amigos do Castelo iniciou as obras de restauro. De 1916 a 1921, esta liga providenciou obras de consolidação das ruínas e melhoramentos no acesso. Com a derrocada de algumas das ruínas em 1921, teve início finalmente as obras de restauro nas partes mais danificadas do castelo. É de notar, a reconstituição dos pavimentos da Torre de Menagem, a sua cobertura e o acrescento de um torreão, o que implicou num aumento de mais de 2,5 m na altura da torre. O acesso à torre através do alpendre foi refeito. Aproveitou-se ainda para refazer a casa do guarda com materiais recuperados do próprio castelo. Nota-se ainda os merlões que foram colocados na cabeceira da Capela de Nossa Senhora da Pena, à parte de um parapeito entre duas seteiras.
O ano de 1928 foi marcado pela consolidação da muralha, das torres e da Igreja de Nossa Senhora da Pena. 
Em 1936, ocorreu a derrocada de uma parte da muralha do lado norte do castelo, que foi logo a seguir meticulosamente reparada.
Em 1937, na altura da finalização das obras da muralha, foi reconstruído o trecho junto à torre de menagem e procederam à colocação de merlões.
Em 1939, foi a vez dos Paços do Castelo conhecerem obras de recuperação. O interior do imóvel, contudo, só passou por obras de recuperação em 1954, com tratamento das infiltrações na sala central e em duas das salas laterais. 
Em 1955 foi efectuada a limpeza das fachadas da Capela de Nossa Senhora da Pena.
Em 1956 alguns dos tectos do terceiro piso foram refeitos, e os varandins recobertos. É feita a ligação do segundo ao terceiro piso através da construção de um lanço de escadas. O piso foi revestido com tijoleira.
Em 1959 os Paços receberam obras de recuperação. Os pavimentos foram recuperados, as portas pintadas e alguns dos paramentos (pedras ou paredes trabalhadas) foram melhorados.
1963 foi marcado pela recuperação dos merlões da muralha. Os tectos de duas salas da alcaçova foram forrados com vista a esconder duas vigas de betão que desfiguravam a estética da estrutura. Além disso, é de notar que foram rectirados os merlões que outrora tinham sido colocados na igreja (em 1921 por Korrodi) e colocado um arco polilobado. 
Em 1968, o claustro da Igreja de Nossa Senho da Pena foi consolidado. Aproveitou-se para restaurar os paços com melhoramentos no pavimento e nas cantarias. Os paramentos foram limpos e os vitrais e as madeiras foram melhorados. 
Em 1969, nas obras dos paços foi consolidado o claustro da Igreja de Nossa Senhora da Pena. Além disso, procederam à reconstrução de merlões nas torres e muralhas. O acesso ao castelo, também passou por profundos melhoramentos. 
Em 1970 procederam à impermeabilização dos terraços situados por cima dos paços para resolver o problemas das infiltrações que estavam a danificar o imóvel.
Em 1973 foram construídas novos sanitários nos Paços do Castelo.

O CASTELO
Situado num monte panorâmico, a vista alcança inúmeras terras ao seu redor. Sua planta é poligonal irregular. As muralhas que envolvem o castelo são rematadas por merlões quadrangulares. Para maior protecção dos lados Norte e Este, em que as muralhas eram mais fáceis de transpor, foi construída uma barbacã (um muro mais baixo do que as muralhas, construído à sua frente) e uma cerca avançada.
As muralhas da antiga vila medieval prolongam-se do lado Este, com uma entrada através de uma torre com grandes frestas.
Na muralha do lado oposto, temos a Porta da Traição. Numa das plataformas mais elevadas, encontra-se a Torre de Menagem, que é um pequeno recinto muralhado. Esta torre apresenta três pisos, paredes largas, merlões quadrangulares e terraço.

Para reforçar as defesas, foi construído no utro extremo uma torre de vigilância. Os Paços reais foram construídos sobre a muralha alcantilhada. Estes apresentam planta rectangular, dois conjuntos laterais de quatro pisos com torres ameadas como reforço e um corpo central com três pisos. O último piso reserva um embelezamento com arcos ogivais abertos acima de uma linha de frestas também ogivais.

CERCA
A cortina de muralhas que em tempos mais remotos era a protecção da povoação ( junto do castelo) apresenta forma irregular e tem praticamente em toda a sua extensão a barbacã que reforçava a segurança. Esta linha defensiva apresentava também alguns torreões que aumentavam a protecção. Existia duas portas, a Porta do Sol (no local onde se fez a Torre da Sé) e a Porta dos Castelinhos abraçada por duas torres. Ainda hoje, a porta que leva ao interior do castelo é também ladeada por duas torres.

CAPELA DE NOSSA SENHORA DA PENA
Situada no interior das muralhas que circundam o castelo, a Capela de Nossa Senhora da Pena foi edificada em substituição de uma primitiva igreja que havia no local. A sua arquitectura exibe uma nave rectangular, uma abóbada de sete panos e uma capela-mor com abside poligonal. As suas cinco frestas geminadas deixam entrar a luz. O seu portal é ogival, com cinco arquivoltas assentas em colunas de feitio liso. Os remates da capela-mor são merlões. Exibe contra-fortes de vários andares. As suas paredes laterais apresentam dois túmulos escavados. Outrora existia ainda uma torre em anexo, onde posteriormente foi colocado o sino. 

SÉ CATEDRAL
A Sé Catedral data de 1559. A sua construção em estilo maneirista tem como particularidade de ter a torre sineira separada do edifício.