O castelo foi construído no século XII como uma fortificação de defesa e, em especial, de protecção. Situa-se no alto de um morro, acima do actual núcleo urbano.

O acesso ao castelo é feito por uma estrada que também passa pelas muralhas nas Portas do burgo. Estas são formadas por dois arcos ogivais. Em frente às portas há um largo onde se implanta uma fonte gótica. A fonte é composta por um pequeno tanque e duas arcadas ogivais. As armas do Conde D. Afonso, que ordenou a construção do fontenário no século XV, e da Dinastia de Avis situam-se por cima da bica.

De perímetro triangular com três torres, o castelo alberga no interior uma cisterna ogival (que pode ser visitada) com fonte de águas abundantes. A sua existência em épocas de guerra permitiu ao castelo nunca se render aos cercos, o que constituía factor importante na defesa do território. O Terreiro de Santiago tem ao centro a estátua de D. Nuno Álvares Pereira. Deste lugar observam-se belos panoramas.