A sua construo teve incio provavelmente na primeira

• A sua construção teve início provavelmente na primeira metade do século XII, altura em que foi construído o recinto amuralhado, ao que tudo indica aproveitando uma alcáçova que existiria no local e uma primitiva igreja. • A cerca da vila foi erguida apenas no último quartel do mesmo século. • A torre de menagem, foi construída durante o reinado de D. Dinis, em 1325. Esta torre apresenta três pisos, paredes largas, merlões quadrangulares e terraço. • Os paços e a segunda Igreja de Nossa Senhora da Pena são obra do mesmo monarca. Há autores que atribuem a construção deste templo ao rei D. João I. • Junto à Igreja de São Pedro terão sido construídos os Paços de D. Dinis e da Rainha Santa. No início do século XVI D. Manuel mandou construir uma sacristia, entre a capela-mor da igreja e a torre sineira.

• Existem lendas, no imaginário local, envolvendo o castelo: • Segundo uma, estando o castelo em posse dos Mouros, preparava-se o rei D. Afonso Henriques para retomá-lo. Ao observar os corvos que esvoaçavam sobre o castelo, pareceu-lhe que repetiam "agora não, amanhã de manhã". Por essa razão, aguardou até ao amanhecer para desferir o ataque, logrando retomar o castelo. • Uma outra lenda refere que sob o castelo existe um vulcão adormecido, responsável pelo aquecimento da água da fonte quente. • A última assegura que existe uma passagem secreta subterrânea que permite a comunicação do castelo com uma igreja, do lado oposto da cidade