Como tantos outros, este também foi erguido com a função do repovoamento e consequentemente da proteção da região, reforçando a linha defensiva do Guadiana.
Estas ações que, na sua maioria, aconteceram no século XIII, tiveram na pessoa do Mestre Tomé, tesoureiro da Sé de Braga, e durante o reinado de Afonso III, o seu primeiro donatário, contribuindo também para a edificação da antiga Igreja Matriz da localidade.
No início do século XIV o Rei D. Dinis tomou para a coroa a posse da vila da Vidigueira.
Manteve-se nas mãos desta até aos finais deste mesmo século, quando D. João I a doou ao Condestável D. Nuno Álvares Pereira, através do casamento de sua filha D. Beatriz Pereira Alvim com D.Afonso Conde de Barcelos e 1º Duque de Bragança.
Assim o castelo e o termo da Vidigueira passariam para a posse da Casa de Bragança, a mais importante e opulenta do Reino de Portugal.
Nos finais do século XV o castelo retorna outra vez à coroa em consequência do confisco dos bens da Casa de Bragança. Manteve-se assim até ao ano de 1500 quando D. Manuel I revogou a decisão e, passado doze anos, outorgou o foral a Vidigueira.
Este mesmo monarca, em virtude de feitos gloriosos ultramarinos, concede a Vasco da Gama o título de Conde da Vidigueira.
Entretanto este muda-se de Évora para o Paço da Vidigueira, anexo à fortificação, edifício de que nada resta além de uma janela que se pensa ter sido geminada, uma vez que seguia o estilo manuelino e se nota sinais de ter existido um mainel.
Quanto ao único elemento que resta, a torre que seria de menagem, também conhecida por Atalaia das Vidigueiras, é de uma construção robusta e maciça em aparelho regular.
Já está alterada com as sucessivas intervenções, tendo sido elementos do paramento da muralha utilizados para uma escadaria de acesso.
Ao centro, a fachada nascente apresenta uma pedra de armas referente aos Condes de Vidigueira que é formada por cinco escudetes em forma de cruz.
Este conjunto, da torre e janela, está classificado como Imóvel de Interesse Público.
