Sendo atualmente propriedade da Paróquia de Vila de Frades, este ermida pode ter origem no século XVII.
Segundo uma lenda, um Conde de Vidigueira perdeu um açor que lhe era muito estimado. Então fez uma promessa de construir um templo, caso o encontrasse. Quando o açor apareceu, foi logo aí, no cimo do outeiro, que o Conde quis erguer a ermida, em cumprimento da promessa. Daí também o nome de Santo António dos Açores.
Outra lenda conta que este mesmo Conde encontrou naquele outeiro ninhos de açores, e daí ter atribuído esse nome.
Os destaques principais vão para os frescos no interior da ermida e para a paisagem que se vislumbra do local, atingindo-se a sede deste concelho e os concelhos vizinhos.
Existiram em tempos romarias a esta capela mas que entretanto deixaram de ser efetuadas, deixando a ermida ao abandono e à degradação.
A ermida, de pequena dimensão, tem uma fachada cujo tímpano é encimado pela sineira ladeada por pináculos sobre as pilastras nos cunhais. Esta é antecedida por uma galilé, com aberturas em arco perfeito à frente e aos lados, da mesma forma com pilastras nos cunhais encimadas por pináculos. Os mesmos pináculos decoram o lado posterior da capela.
O adro da capela é rodeado por um muro e ainda estão presentes as antigas dependências do ermitão e dos peregrinos, mas todas num estado muito degradado.
As excelentes pinturas murais no seu interior aparentemente são do mesmo século XVII e mostram episódios da vida de Santo António. Existiu um retábulo em talha dourada do início do século XVIII, mas que já não chegou até hoje.
Em 1982 foram feitas obras de reparação e recuperação da ermida e de recuperação dos frescos pela Junta de Freguesia de Vila de Frades.