Esta foi uma das razões para que esta povoação tivesse a sua importância no caminho da história, desempenhando um papel fundamental da sua posição geográfica.
Não se sabe até onde remontam as origens deste povoado, seguindo alguns vestígios proto-históricos que poderão estar ligados a um povoado fortificado, como também o abrigo rupestre da Fraga da Letra, indicando que as zonas vizinhas foram habitadas, inclusivamente seguindo-se de uma romanização, o que não veio acontecer com o povoado de Penas Roias.
Sem grandes indícios da ocupação, é certo que em 1145 Penas Roias foi doada à Ordem dos Templários por Fernão Mendes de Bragança, já que existiria um reduto defensivo de alguma importância, caso contrário não havia esta doação aos Templários. Por esta razão é possível que a existência seja um pouco mais remota.
A ser assim, há a possibilidade de este castelo pertencer ao tempo dos Templários (vestígios de torreões circulares nos vértices do castelo), uma vez estes elementos não são comuns na nossa arquitetura militar medieval, como também não corresponde à realidade construtiva leonesa.
Esta inconfundível e diferente estrutura militar está classificada como Monumento Nacional desde o ano de 1945.