Contudo estes acrescentos não foram suficientes face ao ataque dos Corsários em 1566, deixando-os fragilizados e não tendo capacidade de defesa inclusivamente da população.
Perante tal situação, a Coroa mandou edificar outra fortaleza, tendo sido feita entre os anos de 1570 e 1602. Para experimentar esta nova, a população sofreu outro ataque novamente de corsários.
Como não foi suficiente, no ano de 1642 Fernão Gomes de Quadro recebeu ordens para acrescentar a esta fortaleza duas plataformas para poderem receber peças de artilharia, tendo-se esta obra arrastado até ao ano de 1751.
A Fortaleza de Buarcos, que também é chamada de Fortaleza de São Pedro de Buarcos, está classificada como Imóvel de Interesse Público.