Contudo é no decorrer dos séculos XVI e XVIII que o edifício começa a ganhar forma mas, contrariamente ao previsto, este vem a sofrer várias vicissitudes, como várias ocupações, devendo-se a principal às invasões francesas.
São dignos de registo os restos renascentistas da capela, como as armas dos Cerqueiras, a abóbada de berço com caixotões, de cuja decoração restou as rosetas esculpidas, e da qual no caixotão central a roseta foi substituída pelo brasão. Atualmente em todo o espaço pertencente ao convento está o Arquivo e Biblioteca Municipal.
A capela, o único elemento resistente ao tempo, está classificada como Imóvel de Interesse Público.