Atualmente a funcionar como Hospital de São José, o antigo Convento e Colégio de Santo Antão foi edificado para receber o Colégio Jesuíta em 1579, com o apoio financeiro do Cardeal D. Henrique, tendo sido inaugurado catorze anos depois. A igreja foi construída na primeira metade do século XVII, sob um arquiteto espanhol seguidor de Felipe Terzi, sendo mais tarde acrescentada a sacristia barroca.
Na segunda metade do século XVIII, já sem os jesuítas, o colégio foi transformado no Hospital de São José que se mantêm em funcionamento até agora. Esta instituição veio substituir o antigo Hospital Real de Todos-os-Santos que entretanto havia ruído com o terramoto.
Tem uma simples planta retangular, desenvolvendo-se em torno de dois claustros com a igreja a destacar-se na parte central. Orientada longitudinalmente, de nave única, abrem-se três capelas intercomunicantes, transepto inscrito e capela-mor profunda. Relativamente ao templo religioso vale a pena perder um pouco de tempo para uma visita, uma vez que não é permitido fotografar o interior.
Este conjunto monumental está classificado como Imóvel de Interesse Público.