A primitiva ocupação da local remonta à regência do cardeal D. Henrique (1562-68), que, em 1565, ordena a construção de um lazareto, edifício destinado à quarentena de viajantes e tripulantes, chegados por mar, suspeitos de serem portadores de doenças. Em torno do espaço, surgiu e desenvolveu-se a Trafaria. Em 1678, por determinação do provedor-mor e dos oficiais da saúde da Câmara Municipal de Lisboa, é edificada, junto aos Armazéns do Lazareto do Porto de Belém (então na Trafaria), a capela de invocação de Nossa Senhora da Saúde, para assistência espiritual aos indivíduos em confinamento e à população. As obras poderão ter estado a cargo de Mateus do Couto, sobrinho de Mateus do Couto, o Velho. Em meados de 1683, é erguido o reduto para complemento da defesa de Lisboa, ainda que o local tenha suscitado dúvidas sobre a eficácia defensiva, pois apenas impediria um possível desembarque. As instalações e a dimensão ampla, assim como o relativo isolamento, favoreceram o aproveitamento da fortaleza para vários fins. As fontes referem que o Forte da Trafaria se encontraria artilhado em 1711. Entre 1797 e 1820 (quando cessam as quarentenas na Trafaria), é utilizado como lazareto e, por vezes em simultâneo, como defesa marítima. Ao efetivar-se a transferência da função sanitária para a Torre Velha, verifica-se a saída de pessoal civil de saúde. A fortificação beneficia de obras de reparação entre 1829 e 1831, servindo de fortaleza marítima e presídio militar até 1833, já quase ao fim da Guerra Civil. Usada depois como fábrica de guano de peixe, segue-se a função de viveiro para a florestação das dunas entre a Trafaria e a costa marítima. Em 1879, abrigava as galeotas reais. Durante algum tempo, funciona como habitação particular. As instalações são adaptadas a prisão militar entre 1908 e 1909, fundando-se a Casa da Reclusão da Trafaria, numa primeira fase da Marinha e, depois, do Exército. A República mantém-lhe a função, mas em 1917 encontra-se de novo ao abandono. Durante o Estado Novo, aqui permaneceram presos vários opositores civis e militares, incluindo os envolvidos na tentativa de golpe de 16 de março de 1974 (Levantamento das Caldas), e, após o 25 de Abril, figuras do regime deposto e militares do ativo que se opunham às mudanças. Em 1981, a Casa de Reclusão da Trafaria é desativada e fica, uma vez mais, desocupada. Em 2001, dada a sua importância histórica, cultural e patrimonial, o Município adquiri-a.