A primitiva ocupação da local onde hoje se situa o Forte da Trafaria remonta à regência do cardeal D. Henrique (1562–68), que, em 1565, ordena a construção de um lazareto, edifício destinado à quarentena de viajantes e tripulantes, chegados por mar, suspeitos de serem portadores de doenças. Em torno do espaço, surgiu e desenvolveu-se a Trafaria.

Em 1678, por determinação do provedor-mor e dos oficiais da saúde da Câmara Municipal de Lisboa, é edificada, junto aos Armazéns do Lazareto do Porto de Belém (então na Trafaria), a capela de invocação de Nossa Senhora da Saúde, para assistência espiritual aos indivíduos em confinamento e à população. As obras poderão ter estado a cargo de Mateus do Couto, sobrinho de Mateus do Couto, o Velho.

Em meados de 1683, é ali erguido um reduto para complemento da defesa de Lisboa, ainda que o local tenha suscitado dúvidas sobre a eficácia defensiva, pois apenas impediria um possível desembarque. As instalações e a dimensão ampla, assim como o relativo isolamento, favoreceram o aproveitamento da fortaleza para vários fins. As fontes referem que o Forte da Trafaria se encontraria artilhado em 1711. Entre 1797 e 1820, data em que cessam as quarentenas na Trafaria, é utilizado como lazareto e, por vezes em simultâneo, como defesa marítima. Com a transferência da função sanitária para a Torre Velha, no Porto Brandão, verifica-se também a saída de pessoal civil de saúde.

A fortificação beneficia de obras de reparação entre 1829 e 1831, servindo de fortaleza marítima e presídio militar até 1833, já quase no fim da Guerra Civil. Foi depois usada como fábrica de guano de peixe e como viveiro para a florestação das dunas entre a Trafaria e a costa marítima. Em 1879, abrigava as galeotas reais. Durante algum tempo, funciona como habitação particular. As instalações são adaptadas a prisão militar entre 1908 e 1909, fundando-se a Casa da Reclusão da Trafaria, primeiro sob alçada da Marinha e depois do Exército. A República mantém-lhe a função, mas em 1917 encontra-se de novo ao abandono.

Reativada a função prisional durante o Estado Novo, aqui foram encarcerados vários opositores civis e militares, incluindo os envolvidos na tentativa de golpe de 16 de março de 1974 (Levantamento das Caldas), e, após o 25 de Abril, figuras do regime deposto e militares do ativo que se opunham às mudanças então verificadas. Em 1981, a Casa de Reclusão da Trafaria é desativada e o edifício fica, uma vez mais, desocupado. Dada a sua importância histórica, cultural e patrimonial, o Município adquiri-o em 2001.