A primeira referência a esta ermida data de 1478, sabendo-se que tinha um retábulo com representação do Espírito Santo descendo sobre Nossa Senhora e os Apóstolos, hoje desaparecido. No século XVII estava aqui sediada a confraria de Nossa Senhora da Graça. Tendo sido um dos poucos edifícios religiosos de Almada que resistiu ao terramoto de 1755, tornou-se sede da paróquia de Santa Maria do Castelo, cuja igreja desaparecera. Passou então a ser intensamente utilizada como local de sepultamento, datando de 1833 o último registo funerário.

Os trabalhos arqueológicos realizados entre 2010 e 2011 permitiram detetar 88 enterramentos no interior da ermida, 12 dos quais de não-adultos. Entre eles destaque-se o de duas crianças nos braços das suas presumíveis mães, resultantes de mortes obstétricas, além de outras sepulturas de recém-nascidos. Foram encontrados restos de vestimentas (mortalha, calçado, botões, fivelas) e outros objetos religiosos associados aos defuntos, como rosários e crucifixos.

No final do século XIX a ermida perdeu a função religiosa, servindo de sede da Academia Almadense entre 1919 e 1942 e do Grupo Desportivo e Cultural de Almada após 1974. O imóvel foi reabilitado em 2013-2014.