O Convento de São Paulo, eremitério entre 1568 e 1668, foi provavelmente construído em 1570/71. Consolidou-se como instituição religiosa num tempo marcado pelas reformas da Igreja Católica e da própria Ordem de São Domingos, que primava pelo ascetismo e contemplação, tendo desempenhado um papel preponderante na ação espiritual e apostólica do território circundante, com forte incidência na instrução de crentes, formação e direção de consciência cristã, mas também de assistência social e religiosa a órfãos, presos, enfermos, viúvas e pobres.

A frontaria do edifício, de desenvolvimento simples, denota uma singularidade austera, evidenciada por um registo de linhas retas, sobrepujado por um frontão em pedra. A fachada, modesta, é rasgada por portal lateral com frontão de cantaria. No tímpano, exibe uma cartela com a insígnia da Ordem de Santiago.

A igreja de uma só nave, coberta por teto de madeira, terá sido restaurada entre os anos de 1760 e 1770, após ter sido fortemente danificada pelo Terramoto de 1755. Quanto ao convento, acabou vendido em hasta pública em 1775, após ter sido abandonado pela congregação, num contexto em que a ordem vendeu vários conventos em todo o país. Permaneceu em mão de privados até ao século XX, acabando por sofrer, ao longo de Oitocentos, uma forte degradação. Regista-se um episódio grave de vandalismo, na noite de 9 para 10 de outubro de 1911, quando um grupo de algumas dezenas de pessoas entrou na igreja, destruindo parte do espólio.

O convento voltará para a esfera da Igreja em 1935, após o Patriarcado ter comprado o edifício para aí instalar o Seminário Menor. Entre 1936 e 1938, são realizadas obras de ampliação e adaptação, dirigidas por Pardal Monteiro. A posse do edifício passa para a Diocese de Setúbal em 1999.