O Convento de São Paulo, eremitério entre 1568 e 1668, foi integrado na freguesia de Santa Maria do Castelo, tendo provavelmente sido construído em 1570/71. Em momento de consolidação marcado pelas reformas da Igreja Católica e da própria Ordem de São Domingos, primando esta pelo ascetismo e contemplação, desempenhou um papel preponderante na ação espiritual e apostólica do território circundante, com forte incidência na instrução de crentes, formação e direção de consciência cristã, mas também de assistência social e religiosa a órfãos, presos, enfermos, viúvas e pobres. A frontaria do edifício, de desenvolvimento simples, denota singularidade austera, evidenciada por registo de linhas retas, sobrepujado por um frontão em pedra. A fachada, modesta, é rasgada por portal lateral com frontão de cantaria. No tímpano, exibe uma cartela com a insígnia da Ordem de Santiago. A igreja de uma só nave, coberta por teto de madeira, terá sido restaurada entre os anos de 1760 e 1770, após ter sido fortemente danificada pelo Terramoto de 1755. Quanto ao convento, é vendido em hasta pública em 1775, após abandono da congregação e num contexto de venda de vários conventos da ordem em todo o país, tendo permanecido em mão de privados até ao século XX. Durante o século anterior, o edificado sofre uma forte degradação. Regista-se um episódio de vandalismo, na noite de 9 para 10 de outubro de 1911, em que um grupo de algumas dezenas de pessoas entrou na igreja, destruindo parte do espólio. Em 1935, o Patriarcado compra o edifício para aí instalar o Seminário Menor. Entre 1936 e 1938, são realizadas obras de ampliação e adaptação, dirigidas por Pardal Monteiro. Em 1999, a posse do edifício passa para a Diocese de Setúbal.