Foi inicialmente a casa do arquiteto Manuel Caetano de Sousa, tendo sido projetada pelo próprio. Passou depois para a posse do riquíssimo conde da Póvoa, que procedeu a obras de ampliação, transformando o relativamente modesto edifício numa enorme residência palaciana.

Em meados do século XIX, veio a pertencer aos duques de Palmela, que realizaram novas alterações, destacando-se as feitas em 1902 que deram o atual aspeto ao palácio. São dessa data as duas esculturas que ladeiam a porta principal. Da autoria de Calmels, observa-se, à esquerda, uma cariátide representando a «Força Moral» e, à direita, um atlante simbolizando o «Trabalho».