O Palácio pertence à zona de património protegido da Igreja de Santo André e foi construído sobre as fundações do castelo gótico românico de Mafra e do Paço Medieval da Cerca.O Palácio dos Marqueses de Ponte de Lima é um edifício austero do século XVII, edificado pelo arquiteto régio Diogo Marques Lucas, que preserva, nas suas linhas simples, o caráter da arquitetura da época.

O período de maior fulgor desta casa, onde avultava a biblioteca dos Marqueses, os salões de tetos apainelados e a capela, ornamentada por um retábulo realizado pelo escultor Machado de Castro foi a primeira metade do séc. XVIII.

Era neste palácio que se acomodava regularmente o D. João V, quando viajava para Mafra para inspecionar o progresso do trabalho real no Palácio Nacional de Mafra.