O palácio foi ideia de um nobre local que morreu pouco depois do início da construção em meados dos anos de 1840. Outra personalidade local, José Francisco da Silva, adquiriu o palácio e completou-o em 1909. Foi feito visconde de Estói graças ao dinheiro e esforços que despendeu na sua construção. O trabalho foi dirigido pelo arquitecto Domingos da Silva Meira, cujo interesse pela escultura é evidente. O interior do palácio, em pastel e estuque, está a ser restaurado e irá ser uma pousada.

O palácio tem também uns jardins com laranjeiras e palmeiras, que condizem com o seu alegre estilo rococó. O terraço inferior exibe um pavilhão e azulejos azuis e brancos, a Casa da Cascata, no interior da qual se encontra uma cópia das Três Graças, de Canova. O terraço superior , o Patamar da Casa do Presépio, tem um grande pavilhão com vitrais, fontes decoradas com ninfas e nichos em azulejos.

O palácio foi classificado como Imóvel de Interesse Público em 1977.