O palácio foi ideia de um nobre local que morreu pouco depois do início da construção em meados dos anos de 1840. Outra personalidade local, José Francisco da Silva, adquiriu o palácio e completou-o em 1909. Foi feito visconde de Estói graças ao dinheiro e esforços que despendeu na sua construção. O trabalho foi dirigido pelo arquitecto Domingos da Silva Meira, cujo interesse pela escultura é evidente. O interior do palácio, em pastel e estuque, está a ser restaurado e irá ser uma pousada.

O palácio tem também uns jardins com laranjeiras e palmeiras, que condizem com o seu alegre estilo rococó. O terraço inferior exibe um pavilhão e azulejos azuis e brancos, a Casa da Cascata, no interior da qual se encontra uma cópia das Três Graças, de Canova. O terraço superior , o Patamar da Casa do Presépio, tem um grande pavilhão com vitrais, fontes decoradas com ninfas e nichos em azulejos.

O palácio foi classificado como Imóvel de Interesse Público em 1977.

Em 2006 as «Preguiças», duas esculturas femininas de tamanho real, importadas de Itália, de incalculável valor, com 200 quilos cada uma, foram furtadas do palácio algarvio. As esculturas eram o «ex-libris» dos jardins do paço. O Palácio de Estói foi totalmente remodelado pelo Arq. Gonçalo Byrne e passou a ser uma das "Pousadas de Charme" do Algarve. Faz parte das Pousadas de Portugal. Entretanto estão a construir réplicas das duas estátuas "desaparecidas". <a href="http://pt.wikipedia.org/wiki/Pal%c3%a1cio_de_Est%c3%b3i" rel="nofollow">pt.wikipedia.org/wiki/Pal%C3%A1cio_de_Est%C3%B3i</a>