<br>Em 1791, o edifício original do palácio é reedificado por João Francisco Higino Dias Pereira, sobre as ruínas de um casarão anteriormente ali existente e destruído pelo terramoto de 1755. Este proprietário inicial foi, curiosamente, um dos fundadores de uma das primeiras seguradoras nacionais, a Companhia de Seguros Comércio de Lisboa, que aqui funcionou entre 1794 e 1798.

<br> Entre 1802 e 1804, o palacete é alugado pelo representante diplomático de França, o General Jean Lannes (futuro Marechal de França, Duque de Montebelo e Príncipe de Siévres), que aqui habita com a esposa Madame Louise Lannes por uma renda anual de 1.600$ Réis. A 10 de maio de 1894, comemorando o facto de Napoleão ter escapado a um atentado em Paris, oferece um grande concerto com os melhores artistas do São Carlos.

<br>O novo embaixador de França, o General Jean Andoche Junot, e a esposa, futura Duquesa de Abrantes, são os novos inquilinos do palácio. Em Recordações de uma Estada em Portugal, livro de memórias escrito por Madame Junot, descreve: “Recebia todos os dias, dava dois bailes por mês e concertos frequentemente. O corpo diplomático reunia-se todas as noites em minha casa (...)”.

<br>João Pereira de Sousa Caldas, grande capitalista e empresário do São Carlos, habita o Palácio do Loreto durante algum tempo. Os mais famosos artistas de ópera dessa época participavam nos frequentes saraus organizados no Palácio. Foi, em 1792, sócio de uma das primeiras seguradoras nacionais, a Caldas, Machado, Gildemeester Dlz e Companhia e, em 1818, torna-se um dos sócios fundadores da Companhia Lisboa, seguradora que viria a ser absorvida pela Fidelidade em 1839.

<br>Na sequência da 1ª das 3 invasões francesas, é aqui instalado parte do Quartel General do Exército Napoleónico, tendo Junot, agora comandante do exército invasor, ocupado o vizinho Palácio do Barão de Quintela, pai do Conde do Farrobo, na Rua do Alecrim.

<br>Após a retirada dos invasores franceses, o edifício veio a ser ocupado por parte do Comissariado do Exército Britânico, enquanto o Marechal Wellington, em 1811, e o Marechal Beresford, entre 1812 e 1813, ficaram instalados no Palácio do Calhariz.

<br>Em 1820, o palácio é adquirido pelo comerciante e industrial José Ferreira Pinto Basto, que aqui vem habitar com a sua numerosa família e procede a obras de remodelação que se prolongam até 1833. Adaptou o andar nobre a espaço residencial, com uma grande escadaria interior e com a decoração de tectos,que os especialistas atribuem maioritariamente ao pintor Ciryllo Volkmar Machado, também envolvido na decoração de vários outros palácios em Lisboa e Mafra.

<br>Segundo o jornalista e historiador aveirense Marques Gomes (1853-1901), amigo e colaborador da família de José Ferreira Pinto Basto, este terá instalado em 1822, nos jardins do palácio, um pequeno laboratório “a fim de descobrir barros com os requisitos necessários para fabricar porcelana”. Em 1824, viria a ser concedida autorização régia para a abertura da Fábrica da Vista Alegre.

<br>No ano de 1930, o edifício é parcialmente ocupado pelo prestigiado Colégio de Madame Champeaux, que antes funcionava na Rua de S. Paulo, junto ao Arco do Marquês. Tratava-se de um “Colégio de Educação de Meninas”, onde se ensinava Francês, Inglês, Italiano e Espanhol, Dança, Música, Desenho, Geografia e História, para além de “várias obras próprias de senhoras”, como coser e bordar.

<br>Em 1833, já concluídas as obras de remodelação, José Ferreira Pinto Basto recebe por duas vezes no palácio o Rei D. Pedro IV, a primeira das quais a 29 de Julho, 5 dias após a entrada em Lisboa do exército liberal, para cujo triunfo havia sido determinante o apoio financeiro de Pinto Basto.

<br>O Duque de Palmela, que então presidia ao Conselho de Ministros, habita temporariamente o edifício com a família enquanto decorriam obras de remodelação do seu Palácio do Largo do Rato. A sua filha D. Maria Luísa Domingues, 3ª Duquesa de Palmela, artista e fundadora das Cozinhas Económicas, viria a nascer no palácio em 1841.

Hotel Peninsular, ou Hotel da Península, sede da Assembleia da Península, cujos esplendorosos bailes foram famosos na época, sendo frequentados pela alta sociedade lisbonense (vide Revista Universal Lisbonense nº 7 de 20 janeiro 1848). Ficou famoso o Baile Sarau de 29 de Março de 1845, “em benefício dos emigrados políticos e mais pessoas necessitadas”. Um dos frequentadores ilustres deste hotel foi o grande escritor português Almeida Garrett.

Entre 1846 e 1853, o edifício é sede da Companhia União Comercial e Bonança, empresa resultante da fusão da União Comercial com a Companhia de Seguros Bonança, por iniciativa do Conde do Farrobo. Um dos Diretores da empresa era Duarte Ferreira Pinto Basto, 2º filho mais velho de José Ferreira Pinto Basto.

Hotel Itália. Pertencente a Barradim, terá sido o mais luxuoso dos 3 hotéis que aqui funcionaram e foi frequentado, entre outros, pelos escritores Almeida Garrett e Alexandre Herculano. O nome Hotel Itália derivará da proximidade com a Igreja do Loreto, também conhecida por Igreja dos Italianos.

O Chafariz do Loreto é demolido. A estátua de Neptuno vem a ser instalada em 1949 na Praça do Chile e posteriormente no Largo da Estefânia, onde ainda hoje se mantém.

Sede da Real Associação Naval, fundada em 1855 sob o patrocínio do Rei D. Pedro V e que em 1911 passaria a designar-se Associação Naval de Lisboa.

O Banco Nacional Ultramarino esteve aqui sedeado desde a data da sua fundação, em Agosto de 1864, até 1867, ano em que mudou para sede própria na então Rua Nova d’El Rey, hoje Rua do Comércio.

Entre 1867 e 1879, o edifício foi sede do Ministério do Reino, após um incêndio ter danificado as suas instalações no Terreiro do Paço, tendo sido alvo de obras de recuperação durante esses 12 anos.

Filial em Lisboa do Banco Comercial do Porto. Fundado no Porto, em 1835, foi um dos primeiros bancos portugueses e chegou a ter faculdade de emissão de notas, de 1836 a 1891. De 1873 a 1889 – Grand Hotel du Matta, do famoso cozinheiro João da Matta, que foi proprietário de vários e afamados restaurantes e hotéis em Lisboa. Grandes figuras da vida literária do Sec. XIX, como Ramalho Ortigão, Bulhão Pato e Guerra Junqueiro frequentaram este hotel, que terá servido inspiração a Eça de Queiroz para conceber o hotel frequentado pelo personagem Ega do conhecido romance “Os Maias”.

Redação do jornal diário “O Repórter”, em que colaboraram os escritores Oliveira Martins e Fialho de Almeida. Tinha instalações no 2º andar do edifício.

Sede da Companhia Nacional dos Caminhos de Ferro da Beira Alta e da Empresa de Caminho de Ferro até Santarém.

Sede da Liga Naval Portuguesa, que depois viria a instalar-se no Palácio Palmela, no Calhariz.

Associação Central da Agricultura Portuguesa, designada Real Associação Central da Agricultura Portuguesa até 1910, data da implantação da República. Também funcionou aqui a Sociedade de Ciências Agronómicas de Portugal (Museu Agrícola). Nesta altura o jardim funcionou como estufa de plantas exóticas e ornamentais.

Instala-se no edifício a recém fundada Companhia de Seguros “A Mundial”, pioneira no seguro de Acidentes de Trabalho em Portugal. Tinha sede no andar nobre.

Por edital da Câmara Municipal de Lisboa de 19 de Maio de 1925, o até então designado “Largo das 2 Igrejas” passa a designar-se Largo do Chiado, sendo instalada no largo uma estátua do poeta António Ribeiro Chiado, da autoria do escultor Costa Mota (tio).

É colocado um letreiro luminoso de "A Mundial" na fachada do edifício.

Entre 1944 e 1950, o edifício foi submetido à instalação de um elevador e a várias obras de adaptação dos interiores, com projeto do conceituado Arquiteto Porfírio Pardal Monteiro, de modo a tornar o espaço mais funcional e permitir a ocupação do edifício pelos serviços da seguradora A Mundial, em 1948. O andar nobre foi alvo de uma cuidada intervenção de restauro das pinturas do tecto pelo pintor Albino Moreira da Cunha.

No ano de 1978 foi promovido novo restauro dos tectos do edifício, a cargo de uma equipa chefiada pelo Mestre Edmundo Silva.

Após a nacionalização das seguradoras, e na sequência da fusão de A Mundial com a companhia de seguros Confiança, surge a Mundial Confiança, que também integrou A Pátria.

No seguimento da fusão da Fidelidade com a Mundial Confiança, surge a Fidelidade Mundial, marca que veio a ser lançada em 2004.

Em 2013, o jardim do edifício foi palco do lançamento da marca única Fidelidade, após a fusão, em 2012, entre a Fidelidade Mundial e a Império Bonança, de que resultou a  Fidelidade – Companhia de Seguros, S.A. No Pavilhão do jardim foi instalada uma exposição interativa, com documentos, objetos e imagens que contavam a história de mais de 200 anos.

O espaço, até então conhecido como Fidelidade chiado8 Arte Contemporânea, anuncia um rebranding com uma nova designação: Fidelidade Arte. Este processo decorre no âmbito da estratégia de responsabilidade social da Fidelidade com o intuito de reforçar o seu contributo para a educação e literacia cultural num local emblemático no centro da cidade de Lisboa. 
O Palácio, alugado pela Fidelidde, mantém a sua identidade histórica e artística, compatibilizando o funcionamento dos serviços inerentes à atividade empresarial com uma galeria de arte dedicada à obra de artistas contemporâneos. Esta galeria, designada Galeria Fidelidade Arte, foi inaugurada em 2002, sendo uma contribuição da Fidelidade para a reabilitação do Chiado. Decorridos mais de 20 anos com exposições contínuas, a Galeria Fidelidade Arte faz parte do roteiro cultural de Lisboa.