O largo inicialmente abrigou uma capela dedicada a Nossa Senhora do Ó, no século XVI. Mais tarde, os frades Carmelitas construíram ali o seu convento. Ali se instalaram também, desde o século XVII, a Câmara e a Cadeia Pública e a Fazenda Real, além dos Armazéns Reais e da Casa da Moeda. No século XVIII, o logradouro ganhou importância sobretudo administrativa, porque o Rio havia se tornado capital da Côlonia. Na segunda metade do mesmo século foram realizadas obras importantes, como a transformação dos Armazéns Reais em sede do governo do Vice-Reinado, a construção da Igreja da Ordem Terceira do Carmo e a instalação do monumental chafariz de Mestre Valentim. No Império, o largo foi chamado de D. Pedro II, e na passagem da República, o nome foi modificado para praça XV de Novembro, data da proclamação republicana. Em 1902 foi construído o Cais Pharoux, que substituiu o antigo do século XVIII.

O Chafariz do Largo da Carioca, que hoje não existe mais, foi o primeiro da história do Rio de Janeiro. Construído em estilo barroco, em 1723 tinha a função de abastecer a cidade, que sofria com o crônico problema da falta de água. Em 1834 o chafariz foi demolido para dar lugar a um outro, agora em estilo neo-clássico. O chafariz, porém, não conseguiu alcançar 100 anos de vida, pois em 1925 o prefeito Alaor Prata destruiu-o por completo.

Largo do Machado e a Igreja Nossa Senhora da Glória. Antes de se tornar Largo do Machado, chamou-se campo das Pitangueiras e das Laranjeiras. Machado deve-se à existência de um enorme machado de pau no primeiro açougue aí instalado. Em 1834 foi renomeado Largo da Glória, por conta da igreja aí construída, e em 1880 chamou-se Praça Duque de Caxias, logo após a morte do general, mas logo voltou a ser Largo do Machado. A pedra fundamental da igreja foi lançada em 1842 pelas mãos de D. Pedro II, ainda menino, e era um projeto dos franceses Koeler e Rivière. As obras foram interrompidas em 1864, por falta de recursos, e reiniciadas em 1868. Finalmente, em 1872, a igreja foi terminada.