A Academia que vemos à esquerda foi criada em 1810 a partir de parte da obra inacabada da Sé da cidade, que começou a ser levantada em 1750. O próprio prédio militar só ficou pronto entre1820 e 1830. Destinado a abrigar instituições educacionais do país, nos anos subseqüentes o espaço foi usado pela Escola Militar (1842), Escola Politécnica (1874) e durante todo o século XX e XXI pelo IFCS-UFRJ (Instituto de Filosofia e Ciências Sociais da Universidade Federal do Rio de Janeiro).