A coleção de obras raras conta com um acervo composto de livros, periódicos, manuscritos, álbuns de fotografias originais, gravuras, desenhos, cartões-postais e moedas. Entre suas muitas preciosidades, destacam-se nove exemplares de incunábulos, publicados antes de 1500, várias obras únicas sobre o Brasil, das quais se conhecem poucos exemplares no mundo, também edições originais dos principais viajantes estrangeiros, como Thévet, Léry, Barléus, Debret, Rugendas, Spix e Martius.

A coleção de manuscritos possui desde códices em pergaminhos do século XV, até obras literárias do século XX, com destaque para um Vocabulário da língua brasílica, escrito por um padre jesuíta em 1628, e o Códice Costa Matoso, importante coleção de 1749. Um dos pontos altos do acervo são os livros ilustrados, como Jazz, de Henri Matisse; Cirque, de Fernand Legér e La Prose du Transsibérian, de Sonia Delaunay e Blaise Cendrars, que estão entre os mais belos e estimados livros de artistas existentes no mundo.

Há ainda uma vasta coleção de desenhos e aquarelas, com destaque para 33 desenhos originais de Rugendas. A BMA possui importantes álbuns fotográficos originais, como as obras de Marc Ferrez, Militão Azevedo e Washington Luís.