Trước kia, đây là nơi tổ chức các kỳ thi và tuyển dụng quan chức thời phong kiến. Năm 1919, Sở Lưu trữ và Thư viện Đông Dương mở cửa. Lần đầu tiên tại VN xuất hiện một thư viện công cộng tổ chức theo mô hình phương Tây, phá vỡ truyền thống tàng thư kín của triều đình phong kiến. Qua nhiều đổi thay, nơi đây chính thức trở thành Thư viện quốc gia năm 1958.