En julio de 1928, pasó a llamarse Primera Biblioteca de Nanjing.
En abril de 1930, pasó a llamarse Biblioteca Popular Municipal Especial de Nanjing y se trasladó al Palacio Pan.
En junio de 1932 se fusionó con el Museo de Ciencias del Pueblo. En septiembre de 1933, pasó a llamarse Biblioteca de Nanjing.
Después de que el ejército japonés ocupó Nanjing el 13 de diciembre de 1937, prendieron fuego al Palacio Pan y a la Biblioteca Municipal. La mayoría de los libros fueron quemados, incluidos todos los registros de la nobleza desde la dinastía Yuan hasta finales. Dinastía Qing. El mapa de la Biblioteca Jinling también conserva la colección de libros de la Biblioteca Municipal de Nanjing.
En 1958, el gobierno municipal de Nanjing decidió construir una nueva biblioteca municipal. En junio de 1980, se completó y abrió para la venta el edificio ubicado en el número 262 de Changjiang Road, con una superficie de 7.300 metros cuadrados. Originalmente llamada Biblioteca Popular de Nanjing, se cambió a Biblioteca Jinling en junio de 1984.
En 2005, el nuevo edificio ubicado en el número 158 de Leshan Road, distrito de Jianye, comenzó a construirse y se puso en uso en 2009. El acto de inauguración se realizó el 8 de junio de 2010, con una superficie de 38.641 metros cuadrados y un área total de construcción de 25.125 metros cuadrados.