El clima de Gansu, que se remonta a la prehistoria, todavía era cálido y húmedo, con una vegetación exuberante y ríos entrecruzados. Según un gran número de excavaciones arqueológicas, se ha demostrado que los antepasados vivieron en Gansu durante el Paleolítico hace 200.000 años. Ahora hay más de 1.000 sitios culturales neolíticos descubiertos en Gansu. Durante la dinastía Zhou Occidental, los antepasados del pueblo Qin se establecieron en Tianshui, provincia de Gansu, y luego se convirtieron en Guanzhong. Después de que Qin unificó el país, se construyó el condado de Longxi, comenzando desde Lintao en el oeste y llegando a la Gran Muralla Qin en el norte de Shaanxi en el noreste. Durante las dinastías Wei, Jin, del Sur y del Norte, hubo frecuentes guerras en las Llanuras Centrales. Qinghai, Ningxia, Xinjiang, Mongolia Interior y otras vastas áreas centradas en el Corredor Hexi han experimentado los regímenes de los "Cinco Liang" de Qianliang, Houliang y Xiliang. Las dinastías Sui y Tang fueron el apogeo de la prosperidad de la Ruta de la Seda, un comercio terrestre entre China y Occidente, y también el apogeo de la política, el ejército y la cultura en la historia de Gansu. Los políticos Li Yuan y Niu Sengru, el famoso poeta Li Yi, el legendario escritor Li Gongzuo, etc. hicieron apariciones uno tras otro. Las mundialmente famosas Grutas de Mogao en Dunhuang fueron construidas durante la dinastía Jin del Este. Después de las dinastías Wei del Norte, Wei Occidental y Zhou del Norte, básicamente formó su escala actual durante las dinastías Sui y Tang. Después de que la dinastía Yuan estableció un imperio unificado, estableció un sistema provincial. Desde el emperador Shizu de la dinastía Yuan hasta el año 18 de la dinastía Yuan, Gansu estableció su capital, Zhangye, que no solo gobernó la mayor parte del actual Gansu, sino que también gobernó partes de Qinghai, Ningxia, Xinjiang y Mongolia Interior. Por tanto, por primera vez en la historia de China, aparecieron las divisiones administrativas de la provincia de Gansu.
Durante las dinastías Ming y Qing, se restableció el transporte terrestre y el comercio entre China y Occidente, y los intercambios entre las Llanuras Centrales y las fronteras se volvieron cada vez más prósperos. Sin embargo, con el desplazamiento hacia el este del centro económico y cultural del país y el desarrollo del transporte marítimo durante miles de años, el estatus económico y el desarrollo cultural de Gansu en el país ya no son tan buenos como en el pasado. En términos de estructura organizativa, se cambió a Changgong en el sexto año del emperador Kangxi de la dinastía Qing (1667 d.C.), y luego a Gansu al año siguiente. Se trasladó de Changgong (hoy Longxi) a Lanzhou, sentando la base. fundación de la actual provincia de Gansu.
Después de la liberación de Gansu en agosto de 1949, se estableció la Oficina Administrativa de Gansu, con jurisdicción sobre 1 prefectura (distritos y ciudades) y 73 condados (distritos). De 1950 a 1957, se establecieron varias regiones étnicas autónomas (más tarde convertidas en prefecturas y condados autónomos), incluidas Tianzhu, Dongxiang, Subei y Zhangjiachuan. De 1958 a 1965, la zonificación se ajustó integralmente y los condados se fusionaron a gran escala. Hasta finales de 1984 se realizaron ajustes individuales. De 65438 a 0985 se realizaron una serie de ajustes con la aprobación del Consejo de Estado. La provincia tiene 7 oficinas administrativas, 2 prefecturas autónomas, 5 ciudades a nivel provincial, 68 condados (7 condados étnicos autónomos), 11 distritos municipales y 7 ciudades a nivel de prefectura.