El origen más antiguo del cantonés se remonta a las dinastías Qin y Han. El primer grupo de inmigrantes de las Llanuras Centrales se mezcló con Baiyue, formando el dialecto chino más antiguo en Lingnan, que inevitablemente absorbió algunos elementos de lenguas minoritarias. Sin embargo, la inmigración a gran escala del pueblo Han a Lingnan se produjo durante las dinastías Sui y Tang. Los nuevos grupos de inmigrantes trajeron lenguas fuertes de las Llanuras Centrales y se integraron o reemplazaron dialectos indígenas.
Después de las dinastías Song, Yuan y Ming, el idioma chino en la región de las Llanuras Centrales experimentó grandes cambios, mientras que el dialecto chino en la región de Lingnan se convirtió en el actual dialecto chino cantonés en relativo aislamiento.
Las lenguas actuales Zhuang, Li, Dong, Buyi, Shui, Maonan y Dai evolucionaron a partir del Baiyue, pero también absorbieron una gran cantidad de vocabulario chino.