Después de tres años de arduo estudio, Cheng Ruhuai fue asignado al ejército como líder de pelotón. En 1919, fue admitido en la sexta promoción de la Universidad del Ejército, donde estuvo con Qin Dechun, Xu, Zou Wenhua y otros estudiantes importantes del futuro gobierno. Después de graduarse en 1922, fue asignado al Cuarto Batallón Mixto de la provincia de Hubei y sirvió como estado mayor de combate del capitán. En 1924, fue ascendido a comandante y comandante de batallón.
En 1926, Wu, que fracasó en la segunda guerra directa, regresó y amplió su ejército a gran escala, bloqueando la Expedición del Norte en el sur y conquistando al Ejército Nacional en el norte. El ejército de Hubei amplió la 2.ª División temporal, Liu Zuolong fue nombrado comandante de la división y Cheng Ruhuai fue nombrado comandante del 7.º Regimiento de la 4.ª Brigada, estacionado en Yangxia. En septiembre del mismo año, Wu nombró a Liu Zuolong gobernador de Hubei y comandante en jefe de la defensa de Han-Huang, y le ordenó proteger Hanyang, con Liu Yuchun como cuerno. Como era de esperar, Liu Zuolong aceptó completar la misión. Cuando el Ejército Expedicionario del Norte se acercó a la ciudad, Liu Zuolong tomó una decisión decisiva y cambió su postura, mostrando el estilo de un soldado de Beiyang. La 2.ª División del Ejército de Hubei se organizó temporalmente en el 15.º Ejército del Ejército Nacional Revolucionario. Liu Zuolong permaneció como comandante de división y Cheng Ruhuai fue ascendido a comandante de la 3.ª División.