Cai E tuvo dos matrimonios en su vida. Su primera esposa, Liu Xinying, también llamada Liu Xiazhen, tuvo tres hijas después del matrimonio. La hija mayor, Cai Julian, la segunda hija, Cai Fulian, y la cuarta hija. Cai Fulian y sus cuatro hijas menores murieron sucesivamente, y sólo creció la hija mayor, Cai Julian. Más tarde, Cai Julian se casó con Shi Chaobai y tuvo dos hijos y dos hijas, pero ambos vivían en el extranjero y poca gente sabía de ellos.
El segundo matrimonio fue con Pan Huiying, quien también recibió una educación occidental avanzada. Después del matrimonio, tienen dos hijos y una hija, el hijo mayor Cai Duan, el segundo hijo Cai Yongning y su hija Cai. Cai Duan se graduó en la Universidad Católica Pekín Fu Jen en 1937. Se desempeñó como jefe de prensa del Gobierno Nacional, cónsul del Consulado de Sudáfrica, miembro de la Liga Democrática de China y miembro del Octavo Comité de la Conferencia Consultiva Política del Pueblo Chino. Murió en Beijing en 1997. El segundo hijo, Cai Yongning, también se graduó en la Universidad Católica Peking Fu Jen y trabajó en un banco después de graduarse. Su esposa habla de ser vegetariana y tiene dos hijos y dos hijas. Cai Yongning murió de una enfermedad grave en 1968. Su hija Cai estudió en la Universidad de Zhejiang, donde conoció a su compañero de clase Zhou y finalmente se casó con él.
La vida de Cai E puede describirse como una vida de lucha, glamurosa y de grandes logros en el campo militar. El plan de defensa fronteriza de cinco provincias que compiló demostró plenamente su pensamiento estratégico. Dedicó su vida a la patria y a la nación y murió. Sun Yat-sen comentó una vez que Cai E fue generoso con todos los ámbitos de la vida a lo largo de su vida, pero fue bloqueado por caballos a miles de kilómetros de distancia. También hay muchas actividades conmemorativas para las generaciones posteriores, entre las que su nieto Cai Xie se compromete a promover las hazañas heroicas de su abuelo. Por lo tanto, en tiempos de paz, no debemos olvidar las gloriosas hazañas de nuestros antepasados y apreciar los años de paz en los que nuestros antepasados lucharon por nosotros.