Zeng Guofan dijo una vez públicamente que hay dos tipos de personas: los sabios y las bestias. Como santo, ha estado practicando. Entre ellos, el más difícil es dejar el sexo.
A los treinta años, Zeng Guofan comenzó a ser tolerante en este sentido. De vez en cuando charlar con amigos y elogiar a su esposa por su buena apariencia también lo hará sentir culpable después.
En ese momento, la esposa de Zeng Guofan tenía mala salud y enfermaba a menudo. Una vez, participó en una visita grupal de estudiantes de Jinshi. Debido a que había tantas concubinas en la casa que visitó, Zeng Guofan "rió" en su corazón y miró a su alrededor, lo cual fue bastante desagradable. Después de regresar a China, escribió en su diario: "Realmente no soy un ser humano, estoy muy avergonzado".
En el año 22 del reinado de Daoguang, el amigo de Zeng Guofan, Chen Yuan, se casó con una nueva concubina. llamado Taohua. Zeng Guofan estaba lleno de celos, así que vino a ver a Yanfang. Cuando llegó a la casa de su amigo, Zeng Guofan primero habló sobre algunos conocimientos y luego elogió a su amigo por ser rico. Sin mencionar que Zeng Guofan quería ver a Yan Fang. Sus amigos se mostraron muy reacios, pero él no pudo soportar las objeciones de Zeng Guofan y llamó a todas sus concubinas. Zeng Guofan lo elogió por su belleza y dijo algunas palabras provocativas, lo cual fue muy vergonzoso. Después de regresar a China, Zeng Guofan escribió en su diario de ese año: "Indecente e irrespetuoso". Más tarde, Zeng Guofan charló y coqueteó con otros amigos y se peleó con Chen. También escribió en su diario: "Qué bestia".