Esta frase se omite, pero no se puede añadir si no se basa en la situación de ese momento.
Además, esto puede tener algo que ver con lo que dicen los japoneses, depende de si tus sentidos pueden entenderlo. De hecho, aunque esta frase es eufemística, significa que tienes que terminar tu trabajo antes de salir, de lo contrario la otra persona tendrá mucho sueño.