La razón por la que se agrega S a juego es porque juego es un sustantivo contable y se juega más de un juego, por lo que se refiere a varios juegos, por lo que se agrega S.
En cuanto a "casa", volver a casa suele ser esa casa, por lo que no es necesario agregar S al regresar a casa.