Es hora de ir a dormir.

Debería irse a la cama no es una frase imperativa. Las oraciones imperativas comienzan con el prototipo del verbo real o del verbo para expresar órdenes y solicitudes.

Los dos patrones de oraciones "Es hora de hacer algo" y "Es hora de hacer algo" indican que es hora de hacer algo...

Es hora de cenar.

Es hora de irse a la cama. Es hora de dormir.

Cama es un sustantivo que se coloca después de la preposición for como objeto.