¿Se puede decir esto en japonés?

Es mejor no reemplazarlo así. Antes de "をよそに", sustantivos como "partido" y "crítica" se usan a menudo para expresar los sentimientos o evaluaciones dadas por otros, enfocándose en el significado de ignorarlos subjetivamente o no tomarlos en serio. "Enfermedad" es obviamente sólo un sustantivo objetivo.

にもかかわらず no es muy particular.