Si eliges CS, también podrás ingresar a la ingeniería CS en el futuro, pero es más difícil transferir de CS a física. Las matemáticas también están muy lejos.
Generalmente, las escuelas requerirán que tengas conocimientos profesionales básicos. Si cambia de especialización, también puede optar por realizar el examen de materia GRE en el futuro, pero es difícil decir que no ha estudiado ingeniería física como estudiante universitario.
Mi sugerencia personal es que puedas estudiar física, EE y fotónica como estudiante universitario. Todos estos están en la parte superior.