¿Te importaría no decir esto? Al responder, la primera frase debe seguir la lógica normal. Si le importa, sí, si no le importa, no. Pero la segunda frase debe invertirse.
La respuesta a tu pregunta depende del contexto y puede usarse en algunas circunstancias especiales. Sin embargo, la aparición de estos puntos gramaticales en el inglés de la escuela secundaria no es una excepción. Quizás deberías responder: Sí, no lo haría. Sí, no me importa (haz eso)