Responder "Sí, quiero" significa te quiero.
En la mitad de las frases interrogativas en inglés, la pregunta es una frase general, es decir, ¿me amas? O una pregunta aparentemente retórica: ¿no me amas? Su respuesta es la misma.
Es decir, si quieres decir que sí, es decir, te quiero, debes responder con sí, quiero, y si no quieres, usa no, no quiero. La respuesta no tiene nada que ver con la forma de la pregunta, depende principalmente de lo que la respuesta quiera expresar.