Las máquinas con propósitos específicos tienen otra cualidad que solemos asociar con los seres vivos: nuestro deseo de preservar nuestra propia existencia. . Para las máquinas, esta cualidad no es innata ni es introducida por los humanos; es la consecuencia lógica del simple hecho de que si la máquina muere, no puede lograr su propósito original. Por tanto, si le damos a un robot la orden "tomar café", tendrá un fuerte deseo de triunfar, apagará su propio interruptor e incluso matará a cualquiera que pueda interferir en su tarea. Si no tenemos cuidado, entonces podríamos estar ante una especie de partida de ajedrez. Los adversarios son máquinas superinteligentes muy decididas cuyos objetivos entran en conflicto con los nuestros, y el mundo real es un tablero de ajedrez.
Las posibilidades de ganar y perder en este juego deberían centrarse en la mente de los informáticos. Algunos investigadores creen que podemos sellar las máquinas en una especie de firewall y utilizarlas para responder algunas preguntas difíciles, pero no debemos permitir que afecten al mundo real. Desafortunadamente, parece poco probable que este plan funcione: todavía tenemos que inventar un cortafuegos seguro contra los humanos comunes y corrientes, y mucho menos contra las máquinas superinteligentes.
Resolver problemas de seguridad en inteligencia artificial parece posible, pero no fácil. La planificación de la llegada de máquinas superinteligentes podría llevar décadas. Pero la cuestión no debe ignorarse, como hacen algunos investigadores de IA. Algunas personas piensan que los humanos y las máquinas pueden existir mientras trabajen en equipo, pero esto es imposible a menos que las máquinas puedan compartir los objetivos de los humanos. Otros dicen que podríamos "apagarlos", como si las máquinas superinteligentes fueran demasiado estúpidas para considerar esa posibilidad. Otros piensan que la inteligencia artificial superinteligente nunca existirá. El 11 de septiembre de 1933, el famoso físico Ernest Rutherford dijo con confianza: "Todo el mundo espera que una de las fuentes de energía en la transformación de estos átomos sea la luz de la luna". Sin embargo, en septiembre de 1933, el físico Leo Zillard inventó la Reacción nuclear en cadena inducida por neutrones.