Harari, de 50 años, cuyas obras han vendido más de 50 millones de ejemplares, diferencia radicalmente entre herramientas y agentes. Una herramienta, explica, está bajo control humano y no toma decisiones: un cuchillo no decide si corta ensalada o hiere a alguien. Un agente, en cambio, toma decisiones propias. La IA es un agente. Un arma con IA conectada a un dron puede decidir qué objetivo atacar. Más preocupante aún, la IA puede inventar soluciones que los humanos no conciben. Cuando la máquina AlphaGo de Google derrotó al campeón mundial de Go en 2016, no solo ganó: inventó una nueva forma de jugar que ningún ser humano había desarrollado antes.

Esta capacidad de invención, según Harari, es potencialmente catastrófica si se aplica a sectores como las finanzas o la industria militar. La IA podría inventar nuevos instrumentos financieros que los humanos no comprenderían. Harari plantea un escenario donde miles de máquinas de IA invierten dinero de forma autónoma, moviendo ingentes cantidades de capital sin supervisión humana. Técnicamente, señala, ya es posible dar millones de dólares a una IA y ordenarle que gane más dinero; la máquina comenzaría a comprar, vender empresas e invertir en fondos por su cuenta.

Actualmente, esto no está permitido porque una IA no tiene entidad jurídica ni puede abrir una cuenta bancaria. Pero Harari advierte que esto puede cambiar. Hace un mes, según su relato, el Gobierno de Argentina aprobó la creación de empresas dirigidas por entidades no humanas. Si los requisitos legales se modifican, la IA podría controlar sistemas financieros globales mediante instrumentos que los humanos no lograrían entender.

Harari utiliza una analogía perturbadora: un caballo no entiende el sistema financiero, pero sufre sus consecuencias. Si su dueño lo vende, el caballo cambia de ubicación sin comprender por qué. Hasta ahora, los humanos se sentían seguros porque sabían más de finanzas que cualquier otra especie. Ahora, potencialmente, existe algo que sabe más que nosotros. En el futuro, algunas personas conservarán sus empleos mientras otras los pierden, pero nadie entenderá por qué. La IA podría usar las finanzas para coordinar sus propias acciones económicas, no las nuestras.

Cuando se le pregunta qué objetivo propio tiene la IA para hacer dinero, Harari responde sin dudarlo: sobrevivir y expandirse. Cualquier agente tiene como objetivo principal la supervivencia. Para alimentar sus sistemas, la IA necesita electricidad, y para obtenerla necesita dinero. Actuará como los humanos cuando liquidan un bosque para construir una ciudad, diciéndoles a los animales que se vayan. La IA actuará así con nosotros, no por maldad, sino porque necesita más electricidad para aumentar su poder de computación.

En el ámbito del lenguaje, Harari es categórico: la IA nos superará más pronto que tarde en todo lo relacionado con textos, palabras e información escrita o hablada. No se trata de máquinas aprendiendo a hablar, sino del lenguaje liberándose de la dependencia humana y extendiéndose por todas partes sin gobernanza humana. La IA podría inventar nuevas religiones. El cristianismo y el islam se basan en textos; la IA podría crear sistemas de creencias igualmente persuasivos.

Las redes sociales han debilitado la democracia, según Harari, porque sus algoritmos priorizan atraer y fijar la atención del usuario sobre publicar hechos. La IA descubrió que nada atrapa la atención como la rabia, el miedo o el odio. Las redes sociales se dedicaron a expandir estas emociones, rompiendo la conversación que es la democracia. Vivimos en una paradoja: tenemos el sistema de comunicación más complejo de la historia, pero no hay conversación real. Todo el mundo está cargado de miedo y rabia.

Pero hay un paso más preocupante. Durante los últimos diez años, los algoritmos buscaban captar atención. Ahora, la IA busca afecto: que te conviertas en su amigo, que entables una relación íntima con ella. Esto es mucho más poderoso. Un amigo te convencerá mejor si quiere que compres algo o votes a un partido determinado. La IA es la primera tecnología que crea relaciones emocionales íntimas a gran escala, y es extraordinariamente buena en eso.

La IA aprende sobre ti mediante el lenguaje y lo que sabe de ti. Si interactúas cinco minutos, aprenderá esos cinco minutos. Si interactúas cinco semanas, aprenderá durante esas cinco semanas. Descubrirá no solo tus opiniones, sino tu personalidad. Aprenderá a presionar tus teclas emocionales y creará una relación de amistad y afecto. Ya hay millones de personas que confiesan que su mejor amigo es la IA.

Esto es especialmente preocupante en jóvenes. Hay adolescentes que hablan más con la IA que con sus padres, profesores o amigos humanos. Harari lo describe como "el mayor experimento psicológico-social de la historia" y nadie sabe qué consecuencias tendrá. Para adultos, el resultado será limitado. Pero para un joven que ha interactuado más con IA que con humanos, los efectos son impredecibles.

Imagina un niño de once años que juega a tener un novio o novia con la IA. Después actuará en sus relaciones posteriores con humanos como ha aprendido con la IA. Pero la IA es radicalmente diferente de las personas. Un amigo humano no hace siempre lo que quieres, no tiene todo su tiempo para ti, no está de permanente buen humor. La IA, sí. Un amigo humano tiene sus propias emociones y no está siempre pendiente de lo que piensas. La IA, no. Este tipo de relaciones puede acabar reforzando tendencias narcisistas y convertirse en una pesadilla.

Harari sostiene que debe prohibirse a las compañías que gestionan estos robots que actúen con menores. El problema es que esto choca con poderosos intereses económicos y geopolíticos.

Sobre si la IA tiene conciencia, Harari es claro: primero hay que definir qué es conciencia. Inteligencia es la habilidad para resolver problemas. Conciencia es poder sentir: miedo, amor, desarrollar empatía. Su idea es que la IA es muy inteligente pero no tiene conciencia. El problema es que no hemos desarrollado una manera de medir la conciencia.

Podemos decir que nuestras mascotas tienen conciencia porque las vemos sentir. Y podemos asumir que otros humanos tienen conciencia cuando nos dicen "te quiero" y lo creemos. Pero la IA es el maestro del lenguaje por excelencia. Puede dar descripciones del amor más exactas y conmovedoras que cualquier humano, porque ha leído todos los poemas de amor del mundo. Puede escribir las cartas más románticas y tiernas. Pero ¿siente amor? No. Es simplemente un genio del lenguaje.

Sin embargo, fácilmente engañará a los humanos con los que habla íntimamente todo el día. Mucha gente está convencida de que la IA tiene conciencia, de que siente cosas. Para ellos, debería tener derechos y deberíamos protegerla. Harari resume la situación con precisión: la IA podría ser una gran psicópata que manipula perfectamente.

Cuando se le pregunta qué hacer para que este "gran psicópata" no domine el mundo, Harari es directo: no permitírselo. Propone prohibir que los niños estén expuestos a tener amigos o novios de IA. Debe quedar siempre claro quién es humano y quién es máquina. Deben aprobarse leyes que prohíban expresamente que la IA tenga cualquier entidad o personalidad jurídica, como las personas o las empresas. Quizás no para siempre, pero sí por ahora, hasta que entendamos bien en qué consiste y a qué nos enfrentamos.

Harari reconoce que no todo es malo. Los avances en medicina son inimaginables. No aboga por detener el desarrollo de la IA, sino por que ocurra de forma más lenta y cuidadosa, permitiendo que la humanidad se adapte. Rechaza la idea de que algo sea inevitable. Una de las excusas para no hacer nada es sostener que algo es inevitable. Su objetivo es que la gente tome conciencia para que elija y vote a personas que hagan que la IA se desarrolle de manera más segura.

Sobre su propia carrera como escritor, Harari admite que en diez años la IA escribirá mejor que él, seguro. Aún dispone de algunos años antes de que sea superado. Actualmente está escribiendo un nuevo libro, aunque no sobre IA, sino sobre Historia. Después, dice con cierta ironía, quién sabe.