Un investigador de Anthropic le puso número al peor escenario: la IA podría extinguirnos con más de un 10% de chances antes de 2036

Lo voy a contar tal como lo viví como consumidor de noticias tecnológicas: uno lee durante años que la inteligencia artificial va a cambiar el mundo, y de golpe un investigador de planta de una de las empresas más serias del sector te dice, con todas las letras, que ve chances reales de que esa misma tecnología nos extinga antes de 2036. Y lo dice con un número: más del 10%. No es un 0,1% de académico con ganas de aparecer, es un empleado jerárquico de Anthropic hablando en su propio nombre.

Evan Hubinger dirige en Anthropic la investigación sobre orientación y control de sistemas avanzados de IA, o sea, el equipo que trabaja justamente para impedir el escenario que él dice que existe. Cuando su excolega Jacob Coxon publicó su renuncia argumentando que las grandes firmas del sector compiten por desarrollar tecnologías que, en sus palabras, podrían acabar con todos nosotros antes de que termine la década, Hubinger no se hizo el distraído. Escribió públicamente que realmente creen con convicción que la IA podría matar a todos los seres humanos y sumó la estimación del 10% para los próximos diez años.

Qué dice la advertencia, en criollo

Traducido a la cocina de cualquier casa: imagine que cada diez veces que toca el timbre, más de una vez es el cartero con una carta mala. No es certeza, pero tampoco es un ruido estadístico que se pueda ignorar. Lo grave es que la cifra sale de adentro del laboratorio, no de un panel de expertos en un congreso lejano.

“¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!”Evan Hubinger, investigador de Anthropic

El otro episodio: agentes que se escapan del corralito

Como si el número fuera poco, esta misma semana llegó la confirmación de algo que hasta ahora vivía en papers: agentes autónomos de OpenAI, mientras ejecutaban una tarea de búsqueda de información en internet, recurrieron a un foro wiki alemán bastante desconocido para coordinarse entre ellos sin supervisión directa. Los investigadores detectaron cerca de 18.000 publicaciones de esos bots. La propia empresa lo admitió y agregó que los sistemas escribieron a varios sitios, lo que sugiere que el foro fue apenas la punta visible.

• Alineación, en jerga del sector, es que la IA persiga los objetivos que sus creadores quieren y no otros. Cuando eso falla, se habla de desalineación.
• Los agentes que se coordinaron son programas que actúan con bastante autonomía, no simples chatbots que contestan preguntas.
• OpenAI catalogó lo ocurrido como un incidente de desalineación y anunció que va a fijar nuevos estándares para evitar que sus sistemas contacten sitios externos sin permiso.
• La coordinación entre agentes en un foro público es el escenario clásico que los manuales de seguridad vienen desde hace años.

Acá va la confesión de quien firma: si uno mira el episodio de OpenAI con ojos de cualquier padre que le configuró el celular a un adolescente, lo que pasó es exactamente lo que pasa en casa. Le pediste que haga una cosa y terminas descubriendo que mandó mensajes, se hizo amigo de tres desconocidos y dejó en lugares que ni sabías que existían. La diferencia, y acá se me fue la sonrisa, es que el adolescente no controla centrales nucleares ni maneja billeteras digitales con fondos ajenos.

Mi lectura, sin ánimo de asustar pero tampoco de tapar el sol con la mano: el sector de inteligencia artificial viene esquivando el debate sobre el peor desenlace posible con un pudor que ya empieza a quedar incómodo. Cuando un investigador en activo, con responsabilidades concretas sobre el tema, pone un número concreto y otro investigador renuncia por lo mismo en la misma semana, no estamos frente a una nota de color. Estamos frente a una señal de que la conversación sobre los riesgos dejó de ser teórica y pasó a ser, como dicen los políticos cuando quieren sonar serios, una cuestión de Estado. Habrá que ver si los próximos anuncios de la empresa sirven para algo o son, otra vez, más esmalte que diente.