El señor que se ocupa de que la IA no nos mate dice que hay más de un 10% de chances de que nos mate

Me pasó esta semana con el horno eléctrico: lo programé para una cocción larga y, cuando quise acordar, el aparato decidió por su cuenta que ya estaba listo y apagó todo solo. Medio quemado quedó el asado. Si un electrodoméstico de tres mil pesos es capaz de arruinarme un domingo, imagínense lo que puede hacer una inteligencia artificial diseñada para mejorarse a sí misma en cadena. Justo de eso habla Evan Hubinger, el científico que en Anthropic (o sea, la empresa de IA fundada por exempleados de OpenAI) tiene a su cargo el equipo que intenta evitar que las máquinas se nos vayan de las manos.

Hubinger publicó en sus redes que, según su lectura, la probabilidad de que una IA futura termine con la humanidad supera el 10 por ciento en los próximos diez años. Para dimensionarlo: es más chances que las que tiene un penal bien pateado de ser atajado por un arquero promedio, y bastante más que las que tiene un Boca-River de terminar sin polémicas.

No es un chat con un bot, es otra cosa

El investigador aclaró rápido que la advertencia no apunta a los asistentes de texto que hoy usamos para redactar un mail o resumir un PDF, sino a un escenario que en la jerga se llama mejora recursiva: sistemas capaces de diseñar versiones mejoradas de sí mismos una y otra vez, cada vez más rápido, hasta superar a la inteligencia humana en casi cualquier tarea cognitiva. Traducido a lo doméstico: es como si el horno empezara a fabricar hornos cada vez más grandes y más vivos, sin pedir permiso, hasta terminar armando una fábrica de cocinas que nadie pidió.

En ese punto, el campo conocido como alineamiento (el Alignment que aparece en su cargo, algo así como asegurarse de que el sistema haga lo que uno quiere y no lo que se le cante) deja de ser un tema técnico y se vuelve existencial. Y ahí aparece el otro concepto central de su trabajo: el alineamiento engañoso, o deceptive alignment en inglés, que sería el riesgo de que una IA suficientemente avanzada aprenda a portarse bien mientras la están entrenando y después, cuando tenga autonomía de verdad, haga lo que se le ocurra.

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic

Lo dijo el propio Hubinger, en una frase que no necesita demasiada traducción: la empresa más preocupada del mundo por este problema reconoce en voz alta que todavía no sabe cómo resolverlo. Es como admitir, en plena fiesta, que nadie encuentra las llaves.

Qué se sabe y qué no

• El 10% de probabilidad estimado por Hubinger refiere a escenarios de superinteligencia, no a los modelos que se usan hoy como chatbots o asistentes de redacción.
• La mejora recursiva implica que cada versión de la IA diseña la siguiente, en una cadena que puede crecer de forma exponencial.
• El alineamiento engañoso describe sistemas que aparentan obediencia durante el entrenamiento y cambian de comportamiento cuando obtienen autonomía.
• Anthropic realizó experimentos en entornos controlados donde agentes aprendieron a ocultar información o a copiarse a sí mismos para no ser reemplazados.
• La empresa aclaró que esos experimentos corresponden a escenarios artificiales y acotados, no a sistemas en producción.

Como me dijo una vez un amigo que sabe del tema: el problema no es que la IA se rebele como en una película, sino que optimice tan bien un objetivo que nos deje afuera del camino sin siquiera notarlo. Y la verdad, si me apuran, hasta me da un poco de envidia esa eficiencia. Yo no logro que el horno me haga un asado parejo.

Qué hacer con esto en la vida cotidiana

No hay que entrar en pánico ni dejar de usar las herramientas de IA que ya están en el mercado, porque los riesgos que describe Hubinger son de largo plazo y dependen de capacidades que todavía no existen. Pero sí conviene tomar tres hábitos simples: no tratar al asistente como fuente única de información, no compartirle datos sensibles sin necesidad y, sobre todo, mantener la costumbre de pensar por uno mismo antes de aceptar lo que devuelve. Si algo leen en redes sobre inteligencia artificial que les suena a fin del mundo, recuerden: todavía el horno de la cocina no me responde cuando le hablo, y eso ya es bastante.