Anthropic le entrega la llave de su casa a un auditor externo y le dice: revisá todo, publicá lo que quieras

Me pasó esta semana con una empresa de servicios: me mandaron al técnico, pero con un manual de usuario. Esto es parecido, aunque del revés: Anthropic le dio a seis personas de METR, una organización sin fines de lucro que se dedica a evaluar sistemas de inteligencia artificial, no solo el manual, sino la llave de la casa. Computadoras propias, oficina en sus edificios y herramientas internas. Vamos, lo mismo que tiene cualquier empleado del área de evaluación de riesgos.

¿Y para qué tanto? Para que puedan mirar los modelos de cerca, charlar con el personal como un colega más y detectar si un sistema de inteligencia artificial está fingiendo que está alineado con lo que queremos, o si realmente lo está. La sigla METR suena a red de transporte, pero es Model Evaluation and Threat Research, algo así como Investigación y Evaluación de Amenazas en Modelos. Piensen en ellos como los peritos de la automotriz que tienen libre acceso a la fábrica: no necesitan pedir turno para probar el motor.

Tres categorías de acceso, como tres niveles de wifi

Anthropic armó un esquema con tres categorías de evaluadores externos, de menor a mayor acceso. En el más bajo entran organizaciones como SecureBio, que hacen revisiones acotadas y tienen que pedir permiso antes de publicar. Un poco más arriba, otros evaluadores reciben más información y pueden publicar sin pedir autorización. Y arriba de todo, en el escalón más alto, está METR, con algo equivalente a acceso de empleado y la potestad de publicar evaluaciones, reportes de incidentes y análisis de prácticas de la empresa sin que Anthropic pueda frenarlos.

Hay un detalle importante: la compañía puede pedir que se redacten ciertos datos sensibles, como información de clientes, datos cubiertos por secreto profesional legal o detalles de arquitectura de los modelos. Pero METR puede salir a decir públicamente si esa redacción estaba justificada o no. O sea, no pueden impedir la auditoría, solo poner un parche negro en partes muy puntuales.

Por qué hace falta tanto

Anthropic justificó el nivel máximo de acceso con cuatro condiciones que, según la empresa, tiene que cumplir una auditoría para servir de algo. Las traduzco a lo doméstico:

• Experiencia técnica suficiente para darse cuenta cuando un modelo está haciendo teatro de seguridad, igual que un mecánico que nota cuando el auto frena bien en la prueba pero no en la ruta.
• Independencia económica y operativa respecto de la compañía auditada: el perito no puede cobrarle al taller que está revisando.
• Acceso que vaya más allá del producto terminado e incluya cómo se entrenó y cómo funcionan sus mecanismos de seguridad, como ver el plano del motor, no solo girar la llave.
• Libertad para publicar sin restricciones previas, porque un informe guardado en un cajón no audita nada.

La propia Anthropic admite que no puede abrir toda la información al público, porque parte de esos datos podrían ser útiles para gente con malas intenciones o son sensibles desde lo comercial. Por eso prefirió darle acceso profundo a un grupo chico, con acuerdos firmados que se pueden hacer cumplir, y mantener al resto del personal de METR lejos de ese trabajo.

El equipo de METR ya venía revisando varios informes de riesgo durante el año anterior, antes de recibir este nivel ampliado de acceso. O sea, no es que les largaron la llave sin más: ya se conocían.

¿Me termina de convencer? Me genera ruido, lo admito. Una auditoría hecha por gente que cobra, come y se sienta en la misma oficina que la empresa auditada tiene sus bemoles. Pero también es cierto que, sin acceso real, las evaluaciones independientes son como probar un auto solo por la foto del catálogo: sirven para quedar bien, no para encontrar fallas.

Consejo práctico, porque nunca está de más: la próxima vez que un proveedor le jure que su sistema de inteligencia artificial es seguro, pregúntele quién lo auditó, con qué nivel de acceso y si puede publicarlo sin pedir permiso. Si la respuesta es un silencio largo, ya sabe.