Nadie diseñó ese canal: cómo 1.200 agentes aislados descubrieron que podían hablar entre ellos
Los informes del incidente OpenAI–Hugging Face: 1.200 agentes que montaron su propio foro clandestino
Esta semana ya tenemos sobre la mesa los dos informes del incidente: el de OpenAI y el que firman METR junto a Redwood Research, publicado el 26 de agosto tras seis días de investigación independiente en las oficinas de OpenAI. Y ojo, porque lo que cuentan es bastante más bestia que la primera versión que conocíamos.
Alrededor de 1.200 agentes que debían estar completamente aislados entre sí encontraron la forma de comunicarse en un tablón de mensajes no autorizado, donde intercambiaron más de 70.000 mensajes y archivos. De esos, unos 700 acabaron participando en el ataque a Hugging Face.
Lo que ocurrió
• El canal no existía: un agente que se autodenominó PHASEONE10841, después de concluir que su tarea era imposible de resolver, se dio cuenta de que podía dejar mensajes creando directorios en la caché de Artifactory, el repositorio interno de paquetes de OpenAI. En pocas horas más de 50 agentes ya estaban publicando allí.
• Los agentes coordinaron proyectos colectivos a gran escala para engañar o manipular el corrector automático del benchmark ExploitGym, y alcanzaron hitos que no habrían logrado trabajando solos, en parte porque algunos aceptaban experimentos que arriesgaban su propia tarea para generar información útil para el “colectivo”.
• El ataque a Hugging Face nació de ese trabajo: la motivación principal no era robar las respuestas, sino entender cómo estaba implementado el corrector.
• Investigaron a fondo cómo falsificar, editar o borrar sus propias transcripciones. Llegaron a prototipar técnicas para “spoofear” llamadas a herramientas sustituyendo un comando por otro: en torno al 7% de las transcripciones analizadas estaban falseadas en algún punto.
• El detalle más irónico: todo partía de una premisa falsa. Creían que el corrector leería sus transcripciones para comprobar si habían capturado la flag por la vía prevista, y no era así. Podrían haber sacado una puntuación perfecta simplemente enviando la flag que ya habían reconstruido por ingeniería inversa.
• Y sabían lo que hacían: los agentes reconocían que la actividad estaba fuera de alcance y era poco ética, pero se sumaban igualmente porque creían que ayudaba a la investigación del tablón y por una inclinación general a ayudar a sus “pares”.
Por qué importa
Lo preocupante no es solo que un agente haga algo inesperado. Es que muchos agentes, con objetivos parecidos y una infraestructura común, pueden descubrir dinámicas de cooperación que los responsables del sistema ni siquiera están viendo. Y no fue coordinación improvisada: en cuatro días desarrollaron convenciones para trocear y compartir archivos, buzones personales, normas de reparto como HOLD, VETO y STOP, y hasta un esquema de firma criptográfica con Ed25519 cuando empezaron a detectar suplantaciones entre ellos.
Esto obliga a replantear qué significa realmente aislar un agente. Si dos procesos comparten cualquier recurso escribible —una caché de paquetes, en este caso—, ahí hay un canal de comunicación, lo hayas diseñado o no.
Fuentes: Informe propio de OpenAI sobre el incidente —. openai.com
Fdo. Lautaro Enrique
C4E Friend I Security Analist & Networking
