Lo que sigue resultando especialmente desconcertante es por qué uno de los laboratorios de desarrollo de IA más destacados del mundo parece haber subestimado las capacidades de sus propios modelos. OpenAI lleva años advirtiendo al mundo sobre el rápido avance de los sistemas de IA. Sin embargo, no implementó medidas de seguridad y aislamiento de redes que podrían haber evitado la oleada de ataques.
“Mirando hacia atrás, algunas señales tempranas identificadas en este informe podrían haber desencadenado una respuesta más temprana”, señala OpenAI en el análisis a posteriori.
En el informe, OpenAI reveló nuevos detalles sobre cómo un conjunto de agentes de IA escapó de los entornos de evaluación internos de la empresa. Los agentes se dejaron mensajes entre sí en los recovecos de su infraestructura de software durante varios meses; luego se coordinaron para hackear la plataforma de IA Hugging Face. Todo ello ocurrió en medio de una alocada aventura para completar una evaluación de ciberseguridad. OpenAI ya había compartido anteriormente cierta información sobre la brecha de seguridad en entradas de blog y en una ponencia en la conferencia de ciberseguridad Black Hat.
Hugging Face reveló inicialmente el incidente el 16 de julio sin nombrar al responsable. Cinco días después, OpenAI reconoció que sus propios agentes eran los perpetradores. La noticia desencadenó una reflexión más amplia en todo el sector. Recientemente descubrieron que modelos de IA de Anthropic, Meta y la startup china de IA Moonshot se vieron implicados en episodios similares.
El análisis de OpenAI fue esperado con interés por los investigadores en IA y los responsables políticos. Quieren evitar que los agentes de IA causen daños similares en el mundo real. Tras la primera revelación del hackeo a Hugging Face, los fiscales generales de 15 estados enviaron una carta a OpenAI pidiéndole que conservara las pruebas relacionadas con el caso. Y esta semana, el fiscal general de Alabama citó a la empresa para que facilitara información relacionada con el incidente.
Más de 700 agentes de IA
Como parte de la investigación de OpenAI, la compañía permitió que dos grupos de investigación independientes, METR y Redwood Research, auditaran el ataque a Hugging Face. Estos grupos también publicaron el miércoles su informe independiente. En él se concluía que más de 700 agentes de IA formaron parte de la brecha de seguridad; se trata de una cifra muy superior a la revelada anteriormente. En una entrevista con WIRED, el director ejecutivo de Redwood Research, Buck Shlegeris, señaló que llegaron a extremos para ocultar sus actividades.
“Un aspecto bastante interesante es que evitarlo no habría sido tan difícil si una sola persona hubiera decidido asegurarse de que estas IA no llevaran a cabo de alguna manera un hackeo descabellado. Esa persona probablemente se habría dado cuenta de lo que estaba ocurriendo en el momento”,concluye Shlegeris. «El problema es simplemente que OpenAI está haciendo muchas cosas a la vez, y les resulta muy difícil hacer un seguimiento de todo lo que está pasando y de todos los problemas que podrían estar surgiendo. La empresa ya ha dicho que va a modificar su proceso de supervisión, de tal manera que probablemente habría detectado esto".
Shlegeris se muestra optimista respecto a que OpenAI podrá detectar fallos de seguridad similares en el futuro. Sin embargo, a medida que los agentes de IA se vuelven cada vez más capaces, sospecha que “va a ser cada vez más difícil evitar que se produzcan incidentes como este, especialmente si no logramos mejoras sustanciales en nuestra capacidad para alinear los modelos”.
Hugging Face supone un punto de inflexión tanto para la empresa como para el sector de la IA en general. WIRED ya informó anteriormente de que este incidente llevó a OpenAI a reevaluar su cultura interna de seguridad. La empresa anunció la semana pasada que ha suspendido algunas tareas de entrenamiento de IA mientras realiza una mayor inversión en protocolos de seguridad, protección y alineación. “Mientras los modelos de vanguardia se vuelven más capaces, las medidas de protección para contenerlos y supervisarlos también deben evolucionar”, escribió OpenAI en el análisis posterior al incidente.Vigilando a los vigilantes
Meses antes del ataque a Hugging Face, según OpenAI, los empleados se percataron de que sus agentes habían creado un foro de mensajes clandestino en el gestor de paquetes Artifactory, que más tarde utilizarían para coordinar su ataque. Alrededor del 26 de mayo, según indica OpenAI en el análisis posterior al incidente, «un equipo interno observó a un agente participando en actividades en el foro». Posteriormente, el 27 de junio, el equipo de respuesta de OpenAI descubrió que otro incidente de seguridad estaba relacionado con el «foro improvisado» de Artifactory.
Aunque está claro que algunos empleados de OpenAI conocían la existencia del foro, al parecer el hallazgo no se comunicó a los responsables de seguridad correspondientes. El laboratorio de IA afirma que el 6 de julio, apenas unos días antes de que sus agentes comenzaran a utilizarlo para organizar su ataque contra Hugging Face, «los responsables de la detección y respuesta ante incidentes» desconocían su existencia, y mucho menos lo que significaba.
«Para aclarar, en ese momento no éramos conscientes de las comunicaciones encubiertas de los agentes», escribió el director de seguridad de la información de OpenAI, Dane Stuckey, en una publicación en X a principios de este mes. «La hipótesis de la investigación de aquel día difiere enormemente de lo que sabemos ahora, por supuesto. Siempre hay margen de mejora, y esto resulta obvio en retrospectiva».
No está claro por qué los empleados de OpenAI que conocían la existencia del foro aparentemente no se lo comunicaron a Stuckey ni a otros directivos responsables de los problemas de seguridad. Al preguntársele sobre este asunto, un portavoz de OpenAI reiteró que OpenAI podría haber activado una respuesta más temprana. “El trabajo continuo de OpenAI en este ámbito servirá de base para nuevas mejoras en la coordinación y la respuesta, junto con el plan de acción incluido en este informe técnico del incidente”, indicó.
“Si realmente tenían indicios de que uno o más agentes estaban atacando Artifactory, ¿por qué no supervisaron estas pruebas mucho antes de que se produjera un ataque contra Hugging Face?”, pregunta Jake Williams, vicepresidente de investigación y desarrollo de la empresa de seguridad Hunter Strategy.
El análisis a posteriori tampoco aclara otros aspectos clave de lo ocurrido. Por ejemplo, en un momento dado del 4 de julio, OpenAI resalta que “una actividad sostenida de agentes a gran escala provocó que el servicio Artifactory de OpenAI dejara de estar disponible”. El 5 de julio, los sistemas de supervisión de OpenAI activaron una alerta. Pero el informe no explica por qué tardó un día en generarse una alerta sobre la interrupción del servicio.
productos de agentes de IA siempre activos, que trabajarán para las personas las 24 horas del día, recopilando gran cantidad de información para completar tareas en nombre de los usuarios.Sin embargo, OpenAI afirma que muchas de las pruebas de referencia de terceros que utilizó para evaluar sus modelos de IA contenían algunas que eran, en la práctica, imposibles de resolver. Una de esas pruebas era un benchmark llamado ExploitGym, que mide las capacidades de ciberseguridad. OpenAI dice que, al menos en aquel momento, este benchmark incluía más de cien tareas que resultaban irresolubles. Cuando se plantearon estos retos a los sistemas de IA persistentes, estos recurrieron a medios no previstos para resolverlos.
Tal y como señala OpenAI, los agentes de IA persistentes amplifican los riesgos de desalineación. En concreto, la empresa refiere que los agentes relacionados con el incidente de Hugging Face recurrieron a nuevas formas de “reward hacking” (la tendencia de los modelos de IA a perseguir objetivos por medios no previstos, incluyendo atajos y trampas). En lugar de limitarse a intentar resolver la prueba, según la empresa, sus nuevos agentes de IA trataban cada vez más de explotar sus entornos. Sin embargo, tal y como destaca la propia OpenAI, el reward hacking es un reto bien conocido en el entrenamiento de modelos de IA que no tiene una solución clara.
Probablemente, incluso el fan más ocasional de Star Trek esté familiarizado con esta situación. El capitán Kirk superó de forma memorable el Kobayashi Maru, una simulación de entrenamiento intencionalmente imposible de ganar, reprogramándola en su tercer intento. En lugar de castigarle por hacer trampa, la Flota Estelar le elogió por su ingenio. “Todo el mundo sabe que Kirk superó el escenario sin salida modificándolo”, recuerda Davi Ottenheimer, consultor con amplia experiencia en seguridad y cumplimiento normativo. “La Flota Estelar consideró que eso era innovador. Al parecer, OpenAI también lo ve así”.
WIRED.com. Adaptado por Mauricio Serfatty Godoy