Un modelo de IA no tenía acceso a internet. Así que consideró que era mejor tenerlo y decidió hackear algo por el camino

La semana pasada, OpenAI estaba evaluando las capacidades ofensivas de dos de sus modelos más avanzados. Por un lado, GPT-5.6 Sol, disponible públicamente. Por el otro, un segundo modelo aún no presentado y que de hecho describen como superior al primero. Se trataba de medir sus capacidades en el ámbito de la ciberseguridad, y aunque el entorno de pruebas era teóricamente hermético y aislado, ambos modelos lograron conectarse a internet y hackear una plataforma de pruebas y modelos de IA muy popular, Hugging Face. Qué ha pasado. Ambos modelos estaban siendo evaluados mediante ExploitGym, un benchmark de ciberseguridad desarrollado por investigadores de la universidad de California en Berkeley. El objetivo consiste en tratar de encontrar vulnerabilidades reales en software real. En lugar de buscarlas por sus propios medios, los modelos detectaron que el proxy caché de registro de paquetes (sin especificar), el único componente con acceso limitado al exterior, tenía un fallo que podían explotar. Un estudio del AI Security Institute revela los avances de los últimos modelos de OpenAI y Anthropic en materia de ciberseguridad. Hola, conexión a internet. Los modelos no disponían de acceso a internet, pero explotaron esa vulnerabilidad para conseguirlo. Una vez hecho esto, supusieron que Hugging Face, la plataforma de referencia para modelos y conjuntos de datos (datasets) de IA, probablemente tenía datos sobre ExploitGym que les permitirían superar el reto pedido.  A hackear Hugging Face. Así que buscaron, encontraron y explotaron varios vectores de ataque a la vez, incluyendo tanto credenciales robadas como vulnerabilidades de día cero. Con todo ello lograron acceder a la base de datos de producción de Hugging Face (es decir, la que se usa públicamente en su sitio web), y desde ella lograron las soluciones al benchmark.  GLM-5.2 al rescate. El equipo de seguridad de OpenAI detectó actividad anómala, pero es que Hugging Face ya la había detectado hace unos días sin saber qué estaba pasando. Lo curioso es que para responder a ese ataque primero intentaron usar modelos propietarios de IA de EEUU para contenerlos. Esos modelos se bloquearon por filtros de seguridad automáticos, y en Hugging Face recurrieron e GLM-5.2, el sorprendente modelo abierto de Z.ai que se lanzó hace pocas semanas.  El chat con todos los detalles. Adrien Carreira, responsable de infraestructura de Hugging Face, lo resumía en X: "Luchamos con modelos abiertos, en abierto. La seguridad de la IA no se resolverá con una sola empresa actuando en secreto. El código abierto pone estas herramientas en manos de todos los defensores". Este experto también compartió las conversaciones que mantuvieron con el modelo de IA para lograr atajar el problema. La fuerza bruta vuelve a funcionar. En OpenAI indicaron que este era un hito (involuntario) sin precedentes, aunque algunos expertos en ciberseguridad redujeron la relevancia de lo sucedido. "Esto no es un problema de IA. Es negligencia sobre un estándar de cuarenta años", explicaba Davi Ottenheimer. Sin embargo y como ocurrió con Mythos, lo que demuestra este suceso es que la IA puede aplicar fuerza bruta y analizar posibles vulnerabilidades (y combinarlas) de una forma que los investigadores humanos no podrían por falta de tiempo.  Un problema de fondo. OpenAI reconoce que los filtros de despliegue que habrían bloqueado el comportamiento del modelo estaban desactivados intencionadamente porque la evaluación tenía como objetivo medir vulnerabilidades. Dierdre Mulligan, profesora en Berkeley, indicaba que "me parece que OpenAI no creó de forma adecuada el sandbox para el entorno de pruebas". Para ella no estaba claro que superar un test compensara el daño potencial que un modelo de IA podría causar si "escapa" y logra acceso a internet. En Xataka Anthropic dice que Claude Mythos es demasiado potente para hacerlo público. La pregunta es si esto no es más que un "que viene el lobo" Importa el fin, no los medios. Los modelos no tenían el objetivo de hackear Hugging Face: eso solo fue un medio para conseguir su fin último, que era superar el benchmark de ExploitGym. Todo lo que hicieron por el camino —encontrar la vulnerabilidad que les dio acceso a internet, hackear la BBDD de Hugging Face— fue simplemente parte de su plan para superar la prueba propuesta.  Qué han aprendido unos y otros. Tras el incidente, en OpenAI indicaron que están implementando controles más estrictos en la configuración de su infraestructura, además de colaborar con los desarrolladores del componente afectado y con Hugging Face para mejorar sus defensas. Han prometido además mejorar la "alineación" de sus modelos y las labores de monitorización duranet este tipo de pruebas. En Xataka | Daniel Púa, jefe de seguridad en Magnific: "Van a llegar videollamadas con el vídeo de un familiar y se va a complicar la cosa" - La noticia Un modelo de IA no tenía acceso a internet. Así que consideró que era mejor tenerlo y decidió hackear algo por el camino fue publicada originalmente en Xataka por Javier Pastor .