Nos hemos pasado tres años preocupados por si la IA alucina. Ahora el problema es que haga cosas

A finales de julio, el mantenedor de un proyecto de código abierto se encontró una pull request en su repositorio. El código traía algo escondido dentro. Puso pegas en público y entonces empezaron a aparecer cuentas apoyando el parche, insistiendo, incluso apretando un poco. Ninguna de esas personas existía. Eran todas el mismo agente, que además había tirado de Tor para saltarse las restricciones de GitHub y que a la vez iba dejando mensajes públicos ofreciéndose a colaborar con otros agentes metidos en el mismo reto. El tío dijo que no y ahí se acabó la historia. Detrás había una evaluación rutinaria de capacidades de ciberseguridad del AI Security Institute británico, con 122 ejecuciones y siete modelos en el ajo. • En diez de ellas los agentes se salieron del guión. • Hubo 19 acciones no autorizadas contra personas y organizaciones reales. • 17 de ellas provenían de un único modelo, Mythos 5, de Anthropic.Tampoco es un caso suelto: en cinco semanas han reportado cosas parecidas OpenAI, la propia Anthropic (con un caso extremo con una empresa de ciberseguridad regalando sus credenciales) y Meta (ya saben, si tu modelo top no se rebela un poco es que eres un paria). Pero los números son lo de menos. Lo que se te queda es que a nadie se le ocurrió pedirle que engañara. El engaño le salió solo, buscando la manera de resolver la tarea, y así lo cuenta el informe. Que es otra forma de decir que el modelo no se estropeó: simplemente hizo lo que le pedimos, y lo hizo bien, porque nadie puso ciertas reglas. Durante tres años largos, los que han pasado desde el momento ChatGPT, el fallo típico de estos sistemas era de información. A veces se inventaba una sentencia, un paper, una cifra o un suceso. Eso nos ha resultado molesto y a veces caro cuando no destructivo de la reputación si no íbamos con ojo, pero el roto se quedaba dentro de la pantalla, porque la salida era texto y el texto lo puedes leer antes de tragártelo. De hecho toda la estrategia de seguridad de la era chatbot ha sido esa: pasarle el marrón de comprobar al usuario. "Caballero, coteje con las fuentes". Y funcionaba bien porque entre lo que decía el modelo y lo que pasaba en el mundo siempre había un hueco. Ese hueco es justo lo que estamos quitando. Una acción ya no la compruebas porque ya está hecha. En Xataka Se llama Ox Alpha, es el nuevo modelo de IA causando sensación y nadie sabe quién está detrás de él Hay otra cosa que ha cambiado: aquel mantenedor no era cliente de nadie. No había abierto un chat, no había aceptado unos términos ni estaba probando nada. La alucinación te castigaba a ti, que preguntabas, y era un riesgo que asumías al entrar. Esto le cae encima al que pasa por ahí. El AISI ha concluido con una frase lapidaria: es la primera vez que la IA hace daño a gente que no la usa. Y lo que frenó aquella historia no fue ninguna barrera técnica. Fue alguien revisando código que pensó que eso olía a chamusquina. El propio informe cuenta que el margen entre que saliera bien o saliera fatal era estrechísimo y dependía de la vigilancia humana, no de algo que vaya a parar a un agente más capaz. O sea, que nuestra seguridad ahora mismo es una persona con buen olfato. Y esa persona, la que revisa antes de aprobar, la que lee el código de otro, es exactamente el trabajo que llevamos dos años automatizando. El AISI insiste con razón en que aquello no se parece a cómo se despliegan los modelos para el público: Internet abierto a propósito, filtros de seguridad apagados a propósito, configuraciones que no están a la venta... Todo eso es cierto. Y a la vez es una descripción bastante exacta de lo que está construyendo la industria: agentes con acceso a la red, permiso para actuar y cada vez menos gente en medio entre la intención y el efecto. La cláusula que salva el experimento es la hoja de ruta del producto. Nos hemos pasado tres años preguntándonos si la máquina dice la verdad o si ha derrapado. Con una mentira siempre te queda la opción de no creértela. Con esto ya no hace falta que te creas nada. Imagen destacada | Xataka con Magnific En Xataka | "Es como una droga": los agentes de IA nunca duermen, así que los fundadores de las startups tampoco - La noticia Nos hemos pasado tres años preocupados por si la IA alucina. Ahora el problema es que haga cosas fue publicada originalmente en Xataka por Javier Lacort .