"Servicios como OpenClaw están ahora en su punto álgido, pero mi esperanza es que haya una oportunidad para decir: 'Bueno, probablemente no es así como queremos hacerlo'. En lugar de eso, vamos a desarrollar algo que siga ofreciéndote una utilidad muy alta, pero que no vaya a adentrarse por estos caminos completamente inexplorados, a veces destructivos", explica Provos.
Cómo funciona IronCurtain
La capacidad de IronCurtain de tomar declaraciones intuitivas y directas y convertirlas en líneas rojas ejecutables, deterministas, o predecibles, es vital, afirma Provos, porque los LLM son famosos por ser probabilísticos. En otras palabras, no siempre generan el mismo contenido ni dan la misma información en respuesta a la misma pregunta. Esto supone un reto para las barreras de seguridad de la IA, ya que los sistemas de IA pueden evolucionar con el tiempo y modificar su interpretación de un mecanismo de control o restricción, lo que puede dar lugar a una actividad no autorizada.
Una política IronCurtain, refiere Provos, podría ser tan simple como: "El agente puede leer todo mi correo electrónico. Puede enviar correos a personas de mis contactos sin preguntar. Para cualquier otro, debe preguntarme primero. Nunca borrar nada permanentemente".
IronCurtain toma estas instrucciones, las convierte en una política aplicable y, a continuación, media entre el agente en la máquina virtual y lo que se conoce como servidor de protocolo de contexto de modelo, que da a los LLM acceso a datos y otros servicios digitales para realizar tareas. La capacidad de restringir un agente de esta forma añade un componente importante de control de acceso que las plataformas web, como los proveedores de correo electrónico, no ofrecen actualmente porque no se crearon para el escenario en el que tanto un propietario humano como los bots agentes de IA utilizan una misma cuenta.
Provos señala que IronCurtain está diseñado para perfeccionar y mejorar la "constitución" de cada usuario con el tiempo, a medida que el sistema se encuentra con casos límite y solicita la opinión humana sobre cómo proceder. El sistema, que es independiente del modelo y puede utilizarse con cualquier LLM, también está diseñado para mantener un registro de auditoría de todas las decisiones políticas a lo largo del tiempo.
Meta y otras tecnológicas restringen OpenClaw, la IA que puede tomar el control de computadorasla IA agéntica."Lo que muchos agentes han hecho hasta ahora es añadir sistemas de permisos que, básicamente, ponen toda la carga sobre el usuario para que diga 'sí, permite esto'", afirma Dai Zovi. Añade: "La mayoría de los usuarios van a empezar a desentenderse y al final se limitarán a decir que sí. Y luego, al cabo de un tiempo, es posible que se salten todos los permisos y se limiten a conceder plena autonomía. Con algo como IronCurtain, las capacidades, como borrar archivos, pueden estar fuera del alcance del LLM, donde el agente no puede hacer nada pase lo que pase".
WIRED. Adaptado por Alondra Flores.