Anthropic presenta Fable 5
Claude Fable 5, que se está lanzando al público, utiliza el mismo modelo subyacente que Mythos 5, pero contará con "medidas de seguridad" que impedirán que el modelo responda a muchas preguntas de los usuarios relacionadas con la ciberseguridad, la biología y la química. Estas solicitudes se redirigirán a un modelo de IA anterior, Claude Opus 4.8. Si Anthropic sospecha que un usuario está intentando realizar una destilación, entrenar un modelo de IA más pequeño a partir de las respuestas de un modelo de IA más grande, en Claude Fable 5, esas solicitudes también se redirigirán a Claude Opus 4.8, según indica la compañía.
En una entrevista con WIRED, la directora de gestión de productos de Anthropic, Diane Penn, afirma que la empresa ha estado lidiando con la cuestión de cómo gestionar las capacidades de detección de vulnerabilidades de software de Mythos y otras funciones avanzadas desde antes de su lanzamiento en abril, pero que las pruebas y los comentarios de los usuarios desde entonces han ayudado a perfeccionar la estrategia.
"Intentamos realizar mejoras de forma beneficiosa, aunque al principio no contemos con la solución perfecta para cada caso de uso. De entre todos los enfoques posibles, este resultó ser el más viable y el mejor. Simplemente llegamos a la conclusión de que esta era la mejor opción para que los usuarios sacaran el máximo provecho de Fable 5", afirma Penn.
Por ahora, Penn afirma que el mecanismo de protección está diseñado para ser precavido, lo que significa que algunas consultas de los usuarios podrían ser redirigidas al modelo de IA menos avanzado, incluso si son inofensivas. Con el tiempo, Anthropic espera mejorar la precisión de sus clasificadores, pero Penn asegura que esta era la única forma segura en que la empresa podía lanzar el modelo de forma generalizada en este momento.
La compañía anunció que, además de ofrecer Claude Mythos 5 a los socios del Proyecto Glasswing, también brindará acceso a "investigadores selectos en biología". Asimismo, Anthropic señaló en su blog sobre el lanzamiento del martes que proporcionará versiones sin restricciones a estos pequeños grupos de clientes "hasta que nuestro programa de acceso seguro esté disponible", insinuando planes futuros para ampliar aún más el acceso. Desde el lanzamiento de Mythos en abril, Anthropic ha enfatizado que, con el tiempo, sus competidores, tanto en el ámbito privado como en el público general, inevitablemente también ofrecerán modelos con capacidades similares a las de Mythos.
Claude Mythos y otros nuevos modelos de IA para diseñar herramientas de hackeo capaces de encontrar y explotar vulnerabilidades tanto en software nuevo como heredado ha obligado a empresas tecnológicas y gobiernos de todo el mundo a asegurar sus defensas de software antes de que modelos de IA de este nivel se pongan ampliamente a disposición de los atacantes. Anthropic dio a conocer Mythos a sus socios industriales en el marco de un consorcio denominado Proyecto Glasswing, con la idea de que esto pudiera dar a sus miembros una ventaja a la hora de preparar sus propios sistemas y sopesar soluciones globales a la amenaza antes de un lanzamiento más amplio.Anthropic escribió en una actualización sobre el Proyecto Glasswing la semana pasada: "Estamos trabajando lo más rápido posible para lanzar de forma segura capacidades de nivel Mythos para el público en general. Para ello, necesitaremos medidas de seguridad muy sólidas que impidan el mal uso de las capacidades cibernéticas del modelo; medidas de seguridad que nosotros aún no hemos desarrollado".
OpenAI como Anthropic han presentado solicitudes confidenciales para salir a bolsa y compiten por impresionar a los posibles inversionistas antes de convertirse en empresas cotizadas este mismo año.Aun como solución provisional, queda por ver cuán resistentes son las medidas de seguridad de Claude Fable 5 en la práctica. Anthropic afirma que, tras más de 1,000 horas de pruebas de penetración, sus evaluadores no encontraron ninguna vulnerabilidad universal para el modelo. Sin embargo, los temores sobre la capacidad de desarrollar protecciones adecuadas justificaron inicialmente por qué la compañía no lanzó los modelos de clase Mythos al público en abril, y estos temores parecen persistir.
Artículo originalmente publicado enWIRED.Adaptado por Alondra Flores.