"Lo que distingue a Anthropic es que piensan: 'La gente va a adentrarse en el bosque de todos modos, así que tenemos que ser los primeros en hacerlo'". Según Toner, esta es, de forma muy explícita, su estrategia: desarrollar IA de vanguardia para ser un actor de peso en la mesa de negociaciones, capaz de hablar sobre cómo son los sistemas de IA de vanguardia, qué riesgos plantean, y de impulsar medidas de seguridad razonables. "Son muy claros al respecto. Es una estrategia lo suficientemente extraña como para que a la gente le cueste aceptarla".
El CEO de Anthropic, Dario Amodei, describió este enfoque con claridad en una conversación con sus cofundadores publicada en la página de empleo de la empresa: "Hay que encontrar la manera de ser realmente competitivo, de liderar el sector en algunos casos, y aun así hacer las cosas de forma segura. Si eres capaz, la fuerza de atracción que ejerces es enorme".
Anthropic fue fundada en 2021 por un grupo de exempleados de OpenAI que abandonaron la empresa tras perder la fe en la capacidad de sus dirigentes, en particular, del CEO Sam Altman, para introducir de forma segura una IA transformadora en el mundo. Ese sentimiento sigue marcando a la empresa en la actualidad. Dos exempleados con los que hablé afirman que, en las discusiones internas, los ejecutivos de Anthropic suelen citar a Sam Altman y OpenAI, así como a Meta y xAI, de Elon Musk, como ejemplos que sirven para definir el propio sentido de la responsabilidad de la empresa.
los modelos de IA más potentes está al servicio de ese objetivo, un requisito indispensable para su obligación de liderar el sector en materia de seguridad."Ninguno de nosotros quería fundar una empresa, simplemente sentíamos que era nuestro deber. Esta es la manera de mejorar la IA", dijo Sam McCandlish, cofundador y arquitecto jefe de Anthropic, en la misma conversación publicada en la página de empleo de la empresa.
La compañía declinó hacer comentarios a WIRED.
asociarse con Palantir para proporcionar servicios de IA a las agencias de defensa y inteligencia estadounidenses. Algunos de los exempleados con los que hablé comentaron que se plantearon dudas internamente sobre el acuerdo, pero esos debates no derivaron en cambios en las políticas de la empresa.En una publicación en el foro en línea LessWrong, Evan Hubinger, empleado de Anthropic, escribió que la empresa fue "sumamente sincera" con el personal respecto al acuerdo con Palantir, y que si bien probablemente había ciertos límites que no debían cruzarse sin una cuidadosa consideración, en general se trataba de un avance positivo. "Si se toman en serio los riesgos catastróficos de la IA, el gobierno de EE UU es un actor sumamente importante con el que hay que interactuar, impedir que use la IA no es una estrategia viable", escribió.
Menos de dos años después, según informes, el Pentágono comenzó a usar a Claude para tareas como identificar objetivos de ataque en la guerra entre Israel e Irán. Cuando se le preguntó en una entrevista reciente con Bloomberg si los modelos de Anthropic se usaron en un ataque a una escuela primaria iraní que dejó más de 120 muertos, Amodei dijo que no lo sabía, pero que habría sido un uso aprobado de la tecnología de la compañía siempre y cuando un humano tomara la decisión final. Es un claro ejemplo de cómo la visión de Anthropic sobre la IA responsable no siempre coincide con la del público en general.
Las firmes opiniones de Anthropic sobre cómo se debe y no se debe utilizar a Claude también han surgido en otros contextos.
A principios de este mes, Anthropic lanzó un modelo de IA de vanguardia, Claude Fable 5, con una medida de seguridad integrada particularmente restrictiva: si los investigadores intentaban usarlo para el desarrollo de IA de vanguardia, lo que violaría los términos de servicio de la compañía, Anthropic sabotearía secretamente su trabajo. Esta medida fue criticada de inmediato por investigadores de toda la industria de la IA, y Anthropic rectificó unos días después, anunciando que haría visible la medida de seguridad. En un comunicado emitido en ese momento, Anthropic afirmó que no había logrado el equilibrio adecuado y que su intención era frustrar a los adversarios extranjeros de Estados Unidos.
WIRED.Adaptado por Alondra Flores.