Altman, Amodei, Musk y el dilema del prisionero de la IA

• JUDITH ARNAL

• Compartir en Facebook
• Compartir en Twitter
• Compartir en LinkedIn
• Enviar por email

• ¿Qué está pasando con la IA? Guía para entender una semana de vértigo
• Trump: "El único control que necesita la IA es un presidente fuerte e inteligente"

La seguridad y el interés comercial apuntan en este caso en la misma dirección: conviene evitar que intereses privados dicten las reglas públicas.

Dario Amodei, consejero delegado de Anthropic, publicó el pasado sábado un texto reclamando al sector ralentizar el desarrollo de los modelos de IA más avanzados para reforzar su seguridad. Como primer paso, anunció que Anthropic incorporaría evaluadores independientes con acceso permanente y comparable al de un empleado a sus sistemas internos. Ese mismo día, Sam Altman respaldó el llamamiento y se comprometió a incorporar también estos evaluadores en OpenAI, mientras Elon Musk escribió que Amodei tiene razón.

Los líderes de tres empresas que se disputan clientes y talento coinciden en un mismo día en la necesidad de ir más despacio. Interpretar estos llamamientos en clave ética es tentador, y esa lectura puede reflejar parte de la realidad. Pero no deberíamos dejar de lado los incentivos empresariales, que nos pueden dar información valiosa para interpretar tanto el fondo de las medidas anunciadas como el momento.

Empezando por el fondo. Para entender por qué este tipo de medidas coordinadas interesan a unas empresas que viven de avanzar la frontera tecnológica, conviene entender el juego en el que llevan inmersas los últimos tres años. Cada laboratorio tiene dos opciones, acelerar o contenerse. Este es un mercado que premia las posiciones relativas, favoreciendo al primero: el modelo más capaz se lleva los mayores contratos con empresas, los mejores ingenieros y la financiación más abundante y barata. Con esa estructura de premios, acelerar sale a cuenta haga lo que haga el rival: si el rival se contiene, acelerando me quedo con el mercado; si el rival acelera, conteniéndome me quedo fuera. Así, todos los laboratorios optan por acelerar.

La carrera de la Reina Roja

Pero la aceleración de todos los laboratorios les lleva a gastar decenas de miles de millones al año en centros de datos y chips para obtener una ventaja que el competidor, o un laboratorio chino que destila sus modelos, borra en unos meses. El dinero se ha ido, la posición relativa es la misma que al principio, los precios bajan porque hay varios modelos equivalentes compitiendo, y además, cada lanzamiento a toda prisa añade probabilidad de un incidente que dañe la reputación y atraiga al legislador. Es la carrera de la Reina Roja que ya explicamos en una tribuna previa en Expansión: correr cada vez más para quedarse en el mismo sitio. Por eso este resultado, que es el que llevamos tres años viviendo, erosiona los márgenes empresariales.

Frente a eso, la contención de todos los laboratorios puede ser mucho más rentable por una razón sencilla: las posiciones relativas pueden mantenerse, pero con mucho menos capital quemado y menos riesgo de accidente. Si lo que vale es estar delante, y estar delante no depende de cuánto corro sino de cuánto corro respecto al otro, correr menos de forma coordinada deja a todos igual de bien situados y bastante más ricos. El peor resultado, claro, es contenerme yo mientras el otro acelera: salgo de la frontera y el mercado me olvida. Es el dilema del prisionero de los manuales de teoría de juegos.

La cuestión es cómo pasar de un equilibrio en el que todas las empresas optan por la aceleración a otro en el que decidan contenerse. En un juego repetido, la cooperación es sostenible si la deserción es detectable y castigable. Nadie se fía de que el vecino no esté acelerando a escondidas, así que hace falta un inspector. La figura de los evaluadores externos con acceso de empleado que propone Amodei, y que Altman ha aceptado sin negociar, podrían facilitar esa verificación.

Pero un pacto de contención solo funciona si nadie de fuera puede aprovecharlo. Si los tres grandes frenan y un cuarto acelera, ese cuarto se queda con el mercado sin haber pagado la carrera. Hay dos competidores de fuera que preocupan.

El primero es China. Los laboratorios chinos no tienen por qué sumarse: la propuesta de Amodei está pensada para Estados Unidos y sus aliados, y aspira también a incorporar a China, aunque reconoce la dificultad. Mientras tanto, la única forma de evitar que se aprovechen es que no puedan seguir el ritmo, y eso no lo consiguen los estándares de seguridad. La palanca principal son los chips, y por eso estas mismas empresas llevan años pidiendo en Washington controles más duros a la exportación de semiconductores. Pero la palanca es imperfecta. China avanza en aceleradores propios, parte de los chips restringidos entra por terceros países y, según denuncia Anthropic, algunos laboratorios destilan modelos occidentales para acercarse a la frontera con mucho menos cómputo. Contra eso el control de exportaciones no basta.

El segundo es el software abierto. Un modelo de pesos abiertos lo puede copiar y usar cualquiera, así que un pacto entre tres empresas no lo frena. Aquí la tentación es fijar un estándar de seguridad que los desarrolladores pequeños no puedan cumplir. Tener evaluadores permanentes en la empresa, con acceso a los procesos de entrenamiento, exige un presupuesto y una estructura que favorece a los grandes.

Siguiendo con el momento, que tampoco es casual. La petición llega tras un incidente en el que agentes de IA se colaron en sistemas ajenos, con el Congreso de Estados Unidos convocando audiencias y con legisladores hablando de responsabilidad civil y de prohibir la superinteligencia. Ofrecer autorregulación antes de que llegue la ley es un movimiento inteligente y bastante tradicional.

El mejor anuncio posible

Y luego están las salidas a Bolsa. OpenAI y Anthropic preparan las dos operaciones más esperadas de la década. Un incidente grave antes de cotizar destruye valor; un compromiso público con la seguridad lo protege. Altman ha dicho que, precisamente por seguridad, no saldrá a cotizar en 2026. Pero el argumento tiene otra cara: decir que tu producto es tan potente que hay que frenarlo es, en pleno debate sobre si la IA es una burbuja, el mejor anuncio posible.

Todo esto no quiere decir que el riesgo sea inventado. Probablemente es real, y por eso los tres han encontrado tan fácil ponerse de acuerdo. Lo que quiere decir es que la seguridad y el interés comercial apuntan aquí en la misma dirección, y cuando eso ocurre conviene evitar que intereses privados dicten las reglas públicas. Tres cosas deberían exigirse. Que los evaluadores no dependan de las empresas que evalúan, sino de una autoridad pública. Que las autoridades de competencia vigilen esta coordinación como vigilarían cualquier otro pacto entre competidores, precisamente porque el propio ensayo pide al Gobierno una exención antimonopolio limitada a conversaciones sobre seguridad. Y que el estándar de seguridad sea proporcional al riesgo y no imponga barreras injustificadas a nuevos competidores. El dilema del prisionero tiene solución, pero no conviene que la redacten los prisioneros.

Judith Arnal | Investigadora principal en Real Instituto Elcano, CEPS y Fedea

• Opinión
• Tecnología

• 01:37

  El crudo sube un 20% en septiembre por la amenaza hutí al suministro saudí

• 01:29

  Altman, Amodei, Musk y el dilema del prisionero de la IA

• 01:21

  Repsol se frena en máximos, pero apunta a alzas del 30%

• 01:08

  ACS, Ferrovial, Acciona y Merlin piden cambiar la ley de 'data center'

• 01:00

  Luis Hormeño se une a Plana Ventura Garcés