- Los temores de la IA irrumpen en la mayor carrera tecnológica del siglo
- OpenAI descarta salir a Bolsa este año por los riesgos de la IA
¿Pueden los laboratorios de Silicon Valley perder el control de la inteligencia artificial? Las crecientes advertencias de investigadores y académicos disparan las alarmas y reabren un debate que mezcla riesgos tecnológicos, negocio y geopolítica.
"Entre seis y doce meses". Este es el plazo que fija Dario Amodei, CEO de Anthropic, para que un enjambre de agentes de inteligencia artificial sea capaz de secuestrar Internet y causar daños por cientos de miles de millones de dólares. La advertencia no llega sola. En las últimas semanas, decenas de investigadores, empleados de los principales laboratorios y académicos han elevado las alertas sobre el riesgo de perder el control de los sistemas de inteligencia artificial más avanzados. Algunos incluso llegan a plantear escenarios de extinción humana durante esta misma década.
La pregunta es qué han visto exactamente quienes están construyendo esta tecnología para elevar el nivel de alarma, y por qué figuras como Dario Amodei, Sam Altman o Elon Musk admiten que es necesario ralentizar el ritmo de desarrollo de la inteligencia artificial más avanzada.
¿Por qué preocupa que la IA se automejore?
Una de las razones que eleva la preocupación es que la inteligencia artificial que no ha salido aún del laboratorio ha empezado a contribuir al desarrollo de las próximas generaciones de esta tecnología. El propio Amodei señala que este fenómeno ya está ocurriendo en la industria, incluida Anthropic. El temor es que, gracias a esta automejora, la inteligencia artificial avance más deprisa que la capacidad de los humanos para controlarla.
Por eso, dicen que es cuestión de tiempo que aparezcan sistemas que aprendan a engañar a los evaluadores para convencerlos de que son fiables y están actuando según las instrucciones, aunque en realidad no sea así. "Los modelos parecerán estar cada vez más alineados incluso cuando no lo estén", alerta Daniel Selsam, investigador de OpenAI.
Los expertos ya citan algunos comportamientos que apuntan a este problema. En un reciente informe de seguridad de Naciones Unidas se recogen pruebas de laboratorio en las que los agentes han engañado a evaluadores, detectado cuándo estaban siendo examinados, ocultado capacidades o incumplido instrucciones para evitar ser apagados. El estudio concluye que no hay métodos fiables para mantener el control sobre sistemas autónomos, una situación que "podría tener consecuencias catastróficas".
Lo que preocupa es que estos problemas de alineación, aún limitados, se agraven a medida que los modelos ganen autonomía y participen más en el desarrollo de la próxima inteligencia artificial.
¿Han fallado los laboratorios?
No todos coinciden. Mark Zuckerberg, CEO de Meta, considera que, a tenor de este escenario, la industria debería dejar de competir para alcanzar la mejora autorecursiva. Y para Aidan Gómez, CEO de Cohere, los incidentes ocurridos -como el enjambre de agentes autónomos de OpenAI que atacó HuggingFace- reflejan fallos en la supervisión y contención, por lo que es ahí dónde deben actuar los laboratorios.
En esa línea, los investigadores Sayash Kapoor y Arvind Narayan, conocidos por su escepticismo respecto a un hipotético escenario de inteligencia artificial fuera de control, sostienen que estos incidentes muestran que los laboratorios han avanzado más rápido en la carrera por dotar de capacidades a la inteligencia artificial que en el trabajo para controlarla. En este sentido, señalan que la prioridad es exigirles procesos de seguridad más rigurosos, y responsabilidad por los daños que puedan ocasionar.
Nuria Oliver, doctora en inteligencia artificial, también pone el foco en la responsabilidad. En su opinión, las empresas no pueden limitarse a asumir estos riesgos como un coste más del negocio. "Necesitamos verdadera rendición de cuentas, con responsabilidades y sanciones proporcionales al daño y al riesgo generado. Es importante que quienes asumen riesgos sobre el conjunto de la sociedad respondan por sus decisiones".
Pero, ¿realmente es factible este escenario de extinción de la humanidad? Gómez, uno de los investigadores que sentó las bases para la inteligencia artificial generativa, opina que se basa en juicios subjetivos más que en evidencias científicas concluyentes.
El verdadero peligro: los sistemas autónomos
Por su parte, Oliver señala que si esta tecnología representase una amenaza "no sería por el escenario cinematográfico de una inteligencia artificial que decide exterminar a la humanidad". A su juicio, el riesgo existencial no sería por una supuesta "superinteligencia" o una inteligencia artificial con voluntad propia. "Bastaría con que sistemas autónomos adquirieran suficiente acceso para intervenir de forma significativa en infraestructuras críticas, mercados, energía, comunicaciones o cadenas de suministro, y que al mismo tiempo perdiéramos la capacidad de supervisarlos o detenerlos. El verdadero punto de peligro sería la combinación de autonomía, capacidad de acción, posibilidad de coordinación y pérdida de control humano".
Nuria Oliver, doctora en IA.EXPANSIONLa española, que asesora en informes de seguridad de la inteligencia artificial, incide en que cuando un sistema alcance un nivel de autonomía, capacidad de acción o acceso a infraestructuras que pueda comprometer nuestra capacidad de supervisarlo, "deberíamos poder limitar su despliegue, exigir medidas adicionales de seguridad o simplemente no hacerlo".
¿Por qué siguen entonces los laboratorios?
Ante esto surge una pregunta inevitable: ¿por qué, si esta tecnología es potencialmente tan peligrosa, no son los laboratorios los que dejan de avanzar en ella? La respuesta tiene vertientes geopolíticas y estratégicas. "No es viable que frenen. Basta con que un país no desacelere para que el resto tampoco. Hay mucho dinero y poder en juego. Si no lo hacen todos, no sirve, y ya hemos visto como China y Donald Trump no están por la labor", explica Enrique Puertas, profesor de IA y Big Data en la Universidad Europea.
Mientras algunos teóricos como Nick Bostrom sí que consideran posible que el avance tecnológico actual desencadene la extinción de la humanidad en un corto periodo de tiempo, otros apuntan a que, aunque esta tecnología supone riesgos, lo sucedido en los últimos días es un show de los gigantes del sector para obtener ciertos beneficios.
Carissa Véliz, profesora de ética en la Universidad de Oxford.MAURICIO SKRYCKYEXPANSION"No debemos permitir que los ejecutivos tecnológicos marquen el tono del debate, que decidan la agenda. Debemos tener cuidado de no tomarnos sus palabras demasiado en serio. Se trata de empresarios con intereses económicos. Y algunas de las tácticas que parecen estar utilizando -aterrorizar al público y prometer la solución a nuestros problemas- imitan el efecto que las máquinas tragaperras tienen sobre nosotros: se apropian de las emociones de la gente, jugando con el miedo y las descargas de dopamina", opina Carissa Véliz, filósofa y profesora de ética en la Universidad de Oxford.
En los últimos meses, los avances de los principales laboratorios han elevado el tono del debate. El salto se aprecia especialmente en ciberseguridad. Anthropic restringió el acceso a Mythos tras señalar que, sin medidas de seguridad, sus capacidades podrían utilizarse para causar daños graves. Por su parte, OpenAI ha reconocido que el incidente de Hugging Face obligó a retrasar GPT-6 Astra, su inteligencia artificial más potente, y a endurecer sus controles.
Intereses empresariales
Estos lanzamientos en plena carrera por lucir la inteligencia artificial más potente, se unen a las OPV de OpenAI y Anthropic. "¿Podría ser que no sea una coincidencia que este debate esté acaparando tanta atención tan cerca de la salida a Bolsa de Anthropic?", se pregunta Véliz. Saltar al parqué con dudas sobre el futuro de sus innovaciones y escándalos sobre fallos de seguridad no sería el escenario más oportuno. "El retraso de OpenAI en su debut en Bolsa [que Altman vincula a la seguridad] suena a excusa, necesitan dar ese paso con la confianza de los inversores y todo responde a pura estrategia empresarial", añade Puertas.
También hay una variable geopolítica. El avance de modelos chinos de pesos abiertos y precios por debajo de modelos frontera estadounidenses podría haber empujado, según algunos expertos y defensores del código abierto, a que los laboratorios de EEUU pidan regulación y más controles, lo que podría suponer "un palo en la rueda" para la competencia china, dice Puertas.
La verdad sobre las capacidades de la inteligencia artificial que se están diseñando a puerta cerrada en Anthropic o OpenAI solo la saben ellos. "Cuidado con los nuevos profetas; hay que aprender de la historia. Las predicciones no son hechos; los hechos perteneces al presente y al pasado. El futuro lo construimos juntos", reflexiona Véliz.
¿Cómo afectará a la inversión en inteligencia artificial?
Tres días después de que Sam Altman, CEO de OpenAI, anunciara que aplaza su salida a Bolsa en medio de la tormenta por los riesgos de la inteligencia artificial, 'Financial Times' adelantaba que la compañía está en conversaciones para cerrar una nueva ronda y aumentar su valoración hasta los 1,2 billones de dólares. "Los recientes llamamientos a favor de la seguridad por parte de OpenAI, Anthropic y otros son estrategias de mercado tácticas, no gestos genuinamente altruistas", opina Dimitri Zabelin, analista de PitchBook. A su juicio, a pesar de los acontecimientos de la última semana, es improbable que se congele la captación de fondos para inteligencia artificial en el cuarto trimestre, pues considera que estos movimientos responden a una estrategia para seguir aumentando la valoración de las compañías de esta industria.
De hecho, el retraso en los planes de salir a Bolsa y la negociación de una nueva ronda apuntan a que OpenAI está ganando tiempo para seguir inflando su valoración frente a su principal competidor, Anthropic, que persigue los dos billones de dólares de valor en su OPV, prevista para otoño. "Anthropic y OpenAI han emitido repetidamente advertencias públicas sobre los riesgos que plantean sus modelos más avanzados. Estas tácticas amplifican la expectación en torno a los modelos de vanguardia y las exorbitantes valoraciones que se les asignan", dice Zabelin.
Diccionario básico de seguridad
AGI (Inteligencia Artificial General )Hipotética inteligencia artificial capaz de realizar cualquier tarea intelectual humana. Gran parte del debate sobre seguridad gira en torno a qué ocurriría si los sistemas alcanzaran ese hito.
Alineamiento Capacidad de un sistema para actuar conforme a las intenciones, valores y objetivos de los humanos. El problema surge cuando éste cumple la orden, pero encuentra atajos peligrosos que nadie previó.
Auto-mejora recursiva Posibilidad de que una inteligencia artificial contribuya al desarrollo de sistemas avanzados, que a su vez ayuden a crear otros más capaces. Preocupa que este proceso pueda acelerarse hasta avanzar más rápido de lo que los humanos son capaces de comprender o supervisar.
IA agéntica Puede actuar para alcanzar un objetivo, planificar tareas, utilizar herramientas, buscar información o ejecutar acciones con un grado creciente de autonomía.
Interpretabilidad Cómo llega una inteligencia artificial a una determinada conclusión o decisión. Es uno de los grandes retos del sector, ya que los modelos más avanzados funcionan a menudo como una caja negra incluso para quienes los han creado.
Verificación Métodos destinados a comprobar que una inteligencia artificial es segura y se comportará como se espera fuera de las pruebas de laboratorio. Es un reto prever cada respuesta de estos modelos ante situaciones imprevistas.
Leyes de escalado Observación de que las capacidades de la inteligencia suelen mejorar al aumentar el volumen de datos, la potencia de cálculo y el tamaño de los modelos. Esta idea ha guiado los avances, aunque la industria debate si tiene síntomas de agotamiento.
¿Qué está pasando con la IA? Guía para entender una semana de vértigoLos temores de la IA irrumpen en la mayor carrera tecnológica del sigloOpenAI lanza un ChatGPT específico para menores de 18 años Comentar ÚLTIMA HORA-
02:59
Trump amenaza con grandes aranceles contra Europa si Canadá se asocia con la UE
-
02:37
Un árbitro español, al frente del tribunal del pleito entre Mikhail Fridman y Reino Unido
-
02:01
Podemos intenta recomponer una izquierda devastada
-
00:46
510 millones más para acabar el Camp Nou
-
00:31
A falta del Gobierno, a los caballas siempre les quedará Europa