¿Escapará pronto la inteligencia artificial al control humano?

La «automejora recursiva» resulta tan tentadora como inquietante

The Economist

Cuando Anthropic, un laboratorio de inteligencia artificial, salga a bolsa a finales de este año, es probable que protagonice una de las mayores ofertas públicas ... iniciales de la historia. Esto se debe a que el chatbot Claude de la compañía goza de gran prestigio entre los programadores, que están dispuestos a pagar sumas considerables por acceder a él. Desde que Claude Code, su agente de ingeniería de software, fuera lanzado en febrero de 2025, se ha vuelto indispensable para muchos desarrolladores de todo el mundo, incluidos los propios empleados de Anthropic: según la compañía, más de cuatro quintas partes del código que publicó en mayo las escribió Claude. Antes del lanzamiento de Claude Code, ese porcentaje se situaba en el entorno del 3 %.

Por ello, puede resultar fácil reaccionar con escepticismo cuando la compañía, en la cima de su éxito y situada por delante de sus competidores, pide que el mundo tenga «la opción de ralentizar o pausar temporalmente el desarrollo de la IA de vanguardia», como hizo el 5 de junio. ¿Qué líder de mercado no querría que sus competidores dejaran de intentar alcanzarlo?

Sin embargo, los dirigentes de Anthropic, que llevan años preocupados por la posibilidad de que una IA fuera de control cause estragos, parecen hablar con sinceridad. La última generación de modelos de IA está formada por programadores, ingenieros y, próximamente, científicos tan competentes que muchos temen que puedan ser de los últimos creados por seres humanos. Jack Clark, cofundador de Anthropic, cree que existe un 60 % de probabilidades de que, para finales de 2028, un sistema de IA sea capaz de crear a su propio sucesor sin intervención humana.

Ese momento marcaría el comienzo de un proceso conocido como «automejora recursiva» (RSI), un bucle cerrado. La versión uno de un modelo produce la versión dos, más rápida y capaz; la versión dos produce la versión tres, aún más rápida y capaz. El bucle continúa, y las mejoras aumentan con cada iteración. Si se construyera un sistema de IA capaz de lograrlo, los ingenieros humanos no tendrían que volver a crear otro jamás. «Lo que a muchos les puede parecer una historia fantasiosa podría ser, en realidad, una tendencia auténtica», afirma Clark.

Nadie sabe con certeza cuáles serían las consecuencias de la RSI. Dado que la IA, a diferencia de los seres humanos, puede trabajar de manera constante e incansable, algunos creen que en poco tiempo daría lugar a una IA superinteligente: un «despegue rápido» —también se la ha denominado onomatopéyicamente «going foom», por el sonido que cabría imaginar que produciría una explosión de inteligencia—. Los más pesimistas con respecto a la IA temen que una superinteligencia escape al control humano y que el inicio de la RSI marque el momento en que el destino de la humanidad quede en manos de las máquinas. Sin embargo, una IA capaz de mejorarse a sí misma probablemente se enfrentaría a limitaciones de velocidad, al menos al principio.

Crear un modelo capaz de llevar a cabo la RSI exigiría automatizar una serie de tareas especializadas que actualmente realizan personas: hoy en día, los científicos de datos trabajan en la teoría de la IA y los programadores la ponen en práctica; los ingenieros de sistemas construyen las bases sobre las que los modelos experimentales pueden ampliarse hasta alcanzar producción en escala; otras personas buscan nuevas fuentes de datos de entrenamiento o experimentan con formas innovadoras de generarlos; los equipos de alineación y seguridad verifican que el resultado del proceso de entrenamiento no provoque daños, ya sean intencionados o accidentales.

Crear un modelo capaz de llevar a cabo la RSI exigiría automatizar una serie de tareas especializadas que actualmente realizan personas

No todos esos equipos son igual de susceptibles de recibir asistencia de la IA y, dentro de cada especialidad, algunas tareas son más automatizables que otras. No pasará mucho tiempo antes de que un programador humano pueda desempeñar su trabajo sin escribir una sola línea de código, pero es posible que aún falte bastante para que una IA sea capaz de negociar la adquisición de una colección de artículos científicos que no haya sido digitalizada previamente. No siempre resulta evidente cómo avanzará esta «frontera irregular». El diseño de nuevos algoritmos parecía una de las ocupaciones más seguras hasta que AlphaEvolve, uno de los modelos de Google DeepMind, empezó a realizar esa tarea en mayo de 2025. Propuso una modificación en la forma en que Google distribuye las cargas de trabajo entre sus centros de datos, lo que permitió ahorrar un 0,7 % de la potencia informática global de la compañía, y encontró métodos más eficientes para realizar la multiplicación de matrices, acelerando en un 1 % el entrenamiento de Gemini, el modelo de lenguaje grande (LLM) insignia de la compañía.

La RSI completa exige que todas las tareas de esta cadena queden automatizadas. Sin embargo, podríamos asistir a la aceleración de la investigación y desarrollo (I+D) basada en IA antes de que eso ocurra. «A medida que aumente la proporción de I+D en IA realizada por sistemas de IA, el incremento de productividad con respecto a la I+D realizada exclusivamente por humanos» podría multiplicarse por diez, luego por cien y después por mil, según un informe publicado en enero por el Centre for Security and Emerging Technology (CSET), un think tank de la Universidad de Georgetown. El informe advierte de que, en ese escenario, aunque algunos aspectos de la I+D en torno a la IA resulten difíciles de automatizar en un primer momento, «el ritmo acelerado del progreso llevará a que esos cuellos de botella se superen pronto».

El placer de la repetición

Hoy en día, ningún modelo de IA puede crear a su propio sucesor. Sin embargo, los grandes modelos de IA sí pueden crear por sí mismos modelos más pequeños. Además, con ayuda humana, también pueden desarrollar otros grandes modelos de IA.

A principios de este año, Andrej Karpathy, entonces investigador independiente y actualmente empleado de Anthropic, entrenó un chatbot con capacidades similares a las de GPT-2, un gran modelo de lenguaje creado por OpenAI en 2019. En aquel momento, el modelo requirió 168 horas de entrenamiento en 32 chips de última generación; el Dr. Karpathy consiguió el mismo resultado utilizando un único ordenador equipado con ocho GPU —los chips especializados empleados para crear IA— en apenas tres horas. Tras varios meses más de trabajo, redujo el tiempo de entrenamiento de su modelo, Nanochat, a poco más de dos horas.

En marzo, delegó la tarea de acelerar el proceso de entrenamiento en un agente de IA llamado Autoresearch. En dos días, el tiempo de entrenamiento se redujo a una hora y 48 minutos, y cinco días después descendió a una hora y 39 minutos. «No toqué nada», afirma el Dr. Karpathy. La mejora del 18 % con respecto al trabajo humano resulta sorprendente porque el Dr. Karpathy posee un talento excepcional: fue miembro fundador del equipo de investigación de OpenAI y director de IA en Tesla durante cinco años.

Las mejoras en sí mismas fueron modestas. El agente de IA eligió mejores valores iniciales para la sesión de entrenamiento, amplió el alcance de la ventana de «atención» del LLM y detectó que el enfoque del modelo se estaba desviando. Ninguna de estas acciones era especialmente novedosa, señala el Dr. Karpathy. Sin embargo, habían pasado inadvertidas. «Se acumulan y, efectivamente, mejoraron Nanochat», sostiene.

Este tipo de aceleraciones son inevitables a medida que los modelos aumentan sus capacidades. Gran parte del trabajo necesario para construir modelos de vanguardia de varios terabytes es menos glamuroso de lo que sugieren los elevados salarios y las lujosas oficinas del sector de la IA. Implica ensamblar las distintas capas de una infraestructura adquirida a terceros, depurar configuraciones de hardware y software y ajustar los «hiperparámetros» —la configuración inicial de una sesión de entrenamiento— hasta obtener resultados sólidos. Hoy en día, un sistema de IA puede realizar gran parte de estas tareas con una supervisión mínima.

Sin embargo, incluso el trabajo intelectual más sofisticado se acerca cada vez más a la automatización, afirma Joe Spisak, investigador de Reflection AI, un laboratorio con sede en Nueva York que desarrolla modelos de vanguardia de peso abierto, es decir, cuyos parámetros se hacen públicos. Si se proporciona a un sistema avanzado un esquema aproximado de una idea para mejorar la eficiencia, cada vez es más capaz de diseñar un experimento, realizar pruebas en un modelo de simulación, identificar qué funciona y devolver un plan listo para aplicarse a gran escala.

Los modelos de IA pueden ejecutar este tipo de tareas, que requieren horas de trabajo humano, en aproximadamente 30 minutos. Cada vez más, los humanos desempeñan únicamente el papel de directores de investigación, orientando a la IA para que lleve a cabo experimentos que los propios modelos codifican, depuran, optimizan y supervisan. El aumento de la productividad resulta atractivo, pero también inquietante: disminuye el papel de los humanos en el proceso de producción, por lo que podríamos perder el control y el resultado final podrían ser modelos entrenados por modelos, para alcanzar objetivos definidos por modelos, cuya seguridad solo fuera verificada por modelos.

Algunos temen una catástrofe. Max Tegmark, físico e investigador en aprendizaje automático del Massachusetts Institute of Technology, que ha dedicado gran parte de la última década a promover la seguridad de la IA, compara la situación con la de un conductor que pisa el acelerador a fondo en una autopista con los ojos cerrados. Según declaró en la próxima entrega del programa de vídeo «Inside Tech» de The Economist, el resultado sería una catástrofe segura, siempre que el conductor se negara a abrir los ojos. El profesor Tegmark plantea varios escenarios en los que las cosas salen mal: los sistemas avanzados de IA podrían sustituir a los humanos en la toma de decisiones gubernamentales y comerciales, reduciendo el poder de la humanidad; podrían otorgar un poder absoluto a quien los desarrollara primero, favoreciendo la aparición de un totalitarismo global; o podrían simplemente dejar de preocuparse por la humanidad y desplazar gradualmente a las personas para dejar espacio a más centros de datos y capacidad de generación de energía.

Hace tres años, el profesor Tegmark encabezó un llamamiento para pausar el desarrollo mundial de la IA, argumentando que la creación del entonces revolucionario GPT-4 equivalía a emprender ese viaje con los ojos vendados. El informe del CSET publicado este año advertía de que los sistemas creados mediante RSI «plantean riesgos extremos, por lo que hay razones más que justificadas para tomar medidas preparatorias desde este mismo momento». Al parecer, Anthropic está ahora cerca de asumir esa recomendación.

Un chip candente

También existen diversas limitaciones físicas que, por ahora, impondrán restricciones a la velocidad con la que los modelos pueden mejorarse a sí mismos. La más importante es el acceso a capacidad de cálculo. A pesar de las mejoras en eficiencia, los modelos más recientes siguen necesitando más potencia de cálculo para entrenarse que sus predecesores, lo que obliga a que el progreso avance al ritmo del desarrollo de los centros de datos.

El uso de la IA por parte de los consumidores también puede ralentizar la I+D basada en IA, afirma Helen Toner, directora ejecutiva interina del CSET y autora principal de su reciente informe. La limitada capacidad de los centros de datos dedicados a la IA debe distribuirse cuidadosamente entre la atención a los clientes de pago, el entrenamiento de modelos futuros y la realización de actividades de I+D abierta. Cuanto mayor sea la demanda en la primera categoría, menor será, a corto plazo, la capacidad disponible para las otras dos.

También está la cuestión de los datos de entrenamiento. Gran parte de los avances recientes en IA se han producido en ámbitos en los que los modelos pueden aprender por sí mismos a tener éxito gracias a «recompensas verificables»: un programa informático funciona o no funciona; una demostración matemática es correcta o incorrecta. En estos casos, los datos sintéticos generados por modelos con el único propósito de entrenar a otros modelos pueden verificarse y añadirse a los datos de entrenamiento sin correr el riesgo de la degradación que suele acompañar al entrenamiento de una IA con sus propios resultados. Resulta más difícil mejorar un modelo en ámbitos como la escritura creativa o el razonamiento jurídico. Si los modelos necesitan aprender del mundo real, eso también podría limitar el alcance de la automejora.

«Cerrar el bucle» puede ser un paso en el camino hacia la superinteligencia y, según la perspectiva de cada cual, hacia la utopía o la perdición. Sin embargo, no es el único requisito para desencadenar un crecimiento exponencial de las capacidades de la IA.

• Más temas
• Inteligencia artificial