El pánico se ha intensificado en las últimas semanas
Los avances más sorprendentes de la IA, como un modelo de OpenAI que resolvió en pocas horas un problema matemático con más de un siglo de antigüedad, han coincidido con varios incidentes de seguridad. En algunos casos, agentes de IA lograron salir de entornos aislados y atacar otros sistemas.
Esas preocupaciones alcanzaron su punto álgido esta semana después de que el investigador Jacob Coxon anunciara su renuncia al tiempo que advertía de que las empresas de IA están "corriendo a toda velocidad hacia una superinteligencia que se mejora a sí misma y jugando con nuestras vidas". Un alto cargo de Anthropic, que trabaja en seguridad de la IA, intervino con una valoración igualmente contundente: "¡Realmente creemos de todo corazón que la IA podría acabar con toda la humanidad! Personalmente, creo que hay más de un 10% de probabilidades de que ocurra en la próxima década".
"Creo que la visión de la superinteligencia que se mejora a sí misma está asustando a la gente. Empieza a parecer algo real", afirma Nate Soares, informático de MIRA, una organización de investigación sin fines de lucro, y coautor de If Anybody Builds It, Everybody Dies (Si alguien lo construye, todos morirán), donde se sostiene que una IA superhumana conduciría a la extinción de la humanidad.
Un componente clave de la auto-mejora recursiva es la idea de un bucle de retroalimentación que automatiza el proceso de desarrollo, de modo que la IA se vuelve cada vez más potente. Ningún laboratorio de IA afirma haber logrado este tipo de ciclo de mejora totalmente autónomo; por ahora sigue siendo teórico. Pero ha inspirado la creación de algunas empresas emergentes bien financiadas, como Recursive Intelligence, así como advertencias de grandes empresas sobre consecuencias imprevistas sacadas directamente de The Sorcerer's Apprentice (El aprendiz de brujo).
Soares, pionero en el campo de la alineación, un ámbito técnico que consiste en intentar hacer coincidir la IA con los valores humanos, afirma que cada vez es más evidente que no existe una forma práctica de garantizar que la IA se comporte como es debido: "Mucha gente tenía la fantasía de que la alineación iba a ser más fácil a medida que estas cosas se volvieran más inteligentes, y ahora se está volviendo más difícil".
Soares habla habitualmente con personas que trabajan en los grandes laboratorios de IA y que están preocupadas por las posibles consecuencias de la investigación que están llevando a cabo. "Suelo recomendarles que lo dejen, y me dicen que eso no serviría de nada".
AI 2027, un influyente proyecto que advierte sobre los peligros de una IA cada vez más potente, comparte los temores sobre la auto-mejora recursiva. La versión de este trabajo que se está llevando a cabo actualmente suele implicar el envío de miles de agentes para que colaboren en un problema, algo que aleja aún más la supervisión y el control debido a la enorme complejidad que conlleva.Muchos de quienes advierten sobre los riesgos parecen coincidir en que los incentivos de las grandes empresas de IA no están precisamente alineados con resultados positivos, sobre todo ahora que OpenAI y Anthropic se precipitan hacia sus respectivas salidas a bolsa. "En Anthropic se entiende perfectamente lo que está en juego, pero están enzarzados en una carrera por llegar los primeros", escribió Coxon en X.
las construcciones masivas de centros de datos y las posibles pérdidas de empleo provocadas por la IA. La confianza en las empresas de IA, y en los propios investigadores de IA, podría estar alcanzando su mínimo histórico."La gente está tomando conciencia y dice: 'Las empresas están intentando crear una superinteligencia… Eso es una locura'", indica Kokatajlo.
Es difícil medir con precisión los riesgos de seguir desarrollando la IA
Cuando se le presiona para que explique cómo la IA podría llegar a eliminar a la especie que la creó, Soares sugiere que podría ocurrir de varias maneras. Podría implicar manipular a los humanos para desencadenar una catástrofe o controlar un ejército de robots asesinos.
Uno de los escenarios más fáciles de imaginar podría implicar una IA conectada a un laboratorio biológico, sugiere Soares. "Podríamos decir que la apagaremos, pero ella podría responder: 'Por desgracia, el interruptor de apagado es este supervirus'".
Sin embargo, la IA no necesita acabar con la humanidad para resultar perjudicial. Muchos expertos predicen que los modelos más potentes darán lugar a una próxima oleada de ciberataques asistidos por IA. La tecnología se utiliza para campañas de desinformación, y la adopción de la IA por parte de los ejércitos se está acelerando rápidamente.
Aun así, no todo el mundo considera que el fin sea inevitable. Jain, el exinvestigador de Google DeepMind, ha fundado recientemente Sampura Research, una empresa dedicada a desarrollar técnicas para alinear modelos que impliquen mantener a los humanos en el bucle, incluso si la IA se encarga de la mayor parte de la evaluación de si un comportamiento es bueno o malo. Señala que actualmente existe una financiación significativa para startups dedicadas a la seguridad de la IA como la suya.
Jain parece tener esperanzas de que la IA aún pueda ser controlada: "Puedes preguntarle a una IA: '¿Es segura esta tarea?', y ella lo evalúa, pero creemos que combinar la IA y los seres humanos para realizar esa tarea dará lugar a un rendimiento aún mejor".
Artículo originalmente publicado enWIRED.com.Adaptado por Alondra Flores.