La IA está comodísima inventándose todo lo que no sabe. Unos investigadores creen saber cómo pararle los pies

Las alucinaciones llevan siendo el talón de Aquiles de la IA desde que los chatbots empezaron a ser parte de nuestra vida. Empresas como OpenAI prometieron que las alucinaciones podían mitigarse con procesos de entrenamiento adecuados, pero años después tanto ChatGPT como sus rivales directos siguen inventándose las respuestas cuando no tienen claro qué decir. Shuhui Qu, investigadora en la Universidad de Stanford, cree haber encontrado una vía para abordar el problema. Un problema estructural. Los modelos de lenguaje actuales tienen un defecto de fábrica: responden con completa seguridad incluso cuando no tienen ni idea ni la información necesaria.  Eso tiene que ver con cómo avanzan a la hora de procesar cualquier respuesta, ya que los LLMs no tienen problema alguno en completar la información faltante, aunque no estén siendo fieles a la realidad y trabajen con suposiciones.  Lo primero, reconocerlo. Shuhui Qu, investigadora en la Universidad de Stanford, publica un artículo en el que introduce lo que denomina como Planificación Categorial Bidireccional con Auto-Consulta.  Un enfoque que parte de una idea simple, pero incómoda para las grandes tecnológicas: obligar al modelo a reconocer explícitamente lo que no sabe y a no avanzar hasta resolverlo. Un método más científico. La idea no es que el modelo piense mejor, sino que deje de fingir que lo sabe todo. El planteamiento de Qu parte de una premisa básica: cada vez que el modelo da un paso en su razonamiento, debería preguntarse si realmente tiene la información necesaria para hacerlo. Cuando aparece una condición desconocida, el modelo no puede continuar. No se le permite rellenar el hueco con una suposición, y tiene que detenerse para resolver la incertidumbre antes de avanzar. Puede hacerlo de dos formas:  Bien formulando una pregunta concreta para obtener la información que faltaBien introduciendo algún paso intermedio (verificación, consulta adicional) que pase a formar parte de la cadena de razonamiento. En Xataka ChatGPT no es 100% fiable y OpenAI cree tener una solución: que nos confiese cuándo está mintiendo El método. Los investigadores, mediante código externo, lograron que modelos como GPT-4 respondieran tan solo cuando tenían información completa. Lo hicieron con tareas sencillas, preguntando sobre recetas de cocina y guías de Wikihow. ¿La clave? Ocultaron información a propósito para obligarlo a parar. La conclusión de la investigación fue que hacer explícitas las precondiciones y verificarlas antes de avanzar reduce de forma significativa los errores de los LLMs cuando falta información. Eso sí, por el camino se admite que ni siquiera esto es suficiente para hacer desaparecer las alucinaciones por completo. No tan rápido. Aunque la idea de la investigadora suene brillante, es bastante improbable verla en el corto y medio plazo. Esta forma de procesar rompe el flujo natural de los actuales LLM, diseñados para devolver respuestas completas. Para hacer funcionar un sistema así, es necesario añadir una capa adicional a la estructura, unas precondiciones que le obliguen a controlar las llamadas, interpretar las propias respuestas, clasificarlas y auto-bloquearse para preguntar en caso de no tener toda la información. En otras palabras, por el momento, la IA seguirá marcándose los triples a los que ya estamos acostumbrados. Imagen | Xataka En Xataka | ChatGPT se inventa datos y eso es ilegal en Europa. Así que una organización se ha propuesto arreglarlo con una demanda - La noticia La IA está comodísima inventándose todo lo que no sabe. Unos investigadores creen saber cómo pararle los pies fue publicada originalmente en Xataka por Ricardo Aguilar .