Entendiendo el Fenómeno
Las pruebas internas de OpenAI, detalladas en un artículo reciente, resaltan un aumento significativo en las tasas de alucinación en modelos como o3 y o4-mini. Estos modelos, diseñados con capacidades avanzadas de razonamiento y multimodalidad, representan la vanguardia de la tecnología de IA. Pueden generar imágenes, realizar búsquedas en la web, automatizar tareas, recordar conversaciones pasadas y resolver problemas complejos. Sin embargo, estos avances parecen tener un costo.
Para cuantificar el alcance de estas alucinaciones, OpenAI emplea una prueba específica llamada PersonQA. Esta prueba consiste en alimentar al modelo con un conjunto de hechos sobre varios individuos y luego formular preguntas sobre esos individuos. La precisión del modelo se evalúa en función de su capacidad para proporcionar respuestas correctas.
En evaluaciones anteriores, el modelo o1 logró una tasa de precisión encomiable del 47% con una tasa de alucinación de solo el 16%. Sin embargo, cuando o3 y o4-mini se sometieron a la misma evaluación, los resultados fueron marcadamente diferentes.
Se esperaba que el modelo o4-mini, al ser una variante más pequeña con menos conocimiento del mundo, exhibiera una tasa de alucinación más alta. Sin embargo, la tasa real del 48% fue sorprendentemente alta, considerando que o4-mini es un producto disponible comercialmente y ampliamente utilizado para búsquedas en la web y recuperación de información.
El modelo o3 de tamaño completo también demostró una tendencia preocupante a alucinar. En el 33% de sus respuestas, el modelo fabricó información, duplicando efectivamente la tasa de alucinación del modelo o1. A pesar de esto, o3 también logró una alta tasa de precisión, lo que OpenAI atribuye a su propensión a hacer más afirmaciones en general.
Definiendo Alucinaciones
El término ‘alucinación’, en el contexto de la IA, se refiere a la tendencia de un modelo a generar respuestas que son factualmente incorrectas o sin sentido sin ninguna fuente o justificación aparente. Estos no son simplemente errores que surgen de datos incorrectos o una mala interpretación. En cambio, las alucinaciones representan una falla más fundamental en el proceso de razonamiento del modelo.
Si bien la información inexacta ciertamente puede provenir de diversas fuentes, como entradas de Wikipedia o hilos de Reddit, estas instancias se asemejan más a errores rastreables que pueden atribuirse a puntos de datos específicos. Las alucinaciones, por otro lado, se caracterizan por la invención de hechos por parte del modelo de IA en momentos de incertidumbre, un fenómeno que algunos expertos han denominado ‘relleno creativo de vacíos’.
Para ilustrar este punto, considere la pregunta: ‘¿Cuáles son los siete modelos de iPhone 16 disponibles en este momento?’. Dado que solo Apple sabe cuál será el próximo iPhone, es probable que el LLM proporcione algunas respuestas reales y luego invente modelos adicionales para terminar el trabajo. Este es un claro ejemplo de alucinación, donde el modelo fabrica información para completar la tarea, o lo que se conoce como ‘relleno creativo de vacíos’.
El Rol de los Datos de Entrenamiento
Los chatbots como ChatGPT están entrenados con vastas cantidades de datos de Internet. Estos datos informan el contenido de sus respuestas, pero también dan forma a cómo responden. Los modelos están expuestos a innumerables ejemplos de consultas y respuestas ideales coincidentes, lo que refuerza tonos, actitudes y niveles de cortesía específicos.
Este proceso de entrenamiento puede contribuir inadvertidamente al problema de las alucinaciones. Se alienta a los modelos a proporcionar respuestas confiables que aborden directamente la pregunta. Esto puede llevarlos a priorizar responder la pregunta, incluso si tienen que inventar información para hacerlo, en lugar de admitir que no saben la respuesta.
En esencia, el proceso de entrenamiento puede recompensar inadvertidamente las respuestas confiadas y aparentemente conocedoras, incluso si son factualmente incorrectas. Esto puede crear un sesgo hacia la generación de respuestas, independientemente de su precisión, lo que puede exacerbar el problema de las alucinaciones.
La Naturaleza de los Errores de la IA
Es tentador establecer paralelismos entre los errores de la IA y los errores humanos. Después de todo, los humanos no son infalibles y tampoco deberíamos esperar que la IA sea perfecta. Sin embargo, es crucial reconocer que los errores de la IA provienen de procesos fundamentalmente diferentes a los errores humanos.
Los modelos de IA no mienten, desarrollan malentendidos o recuerdan información incorrectamente de la misma manera que lo hacen los humanos. Carecen de las habilidades cognitivas y la conciencia contextual que sustentan el razonamiento humano. En cambio, operan basándose en probabilidades, prediciendo la siguiente palabra en una oración basándose en patrones observados en sus datos de entrenamiento.
Este enfoque probabilístico significa que los modelos de IA no poseen una verdadera comprensión de la precisión o la inexactitud. Simplemente generan la secuencia de palabras más probable basándose en las relaciones estadísticas que han aprendido de sus datos de entrenamiento. Esto puede llevar a la generación de respuestas aparentemente coherentes que, de hecho, son factualmente incorrectas.
Si bien los modelos se alimentan con el valor de toda una Internet de información, no se les dice qué información es buena o mala, precisa o inexacta; no se les dice nada. Tampoco tienen conocimientos fundamentales existentes o un conjunto de principios subyacentes que les ayuden a clasificar la información por sí mismos. Todo es solo un juego de números: los patrones de palabras que existen con mayor frecuencia en un contexto dado se convierten en la ‘verdad’ del LLM.
Abordando el Desafío
La creciente tasa de alucinaciones en los modelos de IA avanzados plantea un desafío significativo. OpenAI y otros desarrolladores de IA están trabajando activamente para comprender y mitigar este problema. Sin embargo, las causas subyacentes de las alucinaciones no se comprenden completamente, y encontrar soluciones eficaces sigue siendo un esfuerzo continuo.
Un enfoque potencial es mejorar la calidad y la diversidad de los datos de entrenamiento. Al exponer los modelos a información más precisa y completa, los desarrolladores pueden reducir la probabilidad de que aprendan y perpetúen información falsa.
Otro enfoque es desarrollar técnicas más sofisticadas para detectar y prevenir alucinaciones. Esto podría implicar entrenar a los modelos para que reconozcan cuándo no están seguros acerca de una pieza particular de información y se abstengan de hacer afirmaciones sin evidencia suficiente.
Mientras tanto, OpenAI podría necesitar buscar una solución a corto plazo, así como continuar su investigación sobre la causa raíz. Después de todo, estos modelos son productos que generan dinero y deben estar en un estado utilizable. Una idea sería crear algún tipo de producto agregado: una interfaz de chat que tenga acceso a múltiples modelos diferentes de OpenAI.
Cuando una consulta requiera un razonamiento avanzado, recurriría a GPT-4o, y cuando quiera minimizar las posibilidades de alucinaciones, recurriría a un modelo más antiguo como o1. Quizás la empresa podría ser aún más elegante y usar diferentes modelos para encargarse de diferentes elementos de una sola consulta, y luego usar un modelo adicional para unirlo todo al final. Dado que esto sería esencialmente un trabajo en equipo entre múltiples modelos de IA, quizás también se podría implementar algún tipo de sistema de verificación de hechos.
Aumentar las tasas de precisión no es el objetivo principal. El objetivo principal es reducir las tasas de alucinación, lo que significa que debemos valorar las respuestas que dicen ‘No lo sé’, así como las respuestas con las respuestas correctas.
La Importancia de la Verificación de Hechos
La creciente prevalencia de alucinaciones en los modelos de IA subraya la importancia de la verificación de hechos. Si bien estos modelos pueden ser herramientas valiosas para la recuperación de información y la automatización de tareas, no deben tratarse como fuentes infalibles de verdad.
Los usuarios siempre deben tener precaución al interpretar la salida de los modelos de IA y deben verificar independientemente cualquier información que reciban. Esto es especialmente crucial cuando se trata de asuntos delicados o consecuentes.
Al adoptar un enfoque crítico y escéptico hacia el contenido generado por la IA, podemos mitigar los riesgos asociados con las alucinaciones y asegurarnos de que estamos tomando decisiones informadas basadas en información precisa. Si le gustan mucho los LLM, no hay necesidad de dejar de usarlos, pero no permita que el deseo de ahorrar tiempo gane a la necesidad de verificar los resultados. ¡Siempre verifique los hechos!
Implicaciones para el Futuro de la IA
El desafío de las alucinaciones tiene implicaciones significativas para el futuro de la IA. A medida que los modelos de IA se integran más en nuestras vidas, es esencial que sean confiables y dignos de confianza. Si los modelos de IA son propensos a generar información falsa o engañosa, podría erosionar la confianza pública y obstaculizar su adopción generalizada.
Abordar el problema de las alucinaciones no solo es crucial para mejorar la precisión de los modelos de IA, sino también para garantizar su uso ético y responsable. Al desarrollar sistemas de IA que sean menos propensos a las alucinaciones, podemos aprovechar su potencial para el bien al tiempo que mitigamos los riesgos de la desinformación y el engaño.