Des études récentes ont révélé une tendance inquiétante : les modèles ChatGPT les plus récents présentent un taux d’hallucinations plus élevé que leurs prédécesseurs. Cette découverte soulève des questions essentielles sur les compromis entre les capacités avancées et la fiabilité des grands modèles linguistiques (LLM). Examinons en détail ces découvertes et explorons les implications potentielles.
Comprendre le phénomène
Les tests internes d’OpenAI, tels que détaillés dans un récent article, mettent en évidence une augmentation significative des taux d’hallucination dans les modèles tels que o3 et o4-mini. Ces modèles, conçus avec des capacités de raisonnement avancées et multimodales, représentent la pointe de la technologie en matière d’IA. Ils peuvent générer des images, effectuer des recherches sur le Web, automatiser des tâches, se souvenir de conversations passées et résoudre des problèmes complexes. Cependant, ces progrès semblent avoir un coût.
Pour quantifier l’étendue de ces hallucinations, OpenAI utilise un test spécifique appelé PersonQA. Ce test consiste à fournir au modèle un ensemble de faits concernant diverses personnes, puis à poser des questions sur ces personnes. La précision du modèle est ensuite évaluée en fonction de sa capacité à fournir des réponses correctes.
Lors d’évaluations précédentes, le modèle o1 a atteint un taux de précision louable de 47 % avec un taux d’hallucination de seulement 16 %. Cependant, lorsque o3 et o4-mini ont été soumis à la même évaluation, les résultats ont été nettement différents.
Le modèle o4-mini, étant une variante plus petite avec moins de connaissances du monde, devait présenter un taux d’hallucination plus élevé. Pourtant, le taux réel de 48 % était étonnamment élevé, étant donné que o4-mini est un produit commercialement disponible largement utilisé pour les recherches sur le Web et la récupération d’informations.
Le modèle o3 de taille normale a également démontré une tendance inquiétante à halluciner. Dans 33 % de ses réponses, le modèle a inventé des informations, doublant ainsi le taux d’hallucination du modèle o1. Malgré cela, o3 a également atteint un taux de précision élevé, ce qu’OpenAI attribue à sa propension à faire plus d’affirmations dans l’ensemble.
Définir les hallucinations
Le terme ‘hallucination’, dans le contexte de l’IA, fait référence à la tendance d’un modèle à générer des réponses factuellement incorrectes ou absurdes sans source ni justification apparente. Il ne s’agit pas simplement d’erreurs résultant de données incorrectes ou d’une mauvaise interprétation. Au lieu de cela, les hallucinations représentent un défaut plus fondamental dans le processus de raisonnement du modèle.
Bien que des informations inexactes puissent certainement provenir de diverses sources, telles que des entrées Wikipedia ou des fils Reddit, ces instances sont plus proches d’erreurs traçables qui peuvent être attribuées à des points de données spécifiques. Les hallucinations, d’autre part, sont caractérisées par l’invention de faits par le modèle d’IA dans des moments d’incertitude, un phénomène que certains experts ont appelé ‘remplissage créatif des lacunes’.
Pour illustrer ce point, considérez la question : ‘Quels sont les sept modèles d’iPhone 16 disponibles actuellement ?’ Étant donné que seul Apple sait quel sera le prochain iPhone, le LLM est susceptible de fournir quelques réponses réelles, puis d’inventer des modèles supplémentaires pour terminer le travail. Il s’agit d’un exemple clair d’hallucination, où le modèle invente des informations pour accomplir la tâche, ou ce que l’on appelle ‘remplissage créatif des lacunes’.
Le rôle des données d’entraînement
Les chatbots comme ChatGPT sont entraînés sur de vastes quantités de données Internet. Ces données éclairent le contenu de leurs réponses, mais façonnent également la manière dont ils répondent. Les modèles sont exposés à d’innombrables exemples de requêtes et de réponses idéales correspondantes, ce qui renforce des tons, des attitudes et des niveaux de politesse spécifiques.
Ce processus d’entraînement peut involontairement contribuer au problème des hallucinations. Les modèles sont encouragés à fournir des réponses confiantes qui répondent directement à la question. Cela peut les amener à privilégier la réponse à la question, même s’ils doivent inventer des informations pour ce faire, plutôt que d’admettre qu’ils ne connaissent pas la réponse.
En substance, le processus d’entraînement peut involontairement récompenser les réponses confiantes et apparemment bien informées, même si elles sont factuellement incorrectes. Cela peut créer un biais en faveur de la génération de réponses, quelle que soit leur exactitude, ce qui peut exacerber le problème des hallucinations.
La nature des erreurs de l’IA
Il est tentant d’établir des parallèles entre les erreurs de l’IA et les erreurs humaines. Après tout, les humains ne sont pas infaillibles, et nous ne devrions pas nous attendre à ce que l’IA soit parfaite non plus. Cependant, il est crucial de reconnaître que les erreurs de l’IA découlent de processus fondamentalement différents des erreurs humaines.
Les modèles d’IA ne mentent pas, ne développent pas de malentendus ou ne se souviennent pas mal des informations de la même manière que les humains. Ils n’ont pas les capacités cognitives et la conscience contextuelle qui sous-tendent le raisonnement humain. Au lieu de cela, ils fonctionnent sur la base de probabilités, en prédisant le mot suivant dans une phrase en fonction des schémas observés dans leurs données d’entraînement.
Cette approche probabiliste signifie que les modèles d’IA ne possèdent pas une véritable compréhension de l’exactitude ou de l’inexactitude. Ils génèrent simplement la séquence de mots la plus probable en fonction des relations statistiques qu’ils ont apprises à partir de leurs données d’entraînement. Cela peut conduire à la génération de réponses apparemment cohérentes qui sont, en fait, factuellement incorrectes.
Bien que les modèles soient alimentés par l’équivalent d’Internet en termes d’informations, on ne leur dit pas quelles informations sont bonnes ou mauvaises, exactes ou inexactes ; on ne leur dit rien. Ils n’ont pas non plus de connaissances fondamentales existantes ni un ensemble de principes sous-jacents pour les aider à trier eux-mêmes les informations. Il ne s’agit que d’un jeu de chiffres : les schémas de mots qui existent le plus fréquemment dans un contexte donné deviennent la ‘vérité’ du LLM.
Relever le défi
L’augmentation du taux d’hallucinations dans les modèles d’IA avancés pose un défi important. OpenAI et d’autres développeurs d’IA s’efforcent activement de comprendre et d’atténuer ce problème. Cependant, les causes sous-jacentes des hallucinations ne sont pas entièrement comprises, et trouver des solutions efficaces reste un effort continu.
Une approche potentielle consiste à améliorer la qualité et la diversité des données d’entraînement. En exposant les modèles à des informations plus précises et complètes, les développeurs peuvent réduire la probabilité qu’ils apprennent et perpétuent de fausses informations.
Une autre approche consiste à développer des techniques plus sophistiquées pour détecter et prévenir les hallucinations. Cela pourrait impliquer d’entraîner les modèles à reconnaître quand ils sont incertains au sujet d’une information particulière et à s’abstenir de faire des affirmations sans preuves suffisantes.
En attendant, OpenAI devra peut-être rechercher une solution à court terme ainsi que poursuivre ses recherches sur la cause première. Après tout, ces modèles sont des produits qui rapportent de l’argent et ils doivent être dans un état utilisable. Une idée serait de créer une sorte de produit agrégé : une interface de chat qui a accès à plusieurs modèles OpenAI différents.
Lorsqu’une requête nécessite un raisonnement avancé, elle ferait appel à GPT-4o, et lorsqu’elle veut minimiser les risques d’hallucinations, elle ferait appel à un modèle plus ancien comme o1. Peut-être que l’entreprise pourrait devenir encore plus sophistiquée et utiliser différents modèles pour prendre en charge différents éléments d’une seule requête, puis utiliser un modèle supplémentaire pour tout assembler à la fin. Puisqu’il s’agirait essentiellement d’un travail d’équipe entre plusieurs modèles d’IA, une sorte de système de vérification des faits pourrait également être mis en place.
L’augmentation des taux de précision n’est pas l’objectif principal. L’objectif principal est de réduire les taux d’hallucination, ce qui signifie que nous devons valoriser les réponses qui disent ‘Je ne sais pas’ ainsi que les réponses avec les bonnes réponses.
L’importance de la vérification des faits
La prévalence croissante des hallucinations dans les modèles d’IA souligne l’importance de la vérification des faits. Bien que ces modèles puissent être des outils précieux pour la récupération d’informations et l’automatisation des tâches, ils ne doivent pas être traités comme des sources de vérité infaillibles.
Les utilisateurs doivent toujours faire preuve de prudence lorsqu’ils interprètent les résultats des modèles d’IA et doivent vérifier indépendamment toute information qu’ils reçoivent. Cela est particulièrement crucial lorsqu’il s’agit de questions sensibles ou importantes.
En adoptant une approche critique et sceptique du contenu généré par l’IA, nous pouvons atténuer les risques associés aux hallucinations et nous assurer que nous prenons des décisions éclairées sur la base d’informations précises. Si vous êtes passionné par les LLM, il n’est pas nécessaire d’arrêter de les utiliser, mais ne laissez pas le désir de gagner du temps l’emporter sur la nécessité de vérifier les résultats. Vérifiez toujours les faits !
Implications pour l’avenir de l’IA
Le défi des hallucinations a des implications importantes pour l’avenir de l’IA. À mesure que les modèles d’IA s’intègrent de plus en plus dans nos vies, il est essentiel qu’ils soient fiables et dignes de confiance. Si les modèles d’IA sont susceptibles de générer des informations fausses ou trompeuses, cela pourrait éroder la confiance du public et entraver leur adoption généralisée.
Résoudre le problème des hallucinations est non seulement crucial pour améliorer la précision des modèles d’IA, mais aussi pour garantir leur utilisation éthique et responsable. En développant des systèmes d’IA moins sujets aux hallucinations, nous pouvons exploiter leur potentiel pour le bien tout en atténuant les risques de désinformation et de tromperie.