Recente studies hebben een zorgwekkende trend aan het licht gebracht: nieuwere ChatGPT-modellen vertonen een hoger percentage hallucinaties in vergelijking met hun voorgangers. Deze ontdekking roept cruciale vragen op over de afwegingen tussen geavanceerde mogelijkheden en betrouwbaarheid in grote taalmodellen (LLM’s). Laten we dieper ingaan op de details van deze bevindingen en de potentiële implicaties onderzoeken.
Inzicht in het fenomeen
Interne tests van OpenAI, zoals beschreven in een recent paper, benadrukken een significante toename van hallucinatiepercentages in modellen zoals o3 en o4-mini. Deze modellen, ontworpen met geavanceerde redeneer- en multimodale mogelijkheden, vertegenwoordigen de voorhoede van AI-technologie. Ze kunnen afbeeldingen genereren, webzoekopdrachten uitvoeren, taken automatiseren, eerdere gesprekken onthouden en complexe problemen oplossen. Deze vorderingen lijken echter ten koste te gaan van iets.
Om de omvang van deze hallucinaties te kwantificeren, gebruikt OpenAI een specifieke test genaamd PersonQA. Deze test omvat het invoeren van een reeks feiten over verschillende personen in het model en vervolgens het stellen van vragen over die personen. De nauwkeurigheid van het model wordt vervolgens geëvalueerd op basis van zijn vermogen om correcte antwoorden te geven.
In eerdere evaluaties behaalde het o1-model een lovenswaardig nauwkeurigheidspercentage van 47% met een hallucinatiepercentage van slechts 16%. Toen o3 en o4-mini echter aan dezelfde evaluatie werden onderworpen, waren de resultaten beduidend anders.
Van het o4-mini-model, een kleinere variant met minder wereldkennis, werd verwacht dat het een hoger hallucinatiepercentage zou vertonen. Het werkelijke percentage van 48% was echter verrassend hoog, gezien het feit dat o4-mini een commercieel beschikbaar product is dat veel wordt gebruikt voor webzoekopdrachten en het ophalen van informatie.
Het full-size o3-model vertoonde ook een zorgwekkende neiging tot hallucinaties. In 33% van zijn antwoorden verzon het model informatie, waardoor het hallucinatiepercentage van het o1-model effectief verdubbelde. Ondanks dit behaalde o3 ook een hoog nauwkeurigheidspercentage, wat OpenAI toeschrijft aan zijn neiging om over het algemeen meer beweringen te doen.
Hallucinaties definiëren
De term ‘hallucinatie’ verwijst in de context van AI naar de neiging van een model om reacties te genereren die feitelijk onjuist of onzinnig zijn zonder enige duidelijke bron of rechtvaardiging. Dit zijn niet zomaar fouten die voortkomen uit slechte gegevens of verkeerde interpretatie. Hallucinaties vertegenwoordigen in plaats daarvan een meer fundamentele fout in het redeneerproces van het model.
Hoewel onnauwkeurige informatie zeker afkomstig kan zijn van verschillende bronnen, zoals Wikipedia-inzendingen of Reddit-threads, lijken deze instanties meer op traceerbare fouten die kunnen worden toegeschreven aan specifieke gegevenspunten. Hallucinaties worden daarentegen gekenmerkt door de uitvinding van feiten door het AI-model in momenten van onzekerheid, een fenomeen dat sommige experts ‘creatieve gap-filling’ hebben genoemd.
Om dit punt te illustreren, overweeg de vraag: “Wat zijn de zeven iPhone 16-modellen die nu beschikbaar zijn?” Aangezien alleen Apple weet wat de volgende iPhone zal zijn, zal het LLM waarschijnlijk enkele echte antwoorden geven - en vervolgens extra modellen verzinnen om de klus te klaren. Dit is een duidelijk voorbeeld van hallucinatie, waarbij het model informatie verzint om de taak te voltooien, of wat wordt aangeduid als ‘creatieve gap-filling’.
De rol van trainingsgegevens
Chatbots zoals ChatGPT worden getraind op enorme hoeveelheden internetgegevens. Deze gegevens informeren de inhoud van hun reacties, maar bepalen ook hoe ze reageren. De modellen worden blootgesteld aan talloze voorbeelden van vragen en overeenkomende ideale reacties, die specifieke tonen, attitudes en niveaus van beleefdheid versterken.
Dit trainingsproces kan onbedoeld bijdragen aan het probleem van hallucinaties. De modellen worden aangemoedigd om zelfverzekerde antwoorden te geven die de vraag rechtstreeks beantwoorden. Dit kan ertoe leiden dat ze prioriteit geven aan het beantwoorden van de vraag, zelfs als ze informatie moeten verzinnen om dit te doen, in plaats van toe te geven dat ze het antwoord niet weten.
In wezen kan het trainingsproces onbedoeld zelfverzekerde en schijnbaar deskundige reacties belonen, zelfs als ze feitelijk onjuist zijn. Dit kan een bias creëren in de richting van het genereren van antwoorden, ongeacht hun nauwkeurigheid, wat het probleem van hallucinaties kan verergeren.
De aard van AI-fouten
Het is verleidelijk om parallellen te trekken tussen AI-fouten en menselijke fouten. Mensen zijn immers niet onfeilbaar en we mogen ook niet verwachten dat AI perfect is. Het is echter cruciaal om te erkennen dat AI-fouten voortkomen uit fundamenteel verschillende processen dan menselijke fouten.
AI-modellen liegen niet, ontwikkelen geen misverstanden of herinneren zich geen informatie verkeerd op dezelfde manier als mensen. Ze missen de cognitieve vaardigheden en het contextuele bewustzijn die ten grondslag liggen aan menselijk redeneren. In plaats daarvan werken ze op basis van waarschijnlijkheden en voorspellen ze het volgende woord in een zin op basis van patronen die in hun trainingsgegevens zijn waargenomen.
Deze probabilistische aanpak betekent dat AI-modellen geen echt begrip hebben van nauwkeurigheid of onnauwkeurigheid. Ze genereren simpelweg de meest waarschijnlijke reeks woorden op basis van de statistische relaties die ze hebben geleerd van hun trainingsgegevens. Dit kan leiden tot het genereren van schijnbaar coherente reacties die in feite feitelijk onjuist zijn.
Hoewel de modellen een hele internet aan informatie krijgen gevoed, wordt hen niet verteld welke informatie goed of slecht is, nauwkeurig of onnauwkeurig - er wordt hen niets verteld. Ze hebben ook geen bestaande fundamentele kennis of een reeks onderliggende principes om hen te helpen de informatie zelf te sorteren. Het is allemaal slechts een getallenspel - de patronen van woorden die het vaakst voorkomen in een bepaalde context worden de ‘waarheid’ van het LLM.
De uitdaging aangaan
Het toenemende aantal hallucinaties in geavanceerde AI-modellen vormt een aanzienlijke uitdaging. OpenAI en andere AI-ontwikkelaars werken actief aan het begrijpen en verzachten van dit probleem. De onderliggende oorzaken van hallucinaties worden echter niet volledig begrepen en het vinden van effectieve oplossingen blijft een voortdurende inspanning.
Een mogelijke aanpak is het verbeteren van de kwaliteit en diversiteit van trainingsgegevens. Door de modellen bloot te stellen aan nauwkeurigere en uitgebreidere informatie, kunnen ontwikkelaars de kans verkleinen dat ze valse informatie leren en bestendigen.
Een andere aanpak is het ontwikkelen van meer geavanceerde technieken voor het detecteren en voorkomen van hallucinaties. Dit kan inhouden dat de modellen worden getraind om te herkennen wanneer ze onzeker zijn over een bepaald stuk informatie en om geen beweringen te doen zonder voldoende bewijs.
Ondertussen moet OpenAI mogelijk ook een kortetermijnoplossing nastreven en haar onderzoek naar de oorzaak blijven voortzetten. Deze modellen zijn immers producten waarmee geld wordt verdiend en ze moeten in een bruikbare staat verkeren. Een idee zou zijn om een soort geaggregeerd product te creëren - een chatinterface die toegang heeft tot meerdere verschillende OpenAI-modellen.
Wanneer een query geavanceerd redeneren vereist, zou deze GPT-4o aanroepen, en wanneer deze de kans op hallucinaties wil minimaliseren, zou deze een ouder model zoals o1 aanroepen. Misschien zou het bedrijf nog chiquer kunnen worden en verschillende modellen gebruiken om verschillende elementen van een enkele query af te handelen, en vervolgens een extra model gebruiken om het aan het einde allemaal aan elkaar te naaien. Aangezien dit in wezen teamwork zou zijn tussen meerdere AI-modellen, zou misschien ook een soort factcheckingsysteem kunnen worden geïmplementeerd.
Het verhogen van de nauwkeurigheidspercentages is niet het belangrijkste doel. Het belangrijkste doel is het verlagen van de hallucinatiepercentages, wat betekent dat we reacties die ‘Ik weet het niet’ zeggen moeten waarderen, evenals reacties met de juiste antwoorden.
Het belang van factchecking
De toenemende prevalentie van hallucinaties in AI-modellen onderstreept het belang van factchecking. Hoewel deze modellen waardevolle hulpmiddelen kunnen zijn voor het ophalen van informatie en het automatiseren van taken, mogen ze niet worden behandeld als onfeilbare bronnen van waarheid.
Gebruikers moeten altijd voorzichtig zijn bij het interpreteren van de output van AI-modellen en moeten alle informatie die ze ontvangen onafhankelijk verifiëren. Dit is vooral cruciaal bij het omgaan met gevoelige of verstrekkende zaken.
Door een kritische en sceptische benadering van AI-gegenereerde inhoud aan te nemen, kunnen we de risico’s van hallucinaties beperken en ervoor zorgen dat we weloverwogen beslissingen nemen op basis van accurate informatie. Als je gek bent op LLM’s, hoef je ze niet meer te gebruiken - maar laat het verlangen om tijd te besparen niet winnen van de noodzaak om de resultaten te factchecken. Altijd factchecken!
Implicaties voor de toekomst van AI
De uitdaging van hallucinaties heeft aanzienlijke implicaties voor de toekomst van AI. Naarmate AI-modellen meer in ons leven worden geïntegreerd, is het essentieel dat ze betrouwbaar en betrouwbaar zijn. Als AI-modellen vatbaar zijn voor het genereren van valse of misleidende informatie, kan dit het publieke vertrouwen aantasten en hun wijdverbreide acceptatie belemmeren.
Het aanpakken van het probleem van hallucinaties is niet alleen cruciaal voor het verbeteren van de nauwkeurigheid van AI-modellen, maar ook voor het waarborgen van hun ethisch en verantwoord gebruik. Door AI-systemen te ontwikkelen die minder vatbaar zijn voor hallucinaties, kunnen we hun potentieel ten goede benutten en tegelijkertijd de risico’s van desinformatie en misleiding beperken.
Om het probleem van hallucinaties in AI-modellen verder te analyseren, is het essentieel om de verschillende factoren te onderzoeken die eraan bijdragen. Een belangrijk aspect is de complexiteit van de trainingsdatasets die worden gebruikt om deze modellen te ontwikkelen. Hoewel grote datasets cruciaal zijn voor het leren van patronen en het generaliseren naar nieuwe situaties, kunnen ze ook onnauwkeurigheden en bias bevatten.
Wanneer AI-modellen worden getraind op datasets die onjuiste informatie of vertekende perspectieven bevatten, kunnen ze deze onnauwkeurigheden en bias reproduceren in hun output. Dit kan leiden tot hallucinaties, waarbij de modellen feitelijk onjuiste of misleidende informatie genereren die is gebaseerd op de gebrekkige trainingsgegevens.
Een andere factor die bijdraagt aan hallucinaties is de beperkte capaciteit van AI-modellen om de context van hun input te begrijpen. Hoewel deze modellen in staat zijn om statistische relaties tussen woorden en zinnen te leren, missen ze een dieper begrip van de betekenis en implicaties van de informatie die ze verwerken.
Dit gebrek aan contextueel begrip kan ertoe leiden dat AI-modellen onjuiste conclusies trekken of ongepaste antwoorden genereren. Bijvoorbeeld, een model dat is getraind op een dataset van nieuwsartikelen kan een verband leggen tussen twee gebeurtenissen die in werkelijkheid geen causaal verband hebben. Dit kan leiden tot hallucinaties, waarbij het model een verhaal verzint dat is gebaseerd op de onjuiste correlatie.
Naast de uitdagingen die voortkomen uit de trainingsdatasets en het contextuele begrip, spelen ook de architectuur en het ontwerp van AI-modellen een rol bij het ontstaan van hallucinaties. Veel AI-modellen zijn gebaseerd op neurale netwerken, die complexe wiskundige structuren zijn die zijn ontworpen om patronen in data te leren.
Hoewel neurale netwerken zeer effectief kunnen zijn bij het leren van patronen, kunnen ze ook vatbaar zijn voor overaanpassing. Overaanpassing treedt op wanneer een model te goed is afgestemd op de trainingsgegevens en daardoor niet goed kan generaliseren naar nieuwe situaties. Dit kan leiden tot hallucinaties, waarbij het model onjuiste of onzinnige antwoorden genereert die zijn gebaseerd op de specifieke kenmerken van de trainingsgegevens.
Om de uitdaging van hallucinaties in AI-modellen aan te pakken, is het essentieel om een veelzijdige aanpak te hanteren die zich richt op de trainingsgegevens, het contextuele begrip en de modelarchitectuur. Op het gebied van trainingsgegevens is het belangrijk om te investeren in de ontwikkeling van hoogwaardige, diverse en nauwkeurige datasets.
Dit kan worden bereikt door middel van zorgvuldige curatie en validatie van de gegevens, evenals door het gebruik van technieken zoals data-augmentatie om de diversiteit van de trainingsgegevens te vergroten. Daarnaast is het belangrijk om actief bias in de trainingsgegevens te identificeren en te corrigeren om te voorkomen dat deze bias wordt gereproduceerd in de output van de AI-modellen.
Om het contextuele begrip van AI-modellen te verbeteren, is het belangrijk om te investeren in de ontwikkeling van modellen die in staat zijn om de betekenis en implicaties van de informatie die ze verwerken, beter te begrijpen. Dit kan worden bereikt door middel van technieken zoals attention mechanisms, die de modellen in staat stellen om zich te concentreren op de meest relevante delen van de input, evenals door het gebruik van kennisgrafieken en andere vormen van gestructureerde kennis om de modellen te voorzien van een dieper begrip van de wereld.
Op het gebied van modelarchitectuur is het belangrijk om modellen te ontwikkelen die minder vatbaar zijn voor overaanpassing en beter in staat zijn om te generaliseren naar nieuwe situaties. Dit kan worden bereikt door middel van technieken zoals regularisatie, die de complexiteit van de modellen beperkt, evenals door het gebruik van ensemblemethoden, die meerdere modellen combineren om de nauwkeurigheid en robuustheid te vergroten.
Naast deze technische benaderingen is het ook belangrijk om ethische en maatschappelijke aspecten van hallucinaties in AI-modellen in overweging te nemen. Naarmate AI-modellen meer geïntegreerd raken in ons leven, is het essentieel dat ze worden gebruikt op een manier die verantwoordelijk, transparant en eerlijk is.
Dit omvat het waarborgen dat AI-modellen niet worden gebruikt om desinformatie te verspreiden, bias te versterken of individuen of groepen te discrimineren. Het vereist ook dat er mechanismen zijn om de output van AI-modellen te controleren en te corrigeren, en dat er duidelijke verantwoordelijkheid is voor de beslissingen die worden genomen op basis van deze output.
In de toekomst is het waarschijnlijk dat de uitdaging van hallucinaties in AI-modellen een voortdurende inspanning zal vereisen. Naarmate de modellen complexer worden en de datasets groter, zullen er nieuwe uitdagingen en kansen ontstaan. Door een multidisciplinaire aanpak te hanteren die technische, ethische en maatschappelijke overwegingen combineert, kunnen we werken aan de ontwikkeling van AI-systemen die betrouwbaarder, nauwkeuriger en verantwoordelijker zijn.