Kennis in LLM's: Nieuwe Aanpak

Een Nieuwe Architectuur voor Kennisintegratie

De onderzoeksafdeling van Microsoft heeft een baanbrekende methode ontwikkeld voor het integreren van externe kennis in grote taalmodellen (LLM’s). Dit innovatieve systeem, genaamd Knowledge Base-Augmented Language Models (KBLaM), hanteert een ‘plug-and-play’-filosofie, waardoor het niet nodig is om bestaande modellen aan te passen. Dit is een aanzienlijke afwijking van conventionele technieken en biedt een meer gestroomlijnde en efficiënte benadering van kennisverbetering.

Afwijken van Traditionele Methoden

Huidige methodologieën, zoals Retrieval-Augmented Generation (RAG) en In-Context Learning, vertrouwen doorgaans op afzonderlijke ophaalmechanismen om toegang te krijgen tot externe informatie en deze te integreren. KBLaM daarentegen schuwt deze externe systemen. Het transformeert op ingenieuze wijze kennis in vectorparen en verweeft deze naadloos in de kernarchitectuur van het model via een nieuwe techniek die Microsoft ‘rechthoekige aandacht’ noemt.

Deze directe integratie van kennis binnen het model zelf, waarbij externe ophaalprocessen worden omzeild, resulteert in aanzienlijk snellere en efficiëntere reacties. Dit is een belangrijk voordeel ten opzichte van traditionele systemen, die vaak last hebben van latentie en computationele overhead vanwege de noodzaak om externe databases te raadplegen.

Het Kwadratische Schaalprobleem Aanpakken

Bestaande RAG-systemen worden vaak gehinderd door een kwadratisch schaalprobleem, een inherent gevolg van hun zelf-aandachtmechanisme. Dit mechanisme vereist dat elk token interactie heeft met elk ander token, wat leidt tot een exponentiële toename van de computationele eisen naarmate de invoergrootte toeneemt.

Ter illustratie, overweeg een scenario waarin 1.000 tokens uit een kennisbank in de context worden geïntroduceerd. Het model wordt dan gedwongen om maar liefst een miljoen tokenparen te verwerken. Als het aantal tokens escaleert tot 10.000, explodeert de computationele belasting tot 100 miljoen interacties. Deze kwadratische schaling wordt al snel een knelpunt, waardoor de praktische toepasbaarheid van RAG-systemen met grote kennisbanken wordt beperkt.

De Efficiëntie van Rechthoekige Aandacht

KBLaM omzeilt dit computationele moeras op elegante wijze. Het innovatieve ‘rechthoekige aandacht’-mechanisme stelt de invoer van de gebruiker in staat om toegang te krijgen tot alle kennistokens, maar cruciaal is dat deze kennistokens geen interactie hebben met elkaar of de invoer. Deze strategische ontwerpkeuze heeft verstrekkende gevolgen voor de schaalbaarheid.

Naarmate de kennisbank groeit, neemt het benodigde rekenvermogen slechts lineair toe, een schril contrast met de kwadratische schaling van traditionele methoden. De onderzoekers achter KBLaM beweren dat een enkele GPU gemakkelijk meer dan 10.000 kennistriples aankan, wat zich vertaalt naar ongeveer 200.000 tokens. Dit vertegenwoordigt een aanzienlijke sprong voorwaarts in de efficiëntie van kennisintegratie.

Veelbelovende Experimentele Resultaten

Eerste tests van KBLaM hebben bemoedigende resultaten opgeleverd. In experimenten met ongeveer 200 kennisitems toonde KBLaM een superieur vermogen om hallucinaties – het genereren van valse of onzinnige informatie – te verminderen in vergelijking met conventionele modellen.

Bovendien vertoonde KBLaM een grotere neiging om zich te onthouden van het beantwoorden van vragen waarvoor het onvoldoende informatie had. Deze ‘epistemische nederigheid’ is een wenselijke eigenschap in LLM’s, omdat het de nauwkeurigheid en betrouwbaarheid bevordert.

Een ander opmerkelijk voordeel van KBLaM is de verbeterde transparantie. In tegenstelling tot in-context learning, kan KBLaM gemakkelijk specifieke kenniselementen koppelen aan corresponderende tokens, waardoor meer inzicht wordt geboden in het redeneerproces van het model.

Open Source Beschikbaarheid en Toekomstige Richtingen

De code en datasets die ten grondslag liggen aan KBLaM zijn openbaar beschikbaar gesteld op GitHub, waardoor samenwerking en verder onderzoek binnen de gemeenschap worden bevorderd. Het systeem is ontworpen om compatibel te zijn met verschillende veelgebruikte modellen, waaronder Meta’s Llama 3 en Microsoft’s eigen Phi-3. Er zijn ook plannen om de ondersteuning uit te breiden naar Hugging Face Transformers, een populair platform voor het bouwen en implementeren van LLM’s.

Hoewel de eerste resultaten veelbelovend zijn, benadrukken de onderzoekers dat KBLaM nog niet rijp is voor grootschalige implementatie. Het blinkt uit in het afhandelen van eenvoudige vraag-antwoordscenario’s, maar verdere ontwikkeling is vereist om complexere redeneertaken aan te pakken.

De Paradox van Contextvensters en de Opkomst van RAG

LLM’s worden geconfronteerd met een fascinerende paradox: hun contextvensters – de hoeveelheid informatie die ze tegelijkertijd kunnen verwerken – worden voortdurend groter, maar het betrouwbaar verwerken van dit groeiende volume aan data blijft een formidabele uitdaging.

Deze uitdaging heeft Retrieval-Augmented Generation (RAG) naar voren geschoven als de geprefereerde oplossing voor het injecteren van specifieke informatie in modellen met een redelijke mate van betrouwbaarheid. RAG-systemen fungeren als tussenpersonen, halen relevante informatie op uit externe bronnen en voeren deze in het LLM, waardoor de kennis en nauwkeurigheid worden verbeterd.

KBLaM: Een Potentiële Paradigmaverschuiving

KBLaM presenteert echter een overtuigend alternatief, dat een potentieel efficiëntere en elegantere weg voorwaarts suggereert. Door kennis direct in de architectuur van het model te integreren, biedt KBLaM het vooruitzicht van snellere, meer schaalbare en transparantere kennisverrijkte LLM’s.

Dieper Ingaan op de Mechanismen van KBLaM

De kerninnovatie van KBLaM ligt in het ‘rechthoekige aandacht’-mechanisme. Om dit te begrijpen, is het nuttig om eerst het standaard zelf-aandachtmechanisme te beschouwen dat door veel LLM’s wordt gebruikt.

Bij zelf-aandacht richt elk token in de invoersequentie zich op elk ander token, inclusief zichzelf. Hierdoor kan het model relaties tussen verschillende delen van de invoer vastleggen, maar het leidt ook tot het eerder genoemde kwadratische schaalprobleem.

Rechthoekige aandacht daarentegen verdeelt het aandachtsproces in twee afzonderlijke delen:

1. Gebruikersinvoer Aandacht: De invoer van de gebruiker richt zich op alle kennistokens, waardoor het model toegang heeft tot de relevante informatie uit de kennisbank.
2. Kennistoken Aandacht: De kennistokens richten zich niet op elkaar of de gebruikersinvoer. Dit is de sleutel tot de efficiëntie van KBLaM.

Door interacties tussen kennistokens te voorkomen, vermindert KBLaM drastisch het aantal benodigde berekeningen. Hierdoor kan het model lineair schalen met de grootte van de kennisbank, waardoor het haalbaar wordt om enorme hoeveelheden externe informatie op te nemen.

De Voordelen van Directe Kennisintegratie

De directe integratie van kennis in de architectuur van het model biedt verschillende voordelen:

• Verminderde Latentie: Omdat KBLaM niet afhankelijk is van externe ophaalsystemen, kan het veel sneller reageren dan op RAG gebaseerde modellen.
• Verbeterde Efficiëntie: De lineaire schaling van KBLaM maakt het aanzienlijk computationeel efficiënter dan traditionele methoden.
• Verbeterde Transparantie: KBLaM kan kennis koppelen aan specifieke tokens, waardoor het gemakkelijker wordt om te begrijpen hoe het model tot zijn antwoord is gekomen.
• Verminderde Hallucinaties: KBLaM heeft een groter vermogen getoond om het genereren van valse of onzinnige informatie te vermijden.

Beperkingen en Toekomstig Onderzoek

Hoewel KBLaM een aanzienlijke vooruitgang vertegenwoordigt, is het belangrijk om de huidige beperkingen te erkennen:

• Complex Redeneren: KBLaM is momenteel het meest geschikt voor eenvoudige vraag-antwoordtaken. Er is meer onderzoek nodig om de mogelijkheden uit te breiden naar complexere redeneerscenario’s.
• Kennisrepresentatie: De huidige implementatie van KBLaM maakt gebruik van kennistriples, die mogelijk niet geschikt zijn voor alle soorten kennis. Het verkennen van alternatieve kennisrepresentatieformaten is een gebied voor toekomstig werk.
• Real-World Implementatie: KBLaM is nog steeds een onderzoeksproject en is nog niet klaar voor grootschalige implementatie. Verdere tests en verfijning zijn vereist voordat het kan worden gebruikt in real-world toepassingen.

De Bredere Impact op het Gebied van AI

De ontwikkeling van KBLaM heeft aanzienlijke gevolgen voor het bredere gebied van Kunstmatige Intelligentie. Het vertegenwoordigt een stap in de richting van het creëren van LLM’s die niet alleen krachtig zijn, maar ook:

• Meer Geïnformeerd: Door efficiënt enorme hoeveelheden externe kennis te integreren, kan KBLaM de feitelijke nauwkeurigheid en volledigheid van LLM’s verbeteren.
• Betrouwbaarder: De verminderde hallucinatiegraad en verhoogde transparantie van KBLaM dragen bij aan een grotere betrouwbaarheid en geloofwaardigheid.
• Meer Schaalbaar: De lineaire schaling van KBLaM opent mogelijkheden voor het bouwen van LLM’s die echt enorme hoeveelheden informatie aankunnen.

Het voortdurende onderzoek en de ontwikkeling van KBLaM en vergelijkbare benaderingen beloven de grenzen tussen LLM’s en kennisbanken verder te vervagen, en banen de weg voor een nieuwe generatie AI-systemen die zowel intelligent als diepgaand geïnformeerd zijn. Het open-source karakter van het project stimuleert samenwerking en versnelt het tempo van innovatie op dit spannende gebied.