De Illusie van Fine-Tuning
Fine-tuning en Retrieval Augmented Generation (RAG) worden algemeen beschouwd als beproefde methoden voor het verbeteren van de kennis en capaciteiten van vooraf getrainde AI-modellen. De realiteit is echter complexer, aldus Aleph Alpha CEO Jonas Andrulis.
“Een jaar geleden was er een wijdverbreid geloof dat fine-tuning een magische oplossing was. Als een AI-systeem niet presteerde zoals gewenst, was het antwoord simpelweg fine-tuning. Zo eenvoudig is het niet,” legt hij uit.
Hoewel fine-tuning de stijl of het gedrag van een model kan wijzigen, is het niet de meest effectieve aanpak om nieuwe informatie aan te leren. De verwachting dat fine-tuning alleen alle problemen met AI-applicaties kan oplossen, is een misvatting.
RAG: Een Alternatieve Aanpak
RAG biedt een alternatief door te functioneren als een bibliothecaris die informatie ophaalt uit een extern archief. Deze aanpak maakt updates en wijzigingen in de informatie in de database mogelijk zonder het model opnieuw te trainen of te fine-tunen. Bovendien kunnen de gegenereerde resultaten worden geciteerd en gecontroleerd op nauwkeurigheid.
“Specifieke kennis moet altijd worden gedocumenteerd en niet worden opgeslagen in de parameters van het LLM,” benadrukt Andrulis.
Hoewel RAG talrijke voordelen biedt, hangt het succes ervan af van de juiste documentatie van belangrijke processen, procedures en institutionele kennis in een formaat dat het model kan begrijpen. Helaas is dit vaak niet het geval.
Zelfs wanneer documentatie bestaat, kunnen ondernemingen problemen ondervinden als de documenten of processen afhankelijk zijn van out-of-distribution data – data die aanzienlijk verschilt van de data die is gebruikt om het basismodel te trainen. Een model dat bijvoorbeeld uitsluitend is getraind op Engelse datasets, zal worstelen met Duitse documentatie, vooral als deze wetenschappelijke formules bevat. In veel gevallen kan het model de data helemaal niet interpreteren.
Daarom suggereert Andrulis dat een combinatie van fine-tuning en RAG doorgaans nodig is om zinvolle resultaten te bereiken. Deze hybride aanpak maakt gebruik van de sterke punten van beide methoden om hun individuele beperkingen te overwinnen.
De Kloof Overbruggen
Aleph Alpha wil zich onderscheiden als een Europese DeepMind door de uitdagingen aan te pakken die ondernemingen en naties ervan weerhouden hun eigen soevereine AI te ontwikkelen.
Soevereine AI verwijst naar modellen die zijn getraind of gefinetuned met behulp van de interne datasets van een natie op hardware die binnen de landsgrenzen is gebouwd of geïmplementeerd. Deze aanpak waarborgt gegevensprivacy, -beveiliging en -controle, wat cruciaal is voor veel organisaties en overheden.
“We streven ernaar het besturingssysteem te zijn, de basis voor ondernemingen en overheden om hun eigen soevereine AI-strategie te bouwen,” aldus Andrulis. “We willen innoveren waar nodig, maar ook gebruikmaken van open source en state-of-the-art technologieën waar mogelijk.”
Hoewel dit af en toe het trainen van modellen inhoudt, zoals Aleph’s Pharia-1-LLM, benadrukt Andrulis dat ze niet proberen bestaande modellen zoals Llama of DeepSeek te repliceren. Hun focus ligt op het creëren van unieke oplossingen die specifieke uitdagingen aanpakken.
“Ik stuur ons onderzoek altijd aan om ons te concentreren op zinvol verschillende dingen, niet alleen kopiëren wat iedereen doet, want dat bestaat al,” zei Andrulis. “We hoeven geen andere Llama of DeepSeek te bouwen, want die bestaan al.”
In plaats daarvan concentreert Aleph Alpha zich op het bouwen van frameworks die de adoptie van deze technologieën vereenvoudigen en stroomlijnen. Een recent voorbeeld is hun nieuwe tokenizer-vrije, of “T-Free,” trainingsarchitectuur, die tot doel heeft modellen te fine-tunen die out-of-distribution data efficiënter kunnen begrijpen.
Traditionele tokenizer-gebaseerde benaderingen vereisen vaak grote hoeveelheden out-of-distribution data om een model effectief te fine-tunen. Dit is computationeel duur en gaat ervan uit dat er voldoende data beschikbaar is.
Aleph Alpha’s T-Free architectuur omzeilt dit probleem door de tokenizer te elimineren. Vroege tests op hun Pharia LLM in de Finse taal toonden een reductie van 70 procent in trainingskosten en CO2-voetafdruk in vergelijking met tokenizer-gebaseerde benaderingen. Deze innovatieve aanpak maakt fine-tuning toegankelijker en duurzamer.
Aleph Alpha heeft ook tools ontwikkeld om hiaten in gedocumenteerde kennis aan te pakken die kunnen leiden tot onnauwkeurige of onbehulpzame conclusies.
Als bijvoorbeeld twee contracten die relevant zijn voor een compliance-vraag elkaar tegenspreken, “kan het systeem de mens benaderen en zeggen: ‘Ik heb een discrepantie gevonden… kunt u alstublieft feedback geven of dit een daadwerkelijk conflict is?’” legde Andrulis uit.
De informatie die via dit framework, genaamd Pharia Catch, wordt verzameld, kan worden teruggevoerd naar de kennisbank van de applicatie of worden gebruikt om effectievere modellen te fine-tunen. Deze feedbacklus verbetert de nauwkeurigheid en betrouwbaarheid van het AI-systeem in de loop van de tijd.
Volgens Andrulis hebben deze tools partners aangetrokken zoals PwC, Deloitte, Capgemini en Supra, die samenwerken met eindklanten om de technologie van Aleph Alpha te implementeren. Deze partnerschappen tonen de waarde en bruikbaarheid van de oplossingen van Aleph Alpha in real-world applicaties.
De Hardware Factor
Software en data zijn niet de enige uitdagingen waarmee gebruikers van Soevereine AI worden geconfronteerd. Hardware is een andere cruciale overweging.
Verschillende ondernemingen en naties kunnen specifieke vereisten hebben om te draaien op in eigen land ontwikkelde hardware of kunnen simpelweg dicteren waar workloads kunnen draaien. Deze beperkingen kunnen een aanzienlijke invloed hebben op de keuze van hardware en infrastructuur.
Dit betekent dat Andrulis en zijn team een breed scala aan hardware-opties moeten ondersteunen. Aleph Alpha heeft een eclectische groep hardwarepartners aangetrokken, waaronder AMD, Graphcore en Cerebras.
Vorige maand kondigde Aleph Alpha een partnerschap aan met AMD om gebruik te maken van de MI300-serie versnellers. Deze samenwerking zal gebruikmaken van AMD’s geavanceerde hardware om AI-training en -inferentie te versnellen.
Andrulis benadrukte ook samenwerkingen met Graphcore, overgenomen door Softbank, en Cerebras, wiens CS-3 wafer-scale versnellers worden gebruikt om AI-modellen te trainen voor de Duitse strijdkrachten. Deze partnerschappen tonen Aleph Alpha’s toewijding aan samenwerking met diverse hardwareleveranciers om aan de specifieke behoeften van zijn klanten te voldoen.
Ondanks deze samenwerkingen benadrukt Andrulis dat het doel van Aleph Alpha niet is om een managed service of cloudprovider te worden. “We zullen nooit een cloudprovider worden,” zei hij. “Ik wil dat mijn klanten vrij zijn en niet vastzitten.” Deze toewijding aan klantvrijheid en flexibiliteit onderscheidt Aleph Alpha van veel andere AI-bedrijven.
De Weg Vooruit: Toenemende Complexiteit
Vooruitkijkend verwacht Andrulis dat het bouwen van AI-applicaties complexer zal worden naarmate de industrie verschuift van chatbots naar agentische AI-systemen die in staat zijn tot meer geavanceerde probleemoplossing.
Agentische AI heeft het afgelopen jaar veel aandacht gekregen, met modelbouwers, softwareontwikkelaars en hardwareleveranciers die systemen beloven die multi-step processen asynchroon kunnen voltooien. Vroege voorbeelden zijn OpenAI’s Operator en Anthropic’s computer use API. Deze agentische AI-systemen vertegenwoordigen een aanzienlijke vooruitgang in AI-capaciteiten.
“Vorig jaar concentreerden we ons voornamelijk op eenvoudige taken zoals het samenvatten van documenten of schrijfhulp,” zei hij. “Nu wordt het spannender met dingen die op het eerste gezicht niet eens genAI-problemen lijken, waarbij de gebruikerservaring geen chatbot is.” Deze verschuiving naar complexere en geïntegreerde AI-applicaties biedt nieuwe uitdagingen en kansen voor de industrie.
Belangrijkste Uitdagingen bij het Bouwen van Enterprise AI-Applicaties:
- De kloof overbruggen tussen modeltraining en applicatie-integratie: Het effectief vertalen van de capaciteiten van LLM’s naar praktische applicaties blijft een aanzienlijke hindernis.
- De beperkingen van fine-tuning overwinnen: Fine-tuning alleen is vaak onvoldoende om AI-modellen nieuwe informatie te leren of ze aan te passen aan specifieke taken.
- De kwaliteit en toegankelijkheid van data waarborgen: RAG is afhankelijk van goed gedocumenteerde en gemakkelijk toegankelijke data, wat in veel organisaties vaak ontbreekt.
- Omgaan met out-of-distribution data: AI-modellen moeten in staat zijn om te gaan met data die verschilt van de data waarop ze zijn getraind, wat gespecialiseerde technieken vereist.
- Hardwarebeperkingen aanpakken: Verschillende ondernemingen en naties hebben verschillende hardwarevereisten waarmee rekening moet worden gehouden.
- Gegevensprivacy en -beveiliging handhaven: Soevereine AI vereist dat gegevens veilig worden verwerkt en opgeslagen binnen de grenzen van een natie.
- Agentische AI-systemen ontwikkelen: Het bouwen van AI-applicaties die complexe multi-step processen asynchroon kunnen uitvoeren, is een uitdagend maar veelbelovend onderzoeksgebied.
Belangrijkste Kansen bij het Bouwen van Enterprise AI-Applicaties:
- Innovatieve AI-oplossingen ontwikkelen: De uitdagingen bij het bouwen van enterprise AI-applicaties creëren kansen voor het ontwikkelen van innovatieve oplossingen die aan specifieke behoeften voldoen.
- Gebruikmaken van open source technologieën: Open source technologieën kunnen helpen de kosten te verlagen en de ontwikkeling van AI-applicaties te versnellen.
- Samenwerken met hardwarepartners: Samenwerken met hardwarepartners kan helpen ervoor te zorgen dat AI-applicaties worden geoptimaliseerd voor specifieke hardwareplatforms.
- Soevereine AI-capaciteiten opbouwen: Soevereine AI kan naties en organisaties meer controle geven over hun data en AI-infrastructuur.
- Industrieën transformeren met AI: AI heeft het potentieel om industrieën te transformeren door taken te automatiseren, de besluitvorming te verbeteren en nieuwe producten en diensten te creëren.
De Toekomst van Enterprise AI-Applicaties:
De toekomst van enterprise AI-applicaties zal waarschijnlijk worden gekenmerkt door:
- Toegenomen complexiteit: AI-applicaties zullen complexer en geïntegreerder worden, wat gespecialiseerde expertise en tools vereist.
- Grotere focus op datakwaliteit: Datakwaliteit zal steeds belangrijker worden naarmate AI-applicaties afhankelijk zijn van nauwkeurige en betrouwbare data.
- Meer nadruk op beveiliging en privacy: Beveiliging en privacy zullen van het grootste belang zijn naarmate AI-applicaties gevoelige data verwerken.
- Bredere adoptie van agentische AI: Agentische AI-systemen zullen steeds vaker voorkomen naarmate organisaties ernaar streven complexe taken te automatiseren.
- Voortdurende innovatie: Het gebied van AI zal zich snel blijven ontwikkelen, wat leidt tot nieuwe doorbraken en kansen.
Door de uitdagingen aan te gaan en de kansen te benutten, kunnen organisaties de kracht van AI benutten om hun bedrijf te transformeren en een betere toekomst te creëren.