Domeinexpertise Ontsluiten: Fine-Tuning, Merging & LLM's

De Uitdaging van Specialisatie: AI Aanpassen voor Technische Grenzen

Large Language Models (LLM’s) hebben ontegenzeggelijk een revolutie teweeggebracht in hoe we omgaan met informatie en taken automatiseren die natuurlijke taal omvatten. Giganten zoals Llama en Mistral, zelfs in hun open-source vormen, tonen een opmerkelijke vloeiendheid in het begrijpen en genereren van tekst die vaak wedijvert met menselijke output. Hun bekwaamheid strekt zich uit over een breed landschap, van alledaagse gesprekken tot complexe samenvattingen. Echter, het betreden van de gespecialiseerde, jargonrijke gebieden van wetenschap en techniek – velden zoals materiaalkunde of biomateriomics – vormt een unieke hindernis.

Deze technische domeinen vereisen meer dan algemene kennis; ze vereisen diep, genuanceerd begrip, het vermogen om te redeneren over specifieke principes, en bekendheid met gespecialiseerde terminologie en datastructuren. Standaard LLM’s, getraind op brede webcorpora, schieten vaak tekort wanneer ze met deze eisen worden geconfronteerd. De uitdaging ligt daarom in domeinadaptatie: hoe kunnen we deze krachtige generalistische modellen effectief aanpassen om deskundige assistenten te worden in zeer specifieke vakgebieden?

Simpelweg meer gespecialiseerde data invoeren is niet altijd het antwoord, noch is het altijd haalbaar. Het trainen van deze kolossen vanaf nul is onbetaalbaar duur, en de oorspronkelijke, massale datasets die gebruikt zijn voor hun initiële pre-training zijn doorgaans ontoegankelijk. Dit geldt met name voor populaire open-source modellen waarbij, ondanks enige transparantie, het volledige recept – de exacte datamixen en sequenties gebruikt tijdens pre-training, fine-tuning en alignment – grotendeels bedrijfseigen blijft. Onderzoekers en ingenieurs hebben robuuste, efficiënte strategieën nodig om bestaande modellen te voorzien van nieuwe, gespecialiseerde kennis, terwijl de enorme algemene capaciteiten die tijdens hun initiële training zijn verworven, cruciaal behouden blijven. Dit delicate evenwicht is van het grootste belang voor het creëren van echt nuttige AI-tools voor wetenschappelijke ontdekking en technische innovatie, zoals het ontwikkelen van engines die in staat zijn tot multimodale redenering om inspiratie voor het ontwerp van biologische materialen te verkennen over diverse schalen en contexten.

Het Trainingslandschap in Kaart Brengen: Van Pre-Training tot Preferentieoptimalisatie

Het navigeren van het pad naar domeinspecifieke LLM-expertise omvat het verkennen van een diverse toolkit van fine-tuning strategieën. Elke aanpak biedt een andere manier om de kennis en het gedrag van het model vorm te geven.

• Continued Pre-Training (CPT): Deze strategie omvat het verlengen van de initiële pre-trainingsfase, maar dit keer met een corpus dat zich vierkant richt op het doeldomein – zoals een verzameling onderzoekspapers over materiaalkunde. Het doel is om het model onder te dompelen in de specifieke taal, concepten en kennisstructuren van het veld, waardoor het domeinspecifieke informatie dieper kan absorberen dan mogelijk is met alleen taakspecifieke fine-tuning. Hetlegt een fundament van relevante kennis.

• Supervised Fine-Tuning (SFT): Na CPT of startend vanuit een basismodel, leert SFT het model direct hoe specifieke taken uit te voeren. Dit wordt bereikt met behulp van gecureerde datasets van input-output paren, vaak geformatteerd als instructies en gewenste reacties, of vragen en nauwkeurige antwoorden die relevant zijn voor het domein. SFT scherpt het vermogen van het model aan om instructies te volgen, vragen nauwkeurig te beantwoorden binnen de gespecialiseerde context, en zich te houden aan gewenste outputformaten.

• Low-Rank Adaptation (LoRA): Hoewel hier niet de primaire focus, vertegenwoordigt LoRA een efficiënt alternatief of supplement. In plaats van het hele model opnieuw te trainen, introduceert LoRA kleine, trainbare ‘adapter’-lagen. Dit maakt significante aanpassing mogelijk met veel lagere computationele kosten, hoewel het beperkingen kan hebben in hoeveel fundamenteel nieuwe kennis kan worden geïntegreerd in vergelijking met CPT.

• Preference-Based Optimization: Verdergaand dan eenvoudige taakvoltooiing, streeft preferentieoptimalisatie ernaar om de outputs van het model nauwer af te stemmen op menselijke oordelen of specifieke criteria zoals behulpzaamheid, onschadelijkheid en nauwkeurigheid in redenering. In plaats van uitsluitend te vertrouwen op vooraf gedefinieerde ‘correcte’ antwoorden (zoals in SFT), leren deze methoden van vergelijkingen.

  • Direct Preference Optimization (DPO): DPO leert rechtstreeks van paren reacties waarbij de ene de voorkeur heeft boven de andere (bijv. door een menselijke evaluator of een andere AI). Het optimaliseert het model om de waarschijnlijkheid van het genereren van geprefereerde reacties te verhogen zonder een apart beloningsmodel nodig te hebben, wat de traditionele Reinforcement Learning from Human Feedback (RLHF) pijplijn vereenvoudigt.
  • Odds Ratio Preference Optimization (ORPO): Een nieuwere methode, ORPO wijzigt het optimalisatiedoel, wat soms leidt tot verbeterde prestaties of stabiliteit vergeleken met DPO, met name bij het afstemmen van modellen op specifieke stilistische of redeneercriteria binnen een domein.

Deze technieken sluiten elkaar niet uit; ze worden vaak sequentieel of in combinatie toegepast, en vormen complexe trainingspijplijnen. Een gebruikelijke volgorde kan CPT omvatten om domeinkennis op te bouwen, gevolgd door SFT voor taakvaardigheid, en ten slotte DPO of ORPO voor afstemming en verfijning. De optimale combinatie en volgorde blijven echter actieve onderzoeksgebieden, met name voor het bereiken van topprestaties in gespecialiseerde wetenschappelijke domeinen.

Voorbij Eenvoudige Tuning: De Belofte van het Samenvoegen van Modellen

Hoewel het verfijnen van een enkel model door sequentiële trainingsfasen aanzienlijke verbeteringen kan opleveren, is er een andere intrigerende weg ontstaan: model merging (modelsamenvoeging). Deze praktijk omvat het nemen van twee of meer afzonderlijk getrainde modellen en het combineren van hun parameters – hun interne ‘gewichten’ – om een enkel, nieuw hybride model te creëren.

Waarom zo’n fusie proberen? Het kernidee is om de sterke punten van de oudermodellen synergetisch te combineren. Stel je een model voor dat deskundig is getraind op materiaalkundige literatuur (via CPT en SFT) en een ander algemeen ‘instruct’-model dat zeer bedreven is in het volgen van complexe instructies en het voeren van coherente dialogen. Het samenvoegen ervan zou potentieel een model kunnen creëren dat zowel diepe domeinkennis bezit als uitstekende conversationele en instructievolgende vaardigheden.

Vroege verkenningen suggereerden dat dit proces meer zou kunnen zijn dan eenvoudige middeling. In plaats van alleen capaciteiten te mengen, zou merging potentieel geheel nieuwe, emergente functionaliteiten kunnen ontsluiten – vaardigheden die niet expliciet aanwezig zijn in een van de oudermodellen. Dit suggereert een zeer niet-lineaire interactie tussen de parameters tijdens de merge, wat mogelijk leidt tot een geheel dat groter is dan de som der delen. Indien bewezen effectief en controleerbaar, zou model merging een krachtig, transformatief hulpmiddel kunnen zijn om de grenzen van LLM-capaciteiten te verleggen, en zeer aanpasbare en potente AI-systemen te creëren die zijn toegesneden op complexe, reële wetenschappelijke en technische uitdagingen.

De Kracht van SLERP Onthullen: Een Geometrische Benadering van Merging

De effectiviteit van model merging hangt cruciaal af van hoe de parameters van de oudermodellen worden gecombineerd. Een eenvoudige lineaire middeling (vaak Lineaire Interpolatie of LERP genoemd) lijkt misschien intuïtief, maar leidt vaak tot suboptimale resultaten of zelfs tot prestatievermindering. Dit komt waarschijnlijk doordat de hoogdimensionale parameterruimte van LLM’s niet vlak is; het bezit een complexe, gekromde geometrie. Lineaire interpolatie loopt het risico ‘dode zones’ of gebieden met hoog verlies binnen deze ruimte te doorkruisen, waardoor de zorgvuldig geleerde representaties van de oudermodellen effectief worden verstoord.

Enter Spherical Linear Interpolation (SLERP). Oorspronkelijk ontwikkeld voor vloeiende animatie van rotaties in computergraphics, biedt SLERP een geometrisch geavanceerde manier om te interpoleren tussen twee punten (in dit geval de parametervectoren van twee modellen) door het kortste pad langs het oppervlak van een hypersfeer te volgen.

Stel je de parameter sets van de twee oudermodellen voor als twee punten op het oppervlak van een gigantische bol.

• LERP zou een rechte lijn door de bol trekken die de punten verbindt. Dit pad blijft mogelijk niet op het oppervlak en kan door regio’s gaan die slecht presterende modellen vertegenwoordigen.
• SLERP, daarentegen, reist langs het gekromde oppervlak van de bol zelf. Dit pad respecteert inherent de onderliggende geometrische structuur van de parameterruimte.

Waarom is dit sferische pad potentieel superieur voor het mergen van LLM’s?

1. Structuurbehoud: Door ‘op de bol’ te blijven, behoudt SLERP de geometrische relaties tussen parameters, waardoor de geleerde structuren binnen elk oudermodel effectiever worden bewaard dan een lineair pad.
2. Vermijden van Hoge-Verlies Regio’s: Het gekromde pad heeft minder kans om regio’s van de parameterruimte te kruisen die geassocieerd zijn met hoge voorspellingsfouten (verlies).
3. Niet-Lineaire Combinatie: De interpolatieformule voor SLERP is inherent niet-lineair. Dit maakt complexe, synergetische interacties mogelijk tussen de parameters van de oudermodellen, wat potentieel combinaties ontsluit die nieuwe capaciteiten vertegenwoordigen. Een samengevoegde parameter kan functies activeren op een manier die geen van beide ouders alleen kon.
4. Vloeiende Overgangen: SLERP biedt een wiskundig vloeiende overgang tussen de toestanden van de oudermodellen, wat mogelijk leidt tot betere generalisatie in het samengevoegde model.

Omdat SLERP de intrinsieke geometrie van het model respecteert en niet-lineaire parameterinteracties faciliteert, heeft het de potentie om niet alleen capaciteiten te middelen, maar ze echt te mengen op een manier die emergente eigenschappen bevordert. Dit maakt het een bijzonder veelbelovende kandidaat voor het samenvoegen van modellen gericht op complexe domeinen zoals materiaalkunde, waar subtiele interacties en genuanceerd begrip essentieel zijn.

Theorieën Testen: Llama en Mistral Experimenten

Om deze fine-tuning en merging strategieën rigoureus te onderzoeken, werd een systematische reeks experimenten uitgevoerd met populaire open-source modelfamilies: Llama 3.1 (8 miljard parameters) en Mistral (7 miljard parameters). Het doel was om verschillende trainingspijplijnen te vergelijken en de impact van SLERP merging te beoordelen.

Het experimentele ontwerp omvatte verschillende belangrijke stappen:

1. Basis Modellen: Experimenten begonnen met zowel de fundamentele ‘basis’-modellen (vooraf getraind maar niet instructie-getuned) als de ‘instruct’-versies (al gefinetuned voor chat en instructievolging) voor zowel Llama als Mistral families.
2. Domein Corpus: Een gespecialiseerd corpus gericht op materiaalkunde werd samengesteld uit wetenschappelijke publicaties en verwerkte data.
3. Trainingspijplijnen: Verschillende combinaties van trainingstechnieken werden toegepast:
   • Alleen CPT
   • CPT gevolgd door SFT (CPT-SFT)
   • CPT-SFT gevolgd door ORPO (CPT-SFT-ORPO)
   • CPT-SFT gevolgd door DPO (CPT-SFT-DPO)
   • Enkele variaties die direct starten vanuit het Instruct-model (bijv. Instruct-CPT-SFT-DPO).
4. Model Merging: Voor veel van de gefinetunede modellen werd SLERP merging uitgevoerd, typisch door het domein-aangepaste model te combineren met het corresponderende algemene ‘instruct’-model uit dezelfde familie (bijv. een CPT-SFT-DPO Llama model samengevoegd met het standaard Llama 3.1 Instruct model).
5. Evaluatie: De prestaties van alle resulterende modellen (zowel samengevoegd als niet-samengevoegd) werden beoordeeld aan de hand van een reeks relevante benchmarks die zijn ontworpen om domeinkennis, redenering en instructievolging te testen.

Belangrijkste Bevindingen over Llama en Mistral:

• SLERP Merging Verhoogt Consistent Prestaties: Over beide modelfamilies en verschillende trainingspijplijnen heen, behaalden de modellen die waren verbeterd via SLERP merging over het algemeen de hoogste nauwkeurigheid op de evaluatiebenchmarks. Dit ondersteunt sterk de hypothese dat SLERP een effectieve techniek is voor het combineren van modelsterktes.
• Synergetische Effecten Bevestigd: De prestaties van de SLERP-samengevoegde modellen overtroffen vaak een eenvoudig gemiddelde van de prestaties van de twee oudermodellen. Het plotten van de daadwerkelijk behaalde score tegen dit verwachte gemiddelde onthulde een significante positieve afwijking, wat bevestigt dat het merging proces vaak synergetische winsten en emergente capaciteiten ontsluit. De samengevoegde entiteit was aantoonbaar capabeler dan alleen de som der delen.
• Preferentieoptimalisatie Voegt Waarde Toe: Het opnemen van preferentieoptimalisatiestadia (DPO of ORPO) leverde vaak een extra prestatieverbetering op, vooral in combinatie met SLERP merging. Strategieën zoals CPT-SFT-DPO-SLERP of CPT-SFT-ORPO-SLERP behoorden vaak tot de toppresteerders.
• Optimale Niet-Samengevoegde Strategie Varieert: Zonder merging verschilde de best presterende strategie enigszins tussen modelfamilies. Voor Llama 3.1 toonde Instruct-CPT-SFT-DPO sterke resultaten, terwijl voor Mistral Base-CPT-SFT vergelijkbaar goed presteerde als zijn Instruct-tegenhanger.
• Impact van CPT Duur: Verdere analyse op Mistral-modellen toonde aan dat de prestaties over het algemeen verbeterden met meer epochs van Continued Pre-Training (tot de vijf geteste), vooral wanneer gestart werd vanuit het Instruct-model, wat de waarde van voldoende domeinblootstelling tijdens CPT versterkt.

Deze resultaten schetsen een duidelijk beeld: hoewel sequentiële fine-tuning waardevol is, biedt strategische model merging met SLERP een krachtige weg om de prestaties van LLM’s aanzienlijk te verbeteren, met name voor gespecialiseerde domeinen, wat vaak leidt tot capaciteiten die verder gaan dan eenvoudige aggregatie.

Dieper Duiken: Wat Maakt Merging Effectief?

Het consistente succes van SLERP merging vraagt om een nadere blik op de onderliggende mechanismen en beïnvloedende factoren. Waarom levert deze geometrische benadering zulke krachtige resultaten op, en welke omstandigheden optimaliseren de effectiviteit ervan?

• Niet-Lineaire Interacties: Zoals getheoretiseerd, lijkt het niet-lineaire pad van SLERP door de parameterruimte cruciaal. Het stelt het samengevoegde model in staat om combinaties van parameters te verkennen die lineaire middeling zou missen. Deze combinaties kunnen nieuwe interacties tussen geleerde kenmerken vertegenwoordigen, wat leidt tot emergente redeneer- of probleemoplossende vaardigheden die zijn toegesneden op het domein. Stel je voor dat je parameters combineert die individueel begrip van ‘materiaalkracht’ en ‘biologische structuren’ vertegenwoordigen – SLERP zou een combinatie kunnen vinden die effectief ‘bio-geïnspireerde hoogsterkte materialen’ vertegenwoordigt op een manier die geen van beide oudermodellen expliciet deed.

• De Rol van Diversiteit: Hoe verschillend moeten de oudermodellen zijn? Analyse suggereerde complexe relaties. Hoewel extreme diversiteit gunstig lijkt, gaven sommige correlaties aan dat in bepaalde contexten (zoals Llama-modellen), hogere prestatiediversiteit tussen ouders de afhankelijkheid van daaropvolgende SFT enigszins zou kunnen verminderen, misschien omdat merging al een breder scala aan capaciteiten vastlegt. De wisselwerking is subtiel en hangt waarschijnlijk af van de specifieke fine-tuning methoden die voor de ouders zijn gebruikt.

• Basis vs. Instruct Startpunt: De keuze van het startmodel is van belang. Voor de Llama-experimenten kwam het best presterende samengevoegde model voort uit de Instruct-versie. Omgekeerd, voor Mistral, was een toppresteerder afgeleid van het Basis-model voordat het CPT, SFT en merging onderging. Dit suggereert dat architecturale verschillen of variaties in de initiële pre-trainingssamenstellingen van de Llama- en Mistral-families beïnvloeden hoe ze reageren op specifieke fine-tuning en merging pijplijnen. Er is geen enkele universele ‘beste’ startpunt; het vereist empirisch testen.

• Datakwaliteit in CPT: Het fundament gelegd tijdens Continued Pre-Training is cruciaal. Experimenten met een grotere maar ‘ruisiger’ CPT-dataset (die meer opmaakfouten of artefacten van optische tekenherkenning bevatte) resulteerden in verminderde prestaties vergeleken met het gebruik van een kleinere, schonere dataset. Dit onderstreept het belang van hoogwaardige, goed verwerkte domeinspecifieke data voor de effectiviteit van de CPT-fase. Garbage in, garbage out geldt nog steeds.

• Fine-Tuning SLERP Parameters: SLERP zelf heeft parameters, met name de interpolatiecoëfficiënt (vaak aangeduid als ‘t’, variërend van 0 tot 1) die bepaalt hoeveel gewicht aan elk oudermodel wordt gegeven. Bovendien hoeft merging niet uniform te zijn over alle modellagen. Experimenten verkenden het variëren van de interpolatiefactor verschillend voor self-attention lagen versus multilayer perceptron (MLP) lagen, of zelfs het progressief variëren door de diepte van het model. Resultaten toonden aan dat specifieke niet-uniforme weging schema’s de standaard uniforme aanpak konden overtreffen, wat wijst op verder optimalisatiepotentieel door het merge-proces zorgvuldig af te stemmen op de architectuur van het netwerk. Een eenvoudige lineaire progressie van gewichten over lagen bleek effectief in één Llama-geval.

• Regularisatie-effect: SLERP kan ook fungeren als een vorm van regularisatie. Door een glad pad te vinden tussen twee potentieel gespecialiseerde modellen, kan het overfitting aan de eigenaardigheden van de trainingsdata van een van beide ouders ontmoedigen, wat leidt tot betere generalisatie op ongeziene domeinspecifieke problemen. Het kan ook helpen ‘catastrofale vergetelheid’ te verminderen, waarbij fine-tuning op de ene taak kennis van een vorige uitwist.

In essentie komt de effectiviteit van SLERP voort uit zijn vermogen om intelligent te navigeren door de complexe geometrie van de LLM-parameterruimte, waarbij gunstige niet-lineaire interacties worden bevorderd terwijl geleerde kennisstructuren behouden blijven. Het optimaliseren van het gebruik ervan vereist echter zorgvuldige overweging van de keuze van het oudermodel, de trainingsgeschiedenis, de datakwaliteit en mogelijk zelfs de fijnmazige details van de merge zelf.

Maakt Grootte Uit? Schaal Effecten Verkennen met Kleinere Modellen

De indrukwekkende synergetische effecten waargenomen bij modellen met 7 miljard en 8 miljard parameters roepen een natuurlijke vraag op: manifesteren deze emergente capaciteiten diedoor SLERP merging worden ontsloten zich ook in veel kleinere taalmodellen? Of is er een schaaldrempel waaronder de magie vervaagt?

Om dit te onderzoeken, werden vergelijkbare experimenten uitgevoerd met de SmolLM modelserie, specifiek een variant met slechts 1.7 miljard parameters. Dit model is aanzienlijk kleiner, waardoor het geschikt is voor omgevingen met beperkte middelen zoals mobiele apparaten of edge computing, maar mogelijk de parameterrijkdom van zijn grotere neven mist.

De SmolLM-modellen ondergingen dezelfde pijplijn: CPT met het materiaalkunde corpus, gevolgd door SFT en DPO (wat effectiever bleek dan ORPO voor deze kleinere architectuur). SLERP merging werd vervolgens toegepast, waarbij het gefinetunede SmolLM werd gecombineerd met zijn basisversie of andere varianten.

De Bevindingen met SmolLM:

• Fine-tuning Helpt Nog Steeds: De CPT-SFT-DPO pijplijn verbeterde de prestaties van het SmolLM-model op domeintaken ten opzichte van zijn oorspronkelijke staat. Het fine-tuning proces zelf was gunstig en verbeterde zijn gespecialiseerde kennis.
• Emergentie Grotendeels Afwezig: Echter, in tegenstelling tot de Llama en Mistral experimenten, vertoonden de SLERP-samengevoegde SmolLM-modellen over het algemeen geen significante synergetische effecten. Hun prestaties kwamen doorgaans dicht bij een eenvoudig gemiddelde van de oudermodellen, of slechts licht daarboven. De dramatische prestatiesprongen en duidelijke tekenen van emergente capaciteiten die werden gezien in de 7B/8B-modellen ontbraken.

Implicaties:

Dit contrast suggereert dat modelschaal waarschijnlijk een sleutelfactor is bij het realiseren van het volledige potentieel van SLERP merging voor het genereren van emergente eigenschappen. Kleinere modellen, met hun minder complexe en lager-dimensionale parameterruimtes, missen mogelijk de representationele capaciteit of rijkdom die nodig is voor deze krachtige niet-lineaire interacties om plaats te vinden tijdens het mergen. De ‘ruimte’ voor het ontdekken van nieuwe, gunstige parametercombinaties lijkt aanzienlijk beperkter vergeleken met grotere modellen.

Deze resultaten sluiten aan bij bredere observaties over schaalwetten in deep learning, waarbij bepaalde kwalitatieve capaciteiten vaak pas naar voren komen zodra modellen een bepaalde groottedrempel bereiken. Het lijkt erop dat de synergetische kracht van SLERP merging zo’n capaciteit zou kunnen zijn die kritisch afhangt van voldoende modelschaal en complexiteit.

De Winst Kwantificeren: Een Nadere Blik op Prestatieverbetering door Merging

Hoewel benchmarks aantonen dat samengevoegde modellen vaak het beste presteren in het algemeen, is het nuttig om precies te kwantificeren hoeveel beter ze zijn vergeleken met hun ouders. Specifiek, presteert het samengevoegde model consistent beter dan zelfs het sterkste van de twee modellen die zijn gebruikt om het te creëren?

Om dit te analyseren, werd de prestatieafwijking berekend voor elk SLERP-samengevoegd model. Deze afwijking werd gedefinieerd als:

Prestatieafwijking = Prestatie(Samengevoegd Model) - Max(Prestatie(Ouder 1), Prestatie(Ouder 2))

• Een positieve afwijking (gevisualiseerd in blauwtinten) betekent dat het SLERP-model beter presteerde dan de beste van zijn ouders – duidelijk bewijs van synergie.
• Een negatieve afwijking (gevisualiseerd in rood) betekent dat het SLERP-model slechter presteerde dan ten minste één van zijn ouders, wat aangeeft dat de merge nadelig was of op zijn best middelde.

De Analyse Onthulde:

Over de meerderheid van de experimenten met de Llama 3.1 (8B) en Mistral (7B) modellen waren de prestatieafwijkingen overwegend positief. In veel gevallen, vooral voor de goed geoptimaliseerde pijplijnen (bijv. die met CPT, SFT, preferentieoptimalisatie en SLERP), toonden de samengevoegde modellen aanzienlijke positieve afwijkingen, wat aangeeft dat ze de capaciteiten van zelfs hun sterkste ouder significant overtroffen.

Er waren gevallen, met name met minder geoptimaliseerde oudermodellen of misschien suboptimale merging parameters, waar de afwijking licht negatief of bijna nul was. De overkoepelende trend was echter duidelijk: strategische SLERP merging levert vaak een echte prestatieverbetering op die verder gaat dan wat een van beide oudermodellen alleen zou kunnen bereiken. Dit versterkt het idee dat merging niet alleen middelen is, maar een proces dat in staat is superieure capaciteiten te synthetiseren. De SmolLM (1.7B) resultaten zouden daarentegen veel kleinere of negatieve afwijkingen laten zien, consistent met het gebrek aan sterke emergente effecten op die schaal.

Van Benchmarks naar Brainstormen: Interactieve Toepassingen in Materiaalontwerp

Voorbij kwantitatieve benchmarks ligt de ware waarde van deze domein-aangepaste modellen in hun vermogen om te assisteren bij reële taken, zoals wetenschappelijk redeneren en creatief ontwerp. Om dit kwalitatieve aspect te beoordelen, werden interactieve chatsessies gehouden met verschillende van de best presterende modellen (inclusief zowel samengevoegde als niet-samengevoegde varianten).

De opzet omvatte het geven van een consistente systeemprompt die het model instrueerde om op te treden als een materiaalkundig expert, gevolgd door een gebruikersprompt ontworpen om creatief, cross-domein redeneren te testen. Een typische taak omvatte het vragen aan het model om:

1. Twee schijnbaar ongelijksoortige biologische concepten te overwegen (bijv. de structuur van collageen en de nervatuurpatronen van bladeren).
2. Te brainstormen over nieuwe materiaalontwerpen geïnspireerd door het combineren van principes uit beide concepten.
3. De redenering achter de voorgestelde ontwerpen uit te leggen.
4. De suggesties uit te voeren in een gestructureerd formaat (zoals JSON) voor potentiële downstream verwerking.

Kwalitatieve Observaties:

• Sterk Domeinbegrip: Alle gefinetunede modellen toonden een solide begrip van de onderliggende biologische en materiaalkundige concepten, gebruikten de juiste terminologie en verwezen naar relevante principes. De CPT- en SFT-fasen hebben duidelijk significante domeinkennis bijgebracht.
• Creatieve Synthese: De modellen waren over het algemeen in staat om de conceptuele kloof tussen de ongelijksoortige inputs (zoals collageen en bladeren) te overbruggen om innovatieve materiaalarchitecturen of functionaliteiten voor te stellen. Dit toonde hun vermogen tot analogisch redeneren binnen het gespecialiseerde domein.
• Gestructureerde Output: Modellen hielden zich succesvol aan instructies die gestructureerde output (JSON) vroegen, wat duidt op goede instructievolgende capaciteiten, met name voor degenen die verfijnd waren met SFT en preferentieoptimalisatie of afkomstig waren van Instruct-bases.
• Variërende Diepgang en Helderheid: Hoewel allen de kerntaak uitvoerden, kwamen er verschillen naar voren in de diepgang van de geleverde redenering, de nieuwheid en uitvoerbaarheid van de voorgestelde ontwerpen, en de algehele helderheid en coherentie van de uitleg. Modellen die uitgebreidere trainingspijplijnen hadden doorlopen, vooral die met preferentieoptimalisatie en SLERP merging, gaven vaak rijkere, inzichtelijkere en creatievere antwoorden.
• Invloed van Merging: Samengevoegde modellen vertoonden vaak een goede balans tussen domeinspecifieke nauwkeurigheid en conversationele vloeiendheid/creativiteit, waarbij ze schijnbaar de kennis van de domein-getunede ouder integreerden met de interactievaardigheden van de algemene instruct-ouder.

Deze interactieve sessies leverden waardevol kwalitatief bewijs dat de fine-tuning en merging strategieën zich vertalen in tastbare verbeteringen in praktische, open-ended taken die domeinspecifiek redeneren en creativiteit vereisen. Ze toonden het potentieel van deze op maat gemaakte LLM’s om op te treden als waardevolle medewerkers bij wetenschappelijke verkenning en ontwerpideatie binnen velden zoals materiaalkunde.