NVIDIA's FFN Fusion Verhoogt LLM Efficiëntie

De Computationele Uitdaging van Moderne AI

Large language models (LLMs) vormen de pijlers van de hedendaagse kunstmatige intelligentie en tonen opmerkelijke capaciteiten die industrieën en wetenschappelijke ontdekkingen hervormen. Hun vaardigheid in het genereren van mensachtige tekst, het aandrijven van geavanceerde conversationele agenten en zelfs het ondersteunen van complexe onderzoekstaken heeft hen tot onmisbare hulpmiddelen gemaakt. De kern van deze krachtige modellen wordt gevormd door de transformer-architectuur, een ontwerp dat wordt gekenmerkt door zijn afwisselende lagen. Invoergegevens, opgesplitst in tokens, stromen door een reeks van attention mechanisms, die het belang van verschillende tokens wegen, gevolgd door feed-forward networks (FFNs), die de verzamelde informatie verwerken. Deze gelaagde, sequentiële verwerking is fundamenteel voor hoe transformers leren en output genereren.

Echter, juist deze architectuur, hoewel effectief, vormt een groeiende uitdaging naarmate modellen in omvang en complexiteit toenemen. De sequentiële aard betekent dat elke laag over het algemeen moet wachten tot de vorige zijn berekening heeft voltooid voordat deze kan beginnen. Deze stapsgewijze verwerking creëert een inherent knelpunt, met name tijdens de inference-fase – het stadium waarin een getraind model daadwerkelijk wordt gebruikt om voorspellingen of tekst te genereren. Naarmate modellen zoals die geavanceerde AI-assistenten aandrijven honderden miljarden, of zelfs biljoenen, parameters bevatten, escaleren de benodigde rekenkracht en tijd voor inference dramatisch. Deze escalerende vraag vertaalt zich in aanzienlijke latency (vertraging in reactie), verminderde throughput (aantal verzoeken afgehandeld over tijd) en stijgende operationele kosten, wat de wijdverspreide implementatie en real-time toepassing van de krachtigste LLMs belemmert. Bijgevolg is het verbeteren van de inference-efficiëntie een primair aandachtspunt geworden binnen de AI-onderzoeksgemeenschap, wat een zoektocht naar innovatieve strategieën stimuleert die de berekening kunnen stroomlijnen zonder de opmerkelijke prestaties die deze modellen bieden in gevaar te brengen. De centrale uitdaging ligt in het verminderen van de beperkingen opgelegd door sequentiële uitvoering, vooral in gedistribueerde omgevingen waar berekeningen meerdere GPUs beslaan, wat communicatie-overhead toevoegt aan de verwerkingstijd.

Navigeren door het Optimalisatielandschap: Bestaande Tools en Hun Grenzen

In de voortdurende inspanning om LLMs slanker en sneller te maken, hebben onderzoekers een toolkit van optimalisatietechnieken ontwikkeld. Elk biedt een weg naar efficiëntie, maar komt vaak met zijn eigen compromissen, waardoor geen enkele methode een universele oplossing is. Het begrijpen van deze afwegingen is cruciaal om de noodzaak van nieuwe benaderingen zoals FFN Fusion te waarderen.

Een prominente techniek is quantization. Dit houdt in dat de numerieke precisie die wordt gebruikt om de gewichten en activaties van het model weer te geven, wordt verminderd. In plaats van standaard 32-bits floating-point getallen te gebruiken, kunnen modellen 16-bits, 8-bits of zelfs lagere-bits representaties gebruiken. Dit verkleint direct de geheugenvoetafdruk van het model en kan berekeningen aanzienlijk versnellen, aangezien bewerkingen op getallen met lagere precisie doorgaans sneller zijn en minder energie vereisen. Quantization is echter niet zonder risico. Het verminderen van precisie kan leiden tot informatieverlies, wat mogelijk de nauwkeurigheid van het model vermindert. Dit risico wordt groter bij zeer lage bit-breedtes, wat zorgvuldige implementatie en soms hertraining vereist om nauwkeurigheidsdalingen te beperken. De uitdaging ligt in het vinden van de ‘sweet spot’ die efficiëntiewinsten maximaliseert terwijl prestatievermindering binnen acceptabele grenzen blijft.

Een andere veelgebruikte strategie is pruning. Deze techniek werkt volgens het principe dat veel parameters binnen een groot neuraal netwerk redundant kunnen zijn of minimaal bijdragen aan de uiteindelijke output. Pruning-algoritmen identificeren en verwijderen deze minder belangrijke verbindingen of neuronen, wat resulteert in een kleiner, schaarser model. Net als quantization vermindert pruning de geheugenvereisten en de rekenlast. Het is echter complex om precies te bepalen welke parameters ‘veilig’ zijn om te verwijderen. Agressieve pruning kan onbedoeld cruciale componenten verwijderen, wat leidt tot aanzienlijk nauwkeurigheidsverlies. Het fine-tunen van het model na pruning is vaak nodig om de prestaties te herstellen, wat complexiteit toevoegt aan de workflow. Zorgvuldige kalibratie is essentieel om ervoor te zorgen dat het gesnoeide model effectief blijft.

Een meer architectonisch onderscheidende benadering is het Mixture-of-Experts (MoE) model. In plaats van elke invoer door het hele netwerk te verwerken, bestaan MoE-modellen uit meerdere ‘expert’-subnetwerken (meestal FFNs). Voor elk invoertoken selecteert een gating-mechanisme dynamisch een kleine subset van deze experts om de berekening uit te voeren. Deze conditionele berekening betekent dat slechts een fractie van de totale parameters van het model wordt geactiveerd voor een bepaalde invoer, wat leidt tot aanzienlijke rekenbesparingen, vooral tijdens training en inference op zeer grote modellen. MoE-modellen kunnen schalen tot biljoenen parameters met behoud van redelijke rekenkosten. Hun efficiëntie is echter sterk afhankelijk van de werklast. Ze blinken uit bij het verwerken van zeer grote batchgroottes waarbij het selectieve activeringspatroon leidt tot goed hardwaregebruik. Bij kleinere of middelgrote batchgroottes kunnen MoE-modellen last hebben van onderbenutting van rekenresources, omdat de parallelle hardware mogelijk niet consistent bezig wordt gehouden door de schaars geactiveerde experts. Bovendien kan het implementeren en load-balancen van MoE-modellen complexer zijn dan het implementeren van standaard ‘dense’ architecturen.

Hoewel quantization, pruning en MoE-modellen waardevolle vooruitgang vertegenwoordigen in LLM-optimalisatie, benadrukken hun inherente beperkingen de noodzaak van alternatieve of aanvullende strategieën. De zoektocht gaat door naar methoden die brede efficiëntieverbeteringen kunnen leveren in verschillende scenario’s, idealiter met minder compromissen ten aanzien van nauwkeurigheid of implementatiecomplexiteit, met name voor de dense modelarchitecturen die populair blijven vanwege hun relatieve eenvoud in training en implementatie.

FFN Fusion: Parallelisme in Transformers Heroverwegen

Te midden van dit landschap van optimalisatietechnieken hebben onderzoekers bij NVIDIA een overtuigende nieuwe benadering geïntroduceerd genaamd FFN Fusion. Deze techniek pakt direct het sequentiële knelpunt aan dat inherent is aan de transformer-architectuur, niet door parameters te wijzigen of selectief delen te activeren, maar door fundamenteel opnieuw na te denken over hoe reeksen berekeningen geparallelliseerd kunnen worden. De innovatie komt voort uit een cruciale observatie over het gedrag van FFN-lagen binnen diepe transformer-modellen.

Met behulp van een diagnostisch hulpmiddel genaamd Puzzle analyseerden de onderzoekers de interne werking van grote modellen. Toen ze experimenteel attention-lagen verwijderden, merkten ze op dat modellen vaak verrassend lange reeksen opeenvolgende FFN-lagen behielden. Belangrijker nog, analyse onthulde dat de berekeningen uitgevoerd door deze aangrenzende FFNs vaak minimale onderlinge afhankelijkheid vertoonden. In wezen veranderde de output van de ene FFN in de reeks vaak niet drastisch het directionele pad of de kerninformatie die nodig was voor de direct volgende FFN. Dit suggereerde dat deze FFNs, traditioneel na elkaar uitgevoerd, het potentieel zouden kunnen hebben voor gelijktijdige, parallelle uitvoering zonder de algehele functie van het model significant te verstoren.

Dit inzicht vormde de basis van FFN Fusion. Het kernidee is elegant eenvoudig maar krachtig: identificeer reeksen opeenvolgende FFN-lagen met lage computationele afhankelijkheid en voeg ze samen tot één enkele, bredere FFN-laag die de equivalente berekening parallel uitvoert. In plaats van een keten zoals Input -> FFN1 -> FFN2 -> FFN3 -> Output, wordt de samengevoegde structuur Input -> Fused_FFN (Equivalent aan FFN1+FFN2+FFN3 parallel) -> Output. Deze architectonische transformatie verkort effectief de sequentiële diepte van het netwerk, waarbij meerdere stappen worden vervangen door één enkele, bredere computationele stap. Door zich te richten op deze FFN-reeksen met lage afhankelijkheid, beoogt FFN Fusion de latency en rekenkosten te verminderen met behoud van de representatieve kracht en nauwkeurigheid van het model. De ontwikkeling van Ultra-253B-Base uit Llama-3.1-405B-Instruct diende als een uitstekende demonstratie van het potentieel van deze techniek.

De Architectonische Alchemie: Hoe FFN Fusion Werkt

De magie achter FFN Fusion ligt in de slimme manipulatie van de onderliggende wiskundige structuur van feed-forward netwerken. Het gaat niet alleen om het naast elkaar draaien van bestaande lagen; het omvat het creëren van een nieuwe, verenigde laag die het collectieve gedrag van de oorspronkelijke reeks repliceert, maar dit gelijktijdig doet.

Beschouw een reeks van k opeenvolgende FFN-lagen. In een standaard transformer gaat de invoer x door FFN1, de output ervan wordt de invoer voor FFN2, enzovoort, tot FFNk. Elke stap hangt expliciet af van de voltooiing van de vorige. FFN Fusion doorbreekt deze afhankelijkheidsketen. Wiskundig gezien omvat een FFN doorgaans twee lineaire transformaties met een niet-lineaire activeringsfunctie (zoals GeLU of SwiGLU) ertussen: FFN(x) = W_out * Activation(W_in * x). FFN Fusion maakt gebruik van het feit dat de lineaire transformaties vaak gecombineerd kunnen worden.

Het fusieproces werkt door de gewichten van de individuele FFN-lagen samen te voegen. Specifiek worden de invoergewichtsmatrices (W_in) van de opeenvolgende FFNs gecombineerd (bijv. blok-diagonaal) tot één enkele, grotere invoergewichtsmatrix voor de gefuseerde laag. Op dezelfde manier worden de uitvoergewichtsmatrices (W_out) samengevoegd tot één enkele, bredere uitvoergewichtsmatrix. De activeringsfunctie wordt element-wise toegepast binnen deze grotere structuur. Deze constructie zorgt ervoor dat de gefuseerde FFN gelijktijdig op de oorspronkelijke invoer x werkt via parallelle paden die overeenkomen met de oorspronkelijke FFNs. De outputs van deze parallelle paden worden vervolgens impliciet geaggregeerd door de structuur van de samengevoegde uitvoergewichten.

De theoretische onderbouwing bevestigt dat deze gefuseerde structuur dezelfde representatieve capaciteit kan behouden als de oorspronkelijke reeks FFNs, mits de afhankelijkheden tussen de oorspronkelijke lagen inderdaad laag waren. De sleutel is het identificeren van welke reeksen geschikt zijn voor fusie. Om dit systematisch te doen, gebruikten de NVIDIA-onderzoekers een afhankelijkheidsanalysetechniek. Ze maten de cosine distance tussen de output hidden states van opeenvolgende FFN-lagen voor een representatieve set invoertokens. Een kleine cosine distance geeft aan dat de outputvector van de ene FFN in een zeer vergelijkbare richting wijst als de outputvector van de volgende FFN in de reeks. Deze gelijkenis suggereert een lage functionele afhankelijkheid – de tweede FFN verandert de door de eerste vastgestelde informatierepresentatie niet drastisch. Reeksen FFNs die consistent lage cosine distances over lagen vertoonden, werden geïdentificeerd als primaire kandidaten voor fusie, aangezien het samenvoegen ervan minder waarschijnlijk de geleerde representaties en algehele prestaties van het model zou verstoren. Deze datagestuurde aanpak maakt gerichte toepassing van FFN Fusion mogelijk op de delen van het model waar het het meest effectief en minst storend zal zijn.

Van Kolos naar Sprinter: De Ultra-253B-Base Transformatie

De praktische kracht van FFN Fusion werd levendig gedemonstreerd door de toepassing ervan op een van de grootste publiek bekende modellen van dat moment, Llama-3.1-405B-Instruct. Dit model, met 405 miljard parameters, vertegenwoordigde een aanzienlijke computationele onderneming voor inference. De onderzoekers begonnen aan een proces van architectonische verfijning, waarbij FFN Fusion werd gecombineerd met strategische pruning, om een nieuw, efficiënter model te creëren genaamd Ultra-253B-Base.

Het transformatieproces omvatte verschillende stappen:

1. Analyse: Met behulp van hun afhankelijkheidsanalysetools (het meten van cosine distances), identificeerden de onderzoekers reeksen opeenvolgende FFN-lagen binnen de Llama-405B-architectuur die een lage inter-laag afhankelijkheid vertoonden.
2. Fusie: Deze geïdentificeerde FFN-reeksen werden vervolgens samengevoegd tot enkele, bredere FFN-lagen zoals eerder beschreven (samenvoegen van gewichten). Dit verminderde direct het aantal sequentiële stappen in het netwerk.
3. Pruning: Gelijktijdig of achteraf werden parameters die als minder kritisch werden beschouwd (mogelijk geïdentificeerd via standaard pruning-technieken of geïnformeerd door het fusieproces) uit het model verwijderd.

Deze gecombineerde aanpak resulteerde in Ultra-253B-Base, een model met 253 miljard parameters. Dit vertegenwoordigt een substantiële reductie – meer dan 37% minder parameters dan het oorspronkelijke 405B-model. De architectonische veranderingen die door fusie werden bereikt, waren cruciaal om zo’n significante omvangreductie mogelijk te maken, terwijl werd gestreefd naar behoud van prestaties. Het doel was niet alleen een kleiner model, maar een fundamenteel sneller en computationeel zuiniger model, dankzij het verhoogde parallellisme dat door FFN Fusion werd ontsloten. Deze casestudy diende als een cruciaal proof-of-concept, waaruit bleek dat grootschalige modellen substantieel konden worden geherstructureerd voor efficiëntie.

De Winst Meten: Prestaties, Snelheid en Resourcebesparingen

De ware test van elke optimalisatietechniek ligt in de meetbare impact ervan. Voor Ultra-253B-Base waren de resultaten van het toepassen van FFN Fusion en pruning op de Llama-405B-basis overtuigend, met significante verbeteringen op meerdere dimensies zonder substantiële compromissen in capaciteit.

Inference Snelheid en Kosten: De meest opvallende winsten werden waargenomen in inference-efficiëntie. Vergeleken met het oorspronkelijke 405B-parametermodel, bereikte Ultra-253B-Base:

• Een 1.71x verbetering in inference latency. Dit betekent dat het model aanzienlijk sneller reacties kon genereren, cruciaal voor real-time toepassingen.
• Een 35x reductie in computationele kosten per token gemeten bij een batchgrootte van 32. Deze dramatische daling in computationele operaties (FLOPs) per token vertaalt zich direct naar een lager energieverbruik en verminderde hardwarevereisten voor het serveren van het model.

Model Prestatie Benchmarks: Cruciaal is dat deze efficiëntieverbeteringen niet ten koste gingen van de intelligentie of capaciteiten van het model. Ultra-253B-Base werd rigoureus geëvalueerd op een reeks standaard LLM-benchmarks en behaalde scores die zeer concurrerend waren met, en in sommige gevallen zelfs beter waren dan, het oorspronkelijke, veel grotere model:

• MMLU (Massive Multitask Language Understanding): 85.17%
• MMLU-Pro (Een uitdagendere versie): 72.25%
• Arena Hard (Menselijke voorkeursevaluatie op moeilijke prompts): 84.92%
• HumanEval (Code generatie capaciteit): 86.58%
• MT-Bench (Multi-turn conversatiekwaliteit): 9.19

Deze scores geven aan dat het gefuseerde en gesnoeide model een zeer hoog niveau van begrip, redenering, codeervaardigheid en conversatiekwaliteit behield, vergelijkbaar met zijn 405B-parameter voorloper, ondanks dat het slechts 253 miljard parameters had.

Geheugenefficiëntie: Naast computationele snelheid en kosten droeg FFN Fusion ook bij aan geheugenbesparingen. De architectonische veranderingen, mogelijk gecombineerd met andere optimalisaties mogelijk gemaakt door de fusie, leidden tot een 2x reductie in de grootte van de key-value (KV) cache die nodig is tijdens inference. De KV cache slaat tussentijdse activaties (attention keys en values) op en kan aanzienlijk GPU-geheugen verbruiken, vooral bij lange invoersequenties. Het halveren van deze vereiste maakt het haalbaar om het model op minder geheugenintensieve hardware te draaien of om langere contexten binnen dezelfde geheugenbeperkingen te verwerken.

Deze kwantificeerbare resultaten onderstrepen de effectiviteit van FFN Fusion. Het maakte de creatie mogelijk van een model dat niet alleen kleiner was, maar fundamenteel efficiënter in termen van snelheid, computationele operaties en geheugengebruik, terwijl het tegelijkertijd topprestaties behield op uitdagende benchmarks.

Kennis Behouden: De Cruciale Rol van Training en Fine-Tuning

Het architectonisch aanpassen van een massief, voorgetraind taalmodel zoals Llama-405B door middel van technieken als FFN Fusion en pruning verstoort onvermijdelijk de delicate balans van zijn geleerde parameters. Hoewel de wiskundige equivalentie beoogt de functie lokaal te behouden, kan het globale gedrag van het netwerk verschuiven. Om ervoor te zorgen dat het resulterende Ultra-253B-Base model niet alleen efficiënter werd, maar ook zijn hoge prestatieniveau behield, was een zorgvuldig georkestreerd trainingsproces na de modificatie essentieel.

Dit proces omvatte twee hoofdfasen:

1. Knowledge Distillation: De eerste stap was het overdragen van de kennis van het oorspronkelijke, grotere model (of een geschikt leraarmodel) terug naar de gewijzigde architectuur. Dit werd bereikt door distillation, waarbij het Ultra-253B-Base model werd getraind om de outputs of interne representaties van het leraarmodel na te bootsen. Deze fase maakte gebruik van een substantiële dataset, specifiek 54 miljard tokens, verwerkt met een 8k context window. Distillation helpt het gefuseerde en gesnoeide model nuances en capaciteiten terug te winnen die mogelijk licht verstoord waren tijdens de architectonische veranderingen.

2. Gefaseerde Fine-Tuning: Na distillation onderging het model een reeks fine-tuning stadia die specifiek waren ontworpen om het aan te passen aan het omgaan met progressief langere contextlengtes. Dit is cruciaal voor moderne LLMs, die vaak worden verwacht tekst te verwerken en te genereren op basis van uitgebreide invoer. De fine-tuning verliep in fasen:

   • Fine-tuning op een 16k context window.
   • Verdere fine-tuning op een 32k context window.
   • Laatste fine-tuning fase op een 128k context window.

Deze gefaseerde aanpak stelt het model in staat om zijn parameters geleidelijk aan te passen, inclusief de nieuw gevormde gefuseerde FFN-lagen en de geoptimaliseerde KV cache-mechanismen, om afhankelijkheden en informatiestroom over zeer lange sequenties effectief te beheren. Elke fase bouwt voort op de vorige, wat zorgt voor stabiliteit en robuuste prestaties over verschillende contextgroottes.

Dit nauwgezette trainingsregime, dat grootschalige distillation combineert met gefaseerde, lange-context fine-tuning, was instrumenteel in het overbruggen van de kloof tussen architectonische efficiëntie en high-fidelity prestaties. Het zorgde ervoor dat de snelheids-, kosten- en geheugenvoordelen geleverd door FFN Fusion de nauwkeurigheid en capaciteiten van het model op veeleisende benchmarks niet in gevaar brachten.

Bredere Horizonten: Generaliseerbaarheid en Toekomstige Richtingen

De succesvolle transformatie van Llama-405B naar Ultra-253B-Base levert sterk bewijs voor het potentieel van FFN Fusion, maar de ware waarde ligt in de bredere toepasbaarheid en de inzichten die het biedt voor toekomstig LLM-ontwerp. Het onderzoek toonde aan dat dit niet slechts een eenmalige truc was die alleen van toepassing was op enorme modellen.

Validatie op Verschillende Schalen: De NVIDIA-onderzoekers testten expliciet de FFN Fusion-methodologie op modellen van verschillende groottes. Ze pasten de techniek succesvol toe op 70B-parameter modellen, waarbij vergelijkbare efficiëntiewinsten werden behaald ten opzichte van hun oorspronkelijke tegenhangers. Ze rapporteerden ook validatie op een 49B schaal, wat verder het idee versterkt dat FFN-onafhankelijkheid en het potentieel voor fusie geen exclusieve kenmerken zijn van de grootste modellen, maar mogelijk een meer algemene eigenschap van de transformer-architectuur, die mogelijk meer uitgesproken wordt op grotere schalen waar diepere FFN-reeksen van nature voorkomen. Dit suggereert dat FFN Fusion een standaard hulpmiddel zou kunnen worden in het LLM-optimalisatiearsenaal, toepasbaar op een reeks modelgroottes.

FFN vs. Volledige Blokfusie: Het onderzoek wierp ook licht op de specifieke rol van FFN-lagen vergeleken met attention-lagen binnen het transformer-blok. Terwijl opeenvolgende FFN-lagen vaak een lage afhankelijkheid vertoonden, waardoor ze ideaal waren voor fusie, bleken pogingen om volledige transformer-blokken (inclusief zowel attention- als FFN-lagen) te parallelliseren uitdagender. De analyse wees op sterkere onderlinge afhankelijkheden waarbij de attention mechanisms betrokken zijn. Het gelijktijdig fuseren van volledige blokken resulteerde in significant grotere prestatievermindering, wat suggereert dat de attention-lagen een meer kritische, sequentieel afhankelijke rol spelen bij het integreren van informatie over tokens. Deze bevinding helpt de grenzen van effectieve parallellisatie af te bakenen – FFN-reeksen zijn vruchtbare grond, terwijl attention mechanisms mogelijk andere optimalisatiestrategieën vereisen.

Implicaties voor LLM-Architectuur: FFN Fusion biedt meer dan alleen een post-hoc optimalisatietechniek; het levert waardevolle inzichten voor het ontwerpen van toekomstige LLMs. De ontdekking dat reeksen FFNs vaak kunnen worden behandeld als parallelliseerbare eenheden, daagt de strikt sequentiële aanname uit die vaak ten grondslag ligt aan transformer-ontwerp. Dit zou nieuwe architecturen kunnen inspireren die vanaf het begin inherent meer parallel-vriendelijk zijn. Toekomstige modellen zouden kunnen worden ontworpen met FFN-structuren die expliciet bedoeld zijn voor fusie of parallelle uitvoering, wat mogelijk leidt tot hardware-software co-design waarbij GPU-architecturen verder worden geoptimaliseerd om dit type parallellisme te benutten. De systematische methode met behulp van cosine distance om inter-laag afhankelijkheid te kwantificeren, biedt ook een waardevol analytisch hulpmiddel voor het begrijpen en herontwerpen van neurale netwerkstructuren. Door aan te tonen dat significante efficiëntiewinsten mogelijk zijn door doordacht architectonisch herontwerp gericht op het parallelliseren van bestaande componenten, effent FFN Fusion de weg voor de ontwikkeling van LLMs die zowel krachtig als computationeel duurzamer zijn.Het benadrukt een pad naar het verminderen van de escalerende resource-eisen van geavanceerde AI.