Microsoft Phi-4: Slimme SLM's

Microsoft’s Phi-4 Reasoning presenteert compacte, open-weight (MIT licentie), snelle, efficiënte SLM’s die in staat zijn tot geavanceerde redeneringen.

Microsoft, hoewel een bevoorrechte partner van OpenAI en samenwerkend met de meeste spelers om hun AI-modellen te integreren in Azure AI Foundry, schuwt het niet om zijn eigen technologische wegen te bewandelen. Dit omvat het werken aan innovaties in de kern van neurale netwerken, zoals het intrigerende BitNet b1.58 model gebaseerd op Trit, zijn eigen open-source SLM’s, en zelfs grensverleggende modellen die onder de pet worden gehouden (Project MAI-1).

Een jaar na de introductie van zijn reeks kleine AI-modellen (SLM’s) Phi-3 en twee maanden na de debuut van de 4e generatie met een multimodale SLM (Phi-4-Multimodal) en een klein model (Phi-4-mini), kondigt Microsoft drie nieuwe varianten aan van zijn nieuwste generatie SLM: Phi-4-reasoning, Phi-4-reasoning-plus en Phi-4-mini-reasoning.

Deze “redenering-geïntegreerde” versies, die op 30 april 2025 zijn uitgebracht, breiden het open-weight aanbod van compacte modellen uit voor ontwikkelaars die een lage latentie moeten handhaven terwijl ze complexe redeneringen vereisen.

De kern van de aanpak van Microsoft-ingenieurs om zijn SLM’s “redenerend” te maken: vertrouwen op fijnmazig toezicht (SFT) van OpenAI’s redeneringsketens o3-mini, en het benutten van reinforcement learning (RL) voor de “plus” -versie. “Door middel van distillatie, reinforcement learning en hoogwaardige data brengen deze modellen omvang en prestaties in evenwicht,” legt Microsoft uit.

Klein maar begaafd

De resultaten op de verschillende toonaangevende benchmarks van de markt zijn voldoende om de concurrentie te laten verbleken: typisch met slechts 14 miljard parameters, presteert Phi-4-reasoning beter dan DeepSeek-R1-Distill-Llama-70B (70 miljard parameters) op de AIME 2025, MMLU-Pro of HumanEval-Plus series, en benadert het complete DeepSeek-R1 model (671 miljard parameters)! De Phi-4-reasoning-plus variant, afgestemd op dezelfde 14 miljard parameters maar getraind met 1,5 keer meer tokens, komt bijna overeen met OpenAI’s o3-mini scores op OmniMath! Ter informatie, Phi-4-reasoning profiteert van een klassiek contextvenster van 128.000 tokens dat is uitgebreid tot 256.000 tokens voor de Phi-4-reasoning-plus versie.

Ontworpen voor embedded systemen, Phi-4-mini-reasoning toont 3,8 miljard parameters, een synthetische set van een miljoen wiskundige problemen gegenereerd door DeepSeek-R1, en behaalt o1-mini prestaties op Math-500 terwijl het verschillende modellen met 7 tot 8 miljard parameters overtreft. Met zijn ultra-kleine formaat is dit model ideaal voor lokale uitvoering, inclusief op mobiele apparaten, en voor het voldoen aan de behoefte aan bijna-instant reacties. Het is bijzonder geschikt voor educatieve toepassingen en lokale chatbots.

Open modellen voor gevarieerd gebruik

Aan de implementatiekant zullen CISO’s deze modellen al geoptimaliseerd vinden voor Copilot+ PC’s: de NPU variant “Phi Silica” is voorgeladen in het geheugen en biedt een bijna-instant responstijd, waardoor een energiezuinige cohabitatie met zakelijke applicaties wordt gegarandeerd. De Windows API’s maken het mogelijk om offline generatie te integreren in Outlook of interne tools.

Op het gebied van beveiliging claimt Microsoft een pijplijn die is afgestemd op zijn principes van verantwoordelijkheid - verantwoording, eerlijkheid, betrouwbaarheid, veiligheid en inclusie. De modellen ondergaan post-training waarbij SFT, Direct Preference Optimization en RLHF worden gecombineerd uit openbare en interne “behulpzaamheid/onschadelijkheid” georiënteerde sets. Microsoft publiceert ook de “Cards” van zijn modellen, waarin de resterende beperkingen en mitigatiemaatregelen worden beschreven.

De drie modellen, die nu beschikbaar zijn op Azure AI Foundry, Hugging Face en GitHub Models, worden gepubliceerd onder de zeer permissieve MIT-licentie, waardoor de weg wordt vrijgemaakt voor lokale inferentie en hybride cloudimplementaties. Voor beveiligings- en architectuurteams biedt deze nieuwe generatie SLM’s een geloofwaardig alternatief voor massale LLM’s, met een gereduceerde TCO, uitvoering lokaal en aan de Edge, en verhoogde controle over data. Deze modellen zijn het bewijs van de ongelooflijke vooruitgang die SLM’s in een jaar hebben geboekt en hun verbazingwekkende potentieel in een universum op zoek naar goedkopere en energie- en grondstof zuinigere AI.

Een diepere duik in Phi-4’s redeneervermogen

De komst van de Phi-4-familie van modellen vertegenwoordigt een belangrijke stap voorwaarts in de ontwikkeling van kleine taalmodellen (SLM’s). Wat deze modellen onderscheidt, is hun verbeterde redeneervermogen, bereikt door innovatieve trainingstechnieken en een focus op hoogwaardige data. Microsoft’s toewijding aan open-source principes democratiseert de toegang tot deze krachtige tools verder, waardoor ontwikkelaars in staat worden gesteld om geavanceerde AI-mogelijkheden te integreren in een breed scala aan toepassingen.

Inzicht in de architectuur

De Phi-4-modellen zijn gebouwd op een transformer-architectuur, een bewezen framework voor natuurlijke taalverwerking. Microsoft heeft echter verschillende belangrijke innovaties geïmplementeerd om de modellen te optimaliseren voor redeneertaken.

• Fijnmazig toezicht (SFT): De modellen worden getraind met behulp van een techniek die fijnmazig toezicht (SFT) wordt genoemd, waarbij wordt geleerd van gedetailleerde redeneringsketens die zijn gegenereerd door OpenAI’s o3-mini model. Hierdoor kunnen de Phi-4-modellen de stappen leren die betrokken zijn bij complexe redeneerprocessen.
• Reinforcement Learning (RL): De “plus” -variant van het Phi-4-model, Phi-4-reasoning-plus, maakt gebruik van reinforcement learning (RL) om de redeneervermogen verder te verbeteren. RL omvat het trainen van het model om een beloningssignaal te maximaliseren, wat in dit geval is gebaseerd op de nauwkeurigheid en efficiëntie van het redeneren.
• Distillatie: Distillatie wordt gebruikt om kennis over te dragen van grotere, complexere modellen naar de kleinere Phi-4-modellen. Hierdoor kunnen de SLM’s prestatieniveaus bereiken die vergelijkbaar zijn met veel grotere modellen, terwijl hun compacte formaat en efficiëntie behouden blijven.

Benchmarking Prestaties

De Phi-4-modellen hebben indrukwekkende prestaties geleverd op verschillende redeneerbenchmarks, waarbij ze in sommige gevallen grotere modellen overtroffen. Phi-4-reasoning, met slechts 14 miljard parameters, presteert bijvoorbeeld beter dan DeepSeek-R1-Distill-Llama-70B (70 miljard parameters) op verschillende uitdagende datasets, waaronder AIME 2025, MMLU-Pro en HumanEval-Plus. Dit benadrukt de efficiëntie en effectiviteit van de architectuur en trainingstechnieken van de Phi-4.

De Phi-4-reasoning-plus variant, getraind met 1,5 keer meer tokens, behaalt scores die dicht in de buurt komen van OpenAI’s o3-mini op de OmniMath benchmark, wat het vermogen aantoont om complexe wiskundige redeneerproblemen aan te pakken.

Toepassingen en use cases

De Phi-4-modellen zijn zeer geschikt voor een verscheidenheid aan toepassingen die geavanceerde redeneervermogen vereisen.

• Educatieve tools: Het Phi-4-mini-reasoning model, met zijn kleine formaat en hoge prestaties, is ideaal voor educatieve toepassingen. Het kan worden gebruikt om interactieve leermiddelen te creëren die studenten gepersonaliseerde feedback en ondersteuning bieden.
• Lokale chatbots: De Phi-4-modellen kunnen worden gebruikt om lokale chatbots te bouwen die gebruikers direct toegang bieden tot informatie en ondersteuning. Door hun kleine formaat kunnen ze worden ingezet op mobiele apparaten en andere omgevingen met beperkte middelen.
• Copilot+ PC’s: De Phi-4-modellen zijn geoptimaliseerd voor Copilot+ PC’s en bieden gebruikers een naadloze AI-ervaring. De “Phi Silica” -variant is voorgeladen in het geheugen en biedt een bijna-instant responstijd.
• Offline generatie: De Windows API’s maken het mogelijk om offline generatie te integreren in Outlook of interne tools, waardoor gebruikers toegang hebben tot AI-mogelijkheden, zelfs als ze geen verbinding hebben met internet.

Veiligheid en verantwoordelijkheid

Microsoft zet zich in voor het ontwikkelen en implementeren van AI-modellen op een verantwoorde en ethische manier. De Phi-4-modellen vormen hierop geen uitzondering.

• Verantwoordelijkheidsprincipes: Microsoft’s AI-ontwikkelingspijplijn is afgestemd op zijn principes van verantwoordelijkheid, waaronder verantwoording, eerlijkheid, betrouwbaarheid, veiligheid en inclusie.
• Post-training: De Phi-4-modellen ondergaan post-training met behulp van SFT, Direct Preference Optimization en RLHF van openbare en interne “behulpzaamheid/onschadelijkheid” -georiënteerde datasets. Dit helpt ervoor te zorgen dat de modellen veilig en betrouwbaar zijn.
• Modelkaarten: Microsoft publiceert “Cards” voor zijn modellen, waarin de resterende beperkingen en mitigatiemaatregelen worden beschreven. Dit biedt gebruikers transparantie en stelt hen in staat om weloverwogen beslissingen te nemen over het gebruik van de modellen.

De toekomst van SLM’s

De Phi-4-modellen vertegenwoordigen een belangrijke stap voorwaarts in de ontwikkeling van kleine taalmodellen (SLM’s). Hun verbeterde redeneervermogen, gecombineerd met hun kleine formaat en efficiëntie, maken ze tot een aantrekkelijk alternatief voor grotere taalmodellen (LLM’s) in veel toepassingen.

Naarmate SLM’s blijven verbeteren, zullen ze waarschijnlijk een steeds belangrijkere rol spelen in het AI-landschap. Hun vermogen om te draaien op apparaten met beperkte middelen en snelle, efficiënte prestaties te leveren, maakt ze zeer geschikt voor een breed scala aan toepassingen, van educatieve tools tot lokale chatbots tot edge computing-apparaten.

Microsoft’s toewijding aan open-source principes en verantwoorde AI-ontwikkeling positioneert de Phi-4-modellen verder als een waardevolle bron voor de AI-gemeenschap. Door de toegang tot deze krachtige tools te democratiseren, stelt Microsoft ontwikkelaars in staat om innovatieve en impactvolle toepassingen te creëren die de samenleving als geheel ten goede kunnen komen.

Een nadere blik op de technische aspecten

Een diepere duik in de details van de Phi-4-architectuur en training onthult de innovatieve technieken die deze SLM’s in staat stellen om zulke indrukwekkende redeneervermogen te bereiken. De combinatie van zorgvuldig samengestelde datasets, geavanceerde trainingsalgoritmen en een focus op efficiëntie heeft geresulteerd in een familie van modellen die zowel krachtig als praktisch zijn.

Data Curatie en voorbereiding

Het succes van elk machine learning-model hangt af van de kwaliteit en relevantie van de data waarop het is getraind. Microsoft heeft aanzienlijke inspanningen geleverd in het cureren en voorbereiden van de datasets die zijn gebruikt om de Phi-4-modellen te trainen.

• Redeneringsketens van OpenAI’s o3-mini: De modellen maken gebruik van redeneringsketens die zijn gegenereerd door OpenAI’s o3-mini-model om de stappen te leren die betrokken zijn bij complexe redeneerprocessen. Deze ketens bieden een gedetailleerde routekaart die de SLM’s kunnen volgen, waardoor ze een dieper begrip kunnen ontwikkelen van de onderliggende logica.
• Synthetische wiskundige problemen: Het Phi-4-mini-reasoning model is getraind op een synthetische dataset van een miljoen wiskundige problemen die zijn gegenereerd door DeepSeek-R1. Deze dataset biedt een divers scala aan wiskundige uitdagingen, waardoor het model sterke probleemoplossende vaardigheden kan ontwikkelen.
• Behulpzaamheid/onschadelijkheid Datasets: De modellen ondergaan post-training met behulp van datasets die zijn ontworpen om behulpzaamheid en onschadelijkheid te bevorderen. Dit helpt ervoor te zorgen dat de modellen veilige en verantwoorde outputs genereren.

Trainingsalgoritmen

De Phi-4-modellen worden getraind met behulp van een combinatie van supervised learning, reinforcement learning en distillatie. Deze technieken werken samen om de modellen te optimaliseren voor redeneertaken en ervoor te zorgen dat ze zowel nauwkeurig als efficiënt zijn.

• Supervised Fine-Tuning (SFT): SFT wordt gebruikt om de modellen fijn af te stemmen op de redeneringsketens die zijn gegenereerd door OpenAI’s o3-mini model. Hierdoor kunnen de modellen de specifieke patronen en relaties leren die kenmerkend zijn voor complexe redeneerprocessen.
• Reinforcement Learning (RL): RL wordt gebruikt om het Phi-4-reasoning-plus model te trainen om een beloningssignaal te maximaliseren op basis van de nauwkeurigheid en efficiëntie van het redeneren. Dit moedigt het model aan om strategieën te ontwikkelen voor het oplossen van problemen die zowel effectief als computationeel efficiënt zijn.
• Distillatie: Distillatie wordt gebruikt om kennis over te dragen van grotere, complexere modellen naar de kleinere Phi-4-modellen. Hierdoor kunnen de SLM’s prestatieniveaus bereiken die vergelijkbaar zijn met veel grotere modellen, terwijl hun compacte formaat en efficiëntie behouden blijven.

Optimalisatie voor efficiëntie

Een van de belangrijkste doelen bij het ontwikkelen van de Phi-4-modellen was om ze te optimaliseren voor efficiëntie. Dit wordt weerspiegeld in verschillende aspecten van hun ontwerp en training.

• Compacte architectuur: De Phi-4-modellen zijn ontworpen met een compacte architectuur die het aantal benodigde parameters minimaliseert. Dit vermindert de computationele kosten van het uitvoeren van de modellen en maakt ze zeer geschikt voor implementatie op apparaten met beperkte middelen.
• Kwantisatie: Kwantisatie wordt gebruikt om de geheugenvoetafdruk van de modellen te verkleinen en hun inferentiesnelheid te verbeteren. Dit omvat het weergeven van de parameters van het model met behulp van minder bits, wat de computationele kosten van het uitvoeren van het model aanzienlijk kan verlagen.
• Hardwareversnelling: De Phi-4-modellen zijn geoptimaliseerd voor hardwareversnelling op verschillende platforms, waaronder CPU’s, GPU’s en NPU’s. Hierdoor kunnen ze maximale prestaties bereiken op een breed scala aan apparaten.

Implicaties voor de toekomst van AI

De Phi-4-modellen vertegenwoordigen een belangrijke stap voorwaarts in de ontwikkeling van AI, met implicaties die verder reiken dan de specifieke toepassingen waarvoor ze zijn ontworpen. Hun vermogen om hoge prestaties te leveren met relatief kleine omvang en computationele middelen opent nieuwe mogelijkheden voor het implementeren van AI in een breed scala aan omgevingen.

Democratisering van AI

De Phi-4-modellen zijn een bewijs van het feit dat krachtige AI-mogelijkheden kunnen worden bereikt zonder dat er enorme computationele middelen of toegang tot eigen datasets nodig zijn. Dit democratiseert de toegang tot AI en stelt ontwikkelaars en onderzoekers in staat om innovatieve toepassingen te creëren, zelfs met beperkte middelen.

Edge Computing

Door het kleine formaat en de efficiëntie van de Phi-4-modellen zijn ze zeer geschikt voor edge computing-toepassingen. Hierdoor kan AI dichter bij de databron worden geïmplementeerd, waardoor de latentie wordt verminderd en de reactiesnelheid wordt verbeterd. Edge computing heeft het potentieel om een revolutie teweeg te brengen in een breed scala aan industrieën, van productie tot gezondheidszorg tot transport.

Gepersonaliseerde AI

De Phi-4-modellen kunnen worden aangepast en aangepast aan de specifieke behoeften van individuele gebruikers of organisaties. Dit maakt het mogelijk om gepersonaliseerde AI-ervaringen te creëren die zijn afgestemd op de unieke behoeften van elke gebruiker. Gepersonaliseerde AI heeft het potentieel om de productiviteit te verbeteren, het leren te verbeteren en het algehele welzijn te verbeteren.

Duurzame AI

De Phi-4-modellen zijn een duurzamer alternatief voor grotere taalmodellen, omdat ze minder energie en computationele middelen vereisen. Dit is belangrijk voor het verminderen van de milieu-impact van AI en ervoor te zorgen dat deze op een verantwoorde en duurzame manier kan worden ingezet.

De Microsoft Phi-4-Reasoning-modellen zijn niet zomaar een iteratie in de steeds evoluerende wereld van AI; ze vormen een paradigmaverschuiving. Ze laten zien dat intelligentie niet alleen een functie is van grootte en rekenkracht, maar kan worden bereikt door slim ontwerp, zorgvuldige curatie van data en innovatieve trainingstechnieken. Naarmate deze modellen zich blijven ontwikkelen, staan ze klaar om nieuwe mogelijkheden voor AI te ontsluiten en de manier waarop we met technologie omgaan te transformeren.