Microsoft Phi-4: SLM разсъждават!

Microsoft Phi-4 Reasoning представя компактни, отворени (MIT лиценз), бързи и ефикасни SLM (Small Language Models), способни на напреднало разсъждение.

Microsoft, макар и привилегирован партньор на OpenAI и работещ с повечето играчи за интегриране на техните AI модели в Azure AI Foundry, не се свени да преследва собствени технологични пътища. Това включва работа по иновации в ядрото на невронните мрежи, като интригуващия BitNet b1.58 модел, базиран на Trit, собствените SLM с отворен код и дори авангардни модели, държани в тайна (Project MAI-1).

Година след представянето на своята гама от малки AI модели (SLM) Phi-3 и два месеца след дебюта на 4-то поколение с мултимодален SLM (Phi-4-Multimodal) и малък модел (Phi-4-mini), Microsoft обявява три нови варианта на последното си поколение SLM: Phi-4-reasoning, Phi-4-reasoning-plus и Phi-4-mini-reasoning.

Пуснати на 30 април 2025 г., тези "интегрирани с разсъждение" версии разширяват предлагането с отворен код на компактни модели за разработчици, които трябва да поддържат ниска латентност, докато се изисква сложно разсъждение.

В основата на подхода на инженерите на Microsoft за превръщане на своите SLM в "разсъждаващи": разчитане на фино настроен надзор (SFT) от веригите за разсъждение o3-mini на OpenAI и използване на обучение с подсилване (RL) за "plus" версията. "Чрез дестилация, обучение с подсилване и висококачествени данни, тези модели помиряват размера и производителността", обяснява Microsoft.

Малки, но надарени

Резултатите на различните водещи бенчмаркове на пазара са достатъчни, за да накарат конкуренцията да избледнее: типично само с 14 милиарда параметри, Phi-4-reasoning превъзхожда DeepSeek-R1-Distill-Llama-70B (70 милиарда параметри) в сериите AIME 2025, MMLU-Pro или HumanEval-Plus и се доближава до пълния DeepSeek-R1 модел (671 милиарда параметри)! Вариантът Phi-4-reasoning-plus, подравнен на същите 14 милиарда параметри, но обучен с 1,5 пъти повече токени, почти съвпада с резултатите на o3-mini на OpenAI в OmniMath! За информация, Phi-4-reasoning се възползва от класически контекстен прозорец от 128 000 токена, който е разширен до 256 000 токена за версията Phi-4-reasoning-plus.

Проектиран за вградени системи, Phi-4-mini-reasoning показва 3,8 милиарда параметри, синтетичен набор от един милион математически задачи, генерирани от DeepSeek-R1, и постига производителност на o1-mini в Math-500, като същевременно надминава няколко модела със 7 до 8 милиарда параметри. Със своя ултрамалък размер, този модел е идеален за локално изпълнение, включително на мобилни устройства, и за задоволяване на нуждата от почти мигновени отговори. Той е особено подходящ за образователни цели и локални чатботове.

Отворени модели за разнообразни приложения

От страна на внедряването, CISOs ще открият, че тези модели вече са оптимизирани за Copilot+ PCs: NPU вариантът "Phi Silica" е предварително зареден в паметта и осигурява почти мигновено време за реакция, гарантирайки енергийно ефективно съвместно съществуване с бизнес приложения. Windows APIs позволяват интегриране на офлайн генериране в Outlook или вътрешни инструменти.

По отношение на сигурността, Microsoft твърди, че има тръбопровод, съобразен с нейните принципи на отговорност — отчетност, справедливост, надеждност, безопасност и приобщаване. Моделите преминават през постобучение, комбиниращо SFT, Direct Preference Optimization и RLHF от публични и вътрешни "полезност/безопасност" ориентирани набори. Microsoft също така публикува "Картите" на своите модели, които описват остатъчните ограничения и мерките за смекчаване.

Налични сега в Azure AI Foundry, Hugging Face и GitHub Models, трите модела са публикувани под много позволителен MIT лиценз, отваряйки пътя към локални изводи, както и към хибридни облачни внедрявания. За екипите по сигурност и архитектура, това ново поколение SLM предлага правдоподобна алтернатива на масивните LLM, с намалени TCO, изпълнение локално, както и в Edge, и повишен контрол върху данните. Тези модели са доказателство за невероятния напредък, постигнат от SLM за една година, и техния удивителен потенциал във вселена, търсеща по-евтин и по-енергийно и ресурсно пестелив AI.

По-задълбочен поглед върху възможностите за разсъждение на Phi-4

Появата на семейството модели Phi-4 представлява значителна стъпка напред в развитието на малките езикови модели (SLM). Това, което отличава тези модели, са техните подобрени способности за разсъждение, постигнати чрез иновативни техники за обучение и акцент върху висококачествени данни. Ангажиментът на Microsoft към принципите на отворения код допълнително демократизира достъпа до тези мощни инструменти, давайки възможност на разработчиците да интегрират усъвършенствани AI възможности в широк спектър от приложения.

Разбиране на архитектурата

Моделите Phi-4 са изградени върху трансформаторна архитектура, доказана рамка за обработка на естествен език. Въпреки това, Microsoft е внедрила няколко ключови иновации, за да оптимизира моделите за задачи за разсъждение.

• Фино настроен надзор (SFT): Моделите са обучени с помощта на техника, наречена фино настроен надзор (SFT), която включва учене от подробни вериги за разсъждение, генерирани от o3-mini модела на OpenAI. Това позволява на моделите Phi-4 да научат стъпките, включени в сложни процеси на разсъждение.
• Обучение с подсилване (RL): Вариантът "plus" на модела Phi-4, Phi-4-reasoning-plus, използва обучение с подсилване (RL), за да подобри допълнително своите способности за разсъждение. RL включва обучение на модела да максимизира сигнал за награда, който в този случай се основава на точността и ефективността на неговото разсъждение.
• Дестилация: Дестилацията се използва за прехвърляне на знания от по-големи, по-сложни модели към по-малките Phi-4 модели. Това позволява на SLM да постигнат нива на производителност, сравними с много по-големи модели, като същевременно поддържат своя компактен размер и ефективност.

Бенчмаркинг производителност

Моделите Phi-4 демонстрираха впечатляваща производителност на различни бенчмаркове за разсъждение, надминавайки по-големи модели в някои случаи. Например, Phi-4-reasoning, само с 14 милиарда параметри, превъзхожда DeepSeek-R1-Distill-Llama-70B (70 милиарда параметри) на няколко предизвикателни набора от данни, включително AIME 2025, MMLU-Pro и HumanEval-Plus. Това подчертава ефективността и ефикасността на архитектурата и техниките за обучение на Phi-4.

Вариантът Phi-4-reasoning-plus, обучен с 1,5 пъти повече токени, постига резултати, близки до o3-mini на OpenAI на бенчмарка OmniMath, демонстрирайки способността си да се справя със сложни проблеми с математическото разсъждение.

Приложения и случаи на употреба

Моделите Phi-4 са подходящи за различни приложения, които изискват усъвършенствани възможности за разсъждение.

• Образователни инструменти: Моделът Phi-4-mini-reasoning, със своя малък размер и висока производителност, е идеален за образователни приложения. Може да се използва за създаване на интерактивни инструменти за обучение, които предоставят на учениците персонализирана обратна връзка и подкрепа.
• Локални чатботове: Моделите Phi-4 могат да се използват за изграждане на локални чатботове, които предоставят на потребителите незабавен достъп до информация и поддръжка. Малкият им размер им позволява да бъдат разгърнати на мобилни устройства и други среди с ограничени ресурси.
• Copilot+ PCs: Моделите Phi-4 са оптимизирани за Copilot+ PCs, предоставяйки на потребителите безпроблемно AI изживяване. Вариантът "Phi Silica" е предварително зареден в паметта и осигурява почти мигновени времена за реакция.
• Офлайн генериране: Windows APIs позволяват интегриране на офлайн генериране в Outlook или вътрешни инструменти, което позволява на потребителите да имат достъп до AI възможности дори когато не са свързани с интернет.

Сигурност и отговорност

Microsoft се ангажира да разработва и разгръща AI модели по отговорен и етичен начин. Моделите Phi-4 не са изключение.

• Принципи на отговорност: Тръбопроводът за AI разработка на Microsoft е в съответствие с нейните принципи на отговорност, които включват отчетност, справедливост, надеждност, безопасност и приобщаване.
• Постобучение: Моделите Phi-4 преминават през постобучение с помощта на SFT, Direct Preference Optimization и RLHF от публични и вътрешни набори от данни, ориентирани към "полезност/безопасност". Това помага да се гарантира, че моделите са безопасни и надеждни.
• Карти на моделите: Microsoft публикува "Карти" за своите модели, които описват остатъчните ограничения и мерките за смекчаване. Това предоставя на потребителите прозрачност и им позволява да вземат информирани решения за това как да използват моделите.

Бъдещето на SLM

Моделите Phi-4 представляват значителна стъпка напред в развитието на малките езикови модели (SLM). Техните подобрени способности за разсъждение, съчетани с техния малък размер и ефективност, ги правят убедителна алтернатива на по-големите езикови модели (LLM) в много приложения.

Тъй като SLM продължават да се подобряват, те вероятно ще играят все по-важна роля в AI пейзажа. Тяхната способност да работят на устройства с ограничени ресурси и да осигуряват бърза, ефективна производителност ги прави подходящи за широк спектър от приложения, от образователни инструменти до локални чатботове до устройства за гранични изчисления.

Ангажиментът на Microsoft към принципите на отворения код и отговорното AI развитие допълнително позиционира моделите Phi-4 като ценен ресурс за AI общността. Чрез демократизиране на достъпа до тези мощни инструменти, Microsoft дава възможност на разработчиците да създават иновативни и въздействащи приложения, които могат да бъдат от полза за обществото като цяло.

По-отблизо техническите аспекти

Вникването по-дълбоко в спецификата на архитектурата и обучението на Phi-4 разкрива иновативните техники, които позволяват на тези SLM да постигнат такива впечатляващи способности за разсъждение. Комбинацията от внимателно подбрани набори от данни, усъвършенствани алгоритми за обучение и акцент върху ефективността е довела до семейство модели, които са едновременно мощни и практични.

Подбор и подготовка на данни

Успехът на всеки модел за машинно обучение зависи от качеството и уместността на данните, върху които е обучен. Microsoft инвестира значителни усилия в подбора и подготовката на наборите от данни, използвани за обучение на моделите Phi-4.

• Вериги за разсъждение от o3-mini на OpenAI: Моделите използват вериги за разсъждение, генерирани от o3-mini модела на OpenAI, за да научат стъпките, включени в сложни процеси на разсъждение. Тези вериги предоставят подробна пътна карта за SLM, които да следват, което им позволява да развият по-задълбочено разбиране на основната логика.
• Синтетични математически задачи: Моделът Phi-4-mini-reasoning е обучен върху синтетичен набор от данни от един милион математически задачи, генерирани от DeepSeek-R1. Този набор от данни предоставя разнообразен набор от математически предизвикателства, което позволява на модела да развие силни умения за решаване на проблеми.
• Набори от данни за полезност/безопасност: Моделите преминават през постобучение с помощта на набори от данни, предназначени да насърчават полезността и безопасността. Това помага да се гарантира, че моделите генерират безопасни и отговорни резултати.

Алгоритми за обучение

Моделите Phi-4 са обучени с помощта на комбинация от контролирано обучение, обучение с подсилване и дестилация. Тези техники работят заедно, за да оптимизират моделите за задачи за разсъждение и да гарантират, че те са едновременно точни и ефективни.

• Контролирано фино настройване (SFT): SFT се използва за фино настройване на моделите върху веригите за разсъждение, генерирани от o3-mini модела на OpenAI. Това позволява на моделите да научат специфичните модели и взаимоотношения, които са характерни за сложни процеси на разсъждение.
• Обучение с подсилване (RL): RL се използва за обучение на модела Phi-4-reasoning-plus да максимизира сигнал за награда въз основа на точността и ефективността на неговото разсъждение. Това насърчава модела да разработва стратегии за решаване на проблеми, които са едновременно ефективни и изчислително ефективни.
• Дестилация: Дестилацията се използва за прехвърляне на знания от по-големи, по-сложни модели към по-малките Phi-4 модели. Това позволява на SLM да постигнат нива на производителност, сравними с много по-големи модели, като същевременно поддържат своя компактен размер и ефективност.

Оптимизация за ефективност

Една от ключовите цели при разработването на моделите Phi-4 беше да ги оптимизира за ефективност. Това е отразено в няколко аспекта на техния дизайн и обучение.

• Компактна архитектура: Моделите Phi-4 са проектирани с компактна архитектура, която минимизира броя на необходимите параметри. Това намалява изчислителните разходи за изпълнение на моделите и ги прави подходящи за разгръщане на устройства с ограничени ресурси.
• Квантуване: Квантуването се използва за намаляване на обема на паметта на моделите и подобряване на скоростта им на извод. Това включва представяне на параметрите на модела с помощта на по-малко битове, което може значително да намали изчислителните разходи за изпълнение на модела.
• Хардуерно ускорение: Моделите Phi-4 са оптимизирани за хардуерно ускорение на различни платформи, включително CPUs, GPUs и NPUs. Това им позволява да постигнат максимална производителност на широк набор от устройства.

Последици за бъдещето на AI

Моделите Phi-4 представляват значителна стъпка напред в развитието на AI, с последици, които се простират далеч отвъд конкретните приложения, за които са проектирани. Тяхната способност да постигат висока производителност с относително малък размер и изчислителни ресурси отваря нови възможности за разгръщане на AI в широк набор от настройки.

Демократизация на AI

Моделите Phi-4 са доказателство за факта, че мощни AI възможности могат да бъдат постигнати, без да се изискват огромни изчислителни ресурси или достъп до патентовани набори от данни. Това демократизира достъпа до AI, давайки възможност на разработчиците и изследователите да създават иновативни приложения дори с ограничени ресурси.

Изчисления в периферията

Малкият размер и ефективността на моделите Phi-4 ги правят подходящи за приложения за изчисления в периферията. Това позволява AI да бъде разгърнат по-близо до източника на данни, намалявайки латентността и подобрявайки отзивчивостта. Изчисленията в периферията имат потенциала да революционизират широк набор от индустрии, от производството до здравеопазването до транспорта.

Персонализиран AI

Моделите Phi-4 могат да бъдат персонализирани и адаптирани, за да отговарят на специфичните нужди на отделни потребители или организации. Това позволява създаването на персонализирани AI преживявания, които са съобразени с уникалните изисквания на всеки потребител. Персонализираният AI има потенциала да подобри производителността, да подобри обучението и да подобри цялостното благосъстояние.

Устойчив AI

Моделите Phi-4 са по-устойчива алтернатива на по-големите езикови модели, изискващи по-малко енергия и изчислителни ресурси. Това е важно за намаляване на въздействието на AI върху околната среда и гарантиране, че той може да бъде разгърнат по отговорен и устойчив начин.

Моделите Microsoft Phi-4-Reasoning не са просто поредната итерация в непрекъснато развиващия се свят на AI; те са промяна на парадигмата. Те демонстрират, че интелигентността не е само функция на размера и изчислителната мощност, но може да бъде постигната чрез интелигентен дизайн, внимателен подбор на данни и иновативни техники за обучение. Тъй като тези модели продължават да се развиват, те са готови да отключат нови възможности за AI и да трансформират начина, по който взаимодействаме с технологиите.