След година след представянето на гамата си от малки езикови модели (SLM) с пускането на Phi-3 в Azure AI Foundry, Microsoft представи своите модели от следващо поколение: Phi-4-reasoning, Phi-4-reasoning-plus и Phi-4-mini-reasoning. Тези иновации бележат повратна точка за SLM, предефинирайки какво е постижимо с компактен и ефективен AI.
Зората на моделите Phi-Reasoning
Новите модели Phi-reasoning са проектирани да използват мащабирането по време на заключение за сложни задачи, които изискват многостъпково разлагане и вътрешно отразяване. Тези модели демонстрират изключителни възможности в математическите разсъждения, утвърждавайки се като основа за приложения, подобни на агенти, които се справят със сложни и многостранни задачи. В исторически план, подобни възможности бяха изключителни за значително по-големи модели. Моделите Phi-reasoning въвеждат нова категория SLM, които използват дестилация, обучение с подсилване и висококачествени данни, за да постигнат баланс между размер и производителност. Техният компактен размер ги прави подходящи за среди с ниска латентност, докато техните стабилни способности за разсъждение съперничат на тези на много по-големи модели. Тази комбинация от ефективност и възможности позволява дори устройства с ограничени ресурси да изпълняват ефективно сложни задачи за разсъждение.
Phi-4-Reasoning и Phi-4-Reasoning-Plus: По-задълбочен поглед
Phi-4-Reasoning: Моделът за разсъждение с отворени тежести
Phi-4-reasoning се откроява като модел за разсъждение с отворени тежести с 14 милиарда параметри. Той е проектиран да се конкурира със значително по-големи модели в сложни задачи за разсъждение. Този модел е обучен чрез контролирано фино настройване на Phi-4 върху щателно подбрани примери за разсъждение, получени от o3-mini на OpenAI. Phi-4-reasoning генерира подробни вериги от разсъждения, ефективно използвайки допълнително време за изчисление по време на заключение. Това постижение подчертава как прецизното куриране на данни и висококачествените синтетични набори от данни дават възможност на по-малките модели да съперничат на своите по-големи аналози.
Phi-4-Reasoning-Plus: Подобряване на разсъжденията с обучение с подсилване
Надграждайки възможностите на Phi-4-reasoning, Phi-4-reasoning-plus преминава допълнително обучение с обучение с подсилване, за да използва допълнително време за изчисление по време на заключение. Той обработва 1,5 пъти повече токени от Phi-4-reasoning, което води до повишена точност.
Бенчмаркове за производителност
Въпреки значително по-малкия си размер, и Phi-4-reasoning, и Phi-4-reasoning-plus превъзхождат o1-mini на OpenAI и DeepSeek-R1-Distill-Llama-70B в различни бенчмаркове, включително математически разсъждения и научни запитвания на ниво доктор. Впечатляващо е, че те дори надминават пълния модел DeepSeek-R1 (с 671 милиарда параметри) в теста AIME 2025, който служи като квалификационно състезание за Математическата олимпиада на САЩ за 2025 г. И двата модела са лесно достъпни в Azure AI Foundry и Hugging Face.
Phi-4-Mini-Reasoning: Компактен Powerhouse за ограничени среди
Phi-4-mini-reasoning е специално проектиран да отговори на търсенето на компактен модел за разсъждение. Този базиран на трансформатори езиков модел е оптимизиран за математически разсъждения и предлага висококачествени възможности за решаване на проблеми стъпка по стъпка в среди, където изчислителната мощност или латентността са ограничени. Фино настроен с помощта на синтетични данни, генерирани от модела Deepseek-R1, той ефективно балансира ефективността с усъвършенстваните възможности за разсъждение. Това го прави идеален за образователни приложения, вградени системи за обучение и леки разполагания на ръба или мобилни системи. Моделът е обучен върху над милион разнообразни математически задачи, вариращи по трудност от средно училище до ниво доктор, което гарантира неговата гъвкавост и ефективност в широк спектър от образователни контексти.
Phi в действие: Разширяване на хоризонтите
Еволюцията на Phi през изминалата година последователно изтласква границите на качеството спрямо размера, като семейството се разширява, за да обхване нови функции, пригодени към различни нужди. Тези модели могат да се изпълняват локално както на процесори, така и на графични процесори на различни устройства с Windows 11, осигурявайки гъвкавост и достъпност за потребители с различни хардуерни конфигурации.
Интеграция с Copilot+ PCs: Нова ера на AI-Powered Computing
Моделите Phi формират неразделна част от Copilot+ PCs, използвайки NPU-оптимизирания вариант Phi Silica. Тази високоефективна версия на Phi, управлявана от операционната система, е проектирана да бъде предварително заредена в паметта, предлагайки бързи времена за реакция и енергийно ефективна пропускателна способност на токени. Това му позволява да бъде извикван едновременно с други приложения на компютъра, подобрявайки възможностите за многозадачност и цялостната производителност на системата.
Приложения в реалния свят
Моделите Phi вече се използват в основни преживявания като Click to Do, който предоставя интелигентни текстови инструменти за цялото съдържание на екрана. Те също са налични като API за разработчици за безпроблемна интеграция в приложения. Моделите в момента се използват в различни приложения за производителност като Outlook, където предоставят функции за обобщаване на Copilot офлайн. Моделите Phi-4-reasoning и Phi-4-mini-reasoning използват нискобитови оптимизации за Phi Silica и скоро ще бъдат достъпни за работа на Copilot+ PC NPUs.
Ангажиментът на Microsoft към отговорен AI и безопасност
В Microsoft отговорният AI е основен принцип, който ръководи разработването и внедряването на AI системи, включително моделите Phi. Моделите Phi са разработени в съответствие с принципите на Microsoft AI: отчетност, прозрачност, справедливост, надеждност и безопасност, поверителност и сигурност и приобщаване. Семейството модели Phi използва стабилен подход към безопасността след обучение, използвайки комбинация от Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) и Reinforcement Learning from Human Feedback (RLHF) техники, за да гарантира тяхното отговорно и етично използване.
Техническите основи на моделите Phi: Подробен преглед
Моделите Phi на Microsoft представляват значителен напредък в областта на малките езикови модели, особено в способността им да извършват сложни задачи за разсъждение с относително малък брой параметри. Този раздел разглежда техническите подробности, които позволяват на тези модели да постигнат такава впечатляваща производителност.
Архитектурни иновации
Моделите Phi са базирани на трансформаторната архитектура, модел за дълбоко обучение, който революционизира обработката на естествен език. Трансформаторите се отличават с улавянето на зависимости на голямо разстояние в текста, позволявайки на моделите да разберат контекста и нюансите на езика.
Механизъм за внимание: Сърцевината на трансформаторната архитектура е механизмът за внимание, който позволява на модела да се фокусира върху най-подходящите части от входа, когато генерира изход. Това е особено важно за задачите за разсъждение, където моделът трябва да идентифицира ключовата информация и взаимоотношения, за да стигне до правилно заключение.
Scaled Dot-Product Attention: Моделите Phi използват scaled dot-product attention, усъвършенствана версия на механизма за внимание, която включва мащабиращ фактор, за да предотврати твърде голямото увеличаване на точковите произведения, което може да доведе до нестабилност по време на обучение.
Multi-Head Attention: За да уловят различни аспекти на входа, моделите Phi използват multi-head attention, където множество механизми за внимание работят паралелно. Всяка глава се фокусира върху различен подмножество от входа, което позволява на модела да научи по-сложни представяния.
Feed-Forward Networks: След слоевете за внимание, трансформаторната архитектура включва feed-forward networks, които допълнително обработват информацията. Тези мрежи се състоят от множество слоеве неврони, които се научават да извличат функции от изходите на вниманието.
Методологии за обучение: Многостранен подход
Обучението на моделите Phi включва комбинация от техники, включително контролирано фино настройване, обучение с подсилване и дестилация на данни.
Supervised Fine-Tuning (SFT): Supervised fine-tuning включва обучение на модела върху етикетиран набор от данни, където входът е въпрос или проблем, а изходът е правилният отговор или решение. Това помага на модела да се научи да свързва конкретни входове със съответните изходи.
Reinforcement Learning (RL): Reinforcement learning е техника, при която моделът се учи да взема решения чрез взаимодействие със среда и получаване на награди или наказания за своите действия. В контекста на езиковите модели, средата може да бъде набор от правила или ограничения, а наградата може да се основава на точността на отговорите на модела.
Data Distillation: Data Distillation е техника, при която по-малък модел е обучен да имитира поведението на по-голям, по-сложен модел. Това позволява на по-малкия модел да постигне производителност, сравнима с по-големия модел, като същевременно изисква по-малко ресурси.
Куриране на данни: Крайъгълният камък на производителността
Производителността на моделите Phi силно зависи от качеството на данните, използвани за обучение. Microsoft е инвестирала значителни усилия в курирането на висококачествени набори от данни, които са специално проектирани за задачи за разсъждение.
Synthetic Data Generation: За да увеличи наличните данни, Microsoft е разработила техники за генериране на синтетични данни, които имитират характеристиките на данните от реалния свят. Това позволява на моделите да бъдат обучени върху по-голям и по-разнообразен набор от данни, което подобрява тяхната способност за обобщаване.
Data Filtering: Microsoft използва строги техники за филтриране на данни, за да премахне шумни или неподходящи данни от набора от данни за обучение. Това гарантира, че моделите са обучени върху чисти и точни данни, което води до по-добра производителност.
Data Augmentation: Техниките за увеличаване на данните се използват за увеличаване на разнообразието на набора от данни за обучение чрез прилагане на трансформации към съществуващите данни. Това помага на моделите да бъдат по-устойчиви на вариации във входа.
Техники за оптимизация: Балансиране на ефективността и точността
Моделите Phi са оптимизирани както за ефективност, така и за точност, което им позволява да работят на устройства с ограничени ресурси, без да жертват производителността.
Quantization: Quantization е техника, при която прецизността на параметрите на модела е намалена, което намалява отпечатъка на паметта и изчислителните изисквания на модела.
Pruning: Pruning е техника, при която по-малко важните връзки в модела са премахнати, което намалява размера и сложността на модела.
Knowledge Distillation: Knowledge distillation включва прехвърляне на знания от по-голям, по-сложен модел към по-малък модел. Това позволява на по-малкия модел да постигне производителност, сравнима с по-големия модел, като същевременно изисква по-малко ресурси.
Phi Silica NPU: Хардуерно-Софтуерен Синергичен Подход
Моделите Phi на Microsoft са проектирани да бъдат тясно интегрирани с Phi Silica NPU (Neural Processing Unit), специализиран хардуерен ускорител, който е оптимизиран за дълбоки учебни натоварвания.
Low-Bit Optimization: Phi Silica NPU поддържа нискобитова оптимизация, което позволява на моделите да работят с намалена прецизност, допълнително намалявайки отпечатъка на паметта и изчислителните изисквания.
Pre-Loading into Memory: Моделите Phi са проектирани да бъдат предварително заредени в паметта, което им позволява да бъдат извиквани бързо и ефективно.
Operating System Management: Phi Silica NPU се управлява от операционната система, което позволява да бъде безпроблемно интегриран в потребителското изживяване.
В обобщение, моделите Phi на Microsoft представляват значително постижение в областта на малките езикови модели. Чрез комбиниране на иновативни архитектурни дизайни, строги методологии за обучение, внимателно куриране на данни и хардуерно-софтуерен съвместен дизайн, Microsoft създаде семейство от модели, които са едновременно мощни и ефективни, което позволява широк спектър от AI-powered приложения.