Mwaka mmoja baada ya kuanzisha miundo yake midogo ya lugha (SLMs) kwa kuachiliwa kwa Phi-3 kwenye Azure AI Foundry, Microsoft imefunua miundo yake ya kizazi kijacho: Phi-4-reasoning, Phi-4-reasoning-plus, na Phi-4-mini-reasoning. Ubunifu huu unaashiria mabadiliko kwa SLMs, kufafanua tena kile kinachoweza kupatikana na AI iliyoshikana na yenye ufanisi.
Mwanzo wa Miundo ya Phi-Reasoning
Miundo mipya ya Phi-reasoning imeundwa ili kuongeza ukubwa wa muda wa mahitimisho kwa kazi ngumu ambazo zinahitaji utengano wa hatua nyingi na tafakari ya ndani. Miundo hii inaonyesha uwezo wa kipekee katika hoja za hisabati, ikijiimarisha kama msingi wa matumizi kama ya wakala ambayo hushughulikia kazi ngumu na zenye pande nyingi. Kihistoria, uwezo kama huo ulikuwa wa kipekee kwa miundo mikubwa zaidi. Miundo ya Phi-reasoning inaleta kitengo kipya cha SLMs ambazo hutumia distillation, ujifunzaji wa kuimarisha, na data ya ubora wa juu ili kupata usawa kati ya ukubwa na utendaji. Ukubwa wao ulio kompakt huwafanya kufaa kwa mazingira ya latency ya chini, wakati uwezo wao wa hoja thabiti unashindana na ule wa miundo mikubwa zaidi. Mchanganyiko huu wa ufanisi na uwezo huruhusu hata vifaa vyenye rasilimali chache kutekeleza kazi ngumu za hoja kwa ufanisi.
Phi-4-Reasoning na Phi-4-Reasoning-Plus: Uchambuzi wa Kina
Phi-4-Reasoning: Muundo wa Hoja wa Uzito Funguo
Phi-4-reasoning inasimama kama muundo wa hoja wa uzito funguo na vigezo bilioni 14. Imeundwa kushindana na miundo mikubwa zaidi katika kazi ngumu za hoja. Muundo huu ulifunzwa kupitia urekebishaji mzuri unaosimamiwa wa Phi-4 kwenye mifano ya hoja iliyoratibiwa kwa uangalifu inayotokana na o3-mini ya OpenAI. Phi-4-reasoning hutoa minyororo ya kina ya hoja, ikitumia vyema muda wa ziada wa hesabu wakati wa hitimisho. Mafanikio haya yanaonyesha jinsi uratibu sahihi wa data na datasets za synthetic za ubora wa juu huwezesha miundo midogo kushindana na wenzao wakubwa.
Phi-4-Reasoning-Plus: Kuimarisha Hoja na Ujifunzaji wa Kuimarisha
Ikiendeleza uwezo wa Phi-4-reasoning, Phi-4-reasoning-plus inafanyiwa mafunzo zaidi na ujifunzaji wa kuimarisha ili kutumia muda wa ziada wa hesabu wakati wa hitimisho. Inachakata tokeni mara 1.5 zaidi kuliko Phi-4-reasoning, na kusababisha usahihi ulioimarishwa.
Vipimo vya Utendaji
Licha ya ukubwa wao mdogo sana, Phi-4-reasoning na Phi-4-reasoning-plus zinazidi o1-mini ya OpenAI na DeepSeek-R1-Distill-Llama-70B katika vipimo mbalimbali, ikiwa ni pamoja na hoja za hisabati na maswali ya kisayansi ya kiwango cha PhD. Kwa kushangaza, zinazidi hata muundo kamili wa DeepSeek-R1 (na vigezo bilioni 671) kwenye mtihani wa AIME 2025, ambao hutumika kama shindano la kufuzu kwa Olimpiki ya Hisabati ya USA ya 2025. Miundo yote miwili inapatikana kwa urahisi kwenye Azure AI Foundry na Hugging Face.
Phi-4-Mini-Reasoning: Nyumba ya Nguvu Iliyoshikana kwa Mazingira Madogo
Phi-4-mini-reasoning imeundwa mahsusi ili kushughulikia mahitaji ya muundo wa hoja ulio kompakt. Muundo huu wa lugha unaotegemea transformer umeboreshwa kwa hoja za hisabati na hutoa uwezo wa hali ya juu, hatua kwa hatua wa kutatua matatizo katika mazingira ambapo nguvu ya kompyuta au latency imebanwa. Imerekebishwa kwa kutumia data synthetic iliyozalishwa na muundo wa Deepseek-R1, inasawazisha kwa ufanisi ufanisi na uwezo wa juu wa hoja. Hii inafanya kuwa bora kwa matumizi ya kielimu, mifumo iliyoingia ya kufundisha, na upelekaji mwepesi kwenye mifumo ya edge au simu. Muundo huo umefunzwa juu ya matatizo milioni ya hisabati tofauti, kuanzia ugumu kutoka shule ya kati hadi kiwango cha PhD, kuhakikisha uwezo wake mwingi na ufanisi katika anuwai ya miktadha ya kielimu.
Phi Kazini: Kupanua Upeo
Mageuzi ya Phi katika mwaka uliopita yamesukuma mara kwa mara mipaka ya ubora kuhusiana na ukubwa, huku familia ikipanuka ili kujumuisha vipengele vipya vilivyoundwa kwa mahitaji tofauti. Miundo hii inaweza kuendeshwa ndani ya nchi kwenye CPUs na GPUs kwenye vifaa mbalimbali vya Windows 11, kutoa kubadilika na upatikanaji kwa watumiaji walio na usanidi tofauti wa vifaa.
Ujumuishaji na Copilot+ PCs: Enzi Mpya ya Kompyuta Inayoendeshwa na AI
Miundo ya Phi huunda sehemu muhimu ya Copilot+ PCs, ikitumia lahaja ya Phi Silica iliyoboreshwa na NPU. Toleo hili lenye ufanisi mkubwa la Phi, linalosimamiwa na mfumo wa uendeshaji, limeundwa kupakiwa awali kwenye kumbukumbu, kutoa nyakati za majibu ya haraka na utendakazi wa tokeni wenye ufanisi wa nishati. Hii inaiwezesha kuitwa sanjari na programu zingine kwenye PC, kuimarisha uwezo wa kufanya kazi nyingi na utendaji wa mfumo kwa ujumla.
Matumizi ya Ulimwengu Halisi
Miundo ya Phi tayari inatumika katika uzoefu mkuu kama vile Click to Do, ambayo hutoa zana mahiri za maandishi kwa maudhui yote kwenye skrini. Pia zinapatikana kama APIs za msanidi programu kwa ujumuishaji usio na mshono katika programu. Miundo hiyo kwa sasa inatumika katika matumizi mbalimbali ya tija kama vile Outlook, ambapo hutoa vipengele vya muhtasari wa Copilot nje ya mtandao. Miundo ya Phi-4-reasoning na Phi-4-mini-reasoning hutumia uboreshaji wa biti za chini kwa Phi Silica na hivi karibuni itapatikana kuendeshwa kwenye Copilot+ PC NPUs.
Ahadi ya Microsoft kwa AI Inayowajibika na Usalama
Katika Microsoft, AI inayowajibika ni kanuni ya msingi ambayo huongoza uundaji na upelekaji wa mifumo ya AI, ikiwa ni pamoja na miundo ya Phi. Miundo ya Phi imeundwa kwa kuzingatia kanuni za Microsoft AI: uwajibikaji, uwazi, usawa, kutegemewa na usalama, faragha na usalama, na ujumuishaji. Familia ya miundo ya Phi hutumia mbinu thabiti ya usalama wa baada ya mafunzo, ikitumia mchanganyiko wa Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), na Reinforcement Learning from Human Feedback (RLHF) mbinu ili kuhakikisha matumizi yao yanayowajibika na ya kimaadili.
Misingi ya Kiufundi ya Miundo ya Phi: Uchunguzi wa Kina
Miundo ya Microsoft Phi inawakilisha maendeleo muhimu katika uwanja wa miundo midogo ya lugha, hasa katika uwezo wao wa kufanya kazi ngumu za hoja na vigezo vichache. Sehemu hii inaingia katika maelezo ya kiufundi ambayo yanawezesha miundo hii kufikia utendaji kama huo wa kuvutia.
Ubunifu wa Usanifu
Miundo ya Phi inategemea usanifu wa transformer, muundo wa kujifunza kwa kina ambao umeleta mapinduzi katika usindikaji wa lugha asilia. Transformers hufanya vizuri katika kunasa utegemezi wa masafa marefu katika maandishi, kuruhusu miundo kuelewa muktadha na nuances ya lugha.
Utaratibu wa Uangalifu: Msingi wa usanifu wa transformer ni utaratibu wa uangalifu, ambao unaruhusu muundo kuzingatia sehemu muhimu zaidi za ingizo wakati wa kutoa matokeo. Hii ni muhimu sana kwa kazi za hoja, ambapo muundo unahitaji kutambua habari muhimu na mahusiano ili kufikia hitimisho sahihi.
Uangalifu wa Dot-Product Uliopimwa: Miundo ya Phi hutumia uangalifu wa dot-product uliopimwa, toleo lililosafishwa la utaratibu wa uangalifu ambalo linajumuisha kipengele cha kupima ili kuzuia bidhaa za nukta kuwa kubwa sana, ambayo inaweza kusababisha ukosefu wa utulivu wakati wa mafunzo.
Uangalifu wa Vichwa Vingi: Ili kunasa vipengele tofauti vya ingizo, miundo ya Phi hutumia uangalifu wa vichwa vingi, ambapo taratibu nyingi za uangalifu hufanya kazi sambamba. Kila kichwa kinazingatia sehemu ndogo tofauti ya ingizo, kuruhusu muundo kujifunza uwakilishi ngumu zaidi.
Mitandao ya Kulisha Mbele: Baada ya tabaka za uangalifu, usanifu wa transformer unajumuisha mitandao ya kulisha mbele ambayo inachakata zaidi habari. Mitandao hii ina tabaka nyingi za neurons ambazo hujifunza kutoa vipengele kutoka kwa matokeo ya uangalifu.
Mbinu za Mafunzo: Mbinu ya Pande Nyingi
Mafunzo ya miundo ya Phi yanahusisha mchanganyiko wa mbinu, ikiwa ni pamoja na urekebishaji mzuri unaosimamiwa, ujifunzaji wa kuimarisha, na distillation ya data.
Urekebishaji Mzuri Unaosimamiwa (SFT): Urekebishaji mzuri unaosimamiwa unahusisha kufunza muundo kwenye dataset iliyoandikwa, ambapo ingizo ni swali au tatizo, na matokeo ni jibu au suluhisho sahihi. Hii husaidia muundo kujifunza kuhusisha ingizo maalum na matokeo yanayolingana.
Ujifunzaji wa Kuimarisha (RL): Ujifunzaji wa kuimarisha ni mbinu ambapo muundo hujifunza kufanya maamuzi kwa kuingiliana na mazingira na kupokea thawabu au adhabu kwa vitendo vyake. Katika muktadha wa miundo ya lugha, mazingira yanaweza kuwa seti ya sheria au vikwazo, na thawabu inaweza kuwa kulingana na usahihi wa majibu ya muundo.
Data Distillation: Data distillation ni mbinu ambapo muundo mdogo unafundishwa kuiga tabia ya muundo mkubwa, ngumu zaidi. Hii inaruhusu muundo mdogo kufikia utendaji unaolingana na muundo mkubwa, huku ukihitaji rasilimali chache.
Uratibu wa Data: Msingi wa Utendaji
Utendaji wa miundo ya Phi unategemea sana ubora wa data inayotumika kwa mafunzo. Microsoft imewekeza juhudi kubwa katika kuratibu datasets za ubora wa juu ambazo zimeundwa mahsusi kwa kazi za hoja.
Uzazi wa Data Synthetic: Ili kuongeza data inayopatikana, Microsoft imeunda mbinu za kuzalisha data synthetic ambayo inaiga sifa za data halisi ya ulimwengu. Hii inaruhusu miundo kufunzwa kwenye dataset kubwa na tofauti zaidi, ambayo inaboresha uwezo wao wa generalization.
Uchujaji wa Data: Microsoft hutumia mbinu kali za uchujaji wa data ili kuondoa data yenye kelele au isiyo muhimu kutoka kwa dataset ya mafunzo. Hii inahakikisha kwamba miundo inafunzwa kwenye data safi na sahihi, ambayo inasababisha utendaji bora.
Uongezaji wa Data: Mbinu za uongezaji wa data hutumiwa kuongeza utofauti wa dataset ya mafunzo kwa kutumia mabadiliko kwa data iliyopo. Hii husaidia miundo kuwa thabiti zaidi kwa tofauti katika ingizo.
Mbinu za Uboreshaji: Kusawazisha Ufanisi na Usahihi
Miundo ya Phi imeundwa kwa ufanisi na usahihi, ikiruhusu kuendeshwa kwenye vifaa vilivyobana rasilimali bila kutoa utendaji.
Quantization: Quantization ni mbinu ambapo usahihi wa vigezo vya muundo umepunguzwa, ambayo inapunguza alama ya kumbukumbu na mahitaji ya hesabu ya muundo.
Pruning: Pruning ni mbinu ambapo miunganisho isiyo muhimu sana katika muundo huondolewa, ambayo inapunguza ukubwa na utata wa muundo.
Knowledge Distillation: Knowledge distillation inahusisha kuhamisha maarifa kutoka kwa muundo mkubwa, ngumu zaidi hadi muundo mdogo. Hii inaruhusu muundo mdogo kufikia utendaji unaolingana na muundo mkubwa, huku ukihitaji rasilimali chache.
Phi Silica NPU: Mbinu ya Ushirikiano wa Vifaa na Programu
Miundo ya Microsoft Phi imeundwa kuunganishwa kwa karibu na Phi Silica NPU (Neural Processing Unit), kichapuzi maalum cha vifaa ambacho kimeboreshwa kwa kazi za kujifunza kwa kina.
Uboreshaji wa Biti za Chini: Phi Silica NPU inasaidia uboreshaji wa biti za chini, ambayo inaruhusu miundo kuendeshwa na usahihi uliopunguzwa, na kupunguza zaidi alama zao za kumbukumbu na mahitaji ya hesabu.
Kupakia Awali kwenye Kumbukumbu: Miundo ya Phi imeundwa kupakiwa awali kwenye kumbukumbu, ambayo inaruhusu kuitwa haraka na kwa ufanisi.
Usimamizi wa Mfumo wa Uendeshaji: Phi Silica NPU inasimamiwa na mfumo wa uendeshaji, ambayo inaruhusu kuunganishwa kwa urahisi katika uzoefu wa mtumiaji.
Kwa muhtasari, miundo ya Microsoft Phi inawakilisha mafanikio muhimu katika uwanja wa miundo midogo ya lugha. Kwa kuchanganya miundo bunifu ya usanifu, mbinu kali za mafunzo, uratibu makini wa data, na ushirikiano wa vifaa na programu, Microsoft imeunda familia ya miundo ambayo ina nguvu na ufanisi, kuwezesha anuwai ya matumizi yanayoendeshwa na AI.