Microsoft Phi Msaidizi

Microsoft imetambulisha Phi-4, modeli ndogo ya lugha yenye vigezo bilioni 14, iliyoundwa mahususi kuboresha uwezo wa kufikiri wa hisabati. Model hii, ambayo awali ilipatikana kupitia Azure AI Foundry, hivi karibuni imefunguliwa kwa matumizi ya umma kwenye Hugging Face chini ya leseni ya MIT.

Ubunifu wa Phi-4

Kulingana na Microsoft, Phi-4 ina uwezo bora wa kufikiri wa hisabati kuliko modeli zingine za ukubwa wake na hata kubwa zaidi. Hii inatokana na mbinu bunifu zilizotumika wakati wa mafunzo, zikiwemo:

• Mafunzo ya Awali na ya Kati kwa kutumia Data Bandia: Matumizi ya data bandia katika mafunzo ya awali na ya kati hutoa njia iliyoandaliwa vizuri ya kujifunza kwa modeli.
• Usimamizi Makini wa Data Halisi: Data halisi huchaguliwa na kuchujwa kwa uangalifu ili kuhakikisha ubora wa data ya mafunzo.
• Mbinu Mpya za Mafunzo ya Baada ya Awali: Mbinu mpya za mafunzo zinatumika kuboresha zaidi utendaji wa modeli.

Mbinu hizi bunifu zimeiwezesha Phi-4 kufanya vizuri zaidi kuliko modeli yake ya mwalimu, GPT-4o, katika maswali na majibu yanayohusu STEM, ikionyesha kuwa teknolojia ya Microsoft ya kuzalisha data na mafunzo ya baada ya awali siyo tu uhamishaji wa maarifa.

Faida za Data Bandia

Matumizi ya data bandia si jambo geni katika mafunzo ya modeli kubwa za lugha (LLM), na modeli za Phi zimekuwa zikitumia mbinu hii. Microsoft inasema kuwa data bandia si mbadala wa bei rahisi, kwani ina faida zifuatazo ikilinganishwa na data halisi:

• Njia Bora ya Kujifunza: Data bandia inaweza kuongoza LLM kujifunza hatua kwa hatua, kutoka kwa taarifa za awali za swali hadi suluhisho la mwisho, na hivyo kufanya mchakato wa kufikiri ueleweke kirahisi.
• Ulinganifu Bora na Mazingira ya Kufikiri: Tofauti na data halisi ambayo ina taarifa za swali na suluhisho la mwisho, data bandia inaweza kutoa maelezo ya hatua kwa hatua ya mchakato wa kufikiri, na hivyo kufanana zaidi na mazingira halisi ya kufikiri.

Data Halisi Iliyochaguliwa kwa Makini

Pamoja na data bandia, Microsoft pia ilitumia data halisi iliyochaguliwa kwa makini, ikijumuisha mamilioni ya maswali na majibu ya ubora wa juu ya hisabati yaliyokusanywa kutoka kwenye tovuti za umma na hifadhidata za nje. Kwa hali ambazo suluhisho sahihi halikupatikana, walitumia mbinu ya upigaji kura mwingi ili kuzalisha suluhisho, na hivyo kuongeza usahihi. Zaidi ya hayo, walikusanya makala za kitaaluma, mijadala ya elimu, na mafunzo ya kupanga programu.

Microsoft imesisitiza umuhimu wa data asilia ya ubora wa juu katika uzalishaji wa data bandia, ikisema kuwa hata makosa madogo yanaweza kusababisha kupungua kwa ubora wa nyaraka bandia zinazotokana nazo. Kwa hivyo, walitumia juhudi kubwa kuboresha usimamizi wa data ya mtandao.

Hatua za Mafunzo ya Baada ya Awali ya Phi-4

Hatua za mafunzo ya baada ya awali ya Phi-4 zinalenga kuibadilisha kuwa msaidizi wa kuaminika wa AI. Hatua hii inajumuisha:

1. Urekebishaji: Model hurekebishwa kwa kutumia data ya ubora wa juu kutoka maeneo tofauti kama hisabati, kuandika programu, kufikiri, mazungumzo, utambulisho wa modeli, na usalama.
2. Uboreshaji wa Upendeleo wa Moja kwa Moja (DPO): Hatua mbili za DPO hufanywa ili kuifanya modeli iendane vizuri zaidi na upendeleo wa binadamu, na kuondoa tabia zisizofaa.
   • Utafutaji wa Tokeni Muhimu: Katika hatua ya kwanza, Microsoft ilitumia teknolojia mpya iitwayo Utafutaji wa Tokeni Muhimu ili kuzalisha jozi za matokeo yanayotakiwa na yasiyotakiwa.
   • GPT-4o kama Mwamuzi: Katika hatua ya pili, walitumia GPT-4o kama mwamuzi, kuweka alama chanya au hasi kwa kila jozi ya matokeo.

Tathmini ya Phi-4

Phi-4 ilitathminiwa kwa kutumia mfumo wa SIMPLE-EVALS wa OpenAI na ilifanya vizuri zaidi ya Llama-3.1-405B katika vipimo vingi. Zaidi ya hayo, ilifanya vizuri zaidi ya modeli yake mwalimu, GPT-4o, katika vipimo vya GPQA (maswali na majibu ya STEM ya kiwango cha uzamili) na MATH (mashindano ya hisabati).

Maelezo ya Data ya Mafunzo ya Phi-4

Microsoft ilitumia mkakati wa data ulioandaliwa kwa uangalifu wakati wa mafunzo ya modeli ya Phi-4, mkakati ambao unahusu data bandia na data halisi iliyochaguliwa kwa makini. Mchanganyiko huu unalenga kuboresha mchakato wa kujifunza wa modeli na kuifanya ifanye vizuri katika kufikiri kwa hisabati.

Uzalishaji wa Data Bandia

Data bandia ina jukumu muhimu katika mafunzo ya Phi-4. Timu ya Microsoft haikuona data bandia kama mbadala wa data halisi, bali kama chombo cha kuongoza modeli kujifunza hatua kwa hatua. Mchakato wa kuzalisha data bandia kwa kawaida hufuata hatua hizi:

1. Uundaji wa Maswali: Kwanza, maswali mbalimbali ya hisabati yanazalishwa kulingana na kanuni na violezo vilivyobainishwa. Maswali haya yanajumuisha maeneo tofauti ya hisabati na viwango tofauti vya ugumu ili kuhakikisha modeli inajifunza kwa upana.
2. Suluhisho la Hatua kwa Hatua: Kwa kila swali linalozalishwa, suluhisho la hatua kwa hatua linaundwa, ambalo linaeleza kwa kina mchakato wa kufikiri kutoka kwa taarifa ya swali hadi jibu la mwisho. Suluhisho hili la hatua kwa hatua halijumuishi tu jibu la mwisho, bali pia hatua za kati na mantiki ya kufikiri, na hivyo kusaidia modeli kuelewa mchakato wa kutatua matatizo.
3. Uboreshaji wa Data: Ili kuongeza utofauti wa data, data bandia pia huboreshwa, kwa mfano, kwa kubadilisha maneno ya swali, kurekebisha nambari, au kutumia mbinu tofauti za kutatua.

Data Halisi Iliyochaguliwa kwa Makini

Pamoja na data bandia, mafunzo ya Phi-4 pia yalitolewa na data halisi iliyochaguliwa kwa makini. Data hii ilitoka kwenye tovuti mbalimbali za umma, makala za kitaaluma, mijadala ya elimu, na mafunzo ya kupanga programu, ikijumuisha aina zifuatazo:

• Maswali na Majibu ya Hisabati: Mamilioni ya maswali ya hisabati ya ubora wa juu na majibu yake yalikwa kusanywa kutoka kwenye tovuti za umma na hifadhidata za nje. Maswali haya yanajumuisha maeneo tofauti ya hisabati na viwango tofauti vya ugumu.
• Makala za Kitaaluma: Ili kuboresha uwezo wa modeli kuelewa na kufikiri, makala nyingi za kitaaluma pia zilikusanywa, ambazo zilitoa dhana na nadharia za kina za hisabati.
• Mijadala ya Elimu: Maswali yaliyoulizwa na wanafunzi na majibu yaliyotolewa na wataalamu yalikwa kusanywa kutoka kwenye mijadala ya elimu, na hivyo kuwezesha modeli kuelewa maswali ya hisabati kutoka mitazamo tofauti.
• Mafunzo ya Kupanga Programu: Ili kuboresha uwezo wa modeli wa kuandika programu, mafunzo mengi ya kupanga programu pia yalikwa kusanywa, ambayo yalijumuisha lugha tofauti za programu na algorithms.

Udhibiti wa Ubora wa Data

Microsoft ilitumia juhudi kubwa katika udhibiti wa ubora wa data ili kuhakikisha usahihi na uwiano wa data ya mafunzo. Walichukua hatua zifuatazo:

• Ukaguzi wa Binadamu: Baadhi ya data muhimu ilikaguliwa na binadamu ili kuhakikisha usahihi na ubora wa data.
• Upigaji Kura Mwingi: Kwa maswali ambayo hayakutoa suluhisho sahihi, mbinu ya upigaji kura mwingi ilitumika kuzalisha suluhisho, na hivyo kuongeza usahihi.
• Usafi wa Data: Data yote ilisafishwa ili kuondoa data iliyojirudia, data yenye makosa, na data isiyofaa.

Uchambuzi wa Kina wa Mikakati ya Mafunzo ya Baada ya Awali

Hatua za mafunzo ya baada ya awali za Phi-4 zinalenga kuibadilisha kuwa msaidizi wa kuaminika wa AI, na hatua hii inajumuisha hasa urekebishaji na uboreshaji wa upendeleo wa moja kwa moja (DPO).

Hatua ya Urekebishaji

Lengo la hatua ya urekebishaji ni kuifanya modeli iweze kukabiliana na kazi na maeneo mbalimbali. Katika hatua hii, Microsoft ilitumia data ya ubora wa juu iliyozalishwa kutoka maeneo yafuatayo:

• Hisabati: Ilijumuisha maswali na majibu mbalimbali ya hisabati, yaliyolenga kuboresha uwezo wa modeli wa kufikiri wa hisabati.
• Kuandika Programu: Ilijumuisha maswali na majibu mbalimbali ya programu, yaliyolenga kuboresha uwezo wa modeli wa kuzalisha na kuelewa msimbo.
• Kufikiri: Ilijumuisha maswali mbalimbali ya kufikiri kimantiki, yaliyolenga kuboresha uwezo wa modeli wa kufikiri kimantiki.
• Mazungumzo: Ilijumuisha data mbalimbali za mazungumzo, yaliyolenga kuboresha uwezo wa modeli wa kuelewa na kuzalisha lugha asilia.
• Utambulisho wa Model: Ilijumuisha maelezo mbalimbali ya utambulisho wa modeli, yaliyolenga kuboresha uelewa wa modeli wa uwezo wake.
• Usalama: Ilijumuisha maswali na majibu mbalimbali ya usalama, yaliyolenga kuboresha usalama wa modeli.

Hatua ya Uboreshaji wa Upendeleo wa Moja kwa Moja (DPO)

Lengo la hatua ya uboreshaji wa upendeleo wa moja kwa moja (DPO) ni kuifanya tabia ya modeli iendane vizuri zaidi na upendeleo wa binadamu, na kuondoa tabia zisizofaa. Hatua hii inajumuisha hatua mbili:

1. Utafutaji wa Tokeni Muhimu: Katika hatua ya kwanza, Microsoft ilitumia teknolojia mpya iitwayo Utafutaji wa Tokeni Muhimu ili kuzalisha jozi za matokeo yanayotakiwa na yasiyotakiwa. Teknolojia hii hutafuta nafasi ya pato la modeli ili kupata tokeni muhimu zinazoweza kutofautisha kati ya tabia inayotakiwa na isiyotakiwa.
2. GPT-4o kama Mwamuzi: Katika hatua ya pili, walitumia GPT-4o kama mwamuzi, kuweka alama chanya au hasi kwa kila jozi ya matokeo. GPT-4o ina uwezo wa kutathmini pato la modeli kulingana na upendeleo wa binadamu, na hivyo kusaidia modeli kujifunza upendeleo wa binadamu vizuri zaidi.

Tathmini ya Utendaji wa Phi-4

Ili kutathmini utendaji wa Phi-4, Microsoft ilitumia mfumo wa SIMPLE-EVALS wa OpenAI, ambao unajumuisha vipimo mbalimbali ambavyo vinaweza kutathmini utendaji wa modeli katika kazi tofauti.

Vipimo

Phi-4 ilifanya vizuri sana katika vipimo vifuatavyo:

• GPQA (Maswali na Majibu ya STEM ya Kiwango cha Uzamili): Katika kipimo hiki, Phi-4 ilifanya vizuri zaidi kuliko modeli yake mwalimu, GPT-4o, ikionyesha kuwa ina uwezo mkubwa sana katika maswali na majibu ya STEM.
• MATH (Mashindano ya Hisabati): Katika kipimo hiki, Phi-4 pia ilifanya vizuri zaidi kuliko modeli yake mwalimu, GPT-4o, ikionyesha kuwa ina uwezo bora sana katika kutatua matatizo magumu ya hisabati.
• Ulinganisho na Modeli Nyingine: Katika vipimo vingi, Phi-4 ilifanya vizuri zaidi kuliko Llama-3.1-405B, ikionyesha kuwa utendaji wake kwa ujumla ni mzuri sana.

Uchambuzi wa Utendaji

Kupitia tathmini ya utendaji wa Phi-4, tunaweza kufikia hitimisho zifuatazo:

• Uwezo Mkubwa wa Kufikiri wa Hisabati: Phi-4 ina utendaji mzuri sana katika kufikiri wa hisabati, kutokana na mbinu bunifu zilizotumika wakati wa mafunzo, ikiwa ni pamoja na data bandia, data halisi iliyochaguliwa kwa makini, na mikakati ya mafunzo ya baada ya awali.
• Inaweza Kufanya Vizuri Zaidi ya Modeli ya Mwalimu: Katika vipimo vingi, Phi-4 imefanya vizuri zaidi kuliko modeli yake mwalimu, GPT-4o, ikionyesha kuwa utendaji wake si tu matokeo ya uhamishaji wa maarifa.
• Ulinganisho na Modeli Nyingine: Phi-4 imefanya vizuri zaidi kuliko Llama-3.1-405B katika vipimo vingi, ikionyesha kuwa utendaji wake kwa ujumla ni mzuri sana.

Matarajio ya Matumizi ya Phi-4

Phi-4, kama modeli ndogo ya lugha iliyoundwa mahususi kwa ajili ya kufikiri kwa hisabati, ina matarajio makubwa ya matumizi. Inaweza kutumika katika maeneo yafuatayo:

• Elimu: Inaweza kutumika kama chombo cha kufundishia hisabati, kusaidia wanafunzi kutatua matatizo ya hisabati, na kutoa uzoefu wa kujifunza uliobinafsishwa.
• Utafiti wa Kisayansi: Inaweza kutumika kama chombo cha utafiti, kusaidia watafiti katika uundaji wa hisabati na uchambuzi wa data.
• Uhandisi: Inaweza kutumika kama chombo cha uhandisi, kusaidia wahandisi katika kubuni na kuchambua.
• Fedha: Inaweza kutumika kama chombo cha kifedha, kusaidia wachambuzi wa kifedha katika tathmini ya hatari na maamuzi ya uwekezaji.
• Maeneo Mengine: Inaweza pia kutumika katika maeneo mengine yanayohitaji kufikiri kwa hisabati, kama vile afya, usafirishaji, na utengenezaji.

Hitimisho

Kuzinduliwa kwa Microsoft Phi-4 kunaashiria maendeleo makubwa katika eneo la modeli ndogo za lugha katika kufikiri kwa hisabati. Mkakati wake wa kipekee wa mafunzo ya data na mbinu za mafunzo ya baada ya awali umewezesha kufanya vizuri zaidi kuliko modeli zingine za ukubwa wake na hata kubwa zaidi, na umetoa mawazo mapya kwa maendeleo ya baadaye ya AI. Kwa kuwa Phi-4 imefunguliwa kwenye Hugging Face, inaaminika kuwa itatoa urahisi kwa watafiti na waendelezaji wengi, na kuendeleza matumizi ya teknolojia ya AI katika maeneo mbalimbali.