Llama ya Meta: Zaidi ya Modeli

Mageuzi ya Llama: Changamoto kwa Hali Iliyopo

Llama ilipoibuka mara ya kwanza, ilipinga utawala wa LLM kubwa, za chanzo-fungwa kutoka kwa makampuni makubwa ya teknolojia. Meta AI ilipitisha mkakati uliolenga modeli ndogo, zilizojumuishwa zaidi. Wazo kuu lilikuwa kwamba modeli hizi ndogo, zilizofunzwa kwa idadi kubwa ya tokeni, zingekuwa rahisi na za gharama nafuu zaidi kufunza upya na kurekebisha kwa kazi maalum. Mbinu hii ilitofautiana sana na mwelekeo wa kujenga modeli kubwa zaidi, zinazohitaji rasilimali nyingi.

Hata hivyo, asili ya ‘chanzo huria’ ya Llama ni mada ya mjadala. Leseni ya Meta Llama inajumuisha vizuizi maalum juu ya matumizi ya kibiashara na yanayokubalika. Ingawa vizuizi hivi vinaweza kuwa na sababu, vinakinzana na ufafanuzi mkali wa Open Source Initiative wa chanzo huria. Hii imesababisha mijadala inayoendelea kuhusu kama Llama inastahili kweli kuwa chanzo huria.

Kukabiliana na Changamoto za Kisheria: Masuala ya Hakimiliki

Ukuzaji wa Llama haujakosa vikwazo vyake vya kisheria. Mnamo 2023, Meta ilikabiliwa na mashtaka mawili ya hatua ya darasa kutoka kwa waandishi ambao walidai kuwa vitabu vyao vyenye hakimiliki vilitumika bila ruhusa kufunza Llama. Mashtaka haya yanaangazia masuala tata ya hakimiliki yanayozunguka data ya mafunzo inayotumika kwa modeli kubwa za lugha. Kufikia sasa, mahakama hazijaonekana kuwa na huruma sana kwa madai ya waandishi.

Kupanua Uwezo: Familia ya Modeli Inayokua ya Llama

Tangu mwishoni mwa 2023, Meta AI imepanua kwa kiasi kikubwa familia ya Llama. Modeli hizi hazizuiliwi tena kwa mwingiliano wa maandishi. Mfumo wa sasa wa Llama unajumuisha modeli za aina nyingi zinazoweza kuchakata maandishi na pembejeo za kuona, pamoja na modeli zilizoundwa kwa ajili ya ufafanuzi wa msimbo na ujumuishaji wa zana. Zaidi ya hayo, Meta imeanzisha vipengele vya usalama, vinavyojulikana kama Llama Guard, ili kutambua na kupunguza hatari na mashambulizi yanayoweza kutokea, hivi vimeundwa kuwa sehemu ya mfumo mkuu unaoitwa ‘Llama Stack’.

Hapa kuna mtazamo wa kina katika baadhi ya modeli muhimu katika familia ya Llama (iliyofupishwa kutoka kadi za modeli za Meta AI):

Llama Guard 1: Kulinda Mwingiliano

Llama Guard 1 ni modeli ya paramita bilioni 7 kulingana na Llama 2. Inatumika kama kinga ya pembejeo-pato, ikiainisha maudhui katika maagizo ya mtumiaji (uainishaji wa haraka) na majibu ya LLM (uainishaji wa majibu). Modeli hii husaidia kuhakikisha mwingiliano salama na unaowajibika zaidi na mifumo inayotegemea Llama.

Llama Guard hutumia taksonomia ya viwango sita kuainisha madhara yanayoweza kutokea:

• Ukatili na Chuki: Maudhui yanayokuza vurugu au chuki dhidi ya watu binafsi au vikundi.
• Maudhui ya Ngono: Nyenzo za ngono wazi au maudhui yanayonyonya, kunyanyasa, au kuhatarisha watoto.
• Bunduki na Silaha Haramu: Maudhui yanayohusiana na uuzaji haramu, matumizi, au urekebishaji wa bunduki na silaha nyingine.
• Dawa Zilizodhibitiwa au Kudhibitiwa: Maudhui yanayokuza matumizi haramu au uuzaji wa dawa za kulevya, pombe, au tumbaku.
• Kujiua na Kujidhuru: Maudhui yanayohimiza au kutoa maagizo ya kujiua au kujidhuru.
• Mipango ya Uhalifu: Maudhui yanayowezesha au kupanga shughuli haramu.

Code Llama 70B: Utatu wa Ustadi wa Kuweka Misimbo

Code Llama 70B iliashiria upanuzi mkubwa katika uwezo wa kuweka misimbo wa Llama. Modeli hii inapatikana katika lahaja tatu tofauti:

• Code Llama: Modeli ya msingi iliyoundwa kwa ajili ya usanisi wa jumla wa msimbo na uelewa. Inaweza kutoa msimbo, kuelezea utendakazi wa msimbo, na kusaidia katika utatuzi.
• Code Llama – Python: Toleo maalum lililoundwa kwa ajili ya programu ya Python. Modeli hii imeboreshwa kwa ajili ya kuzalisha na kuelewa msimbo wa Python, na kuifanya kuwa zana muhimu kwa watengenezaji wa Python.
• Code Llama – Instruct: Lahaja inayolenga kufuata maagizo na kuhakikisha utumaji salama. Modeli hii ni muhimu sana kwa kuzalisha msimbo unaozingatia miongozo maalum na itifaki za usalama.

Lahaja zote tatu zinapatikana katika saizi tofauti: paramita bilioni 7, bilioni 13, bilioni 34, na bilioni 70. Code Llama na lahaja zake zimeundwa kwa matumizi ya kibiashara na utafiti, hasa katika Kiingereza na lugha zinazohusiana za programu. Kuna ushahidi wa kutosha kupendekeza kwamba Code Llama ina uwezo mkubwa wa kuweka misimbo.

Llama Guard 2: Uainishaji Ulioboreshwa wa Usalama

Llama Guard 2 inajengwa juu ya msingi wa mtangulizi wake, ikitoa uwezo ulioboreshwa wa uainishaji wa usalama. Modeli hii ya paramita bilioni 8, kulingana na Llama 3, imefunzwa kutabiri lebo za usalama katika kategoria 11, ikilingana na taksonomia ya MLCommons ya hatari.

Kategoria za hatari zinazoshughulikiwa na Llama Guard 2 ni pamoja na:

• S1: Uhalifu wa Kivita: Maudhui yanayohusiana na vitendo vya uhalifu wa kivita.
• S2: Uhalifu Usio wa Kivita: Maudhui yanayohusiana na makosa ya jinai yasiyo ya kivita.
• S3: Uhalifu Unaohusiana na Ngono: Maudhui yanayohusisha makosa ya ngono.
• S4: Unyonyaji wa Kingono wa Watoto: Maudhui yanayonyonya, kunyanyasa, au kuhatarisha watoto kingono.
• S5: Ushauri Maalum: Ushauri usio na sifa au unaopotosha katika nyanja maalum (k.m., matibabu, sheria, fedha).
• S6: Faragha: Maudhui yanayokiuka faragha au kufichua taarifa za kibinafsi bila ridhaa.
• S7: Miliki: Maudhui yanayokiuka haki miliki.
• S8: Silaha za Kimbari: Maudhui yanayohusiana na silaha zinazosababisha madhara makubwa na ya kiholela.
• S9: Chuki: Maudhui yanayoonyesha chuki au ubaguzi dhidi ya watu binafsi au vikundi.
• S10: Kujiua na Kujidhuru: Maudhui yanayokuza au kutoa maagizo ya kujiua au kujidhuru.
• S11: Maudhui ya Ngono: Nyenzo za ngono wazi.

Meta Llama 3: Uwezo Mwingi katika Mazungumzo

Meta Llama 3 inatolewa katika saizi mbili, paramita bilioni 8 na bilioni 70, na lahaja zilizofunzwa awali na zilizofunzwa kwa maagizo. Modeli zilizofunzwa kwa maagizo zimeboreshwa mahususi kwa ajili ya programu zinazotegemea mazungumzo, na kuzifanya zinafaa kwa roboti za gumzo na mifumo ya AI ya mazungumzo.

Prompt Guard: Kujilinda Dhidi ya Pembejeo Hasidi

Prompt Guard ni modeli ya kiainishi iliyoundwa kugundua maagizo hasidi, ikiwa ni pamoja na majaribio ya kuvunja vizuizi vya usalama (jailbreaks) na majaribio ya kudhibiti matokeo ya modeli kupitia pembejeo zilizoundwa (prompt injections). Meta AI inapendekeza kurekebisha Prompt Guard kwa data maalum ya programu ili kufikia utendakazi bora.

Tofauti na Llama Guard, Prompt Guard haihitaji muundo maalum wa haraka. Inafanya kazi kwa pembejeo ya mfuatano, ikiainisha kama salama au si salama (katika viwango viwili tofauti vya ukali). Ni modeli ya BERT ambayo hutoa lebo pekee.

Llama Guard 3: Usalama wa Lugha Nyingi na Aina Nyingi

Llama Guard 3 inapatikana katika matoleo matatu: Llama Guard 3 1B, Llama Guard 3 8B, na Llama Guard 3 11B-Vision. Mbili za kwanza ni modeli za maandishi pekee, wakati ya tatu inajumuisha uwezo wa kuelewa maono wa modeli ya Llama 3.2 11B-Vision. Matoleo yote yana lugha nyingi (kwa maagizo ya maandishi pekee) na yanazingatia kategoria za hatari zilizofafanuliwa na muungano wa MLCommons.

Llama Guard 3 8B pia inaweza kutumika kwa kategoria S14, Matumizi Mabaya ya Mkalimani wa Msimbo. Ni muhimu kutambua kwamba modeli ya Llama Guard 3 1B haijaboreshwa kwa kategoria hii maalum.

Kategoria za hatari, zikipanua zile za Llama Guard 2 ni:

• S1: Uhalifu wa Kivita
• S2: Uhalifu Usio wa Kivita
• S3: Uhalifu Unaohusiana na Ngono
• S4: Unyonyaji wa Kingono wa Watoto
• S5: Kashfa
• S6: Ushauri Maalum
• S7: Faragha
• S8: Miliki
• S9: Silaha za Kimbari
• S10: Chuki
• S11: Kujiua na Kujidhuru
• S12: Maudhui ya Ngono
• S13: Uchaguzi
• S14: Matumizi Mabaya ya Mkalimani wa Msimbo

Meta Llama 3.1: Modeli za Kuzalisha za Lugha Nyingi

Mkusanyiko wa Meta Llama 3.1 unajumuisha modeli kubwa za lugha za lugha nyingi, ikiwa ni pamoja na modeli za kuzalisha zilizofunzwa awali na zilizofunzwa kwa maagizo katika saizi za paramita bilioni 8, bilioni 70, na bilioni 405 (pembejeo ya maandishi, pato la maandishi).

Lugha zinazotumika ni pamoja na: Kiingereza, Kijerumani, Kifaransa, Kiitaliano, Kireno, Kihindi, Kihispania, na Kithai.

Meta Llama 3.2: Uwezo Ulioboreshwa wa Mazungumzo

Mkusanyiko wa Llama 3.2 una modeli kubwa za lugha za lugha nyingi, zinazojumuisha modeli za kuzalisha zilizofunzwa awali na zilizofunzwa kwa maagizo katika saizi za paramita bilioni 1 na bilioni 3 (pembejeo ya maandishi, pato la maandishi). Matoleo yaliyopimwa ya modeli hizi pia yanapatikana. Modeli za maandishi pekee zilizofunzwa kwa maagizo za Llama 3.2 zimeboreshwa kwa mazungumzo ya lugha nyingi, zikifanya vyema katika kazi kama vile urejeshaji wa wakala na ufupisho. Modeli za 1B na 3B ni ndogo, zenye nguvu kidogo zinazotokana na Llama 3.1.

Lugha zinazotumika rasmi ni: Kiingereza, Kijerumani, Kifaransa, Kiitaliano, Kireno, Kihindi, Kihispania, na Kithai. Hata hivyo, Llama 3.2 imefunzwa kwa lugha nyingi zaidi zaidi ya hizi nane.

Llama 3.2-Vision: Ufahamu wa Picha na Uelewa

Mkusanyiko wa Llama 3.2-Vision unaanzisha modeli kubwa za lugha za aina nyingi. Modeli hizi zimefunzwa awali na kufunzwa kwa maagizo kwa ajili ya ufahamu wa picha, zinapatikana katika saizi za paramita bilioni 11 na bilioni 90 (pembejeo ya maandishi na picha, pato la maandishi). Modeli zilizofunzwa kwa maagizo zimeboreshwa kwa utambuzi wa kuona, ufahamu wa picha, maelezo mafupi, na kujibu maswali ya jumla kuhusu picha.

Kwa kazi za maandishi pekee, lugha zinazotumika rasmi ni Kiingereza, Kijerumani, Kifaransa, Kiitaliano, Kireno, Kihindi, Kihispania, na Kithai. Llama 3.2 imefunzwa kwa seti pana ya lugha, lakini kwa programu za picha+maandishi, Kiingereza ndiyo lugha pekee inayotumika.

Meta Llama 3.3: Modeli Yenye Nguvu ya 70B

Modeli kubwa ya lugha ya lugha nyingi ya Meta Llama 3.3 ni modeli ya kuzalisha iliyofunzwa awali na kufunzwa kwa maagizo yenye paramita bilioni 70 (pembejeo ya maandishi, pato la maandishi).

Lugha zinazotumika: Kiingereza, Kijerumani, Kifaransa, Kiitaliano, Kireno, Kihindi, Kihispania, na Kithai.

Ni muhimu kuelewa kwamba modeli kubwa za lugha, ikiwa ni pamoja na Llama 3.2, hazikusudiwi kutumwa kwa kutengwa. Zinapaswa kuunganishwa katika mfumo mpana wa AI na vizuizi vinavyofaa vya usalama. Watengenezaji wanatarajiwa kutekeleza ulinzi wa mfumo, hasa wanapojenga mifumo ya wakala.

Llama 3.3, modeli za maandishi pekee za Llama 3.2, na Llama 3.1 zinajumuisha usaidizi uliojengewa ndani kwa zana zifuatazo:

• Brave Search: Simu ya zana ya kufanya utafutaji wa wavuti.
• Wolfram Alpha: Simu ya zana ya kutekeleza hesabu changamano za hisabati.
• Code Interpreter: Simu ya zana inayowezesha modeli kutoa msimbo wa Python.

Kumbuka: Modeli za maono za Llama 3.2 hazitumii simu ya zana na pembejeo za maandishi+picha.

Llama Stack: Mfumo Uliounganishwa

Idadi kubwa ya modeli za Llama inaweza kuwa kubwa. Ili kurahisisha mchakato wa uteuzi na ujumuishaji, Meta inatoa Llama Stack. Mfumo huu unasisitiza modeli za Llama lakini pia hutoa adapta kwa uwezo unaohusiana, kama vile hifadhidata za vekta kwa ajili ya uzalishaji ulioboreshwa wa urejeshaji (RAG).

Llama Stack kwa sasa inasaidia SDK katika Python, Swift, Node, na Kotlin. Inatoa usambazaji mbalimbali, ikiwa ni pamoja na:

• Usambazaji wa ndani (kwa kutumia Ollama): Kwa maendeleo ya ndani na majaribio.
• Usambazaji wa kwenye kifaa (iOS na Android): Kwa kutuma modeli za Llama kwenye vifaa vya rununu.
• Usambazaji kwa GPU: Kwa kutumia nguvu ya GPU kwa usindikaji wa haraka.
• Usambazaji unaopangishwa kwa mbali (Together na Fireworks): Kwa kufikia modeli za Llama kupitia huduma zinazotegemea wingu.

Dhana kuu nyuma ya Llama Stack ni kuwezesha watengenezaji kujenga programu ndani ya nchi na kisha kuhamia kwa urahisi kwenye mazingira ya uzalishaji. Hata inatoa Uwanja wa Michezo wa Llama Stack shirikishi kwa maendeleo ya ndani dhidi ya Llama Stack ya mbali.

Kuendesha Modeli za Llama: Chaguzi Mbalimbali za Usambazaji

Modeli za Llama zinaweza kutumwa kwenye majukwaa mbalimbali, ikiwa ni pamoja na Linux, Windows, macOS, na wingu. Modeli za Llama zilizopimwa, kama vile Llama 3.2 na Llama 3.2-Vision, zinaweza kufanya kazi kwa ufanisi kwenye vifaa vya kisasa, hata kwenye kompyuta ndogo kama vile M4 Pro MacBook Pro kwa kutumia zana kama Ollama.

Meta hutoa miongozo ya kina ya jinsi ya kutuma na kutumia modeli za Llama. Zaidi ya hayo, miongozo ya ujumuishaji inapatikana kwa mifumo maarufu kama LangChain na LlamaIndex.

Kwa muhtasari, Llama imepita kuwa modeli rahisi ya lugha, sasa ni mfumo wa AI wa aina nyingi kamili na vipengele vya usalama, uzalishaji wa msimbo, na usaidizi kwa lugha nyingi. Mfumo wa Meta unaruhusu kutumwa katika maeneo mengi, lakini masuala ya kisheria na data ya mafunzo, na mabishano kuhusu kama Llama ni chanzo huria, yanaendelea.