Ushirikiano wa Arm na Alibaba: AI Kwenye Edge

Arm Kleidi: Kuboresha Ufanisi wa AI kwenye CPU za Arm

Akili Bandia (AI) inabadilika kwa kasi, ikileta enzi mpya ya modeli zenye uwezo wa kuchakata taarifa kutoka vyanzo mbalimbali (multimodal models). Mifumo hii ya kisasa ina uwezo wa kuchakata na kutafsiri taarifa kutoka vyanzo mbalimbali, ikiwa ni pamoja na maandishi, picha, sauti, video, na hata data kutoka kwenye sensa. Hata hivyo, kuwezesha modeli hizi zenye nguvu kwenye vifaa vya pembezoni (‘edge devices’) kama simu janja kuna changamoto kubwa. Upungufu wa nishati na uwezo wa kumbukumbu kwenye vifaa hivi, pamoja na ugumu wa kuchakata aina mbalimbali za data kwa wakati mmoja, huleta changamoto changamano.

Arm Kleidi imeundwa mahususi kushughulikia changamoto hii, ikitoa uboreshaji wa utendaji kwa kazi zote za AI zinazoendeshwa kwenye CPU za Arm. Kiini cha Kleidi ni KleidiAI, seti iliyorahisishwa ya utaratibu bora na wazi (open-source) wa Arm, iliyoundwa ili kuharakisha AI.

KleidiAI tayari imeunganishwa kwenye matoleo ya hivi karibuni ya mifumo maarufu ya AI kwa vifaa vya pembezoni. Hii ni pamoja na ExecuTorch, Llama.cpp, LiteRT kupitia XNNPACK, na MediaPipe. Ujumuishaji huu mpana unatoa faida kubwa kwa mamilioni ya watengenezaji programu, ambao sasa wanaweza kufaidika moja kwa moja na uboreshaji wa utendaji wa AI bila juhudi zozote za ziada.

Ushirikiano na Alibaba: Modeli ya Qwen2-VL-2B-Instruct

Hatua mpya muhimu katika maendeleo ya AI ya multimodal kwenye vifaa vya pembezoni imefikiwa kupitia ushirikiano wa karibu na MNN. MNN ni mfumo mwepesi na wazi (open-source) wa deep learning uliotengenezwa na kusimamiwa na Alibaba. Ushirikiano huu umesababisha ujumuishaji wa KleidiAI, kuwezesha kazi za AI za multimodal kufanya kazi kwa ufanisi kwenye vifaa vya mkononi kwa kutumia CPU za Arm. Siri ya mafanikio haya ni modeli ya Alibaba ya Qwen2-VL-2B-Instruct yenye vigezo bilioni 2, iliyoboreshwa kwa maelekezo. Modeli hii imeundwa mahususi kwa ajili ya kuelewa picha, kutoa hoja kutoka kwa maandishi kwenda kwenye picha, na uzalishaji wa multimodal katika lugha nyingi, yote yakizingatia vikwazo vya vifaa vya pembezoni.

Maboresho ya Utendaji Yanayopimika

Ujumuishaji wa KleidiAI na MNN umetoa maboresho makubwa ya utendaji yanayopimika kwa modeli ya Qwen2-VL-2B-Instruct. Muda wa majibu wa haraka zaidi umeonekana katika matumizi muhimu ya AI ya multimodal kwenye vifaa vya pembezoni. Maboresho haya yanafungua uzoefu ulioboreshwa wa mtumiaji katika aina mbalimbali za programu za Alibaba zinazolenga wateja. Mifano ni pamoja na:

• Chatbots kwa huduma kwa wateja: Kutoa majibu ya haraka na bora zaidi kwa maswali ya wateja.
• Programu za ununuzi mtandaoni (E-shopping): Kuwezesha utafutaji wa bidhaa kwa picha, kuruhusu wateja kupata haraka bidhaa wanazotafuta kwa kupakia tu picha.

Kasi iliyoimarishwa katika programu hizi ni matokeo ya moja kwa moja ya maboresho makubwa ya utendaji:

• Uboreshaji wa ‘Pre-fill’: Uboreshaji wa utendaji wa asilimia 57 umefikiwa katika ‘pre-fill’. Hii inahusu hatua muhimu ambapo modeli za AI hushughulikia pembejeo za ‘prompt’ kutoka vyanzo vingi kabla ya kutoa jibu.
• Uboreshaji wa ‘Decode’: Uboreshaji wa utendaji wa asilimia 28 umeonekana katika ‘decode’. Huu ni mchakato ambapo modeli ya AI hutoa maandishi baada ya kuchakata ‘prompt’.

Zaidi ya kasi, ujumuishaji wa KleidiAI pia unachangia katika uchakataji bora zaidi wa kazi za AI kwenye vifaa vya pembezoni. Hii inafanikiwa kwa kupunguza gharama ya jumla ya kompyuta inayohusishwa na kazi za multimodal. Maboresho haya ya utendaji na ufanisi yanapatikana kwa urahisi kwa mamilioni ya watengenezaji programu. Mtengenezaji programu yeyote anayeendesha programu na kazi kwenye mfumo wa MNN, pamoja na mifumo mingine maarufu ya AI kwa vifaa vya pembezoni ambapo KleidiAI imeunganishwa, anaweza kufaidika mara moja.

Maonyesho ya Ulimwengu Halisi: MWC Showcase

Uwezo wa kivitendo wa modeli ya Qwen2-VL-2B-Instruct, inayoendeshwa na ujumuishaji mpya wa KleidiAI na MNN, ulionyeshwa kwenye Kongamano la Simu Duniani (Mobile World Congress - MWC). Onyesho katika banda la Arm lilionyesha uwezo wa modeli kuelewa mchanganyiko mbalimbali wa pembejeo za picha na maandishi. Modeli kisha ilijibu kwa muhtasari mfupi wa maudhui ya picha. Mchakato huu wote ulitekelezwa kwenye CPU ya Arm ya simu janja, ikionyesha nguvu na ufanisi wa suluhisho hili. Simu hizi janja zilitengenezwa kwa kutumia mfumo wa simu wa Dimensity 9400 wa MediaTek unaoendeshwa na Arm (SoC), ikiwa ni pamoja na mfululizo wa vivo X200.

Hatua Muhimu Mbele katika Uzoefu wa Mtumiaji

Ujumuishaji wa KleidiAI ya Arm na mfumo wa MNN kwa modeli ya Qwen2-VL-2B-Instruct ya Alibaba inawakilisha hatua kubwa mbele katika uzoefu wa mtumiaji kwa kazi za AI za multimodal. Maendeleo haya yanaleta uzoefu huu ulioboreshwa moja kwa moja kwenye vifaa vya pembezoni, yote yakiendeshwa na CPU ya Arm. Uwezo huu unapatikana kwa urahisi kwenye vifaa vya mkononi, huku programu zinazoongoza zinazolenga wateja tayari zikifaidika na KleidiAI.

Mustakabali wa AI ya Multimodal kwenye Vifaa vya Pembezoni

Tukiangalia mbele, uboreshaji wa KleidiAI kwa kazi za AI utaendelea kuwawezesha mamilioni ya watengenezaji programu. Wataweza kuunda uzoefu wa multimodal wa kisasa zaidi kwenye vifaa vya pembezoni. Ubunifu huu endelevu utafungua njia kwa wimbi lijalo la kompyuta yenye akili, ikiashiria hatua kubwa mbele katika mageuzi endelevu ya AI.

Nukuu kutoka kwa Uongozi wa Alibaba

‘Tunafurahi kuona ushirikiano kati ya modeli kubwa ya lugha ya Alibaba Cloud, Qwen, Arm KleidiAI, na MNN. Kuunganisha mfumo wa utekelezaji wa MNN kwenye kifaa na Arm KleidiAI kumeboresha kwa kiasi kikubwa muda wa kusubiri na ufanisi wa nishati wa Qwen. Ushirikiano huu unathibitisha uwezekano wa LLMs kwenye vifaa vya mkononi na unaboresha uzoefu wa mtumiaji wa AI. Tunatarajia kuendelea na juhudi katika kuendeleza kompyuta ya AI kwenye kifaa.’ - Dong Xu, GM wa Biashara ya Modeli Kubwa ya Tongyi, Alibaba Cloud.

‘Ujumuishaji wa kiufundi kati ya mfumo wa utekelezaji wa MNN na Arm KleidiAI unaashiria mafanikio makubwa katika uharakishaji kwenye kifaa. Kwa uboreshaji wa pamoja wa usanifu, tumeboresha sana ufanisi wa utekelezaji wa Tongyi LLM kwenye kifaa, tukiziba pengo kati ya uwezo mdogo wa kompyuta ya simu na uwezo wa juu wa AI. Mafanikio haya yanaangazia utaalamu wetu wa kiufundi na ushirikiano wa sekta mbalimbali. Tunatarajia kuendeleza ushirikiano huu ili kuboresha mfumo wa ikolojia wa kompyuta kwenye kifaa, tukitoa uzoefu wa AI laini na bora zaidi kwenye simu.’ - Xiaotang Jiang, Mkuu wa MNN, Kikundi cha Taobao na Tmall, Alibaba.

Kuchunguza Zaidi Vipengele vya Kiufundi

Ili kufahamu kikamilifu umuhimu wa ushirikiano huu, ni muhimu kuchunguza baadhi ya maelezo ya kiufundi ya msingi.

Jukumu la MNN

Falsafa ya muundo wa MNN inazingatia ufanisi na uwezo wa kubebeka. Inafanikisha hili kupitia vipengele kadhaa muhimu:

• Usanifu Mwepesi: MNN imeundwa kuwa na alama ndogo, ikipunguza mahitaji ya hifadhi na kumbukumbu kwenye vifaa vya pembezoni.
• Uendeshaji Ulioboreshwa: Mfumo unajumuisha shughuli za hisabati zilizoboreshwa sana mahususi kwa CPU za Arm, ikiongeza utendaji.
• Utangamano wa Mifumo Mbalimbali: MNN inasaidia mifumo mingi ya uendeshaji na majukwaa ya vifaa, na kuifanya kuwa chaguo bora kwa watengenezaji programu.

Mchango wa KleidiAI

KleidiAI inakamilisha uwezo wa MNN kwa kutoa seti ya taratibu maalum ambazo zinaharakisha zaidi utekelezaji wa AI. Taratibu hizi hutumia uzoefu mkubwa wa Arm katika usanifu wa CPU ili kufungua maboresho ya utendaji ambayo yangekuwa magumu kufikia vinginevyo. Vipengele muhimu vya mchango wa KleidiAI ni pamoja na:

• ‘Kernels’ Zilizoboreshwa Sana: KleidiAI hutoa ‘kernels’ zilizoboreshwa sana kwa shughuli za kawaida za AI, kama vile kuzidisha matriki na ‘convolution’. ‘Kernels’ hizi zimeboreshwa kwa uangalifu ili kutumia vipengele maalum vya CPU za Arm.
• Ujumuishaji wa Kiotomatiki: Ujumuishaji usio na mshono wa KleidiAI kwenye mifumo maarufu ya AI inamaanisha kuwa watengenezaji programu hawahitaji kujumuisha uboreshaji huu kwa mikono. Faida za utendaji hutumika kiotomatiki, ikirahisisha mchakato wa ukuzaji.
• Uboreshaji Endelevu: Arm imejitolea kuendelea kusasisha na kuboresha KleidiAI, ikihakikisha kuwa inabaki mstari wa mbele katika teknolojia ya uharakishaji wa AI.

Qwen2-VL-2B-Instruct: Modeli Yenye Nguvu ya Multimodal

Modeli ya Qwen2-VL-2B-Instruct ni ushuhuda wa utaalamu wa Alibaba katika modeli kubwa za lugha na AI ya multimodal. Vipengele vyake muhimu ni pamoja na:

• Uboreshaji wa Maelekezo (‘Instruction Tuning’): Modeli imeboreshwa mahususi kufuata maelekezo, na kuifanya iweze kubadilika kwa urahisi kwa aina mbalimbali za kazi.
• Uwezo wa Multimodal: Inafanya vizuri sana katika kuelewa na kuchakata taarifa za picha na maandishi, ikiwezesha programu kama vile maelezo ya picha na kujibu maswali ya picha.
• Usaidizi wa Lugha Nyingi: Modeli imeundwa kufanya kazi na lugha nyingi, ikipanua utumikaji wake katika maeneo na makundi mbalimbali ya watumiaji.
• Imeboreshwa kwa Vifaa vya Pembezoni: Licha ya uwezo wake mkubwa, modeli imeundwa kwa uangalifu kufanya kazi ndani ya vikwazo vya rasilimali za vifaa vya pembezoni.

Kupanua Wigo wa AI ya Multimodal

Maendeleo yaliyojadiliwa hapa hayahusu simu janja pekee. Kanuni na teknolojia zile zile zinaweza kutumika kwa aina mbalimbali za vifaa vya pembezoni, ikiwa ni pamoja na:

• Vifaa Mahiri vya Nyumbani: Kuwezesha wasaidizi wa sauti, utambuzi wa picha kwa kamera za usalama, na vipengele vingine vya akili.
• Vifaa Vinavyovaliwa: Kuwezesha ufuatiliaji wa afya, ufuatiliaji wa mazoezi, na programu za uhalisia ulioboreshwa (augmented reality).
• IoT ya Viwandani: Kuwezesha matengenezo ya utabiri, udhibiti wa ubora, na uendeshaji otomatiki katika mazingira ya utengenezaji.
• Magari: Kuboresha mifumo ya usaidizi wa dereva, burudani ndani ya gari, na uwezo wa kuendesha gari kwa uhuru.

Matumizi yanayowezekana ya AI ya multimodal kwenye vifaa vya pembezoni ni mengi na yanaendelea kupanuka. Kadiri modeli zinavyozidi kuwa za kisasa na vifaa vinavyozidi kuwa na nguvu, tunaweza kutarajia kuona matumizi mengi zaidi ya kibunifu na yenye athari. Ushirikiano huu kati ya Arm na Alibaba ni hatua muhimu katika mwelekeo huo, ukileta nguvu ya AI ya multimodal kwa hadhira pana na kuwezesha kizazi kipya cha vifaa vyenye akili. Mkazo juu ya ufanisi, utendaji, na ufikiaji wa watengenezaji programu huhakikisha kuwa maendeleo haya yatakuwa na athari pana na ya kudumu kwa mustakabali wa teknolojia.