Kufungua Uwezo wa AI na LM Studio
Prosesa ya Ryzen AI Max+ 395 inaonyesha uwezo wake wa kipekee katika kazi zinazohitaji nguvu kubwa za akili bandia (AI), kama inavyothibitishwa na utendaji wake bora katika LM Studio, programu inayotumia teknolojia ya llama.cpp. Ikiwa inajitokeza kama jukwaa kuu la utekelezaji wa Miundo Mkubwa ya Lugha (LLM) kwa upande wa mteja, LM Studio inawawezesha watumiaji kuendesha miundo ya hivi karibuni ya lugha moja kwa moja kwenye kompyuta zao, bila kuhitaji utaalamu maalum wa kiufundi. Urahisi huu wa matumizi unafanya uwekaji wa miundo mipya ya AI ya maandishi na picha kuwa rahisi sana siku ya kwanza.
Jukwaa la ‘Strix Halo’, lenye prosesa za mfululizo wa AMD Ryzen AI MAX+, linaongeza kwa kiasi kikubwa uongozi wa utendaji wa AMD katika mazingira ya LM Studio.
Prosesa nyingi zinazoshindana katika sehemu hii zina ukomo wa kumbukumbu ya kifurushi ya 32GB. Ingawa uwezo huu kwa ujumla unatosha kuendesha miundo mikubwa ya lugha hadi takriban 16GB kwa ukubwa, Ryzen AI MAX+ 395 inazidi mipaka hii, ikitoa faida kubwa katika kushughulikia miundo mikubwa na ngumu zaidi.
Utawala wa Ulinganishaji: Miundo ya Lugha ya Maandishi na Picha
Ulinganishaji mkali ndani ya LM Studio unaonyesha nguvu kubwa ya AMD Ryzen AI MAX+ 395. Ikiunganishwa na kifaa kama ASUS ROG Flow Z13, prosesa inafikia hadi mara 2.2 ya utoaji wa tokeni ikilinganishwa na Intel Arc 140V. Ongezeko hili la ajabu la utendaji sio tukio la pekee; linabaki thabiti kwa kushangaza katika aina mbalimbali za miundo na ukubwa wa vigezo.
Katika kipimo muhimu cha muda hadi tokeni ya kwanza, prosesa ya AMD Ryzen AI MAX+ 395 inaonyesha faida kubwa zaidi. Inafikia kasi hadi mara 4 zaidi kuliko washindani wakati wa kufanya kazi na miundo midogo, kama vile Llama 3.2 3b Instruct.
Faida ya utendaji inaongezeka kwa kasi na miundo mikubwa. Wakati wa kushughulikia miundo yenye vigezo bilioni 7 na bilioni 8, kama DeepSeek R1 Distill Qwen 7b na DeepSeek R1 Distill Llama 8b, Ryzen AI Max+ 395 inapanda hadi mara 9.1 kwa kasi zaidi. Na kwa miundo yenye vigezo bilioni 14, ASUS ROG Flow Z13, ikiwa na nguvu ya Ryzen AI Max+ 395, inafikia utendaji usio na kifani wa mara 12.2 kwa kasi zaidi kuliko kompyuta ndogo iliyo na Intel Core Ultra 258V – tofauti inayozidi kiwango cha ukubwa!
Uhusiano uko wazi: kadiri LLM inavyokuwa kubwa, ndivyo faida ya kasi ya prosesa ya AMD Ryzen AI Max+ 395 inavyozidi kuwa kubwa katika kujibu maswali ya mtumiaji. Ikiwa ni katika mazungumzo shirikishi na muundo au kukabidhi kazi ngumu za ufupisho zinazohusisha maelfu ya tokeni, mashine inayoendeshwa na AMD inatoa nyakati za majibu kwa kasi zaidi. Faida hii inaongezeka sawia na urefu wa swali, ikimaanisha kuwa kadiri kazi inavyohitaji, ndivyo faida ya utendaji inavyokuwa kubwa.
Kukumbatia AI ya Njia Nyingi: Uwezo wa Kuona
Mageuzi ya AI yanaenda kwa kasi zaidi ya LLM za maandishi pekee. Kwa kuongezeka, miundo yenye uwezo mkubwa wa njia nyingi inajitokeza, ikijumuisha adapta za kuona na uwezo wa kufikiri kwa kuona. Miundo ya IBM Granite Vision na familia ya hivi karibuni ya Google Gemma 3 ni mifano bora, yote yakitoa uwezo wa hali ya juu wa kuona ambao umeunganishwa bila mshono na kizazi kijacho cha Kompyuta za AMD AI. Miundo hii inaonyesha utendaji wa kipekee kwenye mifumo inayoendeshwa na prosesa ya AMD Ryzen AI MAX+ 395.
Katika muktadha wa miundo ya kuona, kipimo cha muda hadi tokeni ya kwanza kinawakilisha kwa ufanisi muda unaohitajika kwa muundo kuchambua picha iliyotolewa.
Hapa tena, prosesa ya Ryzen AI Max+ 395 inaonyesha uongozi mkuu. Ni hadi mara 7 kwa kasi zaidi katika IBM Granite Vision 3.2 3b, hadi mara 4.6 kwa kasi zaidi katika Google Gemma 3 4b, na hadi mara 6 kwa kasi zaidi katika Google Gemma 3 12b. ASUS ROG Flow Z13, ikiwa na chaguo la kumbukumbu ya 64GB, inaweza hata kushughulikia kwa urahisi muundo wa Google Gemma 3 27B Vision, ambao kwa sasa unatambuliwa kama muundo wa hali ya juu (SOTA) wa kuona.
Onyesho lingine la kuvutia linahusisha kuendesha DeepSeek R1 Distill Qwen 32b katika usahihi wa biti 6. Usanidi huu unawawezesha watumiaji kuandika msimbo wa mchezo wa kawaida katika muda mfupi sana, takriban dakika 5.
Kuboresha Mipangilio kwa Utendaji wa LLM
Ili kutumia kikamilifu uwezo wa prosesa ya AMD Ryzen AI MAX+ 395 kwa kazi za LLM, ni muhimu kuhakikisha kuwa mfumo wako unaendesha kiendeshi cha hivi karibuni cha AMD Software: Adrenalin Edition. Kompyuta ndogo za AMD zinazoendeshwa na prosesa za mfululizo wa AMD Ryzen AI 300 zina Variable Graphics Memory (VGM). AMD inapendekeza sana kuwezesha VGM kwa kazi zote za LLM ili kuongeza utoaji wa tokeni na kuwezesha utekelezaji wa miundo mikubwa. Mpangilio wa ‘High’ wa VGM unapendekezwa kwa utendaji bora. Chaguzi za VGM zinapatikana kupitia kichupo cha Performance > Tuning ndani ya AMD Software: Adrenalin Edition.
Wakati wa kuendesha LLM, ni muhimu pia kuangalia chaguo la ‘manually select parameters’ na kuweka mpangilio wa GPU Offload kuwa ‘MAX.’ AMD inapendekeza kutumia Q4 K M quantization kwa matumizi ya kila siku na Q6 au Q8 quantization kwa kazi za kuandika msimbo.
Mustakabali wa AI Ukiwa Safarini
Kupata uzoefu wa AI moja kwa moja kwenye kompyuta ndogo zinazoendeshwa na prosesa ya AMD Ryzen AI MAX+ 395 kunawapa watumiaji wenye nguvu fursa ya kipekee ya kushirikiana na miundo ya kisasa ya AI huku wakidumisha ubebaji na uwezo mwingi wa kompyuta ndogo. Mchanganyiko huu wa nguvu na ubebaji unafanya vifaa hivi kuwa bora kwa michezo ya kubahatisha na uzalishaji, na kuweka kiwango kipya cha kompyuta ya mkononi. Ryzen AI MAX +395 sio tu prosesa; ni lango la enzi mpya ya uzoefu unaoendeshwa na AI, inayopatikana kwa urahisi na inayobebeka sana. Inaruhusu shughuli ngumu kufanywa kwa urahisi, na kuweka kiwango kipya cha kile watumiaji wanapaswa kutarajia.
AMD Ryzen™ AI MAX+ 395: Kufafanua Upya Utendaji wa AI Katika Kompyuta Ndogo Nyembamba
Utangulizi wa AMD wa prosesa ya Ryzen AI MAX+ 395 unaashiria mabadiliko makubwa katika uwezo wa kompyuta ndogo nyembamba na nyepesi. Prosesa hii mpya inatoa ongezeko la utendaji lisilo na kifani, lililoundwa mahususi kwa ajili ya uwanja unaokua wa matumizi ya akili bandia. Kwa kutumia teknolojia ya kisasa ya ‘Zen 5’ CPU cores, NPU yenye nguvu ya 50+ peak AI TOPS XDNA 2, na GPU iliyounganishwa yenye nguvu inayoendeshwa na 40 AMD RDNA 3.5 Compute Units, Ryzen AI MAX+ 395 inainua kiwango cha juu cha kompyuta ndogo nyembamba na nyepesi hadi viwango ambavyo havijawahi kushuhudiwa. Zaidi ya hayo, prosesa hii inapatikana ikiwa na chaguzi za kumbukumbu zilizounganishwa kuanzia 32GB hadi 128GB, ikiwa na uwezo wa kutenga hadi 96GB kama VRAM kupitia teknolojia ya kibunifu ya AMD ya Variable Graphics Memory.
Kufungua Uwezo wa AI kwa Kutumia LM Studio
Ryzen AI Max+ 395 inang’aa sana katika kazi za AI za watumiaji zinazohitaji nguvu, kama inavyoonyeshwa na utendaji wake wa kipekee katika LM Studio, programu inayoendeshwa na llama.cpp. Ikiwa inajitokeza kama jukwaa la msingi la utendakazi wa Miundo Mkubwa ya Lugha (LLM) kwa upande wa mteja, LM Studio inawawezesha watumiaji kuendesha miundo ya hivi punde ya lugha ndani ya nchi, na kuondoa hitaji la utaalamu maalum wa kiufundi. Urahisi huu wa matumizi unafanya uwekaji wa miundo mipya ya AI ya maandishi na picha kuwa rahisi sana siku ya kwanza.
Jukwaa la ‘Strix Halo’, lenye prosesa za mfululizo wa AMD Ryzen AI MAX+, linaongeza kwa kiasi kikubwa uongozi wa utendaji wa AMD katika mazingira ya LM Studio.
Prosesa nyingi zinazoshindana katika sehemu hii zina ukomo wa kumbukumbu ya kifurushi ya 32GB. Ingawa uwezo huu kwa ujumla unatosha kwa kuendesha miundo mikubwa ya lugha hadi takriban 16GB kwa ukubwa, Ryzen AI MAX+ 395 inazidi mipaka hii, ikitoa faida kubwa katika kushughulikia miundo mikubwa na ngumu zaidi.
Utawala wa Ulinganishaji: Miundo ya Lugha ya Maandishi na Picha
Ulinganishaji wa kina ndani ya LM Studio unaonyesha nguvu kubwa ya AMD Ryzen AI MAX+ 395. Ikiunganishwa na kifaa kama ASUS ROG Flow Z13, prosesa inafikia hadi mara 2.2 ya utoaji wa tokeni ikilinganishwa na Intel Arc 140V. Ongezeko hili la ajabu la utendaji si tukio la pekee; linabaki thabiti kwa kushangaza katika aina mbalimbali za miundo na ukubwa wa vigezo.
Katika kipimo muhimu cha muda hadi tokeni ya kwanza, prosesa ya AMD Ryzen AI MAX+ 395 inaonyesha faida kubwa zaidi. Inafikia kasi hadi mara 4 zaidi kuliko washindani wakati wa kufanya kazi na miundo midogo, kama vile Llama 3.2 3b Instruct.
Faida ya utendaji inaongezeka kwa kasi na miundo mikubwa. Wakati wa kushughulikia miundo yenye vigezo bilioni 7 na bilioni 8, kama DeepSeek R1 Distill Qwen 7b na DeepSeek R1 Distill Llama 8b, Ryzen AI Max+ 395 inapanda hadi mara 9.1 kwa kasi zaidi. Na kwa miundo yenye vigezo bilioni 14, ASUS ROG Flow Z13, ikiwa na nguvu ya Ryzen AI Max+ 395, inafikia utendaji usio na kifani wa mara 12.2 kwa kasi zaidi kuliko kompyuta ndogo iliyo na Intel Core Ultra 258V – tofauti inayozidi kiwango cha ukubwa!
Uhusiano uko wazi: kadiri LLM inavyokuwa kubwa, ndivyo faida ya kasi ya prosesa ya AMD Ryzen AI Max+ 395 inavyozidi kuwa kubwa katika kujibu maswali ya mtumiaji. Ikiwa ni katika mazungumzo shirikishi na muundo au kukabidhi kazi ngumu za ufupisho zinazohusisha maelfu ya tokeni, mashine inayoendeshwa na AMD inatoa nyakati za majibu kwa kasi zaidi. Faida hii inaongezeka sawia na urefu wa swali, ikimaanisha kuwa kadiri kazi inavyohitaji, ndivyo faida ya utendaji inavyokuwa kubwa.
Kukumbatia AI ya Njia Nyingi: Uwezo wa Kuona
Mageuzi ya AI yanaenda kwa kasi zaidi ya LLM za maandishi pekee. Kwa kuongezeka, miundo yenye uwezo mkubwa wa njia nyingi inajitokeza, ikijumuisha adapta za kuona na uwezo wa kufikiri kwa kuona. Miundo ya IBM Granite Vision na familia ya hivi karibuni ya Google Gemma 3 ni mifano bora, yote yakitoa uwezo wa hali ya juu wa kuona ambao umeunganishwa bila mshono na kizazi kijacho cha Kompyuta za AMD AI. Miundo hii inaonyesha utendaji wa kipekee kwenye mifumo inayoendeshwa na prosesa ya AMD Ryzen AI MAX+ 395.
Katika muktadha wa miundo ya kuona, kipimo cha muda hadi tokeni ya kwanza kinawakilisha kwa ufanisi muda unaohitajika kwa muundo kuchambua picha iliyotolewa.
Hapa tena, prosesa ya Ryzen AI Max+ 395 inaonyesha uongozi mkuu. Ni hadi mara 7 kwa kasi zaidi katika IBM Granite Vision 3.2 3b, hadi mara 4.6 kwa kasi zaidi katika Google Gemma 3 4b, na hadi mara 6 kwa kasi zaidi katika Google Gemma 3 12b. ASUS ROG Flow Z13, ikiwa na chaguo la kumbukumbu ya 64GB, inaweza hata kushughulikia kwa urahisi muundo wa Google Gemma 3 27B Vision, ambao kwa sasa unatambuliwa kama muundo wa hali ya juu (SOTA) wa kuona.
Onyesho lingine la kuvutia linahusisha kuendesha DeepSeek R1 Distill Qwen 32b katika usahihi wa biti 6. Usanidi huu unawawezesha watumiaji kuandika msimbo wa mchezo wa kawaida katika muda mfupi sana, takriban dakika 5.
Kuboresha Mipangilio kwa Utendaji Bora wa LLM
Ili kutumia kikamilifu uwezo wa prosesa ya AMD Ryzen AI MAX+ 395 kwa kazi za LLM, ni muhimu kuhakikisha kuwa mfumo wako unaendesha kiendeshi cha hivi karibuni cha AMD Software: Adrenalin Edition. Kompyuta ndogo za AMD zinazoendeshwa na prosesa za mfululizo wa AMD Ryzen AI 300 zina Variable Graphics Memory (VGM). AMD inapendekeza sana kuwezesha VGM kwa kazi zote za LLM ili kuongeza utoaji wa tokeni na kuwezesha utekelezaji wa miundo mikubwa. Mpangilio wa ‘High’ wa VGM unapendekezwa kwa utendaji bora. Chaguzi za VGM zinapatikana kupitia kichupo cha Performance > Tuning ndani ya AMD Software: Adrenalin Edition.
Wakati wa kuendesha LLM, ni muhimu pia kuangalia chaguo la ‘manually select parameters’ na kuweka mpangilio wa GPU Offload kuwa ‘MAX.’ AMD inapendekeza kutumia Q4 K M quantization kwa matumizi ya kila siku na Q6 au Q8 quantization kwa kazi za kuandika msimbo.
Mustakabali wa AI Ukiwa Safarini
Kupata uzoefu wa AI moja kwa moja kwenye kompyuta ndogo zinazoendeshwa na prosesa ya AMD Ryzen AI MAX+ 395 kunawapa watumiaji wenye nguvu fursa ya kipekee ya kushirikiana na miundo ya kisasa ya AI huku wakidumisha ubebaji na uwezo mwingi wa kompyuta ndogo. Mchanganyiko huu wa nguvu na ubebaji unafanya vifaa hivi kuwa bora kwa michezo ya kubahatisha na uzalishaji, na kuweka kiwango kipya cha kompyuta ya mkononi. Ryzen AI MAX +395 si tu prosesa; ni lango la enzi mpya ya uzoefu unaoendeshwa na AI, inayopatikana kwa urahisi na inayobebeka sana. Inaruhusu shughuli ngumu kufanywa kwa urahisi, na kuweka kiwango kipya cha kile watumiaji wanapaswa kutarajia.