Tencent Yazindua Hunyuan-T1: Upeo Mpya wa AI na Mamba

Mabadiliko ya Mazingira ya Uboreshaji wa Modeli Kubwa za Lugha

Uwanja wa akili bandia unashuhudia mabadiliko makubwa, hasa katika hatua za uboreshaji kufuatia mafunzo ya awali ya modeli kubwa za lugha (LLMs). Kujifunza kwa kuimarisha (Reinforcement learning - RL), mbinu ya kisasa ambapo modeli hujifunza kupitia majaribio na makosa ikiongozwa na tuzo, imeibuka kama nguvu kubwa inayoendesha mafanikio makubwa ya utendaji. Mbinu hii imeondoka kutoka kuwa udadisi wa kitaaluma hadi kuwa mkakati wa msingi kwa watengenezaji wakuu wa AI. Uwezo wa kuvutia ulioonyeshwa na modeli kama O-series ya OpenAI na DeepSeek R1 inayojulikana hutumika kama ushahidi thabiti, ukisisitiza kazi muhimu ya kujifunza kwa kuimarisha katika kuboresha matokeo ya modeli, kuboresha ujuzi wa kutatua matatizo, na kuoanisha tabia ya AI kwa karibu zaidi na matarajio na mapendeleo ya binadamu. Awamu hii ya baada ya mafunzo si tu kuhusu urekebishaji mzuri; ni kuhusu kuimarisha kimsingi uwezo wa utambuzi wa modeli.

Kutambulisha Hunyuan-T1: Hatua Kubwa katika Uwezo wa Kufikiri kwa Kina

Katika muktadha huu wa maendeleo ya haraka, timu ya Hunyuan ya Tencent imeweka alama muhimu. Mapema mwaka huu, katikati ya Februari, timu ilitoa muhtasari wa maendeleo yao na Hunyuan T1-Preview (Hunyuan-Thinker-1-Preview). Ikiunganishwa katika programu ya Tencent Yuanbao, modeli hii ya awali ya kufikiri, iliyojengwa juu ya msingi wa Hunyuan wa kiwango cha kati, iliwapa watumiaji ladha ya uwezo wa uchambuzi wa haraka na wa kina.

Tukijenga juu ya msingi huo, sasa tunajivunia kutangaza uzinduzi rasmi wa Hunyuan-T1, toleo kamili la modeli ya kufikiri kwa kina ndani ya familia kubwa ya modeli za Hunyuan. Hii si tu sasisho la nyongeza; inawakilisha mageuzi makubwa. Hunyuan-T1 inatumia msingi wa TurboS wa kufikiri haraka, usanifu wa kimapinduzi ulioletwa na Tencent mapema Machi. Kinachofanya TurboS kuwa ya kipekee hasa ni tofauti yake kama modeli kubwa ya kwanza duniani ya kiwango kikubwa sana ya Hybrid-Transformer-Mamba Mixture of Experts (MoE). Muundo huu wa mseto wa kibunifu unachanganya nguvu za usanifu ulioimarika wa Transformer na ufanisi na umahiri wa kushughulikia mfuatano wa modeli mpya ya nafasi ya hali ya Mamba. Kupitia utaratibu mpana na ulioundwa kwa uangalifu wa baada ya mafunzo, uwezo wa kufikiri wa Hunyuan-T1 umeimarishwa kwa kiasi kikubwa, na upatanishi wake na mapendeleo ya hila ya binadamu umeboreshwa kwa kiasi kikubwa. Ikilinganishwa na mtangulizi wake wa awali, Hunyuan-T1 rasmi inaonyesha maboresho dhahiri kote kote, ikiweka nafasi yake kama mshindani hodari miongoni mwa modeli kubwa za kisasa za sekta hiyo zenye uwezo mkubwa wa kufikiri.

Faida za Usanifu: Nguvu ya TurboS na Mamba

Uchaguzi wa TurboS kama msingi wa Hunyuan-T1 unatoa faida dhahiri, hasa wakati wa kushughulikia kazi zinazohitaji kufikiri kwa kina, kwa hatua nyingi. Kikwazo muhimu katika modeli nyingi kubwa za lugha hutokea wakati wa kushughulikia nyaraka ndefu au mazungumzo marefu. Taarifa iliyotolewa mapema inaweza kupunguzwa nguvu au kupotea kabisa wakati modeli inachakata maandishi yanayofuata, na kusababisha kile kinachojulikana kama upotevu wa muktadha. Zaidi ya hayo, kuanzisha uhusiano kati ya pointi zilizotenganishwa na sehemu kubwa za maandishi - utegemezi wa taarifa za umbali mrefu - kunaleta changamoto kubwa ya kikokotozi.

Usanifu unaounga mkono Hunyuan-T1, ulirithiwa kutoka TurboS, unakabiliana moja kwa moja na mapungufu haya. Muundo wake wa asili unatanguliza ukamataji thabiti wa maandishi marefu, kuhakikisha kuwa modeli inadumisha ufahamu imara zaidi wa pembejeo nzima, na hivyo kupunguza upotevu wa muktadha na kutambua kwa uhakika zaidi uhusiano muhimu katika mfuatano mrefu. Uwezo huu ni muhimu kwa kazi ngumu za kufikiri ambazo mara nyingi zinahitaji kuunganisha taarifa zilizotawanyika katika mkusanyiko mkubwa wa maandishi.

Kiini cha uwezo huu ulioimarishwa ni sehemu ya usanifu wa Mamba. Mamba inawakilisha kuondoka kutoka kwa mifumo inayotegemea umakini tu iliyoenea katika modeli nyingi za Transformer. Inatumia mbinu ya modeli ya nafasi ya hali (state space model - SSM), iliyoboreshwa mahsusi kwa ajili ya kuchakata mfuatano mrefu kwa ufanisi wa ajabu. Faida muhimu ni pamoja na:

• Utata wa Muda wa Linear: Tofauti na utata wa quadratic wa mifumo ya kawaida ya umakini kuhusu urefu wa mfuatano, Mamba hupima kwa mstari. Hii inafanya uchakataji wa maandishi marefu sana kuwawezekana kikokotozi bila mahitaji makubwa ya rasilimali.
• Ukokotoaji Ufanisi: Muundo wa Mamba unaruhusu ukokotoaji unaoweza kufanywa sambamba wakati wa mafunzo na operesheni za kujirudia zenye ufanisi wakati wa inference. Hii inatafsiri moja kwa moja kuwa kasi ya juu ya uchakataji.
• Usimamizi Teule wa Hali: Modeli za Mamba zinaweza kuhifadhi au kusahau taarifa kwa kuchagua zinapochakata mfuatano, zikiiga mbinu iliyolenga zaidi ya usimamizi wa muktadha, ambayo ni muhimu kwa kudumisha taarifa muhimu kwa umbali mrefu.

Kwa hivyo, TurboS, na kwa upanuzi Hunyuan-T1, inaweza kuchambua kwa ufanisi pembejeo ndefu huku ikitumia rasilimali chache sana za kikokotozi ikilinganishwa na modeli za jadi za Transformer za kiwango sawa. Alama za ndani zinaonyesha kuwa chini ya hali sawa za upelekaji, Hunyuan-T1 inafikia kasi ya kusimbua mara mbili zaidi kuliko modeli zinazolingana zisizo na uboreshaji wa Mamba, jambo muhimu kwa matumizi ya ulimwengu halisi yanayohitaji majibu kwa wakati unaofaa.

Tanuru la Baada ya Mafunzo: Kughushi Uwezo wa Kufikiri kwa Kujifunza kwa Kuimarisha

Mpito kutoka kwa modeli ya msingi ya TurboS hadi Hunyuan-T1 yenye uwezo mkubwa ulihusisha awamu kubwa na iliyolenga kimkakati ya baada ya mafunzo. Ikitambua jukumu muhimu la mbinu za hali ya juu za kujifunza, Tencent ilitoa asilimia 96.7 ya rasilimali za kikokotozi zilizotengwa kwa awamu hii mahsusi kwa mafunzo ya kujifunza kwa kuimarisha (RL). Uwekezaji huu mkubwa unasisitiza kipaumbele wazi cha kimkakati: kuinua uwezo halisi wa kufikiri wa modeli na kuoanisha kwa uangalifu matokeo yake na hukumu na mapendeleo magumu ya binadamu.

Hii haikuwa tu kuhusu kulisha modeli data zaidi; ilikuwa kuhusu kuifundisha jinsi ya kufikiri kwa ufanisi zaidi. Malengo makuu ya awamu hii yenye nguvu ya RL yalikuwa mawili:

1. Kuimarisha Kufikiri Halisi: Kusukuma mipaka ya uwezo wa modeli kufanya makisio ya kimantiki, hesabu za kihisabati, makisio ya sababu na athari, na utatuzi wa matatizo magumu katika nyanja mbalimbali.
2. Kuboresha Ulinganifu na Binadamu: Kuhakikisha majibu ya modeli si sahihi tu bali pia yanafaa, hayana madhara, ni ya kweli, na yana nuances kwa njia inayowavutia watumiaji wa kibinadamu. Hii inahusisha kuelewa nia iliyofichika, kutoa matokeo yanayoeleweka na yanayofaa kimuktadha, na kuzingatia miongozo ya usalama.

Ili kuendesha mchakato huu wa mafunzo unaohitaji nguvu nyingi, mkusanyiko mkubwa na tofauti wa data ulikusanywa kwa uangalifu. Mkusanyiko huu ulijumuisha matatizo ya sayansi na kufikiri ya ulimwengu, yakijumuisha wigo mpana wa taaluma:

• Hisabati: Kuanzia hesabu za msingi na aljebra hadi calculus, nadharia ya namba, na matatizo ya kiwango cha juu cha mashindano.
• Kufikiri kwa Mantiki: Mafumbo, kazi za makisio ya deductive, changamoto za kufikiri kwa kina, na matatizo ya mantiki rasmi.
• Sayansi: Maswali na matatizo yanayohusu fizikia, kemia, biolojia, na nyanja zingine za kisayansi, mara nyingi yakihitaji kufikiri kwa hatua nyingi na matumizi ya kanuni.
• Usimbaji (Coding): Ubunifu wa algoriti, uzalishaji wa msimbo, utatuzi wa hitilafu, na kuelewa mantiki tata ya programu katika lugha mbalimbali.

Muhimu zaidi, data hii iliunganishwa na maoni halisi ya msingi (ground-truth real feedback). Mzunguko huu wa maoni ni muhimu kwa kujifunza kwa kuimarisha, ukitoa ishara ambayo modeli inahitaji kuelewa ni njia zipi za kufikiri zinapelekea matokeo sahihi au yanayopendelewa. Msingi huu thabiti unahakikisha kuwa Hunyuan-T1 inakuza umahiri unaoonekana inapokabiliwa na anuwai kubwa ya kazi ngumu za kufikiri zinazokutana nazo katika hali halisi za ulimwengu.

Mbinu za Kisasa za Mafunzo

Ukubwa wa uwekezaji wa kikokotozi na ukusanyaji wa data uliambatana na mikakati ya kisasa ya mafunzo iliyoundwa kuongeza ufanisi wa kujifunza na utulivu wa modeli.

• Kujifunza kwa Mtaala (Curriculum Learning): Badala ya kuizidishia modeli matatizo magumu zaidi mara moja, mbinu ya kujifunza kwa mtaala ilipitishwa. Mafunzo yalianza na kazi rahisi na hatua kwa hatua yakaanzisha matatizo magumu zaidi. Wakati huo huo, urefu wa muktadha unaofaa wa modeli ulipanuliwa kwa kuendelea. Mbinu hii ya hatua kwa hatua inaruhusu modeli kujenga ujuzi wa msingi wa kufikiri kabla ya kukabiliana na changamoto za hali ya juu zaidi, ikikuza kujifunza kwa utulivu na ufanisi zaidi. Pia inafundisha modeli kutumia uwezo wake wa tokeni kwa busara kwa kufikiri kwa ufanisi, ikikuza aina ya ufanisi wa kikokotozi katika mchakato wake wa kufikiri.
• Mbinu za Hali ya Juu za Kujifunza kwa Kuimarisha: Ili kuhakikisha maendeleo thabiti na endelevu wakati wa mafunzo marefu ya RL, mikakati ya kawaida lakini yenye nguvu ilitumika. Mbinu kama vile kucheza tena data (data replay) (kutumia tena uzoefu wa zamani ili kuimarisha kujifunza) na kuweka upya sera mara kwa mara (periodic policy resetting) (mara kwa mara kurudi kwenye hali za awali za modeli zilizo thabiti ili kuzuia mkengeuko) ziliunganishwa. Mbinu hizi zilithibitika kuwa na ufanisi mkubwa, zikiongeza kwa kiasi kikubwa utulivu wa muda mrefu wa mchakato wa mafunzo ya modeli kwa zaidi ya 50%, zikipunguza masuala kama vile usahaulifu mbaya (catastrophic forgetting) au kuporomoka kwa sera (policy collapse) ambayo yanaweza kuathiri juhudi kubwa za RL.
• Mfumo wa Tuzo Uliounganishwa: Kuoanisha modeli na mapendeleo ya binadamu ni kazi ngumu. Hunyuan-T1 ilitumia mfumo mpya wa tuzo uliounganishwa. Mfumo huu uliunganisha maoni kutoka vyanzo viwili:
  • Kujitunuku (Self-Rewarding): Toleo la awali la modeli ya T1-preview lilitumika kama jaji wa kiotomatiki kutathmini kwa kina na kutoa alama kwa matokeo ya modeli iliyokuwa ikifanyiwa mafunzo. Hii inaruhusu uzalishaji wa maoni wa haraka, kwa kiwango kikubwa kulingana na vigezo vilivyowekwa awali.
  • Modeli ya Tuzo (Reward Model): Modeli tofauti iliyofunzwa mahsusi kutabiri mapendeleo ya binadamu ilitoa safu ya ziada ya mwongozo, ikikamata vipengele vya hila zaidi vya ubora, manufaa, na usalama.
    Utaratibu huu wa maoni uliounganishwa uliongoza modeli kupitia mchakato wa kujiboresha, ukihimiza matokeo yanayojulikana kwa maelezo tajiri zaidi ya maudhui, utoaji wa taarifa kwa ufanisi zaidi, na ulinganifu bora kwa ujumla na sifa za majibu zinazohitajika.

Alama za Utendaji: Kusimama Imara Miongoni mwa Wasomi

Kipimo cha mwisho cha modeli kubwa ya lugha kiko katika utendaji wake. Hunyuan-T1 imetathminiwa kwa ukali dhidi ya msururu wa alama za umma na seti za data za ndani, ikionyesha uwezo unaoiweka imara ndani ya daraja la juu la modeli za kisasa za AI.

Inapolinganishwa na DeepSeek R1, modeli nyingine inayozingatiwa sana inayolenga kufikiri, Hunyuan-T1 inafikia matokeo yanayolingana au bora kidogo kwenye alama kadhaa muhimu za umma zinazotathmini maarifa na kufikiri katika lugha na nyanja tofauti:

• MMLU-pro: Alama ngumu iliyoundwa kutathmini maarifa kamili na kufikiri katika masomo mbalimbali ya kitaaluma na kitaalamu.
• CEval: Seti ya tathmini ya lugha ya Kichina ya taaluma mbalimbali.
• AIME: Inalenga matatizo ya hisabati ya kiwango cha mashindano yanayohitaji kufikiri kwa kisasa.
• Zebra Logic: Alama inayolenga mahsusi mafumbo magumu ya makisio ya kimantiki.

Zaidi ya majaribio haya maalum, seti za data za tathmini za ndani za kibinadamu hutoa ufahamu zaidi. Wakati ikifanya kazi sawa na R1 katika maeneo mengi, Hunyuan-T1 inaonyesha faida kidogo katika kazi zinazohusiana na:

• Ufuataji wa Maagizo ya Kitamaduni na Ubunifu: Kuzalisha miundo ya maandishi ya ubunifu, kubadilika kulingana na maombi maalum ya kimtindo yenye nuances za kitamaduni.
• Muhtasari wa Maandishi: Kutoa muhtasari mfupi na sahihi wa nyaraka ndefu huku ikihifadhi taarifa muhimu.
• Uwezo wa Wakala (Agent Capabilities): Kuonyesha umahiri katika kazi zinazohitaji kupanga, matumizi ya zana, na mwingiliano na mifumo ya nje.

Tukiangalia vipimo vya tathmini kamili vilivyoundwa kupima uwezo wa jumla, Hunyuan-T1 inaimarisha nafasi yake miongoni mwa modeli za inference za wasomi.

• Kwenye MMLU-PRO, T1 ilipata alama ya ajabu ya 87.2, ya pili tu baada ya modeli ya O1 ya OpenAI wakati wa tathmini. Alama hii inajumuisha nyanja 14, ikiwa ni pamoja na ubinadamu, sayansi ya jamii, na masomo ya STEM, ikijaribu urejeshaji wa maarifa mapana na uelewa.
• Utendaji kwenye GPQA-diamond pia ni wa kutajwa. Alama hii inazingatia maarifa ya kiwango cha kitaalam na kufikiri tata kwa kisayansi, ikiwa na matatizo ya kiwango cha udaktari hasa katika fizikia, kemia, na biolojia. Hunyuan-T1 ilipata alama ya 69.3, ikionyesha uwezo mkubwa katika kushughulikia maswali ya kisayansi yaliyobobea sana na magumu.

Kufanya Vizuri katika Sayansi, Uhandisi, na Ulinganifu

Tathmini zaidi zilichimba katika maeneo maalum yanayohitaji uwezo thabiti wa kufikiri:

• Usimbaji (Coding): Katika tathmini ya msimbo ya LiveCodeBench, ambayo hujaribu utatuzi wa matatizo ya usimbaji wa vitendo, T1 ilifikia alama ya 64.9, ikionyesha mantiki thabiti ya programu na ujuzi wa kuzalisha msimbo.
• Hisabati: Modeli inaonyesha nguvu ya kipekee katika hisabati. Utendaji wake kwenye MATH-500, seti ya data ya matatizo magumu ya hisabati, ilitoa alama bora ya 96.2. Matokeo haya yanaiweka bega kwa bega na DeepSeek R1, ikiangazia uwezo mkubwa wa Hunyuan-T1 wa kukabiliana na kufikiri tata kwa kihisabati.
• Ulinganifu na Ufuataji wa Maagizo: Zaidi ya utatuzi wa matatizo tu, T1 inaonyesha ubadilikaji thabiti katika kazi mbalimbali za ulinganifu. Inafanya vizuri katika hali za kufuata maagizo na inaonyesha umahiri katika kutumia zana inapohitajika. Kwa mfano, katika kazi ya ArenaHard, iliyoundwa kutathmini utendaji kwenye vidokezo vigumu vilivyotolewa na mtumiaji, T1 ilipata alama ya juu ya 91.9.

Matokeo haya kwa pamoja yanatoa picha ya modeli kubwa ya lugha yenye uwezo mkubwa, inayoweza kubadilika, na iliyolinganishwa vizuri. Ujumuishaji wa kimkakati wa usanifu wa Hybrid-Transformer-Mamba, pamoja na utaratibu mkali wa baada ya mafunzo unaolenga RL, umefikia kilele katika Hunyuan-T1 - modeli inayoonyesha umahiri wa kipekee wa kufikiri, hasa katika hali ngumu, zenye muktadha mrefu na nyanja zinazohitaji nguvu za kisayansi na kihisabati.