RWKV-7 'Goose': Mwelekeo Mpya wa Uundaji Mfuatano Bora

Mabadiliko Katika Uchakataji wa Mfuatano: Zaidi ya Mapungufu ya Transformer

Kwa miaka kadhaa, uwanja wa uundaji mfuatano, hasa katika uchakataji wa lugha asilia, umekuwa ukiongozwa kwa kiasi kikubwa na mafanikio ya usanifu wa autoregressive Transformer. Uwezo wao wa ajabu wa kujifunza ndani ya muktadha, pamoja na urahisi wa kufanya kazi sambamba wakati wa mafunzo unaowezeshwa na utaratibu wa softmax attention, uliimarisha msimamo wao kama dhana kuu. Hata hivyo, utawala huu unakuja na gharama kubwa. Injini kuu ya kikokotozi, softmax attention, inaonyesha tabia ya kuongezeka kwa kipeo cha pili kulingana na urefu wa mfuatano wa ingizo. Tabia hii inatafsiriwa moja kwa moja kuwa ongezeko la gharama za kikokotozi na mahitaji makubwa ya kumbukumbu, ikiweka kikwazo kikubwa, hasa wakati wa kushughulikia mfuatano mrefu unaopatikana katika matumizi ya kisasa kama vile ufupishaji wa nyaraka, kujibu maswali marefu, au uchambuzi wa jenomu.

Ingawa uboreshaji wa kisasa wa GPU umeweza kupunguza baadhi ya shinikizo hizi kwa urefu mfupi wa mfuatano wakati wa mafunzo, hatua ya utoaji wa hitimisho – ambapo miundo hutumika katika hali halisi – inabaki kuwa na matumizi makubwa ya rasilimali na gharama kubwa, hasa inapofanya kazi kwa kiwango kikubwa. Asili ya kipeo cha pili ya attention inamaanisha kuwa kuongeza urefu wa mfuatano mara mbili huongeza juhudi za kikokotozi na matumizi ya kumbukumbu mara nne wakati wa utoaji wa hitimisho, na kufanya utumiaji wa miundo mikubwa sana ya Transformer kwenye muktadha mrefu kuwa changamoto kiuchumi au kutowezekana kiufundi katika hali nyingi.

Kutambua mapungufu haya ya kimsingi, watafiti wameendelea kuchunguza njia mbadala za usanifu. Mwelekeo mmoja unaoahidi unahusisha kurejelea na kufufua miundo ya recurrent neural network (RNN). Mbinu za kisasa za RNN zinalenga kujumuisha mifumo ya hali inayobana. Hali hizi zinajumuisha taarifa muhimu za kihistoria kutoka kwa mfuatano, kuruhusu mfumo kufanya kazi kwa utata wa kikokotozi wa linear kulingana na urefu wa mfuatano na, muhimu zaidi, kudumisha matumizi ya kumbukumbu ya kudumu bila kujali urefu wa mfuatano wakati wa utoaji wa hitimisho. Tabia hii inatoa faida kubwa juu ya Transformers kwa kazi za mfuatano mrefu. Hatua za hivi karibuni katika maeneo kama vile makadirio ya linear attention na state-space models (SSMs) zimeonyesha uwezo mkubwa. Usanifu kama vile RWKV-4 uliibuka kama mifano mashuhuri, ikionyesha viwango vya utendaji vya ushindani huku ikipunguza kwa kiasi kikubwa mzigo wa kikokotozi unaohusishwa na utoaji wa hitimisho, ikidokeza njia inayowezekana mbele zaidi ya vikwazo vya kipeo cha pili vya attention ya kawaida.

Kuanzisha RWKV-7 “Goose”: Alama Mpya katika Utendaji wa Usanifu Unaojirudia

Kujenga juu ya msingi huu na kusukuma mipaka ya usanifu unaojirudia, juhudi za ushirikiano zinazohusisha watafiti kutoka taasisi mbalimbali, ikiwa ni pamoja na RWKV Project, EleutherAI, Tsinghua University, na wengine, zimefikia kilele katika maendeleo ya RWKV-7, iliyopewa jina la siri “Goose.” Usanifu huu mpya wa uundaji mfuatano unawakilisha hatua kubwa mbele, ukiweka alama mpya za utendaji wa hali ya juu (SoTA), hasa katika kiwango cha vigezo bilioni 3, katika anuwai kubwa ya kazi za lugha nyingi.

Moja ya vipengele vya kuvutia zaidi vya mafanikio ya RWKV-7 ni ufanisi wake wa ajabu. Licha ya kufunzwa kwa hazina ndogo sana ya tokeni ikilinganishwa na miundo mingi inayoongoza ya kisasa, RWKV-7 inatoa uwezo wa uchakataji wa lugha ya Kiingereza ambao ni wa ushindani mkubwa na wenzao wakubwa, wanaohitaji data nyingi zaidi. Labda muhimu zaidi, inafanikisha hili huku ikifuata kwa uaminifu kanuni za msingi za ufanisi za RNN za hali ya juu: matumizi ya kumbukumbu ya kudumu na muda thabiti wa utoaji wa hitimisho kwa kila tokeni, bila kujali urefu wa mfuatano unaochakatwa. Hii inafanya RWKV-7 kuwa chaguo la kuvutia sana kwa matumizi yanayohitaji utendaji wa juu na matumizi madogo ya rasilimali, hasa wakati wa kushughulikia muktadha mrefu.

Maendeleo yaliyomo katika RWKV-7 yanatokana na ubunifu kadhaa muhimu wa usanifu ambao unapanua na kuboresha kanuni za watangulizi wake. Mfumo unajumuisha utaratibu wa hali ya lango la vekta wa kisasa, unaoruhusu udhibiti wa kina zaidi juu ya mtiririko wa habari ndani ya hali inayojirudia. Zaidi ya hayo, inaleta viwango vya kujifunza vinavyobadilika ndani ya muktadha, kuwezesha mfumo kurekebisha mchakato wake wa kujifunza kwa nguvu kulingana na muktadha wa haraka, uwezekano wa kuongeza uwezo wake wa kunasa utegemezi tata. Utaratibu ulioboreshwa wa ubadilishaji thamani ndani ya kanuni yake kuu ya sasisho inayojirudia, ukipanua dhana ya kanuni ya delta, huongeza zaidi uwezo wa mfumo wa kujieleza na uwezo wa utambuzi wa mifumo tata.

Maboresho haya si tu maboresho ya kimajaribio; yanampa RWKV-7 uwezo wa kinadharia unaozidi ule unaohusishwa mara nyingi na Transformers za kawaida chini ya dhana za kawaida za utata. Watafiti wanatoa ushahidi unaopendekeza kuwa RWKV-7 inaweza kufuatilia kwa ufanisi hali tata na, kwa umuhimu, kutambua darasa zima la lugha za kawaida, jambo linalochukuliwa kuwa changamoto kwa Transformers za kawaida bila marekebisho maalum au uongezekaji wa kikokotozi unaoweza kuwa wa gharama kubwa.

Ili kusisitiza kujitolea kwao kwa sayansi huria na maendeleo ya ushirikiano, timu ya utafiti imetoa sio tu maelezo ya usanifu lakini pia seti ya miundo ya RWKV-7 iliyofunzwa awali. Miundo hii inajumuisha ukubwa mbalimbali, kutoka vigezo bilioni 0.19 hadi lahaja yenye nguvu ya vigezo bilioni 2.9, ikikidhi bajeti mbalimbali za kikokotozi na mahitaji ya matumizi. Pamoja na miundo hii kuna hazina kubwa ya lugha nyingi ya tokeni trilioni 3.1, iliyopewa jina la RWKV World v3, ambayo ilikuwa muhimu katika kufunza miundo na yenyewe ni rasilimali muhimu kwa jamii. Michango yote hii, ikiwa ni pamoja na uzito wa mfumo na msingi wa msimbo, inapatikana chini ya leseni huria ya Apache 2.0, ikikuza upitishwaji mpana, uchunguzi, na maendeleo zaidi.

Uchambuzi wa Kina wa Usanifu: Injini Inayoendesha RWKV-7

Falsafa ya usanifu wa RWKV-7 inajengwa juu ya msingi imara uliowekwa na RWKV-6, ikirithi vipengele kama vile token-shift kwa uundaji bora wa muda, mifumo ya bonasi kwa tabia iliyoboreshwa inayofanana na attention, na muundo bora wa mtandao wa feedforward wa ReLU². Hata hivyo, toleo la “Goose” linaleta maboresho kadhaa muhimu ambayo kwa pamoja huinua uwezo wake.

• Uwekaji Lango la Hali ya Vekta: Tofauti na uwekaji lango rahisi wa skela, RWKV-7 hutumia malango ya vekta. Hii inaruhusu chaneli au vipimo tofauti ndani ya hali inayojirudia kusasishwa na kurekebishwa kwa kujitegemea, ikitoa kiwango kizuri zaidi cha udhibiti juu ya jinsi habari inavyodumu au kufifia kwa muda. Punje hii iliyoongezeka huongeza uwezo wa mfumo wa kusimamia habari tata, zenye sura nyingi za kimuktadha.
• Viwango vya Kujifunza Vinavyobadilika Ndani ya Muktadha: Utaratibu mpya unaruhusu “kiwango cha kujifunza” cha ndani cha mfumo kwa ajili ya uigaji wa muktadha kubadilika kwa nguvu kulingana na tokeni zinazochakatwa. Hii inapendekeza mfumo unaweza kuongeza umakini wake kwenye habari mpya au za kushangaza huku ukiweza kupunguza uzito wa ingizo zisizo za lazima, na kusababisha ujifunzaji bora zaidi na uwakilishi wa hali.
• Uundaji Ulioboreshwa wa Kanuni ya Delta: Kizuizi kikuu cha kuchanganya muda, kinachohusika na kuunganisha habari za zamani, kinaona uboreshaji mkubwa wa kanuni ya delta. Hii inahusisha mwingiliano tata kati ya tokeni zinazoingia na hali inayojirudia, kwa kutumia matrisi zinazoweza kufunzwa (zinazoonyeshwa na kipimo cha mfumo D) kwa mabadiliko ya kisasa. Mchakato huo unajumuisha utayarishaji wa uzito kwa kutumia Multi-Layer Perceptrons (MLPs) za cheo cha chini kwa ufanisi. Vipengele muhimu vinavyoongoza mageuzi ya hali ni pamoja na:
  • Funguo za Ubadilishaji: Kuamua sehemu za hali zitakazosasishwa.
  • Vipengele vya Uozo: Kudhibiti jinsi habari za zamani zinavyofifia haraka.
  • Viwango vya Kujifunza: Kurekebisha ukubwa wa masasisho kulingana na ingizo la sasa.
• Utaratibu wa Weighted Key-Value (WKV): Utaratibu huu ni muhimu kwa ukadiriaji wa linear attention wa usanifu wa RWKV. Unawezesha mabadiliko ya hali yenye nguvu kulingana na mwingiliano wenye uzito kati ya funguo na thamani zinazotokana na mfuatano wa ingizo, kwa ufanisi ukifanya kazi kama lango la kusahau la kisasa linaloruhusu mfumo kuchagua kubakiza au kutupa habari za zamani kulingana na umuhimu.
• Maboresho ya Uwezo wa Kujieleza: RWKV-7 inajumuisha marekebisho kwa kila chaneli na hutumia muundo wa MLP wa tabaka mbili katika baadhi ya vipengele. Mabadiliko haya yameundwa sio tu kuongeza nguvu ya uwakilishi wa mfumo lakini pia kuboresha uthabiti wa kikokotozi na usahihi wa nambari wakati wa mafunzo na utoaji wa hitimisho, huku ikihifadhi kwa uangalifu uwezo muhimu wa kufuatilia hali uliomo katika muundo wa RNN.

Mpango wa mafunzo kwa RWKV-7 ulitumia hazina mpya ya RWKV World v3 iliyokusanywa. Hifadhidata hii kubwa, yenye zaidi ya tokeni trilioni 3, iliratibiwa kimakusudi ili kuimarisha umahiri wa mfumo sio tu katika Kiingereza bali pia kwa kiasi kikubwa katika lugha zingine mbalimbali na msimbo wa programu, ikionyesha hitaji linalokua la miundo ya msingi ya lugha nyingi na inayojua msimbo.

Zaidi ya hayo, utafiti unatoa msingi wa kinadharia kwa nguvu ya RWKV-7. Uthibitisho unatolewa ukionyesha uwezo wake wa kutatua matatizo yanayochukuliwa kuwa nje ya ufikiaji wa darasa la utata TC₀, ambalo linajumuisha kazi kama vile ufuatiliaji wa hali ya S₅ (kusimamia mpangilio wa vipengele 5) na utambuzi uliotajwa hapo awali wa lugha zote za kawaida. Makali haya ya kinadharia yanapendekeza RWKV-7 inaweza kushughulikia aina fulani za kazi zilizopangwa au za kialgoriti kwa urahisi na ufanisi zaidi kuliko usanifu wa kawaida wa Transformer. Matokeo ya kuvutia ya kiutendaji ya muundo wa usanifu ni pendekezo la njia ya uboreshaji yenye gharama nafuu. Njia hii inaweza kuruhusu kuimarisha miundo iliyopo ya RWKV ili kujumuisha maboresho mapya ya usanifu bila kuhitaji mzunguko kamili na wa gharama kubwa wa mafunzo upya kutoka mwanzo, kuwezesha maendeleo ya mfumo yenye wepesi na nyongeza zaidi.

Kupima Goose: Utendaji Katika Alama Mbalimbali za Tathmini

Ili kutathmini kwa ukali uwezo wa RWKV-7, miundo ilipitia tathmini pana kwa kutumia LM Evaluation Harness inayokubalika sana. Mfumo huu unatoa seti sanifu ya alama za tathmini zinazofunika wigo mpana wa kazi za uelewa na uzalishaji wa lugha. Tathmini zilijumuisha alama za tathmini zinazozingatia Kiingereza na changamoto mbalimbali za lugha nyingi.

Matokeo yanatoa picha ya kuvutia ya umahiri wa RWKV-7. Katika alama nyingi za tathmini, miundo ya RWKV-7 ilionyesha viwango vya utendaji ambavyo ni vya ushindani mkubwa na miundo iliyoimarika ya hali ya juu, ikiwa ni pamoja na usanifu maarufu unaotegemea Transformer. Hili ni la kuzingatia hasa kutokana na kiasi kidogo sana cha tokeni za mafunzo zilizotumika kwa RWKV-7 ikilinganishwa na washindani wake wengi. Kwa mfano, kwenye alama ngumu ya MMLU (Massive Multitask Language Understanding), RWKV-7 ilionyesha maboresho makubwa juu ya mtangulizi wake, RWKV-6. Faida zake zilikuwa kubwa zaidi katika kazi za lugha nyingi, zikionyesha moja kwa moja faida zilizopatikana kutoka kwa hazina kubwa na tofauti ya mafunzo ya RWKV World v3.

Zaidi ya alama sanifu za kitaaluma, tathmini pia ilijumuisha tathmini kwa kutumia data ya hivi karibuni ya mtandao. Majaribio haya yalilenga kupima uwezo wa mfumo wa kuchakata na kufikiria juu ya habari za kisasa, ikithibitisha ufanisi wake katika kushughulikia maarifa ya kisasa na matumizi ya lugha.

Nguvu maalum zilizoangaziwa wakati wa tathmini ni pamoja na:

• Ukumbusho wa Ushirika: Mfumo ulionyesha uwezo mkubwa wa kukumbuka habari kulingana na vidokezo vinavyohusiana, uwezo muhimu kwa kazi zinazohusisha urejeshaji wa maarifa na hoja.
• Usanifu wa Kimakanika: Tathmini zinathibitisha kwa njia isiyo ya moja kwa moja ufanisi wa chaguo maalum za usanifu zilizofanywa katika RWKV-7, zikionyesha mchango wao katika utendaji wa jumla.
• Uhifadhi wa Muktadha Mrefu: Ingawa inanufaika na matumizi ya kumbukumbu ya kudumu, mfumo pia ulionyesha uwezo wa kiutendaji katika kuhifadhi na kutumia habari kwa urefu wa mfuatano mrefu, muhimu kwa kazi zinazohitaji uundaji wa utegemezi wa masafa marefu.

Muhimu zaidi, mafanikio ya utendaji yalipatikana kwa ufanisi wa ajabu wa kikokotozi. Licha ya kufanya kazi chini ya vikwazo katika rasilimali za mafunzo zilizopo ikilinganishwa na baadhi ya makampuni makubwa ya tasnia, RWKV-7 ilifikia alama zake kali za tathmini huku ikihitaji Operesheni chache za Nukta Elea (FLOPs) wakati wa mafunzo kuliko miundo kadhaa inayoongoza ya Transformer ya ukubwa unaolingana. Hii inasisitiza ufanisi wa vigezo na faida za asili za muundo wake unaojirudia unaoongezeka kwa linear. Mchanganyiko wa utendaji wa kiwango cha SoTA (hasa katika lugha nyingi) na ufanisi bora wa kikokotozi unaweka RWKV-7 kama mbadala wenye nguvu na wa vitendo katika mazingira ya uundaji mfuatano.

Kukabiliana na Vikwazo vya Sasa na Kuwazia Mustakabali

Licha ya mafanikio yake ya kuvutia na faida za asili, usanifu wa RWKV-7, kama teknolojia yoyote tata, haukosi mapungufu yake na maeneo ya uboreshaji wa baadaye. Watafiti wanakiri wazi changamoto kadhaa:

• Unyeti wa Usahihi wa Nambari: Baadhi ya vipengele vya ukokotozi wa mfumo vinaweza kuwa nyeti kwa usahihi wa nambari, uwezekano wa kuhitaji utekelezaji makini na ushughulikiaji, hasa wakati wa mafunzo katika fomati za usahihi wa chini (kama bfloat16) ili kudumisha uthabiti na utendaji.
• Ukosefu wa Urekebishaji wa Maagizo: Miundo iliyotolewa ya RWKV-7, wakati wa kuanzishwa kwake, haikuwa imepitia urekebishaji mkubwa wa maagizo au Kujifunza kwa Kuimarisha kutoka kwa Maoni ya Binadamu (RLHF). Hii inamaanisha kuwa inaweza kuwa na ustadi mdogo kuliko wenzao walioboreshwa katika kufuata maagizo magumu au kushiriki katika mazungumzo ya kina kwa njia ya zero-shot.
• Unyeti wa Kidokezo: Kama miundo mingi mikubwa ya lugha, ubora wa matokeo ya RWKV-7 wakati mwingine unaweza kuwa nyeti kwa maneno maalum na muundo wa kidokezo cha ingizo. Kupata matokeo bora kunaweza kuhitaji kiwango fulani cha uhandisi wa vidokezo.
• Rasilimali za Kikokotozi Zilizozuiliwa: Ingawa ni bora kulingana na utendaji wake, maendeleo na mafunzo bado yalifanywa chini ya vikwazo vya rasilimali ikilinganishwa na nguvu kubwa ya kikokotozi inayopatikana kwa baadhi ya maabara kuu za AI. Juhudi za kuongeza ukubwa zinaweza kufichua changamoto mpya au fursa.

Kuangalia mbele, ramani ya maendeleo ya RWKV inajumuisha mwelekeo kadhaa unaoahidi unaolenga kushughulikia mapungufu haya na kuimarisha zaidi uwezo wa usanifu. Maeneo muhimu ya kuzingatia yanahusisha:

• Kuboresha Kasi ya Utoaji wa Hitimisho: Juhudi zinazoendelea za kuboresha msingi wa msimbo na uwezekano wa kuchunguza utekelezaji maalum wa maunzi zinaweza kuboresha zaidi kasi ya utoaji wa hitimisho ambayo tayari ina faida, na kufanya utumiaji kuwa wa vitendo zaidi.
• Kujumuisha Hoja za Mlolongo wa Mawazo: Kuchunguza mbinu za kuibua au kufunza uwezo wa hoja za mlolongo wa mawazo (CoT) ndani ya mfumo wa RWKV kunaweza kuongeza kwa kiasi kikubwa utendaji wake katika kazi ngumu za utatuzi wa matatizo zinazohitaji upunguzaji wa kimantiki wa hatua nyingi.
• Kuongeza Ukubwa kwa Hifadhidata Kubwa na Ukubwa wa Mfumo: Kutumia usanifu bora kufunza miundo mikubwa zaidi kwenye matoleo yanayoweza kupanuliwa ya hifadhidata ya lugha nyingi kuna ahadi ya kusukuma mipaka ya utendaji zaidi.
• Urekebishaji wa Maagizo na Ulinganishaji: Kutumia mbinu zilizoimarika za kufuata maagizo na ulinganishaji na mapendeleo ya binadamu itakuwa muhimu kwa kufanya miundo ya RWKV iwe rahisi zaidi kutumia na kudhibitiwa kwa matumizi ya chini.

Upatikanaji huria wa miundo ya RWKV-7, hifadhidata kubwa ya mafunzo, na msimbo unaohusiana chini ya Leseni ya Apache 2.0 hutumika kama kichocheo chenye nguvu kwa ushiriki wa jamii. Inahimiza utafiti mpana katika uundaji bora wa mfuatano, inaruhusu uthibitisho huru wa matokeo, na inawawezesha wasanidi programu kujenga juu ya usanifu huu wa kibunifu unaojirudia, uwezekano wa kuharakisha maendeleo kuelekea mifumo ya AI yenye uwezo zaidi, inayopatikana, na endelevu kikokotozi.