RWKV-7 'Goose': Wydajne i potężne modelowanie sekwencji

Zmieniające się trendy w przetwarzaniu sekwencji: Poza ograniczeniami Transformerów

Przez kilka lat dziedzina modelowania sekwencji, szczególnie w przetwarzaniu języka naturalnego, była w przeważającej mierze kształtowana przez sukces autoregresyjnych architektur Transformer. Ich niezwykła zdolność do uczenia się w kontekście (in-context learning), w połączeniu z inherentną możliwością zrównoleglenia podczas fazy treningu, ułatwioną przez mechanizm uwagi softmax, ugruntowała ich pozycję jako dominującego paradygmatu. Jednak ta dominacja wiąże się ze znacznymi kosztami. Podstawowy silnik obliczeniowy, uwaga softmax, wykazuje kwadratowe skalowanie w odniesieniu do długości sekwencji wejściowej. Ta cecha przekłada się bezpośrednio na rosnące obciążenie obliczeniowe i znaczne wymagania pamięciowe, stanowiąc istotne wąskie gardło, zwłaszcza przy przetwarzaniu rozległych sekwencji, powszechnych w nowoczesnych zastosowaniach, takich jak streszczanie dokumentów, odpowiadanie na długie pytania czy analiza genomowa.

Chociaż zaawansowane optymalizacje GPU zdołały złagodzić część tych problemów dla krótszych sekwencji podczas treningu, etap wnioskowania (inference) – gdzie modele są wdrażane w rzeczywistych scenariuszach – pozostaje notorycznie zasobożerny i kosztowny, szczególnie przy działaniu na dużą skalę. Kwadratowa natura uwagi oznacza, że podwojenie długości sekwencji czterokrotnie zwiększa wysiłek obliczeniowy i zużycie pamięci podczas wnioskowania, czyniąc wdrażanie bardzo dużych modeli Transformer w długich kontekstach ekonomicznie trudnym lub technicznie niewykonalnym w wielu sytuacjach.

Rozpoznając te fundamentalne ograniczenia, badacze nieustannie eksplorowali alternatywne ścieżki architektoniczne. Szczególnie obiecującym kierunkiem jest powrót do i rewitalizacja projektów rekurencyjnych sieci neuronowych (RNN). Nowoczesne podejścia RNN mają na celu włączenie mechanizmów stanu kompresyjnego. Stany te zawierają istotne informacje historyczne z sekwencji, pozwalając modelowi działać z liniową złożonością obliczeniową w stosunku do długości sekwencji i, co kluczowe, utrzymywać stałe zużycie pamięci niezależnie od tego, jak długa staje się sekwencja podczas wnioskowania. Ta cecha oferuje przekonującą przewagę nad Transformerami w zadaniach z długimi sekwencjami. Ostatnie postępy w dziedzinach takich jak aproksymacje uwagi liniowej i modele przestrzeni stanów (SSMs) wykazały znaczący potencjał. Architektury takie jak RWKV-4 pojawiły się jako godne uwagi przykłady, demonstrując konkurencyjne poziomy wydajności przy drastycznym zmniejszeniu obciążenia obliczeniowego związanego z wnioskowaniem, wskazując na realną ścieżkę rozwoju poza kwadratowymi ograniczeniami standardowej uwagi.

Przedstawiamy RWKV-7 “Goose”: Nowy punkt odniesienia w wydajności architektury rekurencyjnej

Bazując na tym fundamencie i przesuwając granice architektur rekurencyjnych, wspólny wysiłek badaczy z różnych instytucji, w tym RWKV Project, EleutherAI, Tsinghua University i innych, zaowocował opracowaniem RWKV-7, o kryptonimie “Goose”. Ta nowatorska architektura modelowania sekwencji stanowi znaczący krok naprzód, ustanawiając nowe rekordy wydajności (state-of-the-art, SoTA), szczególnie w skali 3 miliardów parametrów, w szerokim zakresie zadań wielojęzycznych.

Jednym z najbardziej uderzających aspektów osiągnięcia RWKV-7 jest jego niezwykła wydajność. Pomimo trenowania na znacznie mniejszym korpusie tokenów w porównaniu do wielu wiodących współczesnych modeli, RWKV-7 zapewnia możliwości przetwarzania języka angielskiego, które są wysoce konkurencyjne w stosunku do jego większych, bardziej “głodnych” danych odpowiedników. Co być może ważniejsze, osiąga to, wiernie przestrzegając podstawowych zasad wydajności zaawansowanych RNN: stałe zużycie pamięci i spójny czas wnioskowania na token, niezależnie od długości przetwarzanej sekwencji. To czyni RWKV-7 wyjątkowo atrakcyjną opcją dla zastosowań wymagających zarówno wysokiej wydajności, jak i oszczędności zasobów, zwłaszcza przy obsłudze długich kontekstów.

Postępy zawarte w RWKV-7 wynikają z kilku kluczowych innowacji architektonicznych, które rozszerzają i udoskonalają zasady jego poprzedników. Model zawiera zaawansowany mechanizm bramkowania stanu o wartościach wektorowych (vector-valued state gating), pozwalający na bardziej zniuansowaną kontrolę przepływu informacji w stanie rekurencyjnym. Ponadto wprowadza adaptacyjne współczynniki uczenia w kontekście (adaptive in-context learning rates), umożliwiając modelowi dynamiczne dostosowywanie procesu uczenia się w oparciu o bezpośredni kontekst, potencjalnie zwiększając jego zdolność do wychwytywania złożonych zależności. Udoskonalony mechanizm zastępowania wartości (value replacement mechanism) w ramach jego podstawowej reguły aktualizacji rekurencyjnej, rozszerzający koncepcję reguły delta, dodatkowo zwiększa ekspresyjność modelu i zdolność do rozpoznawania skomplikowanych wzorców.

Te ulepszenia nie są jedynie empirycznymi poprawkami; nadają RWKV-7 teoretyczne możliwości, które przewyższają te często kojarzone ze standardowymi Transformerami przy typowych założeniach złożoności. Badacze dostarczają dowodów sugerujących, że RWKV-7 może efektywnie śledzić złożone stany i, co istotne, rozpoznawać całą klasę języków regularnych, co jest uważane za wyzwanie dla standardowych Transformerów bez specjalistycznych modyfikacji lub potencjalnie zaporowego skalowania obliczeniowego.

Podkreślając swoje zaangażowanie w otwartą naukę i wspólny postęp, zespół badawczy udostępnił nie tylko szczegóły architektury, ale także zestaw wstępnie wytrenowanych modeli RWKV-7. Modele te obejmują zakres rozmiarów, od zwinnego 0,19 miliarda parametrów do potężnego wariantu 2,9 miliarda parametrów, zaspokajając różnorodne budżety obliczeniowe i potrzeby aplikacji. Towarzyszy im obszerny korpus wielojęzyczny o objętości 3,1 biliona tokenów, nazwany RWKV World v3, który odegrał kluczową rolę w trenowaniu modeli i sam w sobie jest cennym zasobem dla społeczności. Wszystkie te wkłady, w tym wagi modeli i podstawowy kod źródłowy, są udostępniane na podstawie permisywnej licencji Apache 2.0 open-source, wspierając szerokie przyjęcie, kontrolę i dalszy rozwój.

Głębokie spojrzenie na architekturę: Silnik napędzający RWKV-7

Filozofia projektowania RWKV-7 opiera się na solidnym fundamencie położonym przez RWKV-6, dziedzicząc cechy takie jak token-shift dla ulepszonego modelowania czasowego, mechanizmy bonusowe dla udoskonalonego zachowania podobnego do uwagi oraz wydajną strukturę sieci feedforward ReLU². Jednak iteracja “Goose” wprowadza kilka krytycznych ulepszeń, które wspólnie podnoszą jej możliwości.

• Bramkowanie stanu o wartościach wektorowych (Vector-Valued State Gating): Odchodząc od prostszego bramkowania skalarnego, RWKV-7 wykorzystuje bramki wektorowe. Pozwala to na niezależną aktualizację i modulację różnych kanałów lub wymiarów w stanie rekurencyjnym, zapewniając znacznie dokładniejszy stopień kontroli nad tym, jak informacje utrzymują się lub zanikają w czasie. Ta zwiększona granularność wzmacnia zdolność modelu do zarządzania złożonymi, wieloaspektowymi informacjami kontekstowymi.
• Adaptacyjne współczynniki uczenia w kontekście (Adaptive In-Context Learning Rates): Nowatorski mechanizm pozwala wewnętrznemu “współczynnikowi uczenia” modelu na asymilację kontekstu dynamicznie dostosowywać się w oparciu o przetwarzane tokeny. Sugeruje to, że model może intensyfikować swoją koncentrację na nowych lub zaskakujących informacjach, potencjalnie zmniejszając wagę redundantnych danych wejściowych, co prowadzi do bardziej efektywnego uczenia się i reprezentacji stanu.
• Udoskonalona formuła reguły Delta (Refined Delta Rule Formulation): Podstawowy blok mieszania czasowego (time-mixing), odpowiedzialny za integrację przeszłych informacji, został znacząco udoskonalony w zakresie reguły delta. Obejmuje to skomplikowane interakcje między przychodzącymi tokenami a stanem rekurencyjnym, wykorzystując trenowalne macierze (oznaczone wymiarem modelu D) do zaawansowanych transformacji. Proces obejmuje przygotowanie wag przy użyciu niskorangowych perceptronów wielowarstwowych (MLPs) dla wydajności. Kluczowe komponenty rządzące ewolucją stanu obejmują:
  • Klucze zastępujące (Replacement Keys): Określające części stanu do aktualizacji.
  • Czynniki zaniku (Decay Factors): Kontrolujące, jak szybko zanikają przeszłe informacje.
  • Współczynniki uczenia (Learning Rates): Modulujące intensywność aktualizacji w oparciu o bieżące dane wejściowe.
• Mechanizm ważonych kluczy-wartości (Weighted Key-Value, WKV): Mechanizm ten jest centralny dla aproksymacji uwagi liniowej w architekturze RWKV. Ułatwia dynamiczne przejścia stanów w oparciu o ważone interakcje między kluczami i wartościami pochodzącymi z sekwencji wejściowej, skutecznie działając jak zaawansowana bramka zapominania, która pozwala modelowi selektywnie zachowywać lub odrzucać przeszłe informacje w oparciu o ich istotność.
• Ulepszenia ekspresyjności (Expressivity Enhancements): RWKV-7 zawiera modyfikacje dla poszczególnych kanałów i wykorzystuje dwuwarstwową strukturę MLP w niektórych komponentach. Zmiany te mają na celu nie tylko zwiększenie mocy reprezentacyjnej modelu, ale także poprawę stabilności obliczeniowej i precyzji numerycznej podczas treningu i wnioskowania, przy jednoczesnym starannym zachowaniu kluczowych zdolności śledzenia stanu, nieodłącznych dla projektu RNN.

Reżim treningowy dla RWKV-7 wykorzystywał nowo skompilowany korpus RWKV World v3. Ten ogromny zbiór danych, zawierający ponad 3 biliony tokenów, został celowo dobrany, aby wzmocnić biegłość modelu nie tylko w języku angielskim, ale także znacząco w różnych innych językach i kodzie programistycznym, odzwierciedlając rosnącą potrzebę prawdziwie wielojęzycznych i świadomych kodu modeli podstawowych (foundation models).

Ponadto badania dostarczają teoretycznych podstaw mocy RWKV-7. Przedstawiono dowody demonstrujące jego zdolność do rozwiązywania problemów uważanych za wykraczające poza zasięg klasy złożoności TC₀, która obejmuje zadania takie jak śledzenie stanu S₅ (zarządzanie permutacjami 5 elementów) i wspomniane wcześniej rozpoznawanie wszystkich języków regularnych. Ta teoretyczna przewaga sugeruje, że RWKV-7 może radzić sobie z pewnymi typami zadań strukturalnych lub algorytmicznych bardziej naturalnie i wydajnie niż konwencjonalne architektury Transformer. Interesującym praktycznym wynikiem projektu architektonicznego jest propozycja opłacalnej ścieżki aktualizacji. Metoda ta potencjalnie pozwala na ulepszanie istniejących modeli RWKV w celu włączenia nowych ulepszeń architektonicznych bez konieczności kompletnego, kosztownego cyklu ponownego treningu od zera, ułatwiając bardziej zwinny i przyrostowy rozwój modelu.

Ocena “Goose”: Wydajność w różnorodnych benchmarkach

Aby rygorystycznie ocenić możliwości RWKV-7, modele przeszły szeroko zakrojoną ewaluację przy użyciu powszechnie stosowanego LM Evaluation Harness. Framework ten zapewnia znormalizowany zestaw benchmarków obejmujących szerokie spektrum zadań związanych z rozumieniem i generowaniem języka. Ewaluacje obejmowały zarówno benchmarki skoncentrowane na języku angielskim, jak i różnorodne wyzwania wielojęzyczne.

Wyniki malują przekonujący obraz możliwości RWKV-7. W licznych benchmarkach modele RWKV-7 wykazały poziomy wydajności, które są wysoce konkurencyjne w stosunku do uznanych modeli state-of-the-art, w tym prominentnych architektur opartych na Transformerach. Jest to szczególnie godne uwagi, biorąc pod uwagę znacznie mniejszą objętość tokenów treningowych użytych dla RWKV-7 w porównaniu do wielu jego konkurentów. Na przykład, w wymagającym benchmarku MMLU (Massive Multitask Language Understanding), RWKV-7 wykazał wyraźną poprawę w stosunku do swojego poprzednika, RWKV-6. Jego zyski były jeszcze bardziej wyraźne w zadaniach wielojęzycznych, bezpośrednio odzwierciedlając korzyści płynące z obszernego i zróżnicowanego korpusu treningowego RWKV World v3.

Poza standardowymi benchmarkami akademickimi, ewaluacja obejmowała również oceny przy użyciu najnowszych danych internetowych. Testy te miały na celu ocenę zdolności modelu do przetwarzania i rozumowania na temat aktualnych informacji, potwierdzając jego skuteczność w obsłudze współczesnej wiedzy i użycia języka.

Szczególne mocne strony podkreślone podczas ewaluacji obejmują:

• Przywoływanie asocjacyjne (Associative Recall): Model wykazał silną zdolność do przywoływania informacji na podstawie powiązanych wskazówek, co jest kluczową umiejętnością w zadaniach wymagających wyszukiwania wiedzy i rozumowania.
• Mechanistyczny projekt architektury (Mechanistic Architecture Design): Ewaluacje pośrednio potwierdzają skuteczność konkretnych wyborów architektonicznych dokonanych w RWKV-7, pokazując ich wkład w ogólną wydajność.
• Zachowanie długiego kontekstu (Long-Context Retention): Korzystając ze stałego zużycia pamięci, model wykazał również praktyczną zdolność do zachowywania i wykorzystywania informacji na długich sekwencjach, co jest kluczowe dla zadań wymagających modelowania zależności dalekiego zasięgu.

Co kluczowe, osiągnięcia wydajnościowe zostały zrealizowane z niezwykłą wydajnością obliczeniową. Pomimo działania w warunkach ograniczonych dostępnych zasobów treningowych w porównaniu do niektórych gigantów branżowych, RWKV-7 osiągnął swoje wysokie wyniki w benchmarkach, wymagając mniej operacji zmiennoprzecinkowych (FLOPs) podczas treningu niż kilka wiodących modeli Transformer o porównywalnej wielkości. Podkreśla to efektywność parametrów i inherentne zalety jego liniowo skalującego się projektu rekurencyjnego. Połączenie wydajności na poziomie SoTA (szczególnie wielojęzycznej) i doskonałej oszczędności obliczeniowej pozycjonuje RWKV-7 jako potężną i praktyczną alternatywę w krajobrazie modelowania sekwencji.

Pokonywanie obecnych przeszkód i wizja przyszłych horyzontów

Pomimo imponujących osiągnięć i nieodłącznych zalet, architektura RWKV-7, jak każda złożona technologia, nie jest pozbawiona ograniczeń i obszarów do przyszłego udoskonalenia. Badacze otwarcie przyznają się do kilku wyzwań:

• Wrażliwość na precyzję numeryczną (Numerical Precision Sensitivity): Niektóre aspekty obliczeń modelu mogą być wrażliwe na precyzję numeryczną, potencjalnie wymagając starannej implementacji i obsługi, zwłaszcza podczas treningu w formatach o niższej precyzji (takich jak bfloat16), aby utrzymać stabilność i wydajność.
• Brak dostrajania instruktażowego (Lack of Instruction Tuning): Udostępnione modele RWKV-7, w momencie ich wprowadzenia, nie przeszły dostrajania instruktażowego na dużą skalę ani uczenia przez wzmacnianie z informacji zwrotnej od ludzi (RLHF). Oznacza to, że mogą być mniej biegłe niż odpowiedniki po fine-tuningu w wykonywaniu złożonych instrukcji lub angażowaniu się w zniuansowany dialog w trybie zero-shot.
• Wrażliwość na prompt (Prompt Sensitivity): Podobnie jak wiele dużych modeli językowych, jakość wyników RWKV-7 może czasami być wrażliwa na specyficzne sformułowanie i strukturę promptu wejściowego. Osiągnięcie optymalnych wyników może wymagać pewnego stopnia inżynierii promptów (prompt engineering).
• Ograniczone zasoby obliczeniowe (Restricted Computational Resources): Chociaż wydajny w stosunku do swojej wydajności, rozwój i trening były nadal prowadzone przy ograniczeniach zasobów w porównaniu do ogromnej mocy obliczeniowej dostępnej dla niektórych głównych laboratoriów AI. Wysiłki skalowania mogą ujawnić nowe wyzwania lub możliwości.

Patrząc w przyszłość, mapa drogowa rozwoju RWKV obejmuje kilka obiecujących kierunków mających na celu rozwiązanie tych ograniczeń i dalsze wzmocnienie możliwości architektury. Kluczowe obszary zainteresowania obejmują:

• Optymalizacja szybkości wnioskowania (Optimizing Inference Speed): Kontynuowane wysiłki w celu optymalizacji kodu źródłowego i potencjalnego zbadania implementacji specyficznych dla sprzętu mogłyby jeszcze bardziej poprawić już korzystną szybkość wnioskowania, czyniąc wdrożenie jeszcze bardziej praktycznym.
• Włączenie rozumowania typu Chain-of-Thought (Incorporating Chain-of-Thought Reasoning): Badanie metod wywoływania lub trenowania zdolności rozumowania typu chain-of-thought (CoT) w ramach RWKV mogłoby znacząco zwiększyć jego wydajność w złożonych zadaniach rozwiązywania problemów, które wymagają wieloetapowej dedukcji logicznej.
• Skalowanie z większymi zbiorami danych i rozmiarami modeli (Scaling with Larger Datasets and Model Sizes): Wykorzystanie wydajnej architektury do trenowania jeszcze większych modeli na potencjalnie rozszerzonych wersjach wielojęzycznego zbioru danych niesie obietnicę dalszego przesuwania granic wydajności.
• Dostrajanie instruktażowe i wyrównywanie (Instruction Tuning and Alignment): Zastosowanie ustalonych technik do podążania za instrukcjami i wyrównywania z preferencjami ludzkimi będzie kluczowe dla uczynienia modeli RWKV bardziej przyjaznymi dla użytkownika i kontrolowalnymi dla aplikacji końcowych.

Otwarta dostępność modeli RWKV-7, obszernego zbioru danych treningowych i powiązanego kodu na licencji Apache 2.0 służy jako potężny katalizator zaangażowania społeczności. Zachęca do szerszych badań nad wydajnym modelowaniem sekwencji, pozwala na niezależną weryfikację wyników i umożliwia programistom budowanie na tej innowacyjnej architekturze rekurencyjnej, potencjalnie przyspieszając postęp w kierunku bardziej zdolnych, dostępnych i obliczeniowo zrównoważonych systemów AI.