RWKV-X: Nowa architektura dla długich kontekstów
RWKV-X to nowa architektura dla wydajnego modelowania języka z długim kontekstem. Łączy RWKV ze sparse attention, oferując szybkość i dokładność.
Tag: RWKV
RWKV-7 'Goose': Wydajne i potężne modelowanie sekwencji
RWKV-7 'Goose' to nowa, wydajna architektura rekurencyjna do modelowania sekwencji. Oferuje konkurencyjną wydajność w porównaniu do modeli Transformer, szczególnie przy długich sekwencjach, dzięki liniowej złożoności i stałemu zużyciu pamięci. Osiąga wyniki SoTA, zwłaszcza w zadaniach wielojęzycznych, i jest udostępniany jako open-source wraz z modelami i danymi treningowymi.