RWKV-X: Neues Modell für lange Kontexte
RWKV-X ist eine neue Architektur, die RWKV und Sparse Attention kombiniert, um lange Kontexte effizient zu verarbeiten und dabei hohe Genauigkeit zu erzielen.
Tag: RWKV
RWKV-7 'Goose': Effiziente Sequenzmodellierung neu definiert
RWKV-7 'Goose': Eine neue RNN-Architektur, die Transformer herausfordert. Bietet SoTA-Leistung, besonders mehrsprachig, mit linearer Skalierung und konstantem Speicherverbrauch. Effizient und leistungsstark für lange Sequenzen, trainiert auf RWKV World v3 und Open Source unter Apache 2.0.