RWKV-X: 長文脈言語モデルの効率的アーキテクチャ
RWKV-Xは、長文脈言語モデルのための新しいハイブリッドアーキテクチャで、効率と精度を両立します。スパースな注意機構とRWKVの組み合わせにより、優れた性能を発揮します。
Tag: RWKV
RWKV-7 'Goose': 効率的で強力なシーケンスモデリングの新機軸
RWKV-7 'Goose'は、特に3BスケールでSoTA性能を達成する新しいリカレントシーケンスモデル。推論時の線形計算量と定数メモリ使用量でTransformerの優位性に挑戦。モデルとデータと共にオープンソースで公開。