Tag: RWKV

RWKV-X:高效长程语言建模的新架构

RWKV-X是一种新颖的混合架构,旨在通过结合RWKV的效率和稀疏注意力机制,实现高效的长文本建模。

RWKV-X:高效长程语言建模的新架构

RWKV-7 'Goose':高效强大序列建模的新航程

RWKV-7 'Goose' 是一种新型循环序列模型架构,实现了卓越的效率和强大的性能,尤其在多语言任务上表现突出。它保持了线性计算复杂度和恒定推理内存,并已开源。

RWKV-7 'Goose':高效强大序列建模的新航程