RWKV-X: Новая архитектура для эффективного LM
RWKV-X - это новая архитектура для обработки длинных последовательностей. Она сочетает эффективность RWKV и разреженное внимание для лучшей производительности.
Tag: RWKV
RWKV-7 'Goose': Эффективное моделирование последовательностей
RWKV-7 'Goose' - новая эффективная рекуррентная архитектура для моделирования последовательностей. Бросает вызов Transformer благодаря линейной сложности и постоянной памяти. Превосходит в многоязычных задачах и длинных контекстах. Обучена на RWKV World v3, доступна как open-source.