RWKV-X: Новa архитектура за дълъг контекст
RWKV-X комбинира RWKV с внимание за ефективно моделиране на дълъг контекст. Подобрява точността и скоростта при големи последователности.
Tag: RWKV
RWKV-7 'Goose': Нов курс за ефикасно моделиране на поредици
RWKV-7 'Goose' е нова рекурентна архитектура, която предлага висока производителност и ефективност при обработка на дълги поредици. Тя се конкурира с Transformer моделите, но с линейна сложност и константна памет при инференция. Моделът и данните са с отворен код, насърчавайки иновациите в областта на ефикасните AI системи.