RWKV-X: معمارية جديدة لنمذجة لغة فعالة
RWKV-X هي معمارية هجينة تجمع بين كفاءة RWKV مع آلية انتباه متفرقة لنمذجة سياق طويل المدى بكفاءة.
Tag: RWKV
RWKV-7 'Goose': مسار جديد للنمذجة التسلسلية الفعالة
تقدم RWKV-7 'Goose' بنية متكررة جديدة تتحدى هيمنة Transformer. تحقق أداءً متطورًا (SoTA)، خاصةً في المهام متعددة اللغات، بكفاءة حسابية عالية (تعقيد خطي وذاكرة ثابتة)، مما يجعلها مثالية للتسلسلات الطويلة. تشمل الابتكارات بوابات حالة متجهة ومعدلات تعلم تكيفية. النماذج والبيانات مفتوحة المصدر.