RWKV-X: ארכיטקטורה חדשה למודלי שפה ארוכי הקשר
RWKV-X היא ארכיטקטורה היברידית חדשה המשלבת יעילות RWKV עם מנגנון תשומת לב דלילה, המסוגלת לטפל בהקשרים ארוכים ביעילות.
Tag: RWKV
RWKV-7 'Goose': מודל רצף יעיל ועוצמתי חדש
RWKV-7 'Goose' היא ארכיטקטורת רצף רקורנטית חדשה המציעה יעילות חישובית וביצועים מתקדמים, במיוחד בהקשרים ארוכים. היא מתגברת על מגבלות ה-Transformer תוך שמירה על צריכת זיכרון קבועה. המודלים ונתוני האימון זמינים בקוד פתוח.