RWKV-X: สถาปัตยกรรมใหม่เพื่อ LLM บริบทกว้าง
RWKV-X คือสถาปัตยกรรมแบบไฮบริดใหม่สำหรับ Language Model ที่มีบริบทยาวอย่างมีประสิทธิภาพ
Tag: RWKV
RWKV-7 'Goose': โมเดลลำดับทรงพลังและมีประสิทธิภาพ
RWKV-7 'Goose' สถาปัตยกรรม RNN ใหม่ ทรงพลังและประหยัดทรัพยากร แข่งขันกับ Transformer ได้ดีเยี่ยม โดยเฉพาะลำดับยาว มีความซับซ้อนเชิงเส้นและใช้หน่วยความจำคงที่ สร้างมาตรฐานใหม่ที่ 3 พันล้านพารามิเตอร์ ฝึกด้วยข้อมูลน้อยกว่า เปิดเป็นโอเพนซอร์ส Apache 2.0 พร้อมโมเดลและข้อมูล