Mbinu Mpya ya Uangalifu Punguza Akiba ya KV
Utafiti mpya wa 'Multi-matrix Factorization Attention' (MFA) na 'MFA-Key-Reuse' (MFA-KR) unapunguza matumizi ya akiba ya KV kwa hadi 93.7% katika lugha kubwa za lugha (LLMs), huku ukilingana au kuzidi utendaji wa MHA wa kitamaduni. MFA ni rahisi, haitegemei sana vigezo, na inaendana na mbinu mbalimbali za 'Pos-embedding'.