MFA Atenção Fatorizada Multi-Matriz para LLMs Eficientes
Este artigo explora o Multi-matrix Factorization Attention (MFA), um mecanismo de atenção inovador que reduz significativamente o uso do cache KV em modelos de linguagem grandes (LLMs), melhorando a eficiência sem comprometer o desempenho. O MFA supera o MLA e iguala o MHA, com economias de memória de até 93,7%. Descubra como o MFA, com seu design simples e compatibilidade, está revolucionando a inferência de LLMs.