Nuovo Meccanismo di Attenzione Step Riduce la Cache KV
Un nuovo meccanismo di attenzione chiamato Multi-matrix Factorization Attention (MFA) e la sua variante MFA-Key-Reuse (MFA-KR) riducono significativamente l'uso della cache KV nei modelli linguistici, migliorando le prestazioni e l'efficienza.