பெரிய மொழி மாதிரிகளில் KV கேச் குறைப்புக்கான புதிய கவனம்
பெரிய மொழி மாதிரிகளில் (LLMs) திறமையான ஊகத்திற்கான சவாலை MFA மற்றும் MFA-KR வழிமுறைகள் மூலம் ஆராய்ச்சியாளர்கள் வெற்றிகரமாக குறைத்துள்ளனர். இந்த புதிய அணுகுமுறை KV கேச் பயன்பாட்டைக் குறைத்து, செயல்திறனை மேம்படுத்துகிறது. இது முந்தைய MQA, MLA போன்ற முறைகளை விட மேம்பட்டது.