פתיחת מומחיות תחום: כוונון, מיזוג ויכולות ב-LLMs
חקירת התאמת מודלי שפה גדולים (LLMs) לתחומים טכניים כמו מדע חומרים באמצעות כוונון עדין (fine-tuning) ומיזוג מודלים. המאמר מתמקד באסטרטגיות כמו CPT, SFT, DPO, ORPO ובעיקר במיזוג SLERP, המדגים כיצד מיזוג יכול להוביל ליכולות מתהוות (emergent capabilities) מעבר לסכום חלקי המודלים המקוריים, במיוחד במודלים גדולים כמו Llama ו-Mistral.