LLMs: Feinabstimmung, Merging & neue Fähigkeiten
Große Sprachmodelle (LLMs) wie Llama und Mistral sind vielseitig, aber für Fachgebiete wie Materialwissenschaften unzureichend. Dieser Artikel untersucht Feinabstimmungsstrategien (CPT, SFT, DPO, ORPO) und Modell-Merging (insbesondere SLERP) zur Domänenanpassung. Es zeigt sich, dass Merging, vor allem bei größeren Modellen, synergistische Effekte und neue Fähigkeiten freisetzen kann, was durch Experimente belegt wird.