Adaptando LLMs: Fine-Tuning, Fusión y Capacidades
Explora cómo adaptar Large Language Models (LLMs) como Llama y Mistral a dominios técnicos mediante fine-tuning (CPT, SFT, DPO, ORPO) y fusión de modelos (SLERP). Descubre cómo la fusión, especialmente con SLERP, puede desbloquear capacidades emergentes, superando a los modelos parentales en tareas especializadas como la ciencia de materiales, según experimentos detallados.