Microsoft Phi-4: Un Modello Linguistico Piccolo per il Ragionamento Matematico Complesso

Microsoft Research ha lanciato Phi-4, un piccolo modello linguistico con 14 miliardi di parametri, con l’obiettivo di migliorare il livello di ragionamento matematico. Questo modello, inizialmente disponibile su Azure AI Foundry, è stato recentemente reso open-source su Hugging Face con licenza MIT.

Innovazioni di Phi-4

Secondo Microsoft, Phi-4 supera modelli simili e più grandi nel ragionamento matematico grazie a diverse tecniche innovative utilizzate durante l’addestramento, tra cui:

• Pre-addestramento e addestramento intermedio con dati sintetici: L’uso di dati sintetici per il pre-addestramento e l’addestramento intermedio fornisce al modello un percorso di apprendimento più strutturato.
• Gestione organica dei dati: La selezione accurata e la cura dei dati organici garantiscono la qualità dei dati di addestramento.
• Nuovo schema di post-addestramento: L’adozione di nuovi metodi di post-addestramento migliora ulteriormente le prestazioni del modello.

Queste innovazioni hanno permesso a Phi-4 di superare il suo modello insegnante, GPT-4o, nelle capacità di domande e risposte incentrate su STEM, dimostrando che le tecniche di generazione dati e post-addestramento di Microsoft non sono semplicemente una distillazione di conoscenza.

Vantaggi Unici dei Dati Sintetici

L’uso di dati sintetici nell’addestramento di grandi modelli linguistici (LLM) non è nuovo, e i modelli Phi hanno già utilizzato questo approccio. Microsoft sottolinea che i dati sintetici non sono un semplice sostituto economico, ma superano i dati organici nei seguenti aspetti:

• Percorso di apprendimento più graduale: I dati sintetici possono guidare gli LLM attraverso un apprendimento graduale, dall’enunciazione iniziale del problema alla soluzione finale, facilitando la comprensione del processo di ragionamento.
• Migliore allineamento con l’ambiente di ragionamento: A differenza dei dati organici che includono l’enunciazione del problema e la soluzione finale, i dati sintetici possono fornire un processo di ragionamento passo-passo più dettagliato, più in linea con gli scenari di ragionamento reali.

Dati Organici Curati con Attenzione

Oltre ai dati sintetici, Microsoft ha utilizzato anche dati organici curati con attenzione, inclusi milioni di problemi e soluzioni matematiche di alta qualità raccolti da siti web pubblici e set di dati esterni. Per i casi in cui non erano disponibili soluzioni accurate, hanno sintetizzato le soluzioni utilizzando un metodo di voto a maggioranza, migliorando la precisione. Inoltre, hanno raccolto documenti accademici, forum educativi e tutorial di programmazione.

Microsoft ha sottolineato il ruolo cruciale dei dati naturali di alta qualità nella generazione di dati sintetici, indicando che anche piccoli errori possono portare a un grave calo della qualità dei documenti sintetici derivati. Pertanto, hanno dedicato un notevole sforzo al perfezionamento della gestione dei dati web.

Fase di Post-Addestramento di Phi-4

La fase di post-addestramento di Phi-4 ha l’obiettivo di trasformarlo in un assistente AI affidabile. Questa fase include i seguenti passaggi:

1. Fine-tuning: Il modello viene ottimizzato utilizzando dati di alta qualità generati da diversi settori come matematica, codifica, ragionamento, dialogo, identità del modello e sicurezza.
2. Ottimizzazione Diretta delle Preferenze (DPO): Vengono eseguiti due passaggi DPO per allineare meglio il modello alle preferenze umane ed eliminare comportamenti indesiderati.
   • Pivotal Token Search: Nel primo passaggio, Microsoft utilizza una nuova tecnica chiamata Pivotal Token Search per generare coppie di risultati desiderati/non desiderati.
   • GPT-4o come valutatore: Nel secondo passaggio, utilizzano GPT-4o come valutatore per assegnare etichette positive o negative a ciascuna coppia di risultati.

Valutazione di Phi-4

Phi-4 è stato valutato utilizzando il framework SIMPLE-EVALS di OpenAI e ha superato Llama-3.1-405B in diversi benchmark. Inoltre, ha superato il suo modello insegnante GPT-4o nei benchmark GPQA (domande e risposte STEM di livello universitario) e MATH (competizioni matematiche).

Analisi Dettagliata dei Dati di Addestramento di Phi-4

Microsoft ha adottato una strategia di dati attentamente progettata per l’addestramento del modello Phi-4, basata principalmente su dati sintetici e dati reali selezionati. Questo approccio combinato mira a ottimizzare il processo di apprendimento del modello e a renderlo eccellente nel ragionamento matematico.

Generazione di Dati Sintetici

I dati sintetici svolgono un ruolo cruciale nell’addestramento di Phi-4. Il team di Microsoft non ha considerato i dati sintetici come un semplice sostituto dei dati reali, ma piuttosto come uno strumento in grado di guidare il modello in un apprendimento graduale. Il processo di generazione dei dati sintetici segue generalmente i seguenti passaggi:

1. Creazione di Problemi: Innanzitutto, vengono generati vari problemi matematici in base a regole e modelli predefiniti. Questi problemi coprono diverse aree della matematica e livelli di difficoltà, per garantire un apprendimento completo del modello.
2. Soluzioni Passo-Passo: Per ogni problema generato, viene creata una soluzione passo-passo che spiega in dettaglio il processo di ragionamento dall’enunciazione del problema alla risposta finale. Questa soluzione passo-passo include non solo la risposta finale, ma anche i passaggi intermedi e la logica di ragionamento, aiutando così il modello a comprendere il processo di risoluzione dei problemi.
3. Aumento dei Dati: Per aumentare la diversità dei dati, i dati sintetici vengono anche aumentati, ad esempio modificando la formulazione dei problemi, regolando i numeri o utilizzando metodi di risoluzione diversi.

Dati Reali Selezionati

Oltre ai dati sintetici, l’addestramento di Phi-4 ha utilizzato anche una grande quantità di dati reali selezionati. Questi dati provengono da vari siti web pubblici, documenti accademici, forum educativi e tutorial di programmazione, e includono i seguenti tipi:

• Problemi e Soluzioni Matematiche: Sono stati raccolti milioni di problemi matematici di alta qualità e le loro soluzioni da siti web pubblici e set di dati esterni. Questi problemi coprono diverse aree e livelli di difficoltà della matematica.
• Documenti Accademici: Per migliorare la capacità di comprensione e di ragionamento del modello, sono stati raccolti anche numerosi documenti accademici che forniscono concetti e teorie matematiche approfondite.
• Forum Educativi: Sono stati raccolti i problemi posti dagli studenti e le soluzioni fornite dagli esperti dai forum educativi, consentendo al modello di comprendere i problemi matematici da diverse prospettive.
• Tutorial di Programmazione: Per migliorare le capacità di programmazione del modello, sono stati raccolti anche numerosi tutorial di programmazione che coprono diversi linguaggi di programmazione e algoritmi.

Controllo Qualità dei Dati

Microsoft ha investito molto nel controllo qualità dei dati, per garantire l’accuratezza e la coerenza dei dati di addestramento. Sono state adottate le seguenti misure:

• Revisione Manuale: Per alcuni set di dati critici, viene eseguita una revisione manuale per garantire l’accuratezza e la qualità dei dati.
• Voto a Maggioranza: Per i problemi per i quali non era disponibile una soluzione accurata, le soluzioni sono state generate utilizzando un metodo di voto a maggioranza, migliorando così l’accuratezza.
• Pulizia dei Dati: Tutti i dati sono stati puliti per rimuovere dati duplicati, dati errati e dati non pertinenti.

Analisi Dettagliata delle Strategie di Post-Addestramento

La fase di post-addestramento di Phi-4 mira a trasformarlo in un assistente AI affidabile, e consiste principalmente nel fine-tuning e nell’ottimizzazione diretta delle preferenze (DPO).

Fase di Fine-tuning

L’obiettivo della fase di fine-tuning è quello di adattare il modello a una varietà di compiti e aree diverse. In questa fase, Microsoft ha utilizzato dati di alta qualità generati dai seguenti settori:

• Matematica: Include vari problemi e soluzioni matematiche, con l’obiettivo di migliorare le capacità di ragionamento matematico del modello.
• Codifica: Include vari problemi e soluzioni di programmazione, con l’obiettivo di migliorare le capacità di generazione e comprensione del codice del modello.
• Ragionamento: Include vari problemi di ragionamento logico, con l’obiettivo di migliorare le capacità di pensiero logico del modello.
• Dialogo: Include vari dati di dialogo, con l’obiettivo di migliorare le capacità di comprensione e generazione del linguaggio naturale del modello.
• Identità del Modello: Include varie descrizioni dell’identità del modello, con l’obiettivo di migliorare la comprensione delle proprie capacità da parte del modello.
• Sicurezza: Include vari problemi e soluzioni di sicurezza, con l’obiettivo di migliorare la sicurezza del modello.

Fase di Ottimizzazione Diretta delle Preferenze (DPO)

L’obiettivo della fase di ottimizzazione diretta delle preferenze (DPO) è quello di allineare meglio il comportamento del modello alle preferenze umane ed eliminare comportamenti indesiderati. Questa fase include due passaggi:

1. Pivotal Token Search: Nel primo passaggio, Microsoft utilizza una nuova tecnica chiamata Pivotal Token Search per generare coppie di risultati desiderati/non desiderati. Questa tecnica cerca nello spazio di output del modello per individuare i token chiave in grado di distinguere i comportamenti desiderati da quelli indesiderati.
2. GPT-4o come Valutatore: Nel secondo passaggio, utilizzano GPT-4o come valutatore per assegnare etichette positive o negative a ciascuna coppia di risultati. GPT-4o è in grado di valutare l’output del modello in base alle preferenze umane, aiutando così il modello a imparare meglio le preferenze umane.

Valutazione delle Prestazioni di Phi-4

Per valutare le prestazioni di Phi-4, Microsoft ha utilizzato il framework SIMPLE-EVALS di OpenAI, che include vari benchmark diversi in grado di valutare le prestazioni del modello in diversi compiti.

Benchmark

Phi-4 si è distinto nei seguenti benchmark:

• GPQA (Domande e Risposte STEM di Livello Universitario): In questo benchmark, Phi-4 ha superato il suo modello insegnante GPT-4o, dimostrando che le sue capacità di domande e risposte nel campo STEM sono molto potenti.
• MATH (Competizioni Matematiche): In questo benchmark, Phi-4 ha superato anche il suo modello insegnante GPT-4o, dimostrando che le sue capacità di risolvere problemi matematici complessi sono eccezionali.
• Confronto con Altri Modelli: In diversi benchmark, Phi-4 ha superato Llama-3.1-405B, dimostrando che le sue prestazioni complessive sono molto potenti.

Analisi delle Prestazioni

Dalla valutazione delle prestazioni di Phi-4, si possono trarre le seguenti conclusioni:

• Potenti Capacità di Ragionamento Matematico: Phi-4 ha prestazioni eccezionali nel ragionamento matematico, grazie ai metodi innovativi adottati durante l’addestramento, inclusi dati sintetici, dati reali selezionati e strategie di post-addestramento.
• Supera il Modello Insegnante: In diversi benchmark, Phi-4 ha superato il suo modello insegnante GPT-4o, dimostrando che le sue prestazioni non sono una semplice distillazione di conoscenza.
• Confronto con Altri Modelli: Phi-4 ha superato Llama-3.1-405B in diversi benchmark, dimostrando che le sue prestazioni complessive sono molto potenti.

Prospettive Applicative di Phi-4

Phi-4, in quanto piccolo modello linguistico progettato per il ragionamento matematico complesso, ha ampie prospettive applicative. Può essere applicato nei seguenti settori:

• Istruzione: Può essere utilizzato come strumento di tutoraggio matematico per aiutare gli studenti a risolvere problemi matematici e fornire esperienze di apprendimento personalizzate.
• Ricerca Scientifica: Può essere utilizzato come strumento di ricerca scientifica per aiutare i ricercatori a eseguire modellazione matematica e analisi dei dati.
• Ingegneria: Può essere utilizzato come strumento di ingegneria per aiutare gli ingegneri a eseguire progettazione e analisi.
• Finanza: Può essere utilizzato come strumento finanziario per aiutare gli analisti finanziari a eseguire valutazioni dei rischi e decisioni di investimento.
• Altri Settori: Può essere applicato anche ad altri settori che richiedono un ragionamento matematico complesso, come la medicina, la logistica e la produzione.

Conclusione

La comparsa di Microsoft Phi-4 segna un significativo progresso nel campo del ragionamento matematico per i piccoli modelli linguistici. La sua strategia di addestramento dati unica e i metodi di post-addestramento gli hanno permesso di superare modelli simili e più grandi in termini di prestazioni, e hanno fornito nuove idee per lo sviluppo futuro dell’IA. Con l’open-source di Phi-4 su Hugging Face, si ritiene che faciliterà molti ricercatori e sviluppatori, e promuoverà l’applicazione della tecnologia AI in vari settori.