Expertise di Dominio: Fine-Tuning, Fusione e LLM

La Sfida della Specializzazione: Adattare l’IA alle Frontiere Tecniche

I Large Language Models (LLM) hanno innegabilmente rivoluzionato il modo in cui interagiamo con le informazioni e automatizziamo compiti che coinvolgono il linguaggio naturale. Giganti come Llama e Mistral, anche nelle loro forme open-source, mostrano una notevole fluidità nella comprensione e generazione di testo che spesso rivaleggia con l’output umano. La loro abilità spazia su un vasto panorama, dalla conversazione quotidiana alla complessa sintesi. Tuttavia, avventurarsi nei territori specializzati e ricchi di gergo della scienza e dell’ingegneria – campi come la scienza dei materiali o la biomateriomica – presenta un ostacolo unico.

Questi domini tecnici richiedono più della conoscenza generale; necessitano di una comprensione profonda e sfumata, della capacità di ragionare su principi specifici e della familiarità con terminologia e strutture dati specializzate. Gli LLM standard, addestrati su ampi corpora web, spesso vacillano di fronte a queste richieste. La sfida, quindi, risiede nell’adattamento al dominio: come possiamo efficacemente personalizzare questi potenti modelli generalisti per farli diventare assistenti esperti in campi altamente specifici?

Semplicemente fornire più dati specializzati non è sempre la risposta, né è sempre fattibile. Addestrare questi colossi da zero è proibitivamente costoso, e i massicci dataset originali utilizzati per il loro pre-addestramento iniziale sono tipicamente inaccessibili. Questo è particolarmente vero per i popolari modelli open-source dove, nonostante una certa trasparenza, la ricetta completa – le esatte miscele di dati e le sequenze utilizzate durante il pre-addestramento, il fine-tuning e l’allineamento – rimane in gran parte proprietaria. Ricercatori e ingegneri necessitano di strategie robuste ed efficienti per infondere nei modelli esistenti nuove conoscenze specializzate, preservando al contempo le vaste capacità generali acquisite durante il loro addestramento iniziale. Questo delicato atto di bilanciamento è fondamentale per creare strumenti IA veramente utili per la scoperta scientifica e l’innovazione ingegneristica, come lo sviluppo di motori capaci di ragionamento multimodale per esplorare l’ispirazione progettuale di materiali biologici attraverso diverse scale e contesti.

Mappare il Panorama dell’Addestramento: Dal Pre-Addestramento all’Ottimizzazione delle Preferenze

Navigare il percorso verso l’expertise degli LLM specifici per dominio implica esplorare un diversificato kit di strumenti di strategie di fine-tuning. Ogni approccio offre un modo diverso per modellare la conoscenza e il comportamento del modello.

• Continued Pre-Training (CPT): Questa strategia comporta l’estensione della fase iniziale di pre-addestramento, ma questa volta utilizzando un corpus focalizzato direttamente sul dominio target – come una raccolta di articoli di ricerca sulla scienza dei materiali. L’obiettivo è immergere il modello nel linguaggio specifico, nei concetti e nelle strutture di conoscenza del campo, permettendogli di assorbire informazioni specifiche del dominio più profondamente di quanto sia possibile con il solo fine-tuning specifico per il task. Pone le basi di una conoscenza rilevante.

• Supervised Fine-Tuning (SFT): Seguendo il CPT o partendo da un modello base, l’SFT insegna direttamente al modello come eseguire compiti specifici. Ciò si ottiene utilizzando dataset curati di coppie input-output, spesso formattati come istruzioni e risposte desiderate, o domande e risposte accurate pertinenti al dominio. L’SFT affina la capacità del modello di seguire istruzioni, rispondere accuratamente alle domande nel contesto specializzato e aderire ai formati di output desiderati.

• Low-Rank Adaptation (LoRA): Sebbene non sia il focus principale qui, LoRA rappresenta un’alternativa o un supplemento efficiente. Invece di riaddestrare l’intero modello, LoRA introduce piccoli strati “adattatori” addestrabili. Ciò consente un adattamento significativo con un costo computazionale molto inferiore, sebbene possa avere limitazioni su quanta conoscenza fondamentalmente nuova possa essere integrata rispetto al CPT.

• Preference-Based Optimization: Andando oltre il semplice completamento del task, l’ottimizzazione basata sulle preferenze mira ad allineare gli output del modello più strettamente ai giudizi umani o a criteri specifici come l’utilità, l’innocuità e l’accuratezza nel ragionamento. Invece di basarsi esclusivamente su risposte “corrette” predefinite (come nell’SFT), questi metodi apprendono dai confronti.

  • Direct Preference Optimization (DPO): Il DPO apprende direttamente da coppie di risposte in cui una è preferita all’altra (ad esempio, da un valutatore umano o da un’altra IA). Ottimizza il modello per aumentare la probabilità di generare risposte preferite senza la necessità di un modello di ricompensa separato, semplificando la tradizionale pipeline di Reinforcement Learning from Human Feedback (RLHF).
  • Odds Ratio Preference Optimization (ORPO): Un nuovo arrivato, ORPO modifica l’obiettivo di ottimizzazione, talvolta producendo prestazioni o stabilità migliorate rispetto al DPO, in particolare nell’allineare i modelli verso specifici criteri stilistici o di ragionamento all’interno di un dominio.

Queste tecniche non si escludono a vicenda; sono spesso impiegate sequenzialmente o in combinazione, formando complesse pipeline di addestramento. Una sequenza comune potrebbe coinvolgere CPT per costruire la conoscenza del dominio, seguito da SFT per la competenza nel task, e infine DPO o ORPO per l’allineamento e il perfezionamento. Tuttavia, la combinazione e la sequenza ottimali rimangono aree attive di ricerca, in particolare per raggiungere le massime prestazioni in domini scientifici specializzati.

Oltre il Semplice Tuning: La Promessa della Fusione di Modelli

Mentre perfezionare un singolo modello attraverso fasi di addestramento sequenziali può produrre miglioramenti significativi, è emersa un’altra strada intrigante: la fusione di modelli (model merging). Questa pratica comporta il prendere due o più modelli addestrati separatamente e combinare i loro parametri – i loro “pesi” interni – per creare un singolo, nuovo modello ibrido.

Perché tentare una tale fusione? L’idea centrale è combinare sinergicamente i punti di forza dei modelli genitori. Immaginate un modello addestrato con perizia sulla letteratura della scienza dei materiali (tramite CPT e SFT) e un altro modello “instruct” generico molto abile nel seguire istruzioni complesse e impegnarsi in un dialogo coerente. Fonderli potrebbe potenzialmente creare un modello che possiede sia una profonda conoscenza del dominio sia eccellenti capacità conversazionali e di seguire le istruzioni.

Le prime esplorazioni hanno suggerito che questo processo potrebbe essere più di una semplice media. Invece di limitarsi a mescolare le capacità, la fusione potrebbe potenzialmente sbloccare funzionalità completamente nuove ed emergenti – abilità non esplicitamente presenti in nessuno dei modelli genitori. Ciò suggerisce un’interazione altamente non lineare tra i parametri durante la fusione, portando potenzialmente a un intero maggiore della somma delle sue parti. Se dimostrata efficace e controllabile, la fusione di modelli potrebbe rappresentare uno strumento potente e trasformativo per spingere i confini delle capacità degli LLM, creando sistemi IA altamente adattabili e potenti, su misura per complesse sfide scientifiche e ingegneristiche del mondo reale.

Svelare il Potere di SLERP: Un Approccio Geometrico alla Fusione

L’efficacia della fusione di modelli dipende criticamente da come vengono combinati i parametri dei modelli genitori. Una semplice media lineare (spesso chiamata Linear Interpolation o LERP) potrebbe sembrare intuitiva, ma spesso porta a risultati subottimali o addirittura degrada le prestazioni. Ciò è probabilmente dovuto al fatto che lo spazio dei parametri ad alta dimensionalità degli LLM non è piatto; possiede una geometria complessa e curva. L’interpolazione lineare rischia di attraversare “zone morte” o regioni ad alta perdita all’interno di questo spazio, di fatto scombinando le rappresentazioni accuratamente apprese dei modelli genitori.

Entra in gioco Spherical Linear Interpolation (SLERP). Originariamente sviluppato per l’animazione fluida delle rotazioni nella computer grafica, SLERP offre un modo geometricamente sofisticato per interpolare tra due punti (in questo caso, i vettori dei parametri di due modelli) seguendo il percorso più breve lungo la superficie di un’ipersfera.

Immaginate gli insiemi di parametri dei due modelli genitori come due punti sulla superficie di una sfera gigante.

• LERP traccerebbe una linea retta attraverso la sfera che collega i punti. Questo percorso potrebbe non rimanere sulla superficie e potrebbe passare attraverso regioni che rappresentano modelli con scarse prestazioni.
• SLERP, al contrario, viaggia lungo la superficie curva della sfera stessa. Questo percorso rispetta intrinsecamente la struttura geometrica sottostante dello spazio dei parametri.

Perché questo percorso sferico è potenzialmente superiore per la fusione degli LLM?

1. Preservazione della Struttura: Rimanendo “sulla sfera”, SLERP mantiene le relazioni geometriche tra i parametri, preservando le strutture apprese all’interno di ciascun modello genitore in modo più efficace rispetto a un percorso lineare.
2. Evitare Regioni ad Alta Perdita: Il percorso curvo ha meno probabilità di intersecare regioni dello spazio dei parametri associate ad alti errori di previsione (perdita).
3. Combinazione Non Lineare: La formula di interpolazione per SLERP è intrinsecamente non lineare. Ciò consente interazioni complesse e sinergiche tra i parametri dei modelli genitori, sbloccando potenzialmente combinazioni che rappresentano nuove capacità. Un parametro fuso potrebbe attivare funzionalità in un modo che nessuno dei genitori potrebbe fare da solo.
4. Transizioni Fluide: SLERP fornisce una transizione matematicamente fluida tra gli stati dei modelli genitori, portando potenzialmente a una migliore generalizzazione nel modello fuso.

Poiché SLERP rispetta la geometria intrinseca del modello e facilita le interazioni non lineari dei parametri, ha il potenziale non solo di mediare le capacità, ma di fonderle genuinamente in un modo che favorisce proprietà emergenti. Questo lo rende un candidato particolarmente promettente per la fusione di modelli mirati a domini complessi come la scienza dei materiali, dove interazioni sottili e comprensione sfumata sono fondamentali.

Mettere alla Prova le Teorie: Esperimenti con Llama e Mistral

Per investigare rigorosamente queste strategie di fine-tuning e fusione, è stata condotta una serie sistematica di esperimenti utilizzando famiglie di modelli open-source popolari: Llama 3.1 (8 miliardi di parametri) e Mistral (7 miliardi di parametri). L’obiettivo era confrontare diverse pipeline di addestramento e valutare l’impatto della fusione SLERP.

Il disegno sperimentale prevedeva diversi passaggi chiave:

1. Modelli Base: Gli esperimenti sono iniziati sia con i modelli “base” fondamentali (pre-addestrati ma non istruiti) sia con le versioni “instruct” (già affinate per chat e seguire istruzioni) per entrambe le famiglie Llama e Mistral.
2. Corpus di Dominio: È stato compilato un corpus specializzato focalizzato sulla scienza dei materiali da pubblicazioni scientifiche e dati elaborati.
3. Pipeline di Addestramento: Sono state applicate varie combinazioni di tecniche di addestramento:
   • Solo CPT
   • CPT seguito da SFT (CPT-SFT)
   • CPT-SFT seguito da ORPO (CPT-SFT-ORPO)
   • CPT-SFT seguito da DPO (CPT-SFT-DPO)
   • Alcune variazioni partendo direttamente dal modello Instruct (es. Instruct-CPT-SFT-DPO).
4. Fusione di Modelli: Per molti dei modelli affinati, è stata eseguita la fusione SLERP, tipicamente combinando il modello adattato al dominio con il corrispondente modello “instruct” generico della stessa famiglia (es. un modello Llama CPT-SFT-DPO fuso con il modello standard Llama 3.1 Instruct).
5. Valutazione: Le prestazioni di tutti i modelli risultanti (sia fusi che non fusi) sono state valutate su una suite di benchmark pertinenti progettati per testare la conoscenza del dominio, il ragionamento e la capacità di seguire le istruzioni.

Risultati Chiave Attraverso Llama e Mistral:

• La Fusione SLERP Aumenta Costantemente le Prestazioni: Attraverso entrambe le famiglie di modelli e varie pipeline di addestramento, i modelli migliorati tramite la fusione SLERP hanno generalmente ottenuto la massima accuratezza sui benchmark di valutazione. Ciò supporta fortemente l’ipotesi che SLERP sia una tecnica efficace per combinare i punti di forza dei modelli.
• Effetti Sinergici Confermati: Le prestazioni dei modelli fusi con SLERP hanno frequentemente superato una semplice media delle prestazioni dei due modelli genitori. Tracciando il punteggio effettivo ottenuto rispetto a questa media attesa è emersa una significativa deviazione positiva, confermando che il processo di fusione spesso sblocca guadagni sinergici e capacità emergenti. L’entità fusa era dimostrabilmente più capace della semplice somma delle sue parti.
• L’Ottimizzazione delle Preferenze Aggiunge Valore: L’incorporazione di fasi di ottimizzazione delle preferenze (DPO o ORPO) ha spesso fornito un ulteriore miglioramento delle prestazioni, in particolare se combinata con la fusione SLERP. Strategie come CPT-SFT-DPO-SLERP o CPT-SFT-ORPO-SLERP sono state frequentemente tra le migliori performer.
• La Strategia Ottimale Non Fusa Varia: Senza fusione, la strategia con le migliori prestazioni differiva leggermente tra le famiglie di modelli. Per Llama 3.1, Instruct-CPT-SFT-DPO ha mostrato risultati solidi, mentre per Mistral, Base-CPT-SFT ha ottenuto prestazioni comparabili alla sua controparte Instruct.
• Impatto della Durata del CPT: Ulteriori analisi sui modelli Mistral hanno mostrato che le prestazioni generalmente miglioravano con più epoche di Continued Pre-Training (fino alle cinque testate), specialmente partendo dal modello Instruct, rafforzando il valore di un’esposizione sufficiente al dominio durante il CPT.

Questi risultati dipingono un quadro chiaro: mentre il fine-tuning sequenziale è prezioso, la fusione strategica di modelli utilizzando SLERP offre un percorso potente per migliorare significativamente le prestazioni degli LLM, in particolare per domini specializzati, spesso producendo capacità che vanno oltre la semplice aggregazione.

Approfondimento: Cosa Rende Efficace la Fusione?

Il successo costante della fusione SLERP spinge a uno sguardo più attento ai meccanismi sottostanti e ai fattori influenzanti. Perché questo approccio geometrico produce risultati così potenti e quali condizioni ne ottimizzano l’efficacia?

• Interazioni Non Lineari: Come teorizzato, il percorso non lineare di SLERP attraverso lo spazio dei parametri sembra cruciale. Permette al modello fuso di esplorare combinazioni di parametri che la media lineare mancherebbe. Queste combinazioni possono rappresentare nuove interazioni tra le caratteristiche apprese, portando a capacità emergenti di ragionamento o risoluzione dei problemi su misura per il dominio. Immaginate di combinare parametri che, individualmente, rappresentano la comprensione della ‘resistenza dei materiali’ e delle ‘strutture biologiche’ – SLERP potrebbe trovare una combinazione che rappresenta efficacemente ‘materiali ad alta resistenza bio-ispirati’ in un modo che nessuno dei modelli genitori faceva esplicitamente.

• Il Ruolo della Diversità: Quanto dovrebbero essere diversi i modelli genitori? L’analisi ha suggerito relazioni complesse. Mentre una diversità estrema potrebbe sembrare benefica, alcune correlazioni hanno indicato che in certi contesti (come i modelli Llama), una maggiore diversità di prestazioni tra i genitori potrebbe ridurre leggermente la dipendenza dal successivo SFT, forse perché la fusione cattura già un insieme più ampio di capacità. L’interazione è sottile e probabilmente dipende dai metodi specifici di fine-tuning utilizzati per i genitori.

• Punto di Partenza Base vs. Instruct: La scelta del modello di partenza è importante. Per gli esperimenti con Llama, il modello fuso con le migliori prestazioni proveniva dalla versione Instruct. Al contrario, per Mistral, un top performer derivava dal modello Base prima di subire CPT, SFT e fusione. Ciò suggerisce che differenze architettoniche o variazioni nelle composizioni iniziali del pre-addestramento delle famiglie Llama e Mistral influenzano il modo in cui rispondono a specifiche pipeline di fine-tuning e fusione. Non esiste un unico punto di partenza “migliore” universale; richiede test empirici.

• Qualità dei Dati nel CPT: Le fondamenta gettate durante il Continued Pre-Training sono critiche. Esperimenti che utilizzavano un dataset CPT più grande ma “più rumoroso” (contenente più errori di formattazione o artefatti dal riconoscimento ottico dei caratteri) hanno portato a una diminuzione delle prestazioni rispetto all’utilizzo di un dataset più piccolo e pulito. Ciò sottolinea l’importanza di dati specifici del dominio di alta qualità e ben elaborati affinché la fase CPT sia efficace. Garbage in, garbage out si applica ancora.

• Affinamento dei Parametri SLERP: SLERP stesso ha parametri, in particolare il coefficiente di interpolazione (spesso indicato come ‘t’, che varia da 0 a 1) che determina quanto peso viene dato a ciascun modello genitore. Inoltre, la fusione non deve essere uniforme su tutti gli strati del modello. Gli esperimenti hanno esplorato la variazione del fattore di interpolazione in modo diverso per gli strati di auto-attenzione rispetto agli strati del perceptron multistrato (MLP), o addirittura variandolo progressivamente attraverso la profondità del modello. I risultati hanno mostrato che specifici schemi di ponderazione non uniformi potevano superare l’approccio uniforme standard, suggerendo un ulteriore potenziale di ottimizzazione personalizzando attentamente il processo di fusione attraverso l’architettura della rete. Una semplice progressione lineare dei pesi attraverso gli strati si è dimostrata efficace in un caso Llama.

• Effetto di Regolarizzazione: SLERP potrebbe anche agire come una forma di regolarizzazione. Trovando un percorso fluido tra due modelli potenzialmente specializzati, potrebbe scoraggiare l’overfitting alle idiosincrasie dei dati di addestramento di entrambi i genitori, portando a una migliore generalizzazione su problemi specifici del dominio non visti. Potrebbe anche aiutare a mitigare l’”oblio catastrofico”, dove il fine-tuning su un compito cancella la conoscenza da uno precedente.

In sostanza, l’efficacia di SLERP deriva dalla sua capacità di navigare intelligentemente la complessa geometria dello spazio dei parametri degli LLM, favorendo interazioni non lineari benefiche preservando al contempo le strutture di conoscenza apprese. Tuttavia, ottimizzare il suo utilizzo richiede un’attenta considerazione della scelta del modello genitore, della storia dell’addestramento, della qualità dei dati e potenzialmente anche dei dettagli granulari della fusione stessa.

Le Dimensioni Contano? Esplorare gli Effetti di Scala con Modelli Più Piccoli

Gli impressionanti effetti sinergici osservati con modelli da 7 e 8 miliardi di parametri sollevano una domanda naturale: queste capacità emergenti sbloccate dalla fusione SLERP si manifestano anche in modelli linguistici molto più piccoli? O c’è una soglia di scala al di sotto della quale la magia svanisce?

Per indagare su questo, esperimenti simili sono stati condotti utilizzando la serie di modelli SmolLM, specificamente una variante con solo 1.7 miliardi di parametri. Questo modello è significativamente più piccolo, rendendolo adatto ad ambienti con risorse limitate come dispositivi mobili o edge computing, ma potenzialmente privo della ricchezza di parametri dei suoi cugini più grandi.

I modelli SmolLM hanno subito la stessa pipeline: CPT con il corpus della scienza dei materiali, seguito da SFT e DPO (che si è dimostrato più efficace di ORPO per questa architettura più piccola). È stata quindi applicata la fusione SLERP, combinando lo SmolLM affinato con la sua versione base o altre varianti.

I Risultati con SmolLM:

• Il Fine-tuning Aiuta Ancora: La pipeline CPT-SFT-DPO ha migliorato le prestazioni del modello SmolLM sui compiti di dominio rispetto al suo stato originale. Il processo di fine-tuning stesso è stato benefico, migliorando la sua conoscenza specializzata.
• Emergenza Largamente Assente: Tuttavia, a differenza degli esperimenti con Llama e Mistral, i modelli SmolLM fusi con SLERP generalmente non hanno mostrato effetti sinergici significativi. Le loro prestazioni si sono tipicamente attestate vicino a una semplice media dei modelli genitori, o solo leggermente al di sopra. I drammatici salti di prestazioni e i chiari segni di capacità emergenti visti nei modelli da 7B/8B erano assenti.

Implicazioni:

Questo contrasto suggerisce che la scala del modello è probabilmente un fattore chiave nel realizzare il pieno potenziale della fusione SLERP per generare proprietà emergenti. Modelli più piccoli, con i loro spazi dei parametri meno complessi e a dimensionalità inferiore, potrebbero mancare della capacità rappresentazionale o della ricchezza richiesta affinché queste potenti interazioni non lineari si verifichino durante la fusione. Lo “spazio” per scoprire combinazioni di parametri nuove e benefiche sembra significativamente limitato rispetto ai modelli più grandi.

Questi risultati si allineano con osservazioni più ampie sulle leggi di scala (scaling laws) nel deep learning, dove certe capacità qualitative spesso emergono solo una volta che i modelli raggiungono una certa soglia dimensionale. Sembra che il potere sinergico della fusione SLERP possa essere una di queste capacità che dipende criticamente da una scala e complessità del modello sufficienti.

Quantificare i Guadagni: Uno Sguardo Ravvicinato all’Incremento di Prestazioni dalla Fusione

Mentre i benchmark mostrano che i modelli fusi spesso ottengono le migliori prestazioni complessive, è utile quantificare precisamente quanto sono migliori rispetto ai loro genitori. Specificamente, il modello fuso supera costantemente anche il più forte dei due modelli utilizzati per crearlo?

Per analizzare questo, è stata calcolata la deviazione delle prestazioni per ciascun modello fuso con SLERP. Questa deviazione è stata definita come:

Deviazione Prestazioni = Prestazioni(Modello Fuso) - Max(Prestazioni(Genitore 1), Prestazioni(Genitore 2))

• Una deviazione positiva (visualizzata in sfumature di blu) significa che il modello SLERP ha ottenuto prestazioni migliori del migliore dei suoi genitori – una chiara prova di sinergia.
• Una deviazione negativa (visualizzata in rosso) significa che il modello SLERP ha ottenuto prestazioni peggiori di almeno uno dei suoi genitori, indicando che la fusione è stata dannosa o, nel migliore dei casi, una media.

L’Analisi Ha Rivelato:

Nella maggior parte degli esperimenti che coinvolgono i modelli Llama 3.1 (8B) e Mistral (7B), le deviazioni delle prestazioni erano prevalentemente positive. In molti casi, specialmente per le pipeline ben ottimizzate (ad esempio, quelle che coinvolgono CPT, SFT, ottimizzazione delle preferenze e SLERP), i modelli fusi hanno mostrato deviazioni positive sostanziali, indicando che hanno superato significativamente le capacità anche del loro genitore più forte.

Ci sono stati casi, in particolare con modelli genitori meno ottimizzati o forse parametri di fusione subottimali, in cui la deviazione era leggermente negativa o vicina allo zero. Tuttavia, la tendenza generale era chiara: la fusione strategica SLERP fornisce frequentemente un genuino incremento di prestazioni oltre ciò che entrambi i modelli genitori potrebbero raggiungere da soli. Ciò rafforza l’idea che la fusione non è solo una media, ma un processo capace di sintetizzare capacità superiori. I risultati di SmolLM (1.7B), al contrario, mostrerebbero deviazioni molto più piccole o negative, coerenti con la mancanza di forti effetti emergenti a quella scala.

Dai Benchmark al Brainstorming: Applicazioni Interattive nella Progettazione di Materiali

Oltre ai benchmark quantitativi, il vero valore di questi modelli adattati al dominio risiede nella loro capacità di assistere in compiti del mondo reale, come il ragionamento scientifico e la progettazione creativa. Per valutare questo aspetto qualitativo, sono state condotte sessioni di chat interattive con diversi dei modelli con le migliori prestazioni (incluse varianti sia fuse che non fuse).

L’impostazione prevedeva la fornitura di un prompt di sistema coerente che istruiva il modello ad agire come un esperto di scienza dei materiali, seguito da un prompt dell’utente progettato per testare il ragionamento creativo e interdominio. Un compito tipico prevedeva di chiedere al modello di:

1. Considerare due concetti biologici apparentemente disparati (ad esempio, la struttura del collagene e i pattern di venatura delle foglie).
2. Fare brainstorming su nuovi design di materiali ispirati dalla combinazione di principi da entrambi i concetti.
3. Spiegare il ragionamento alla base dei design proposti.
4. Restituire i suggerimenti in un formato strutturato (come JSON) per una potenziale elaborazione a valle.

Osservazioni Qualitative:

• Forte Comprensione del Dominio: Tutti i modelli affinati hanno dimostrato una solida padronanza dei concetti biologici e di scienza dei materiali sottostanti, utilizzando terminologia appropriata e facendo riferimento a principi pertinenti. Le fasi CPT e SFT hanno chiaramente impartito una significativa conoscenza del dominio.
• Sintesi Creativa: I modelli erano generalmente capaci di colmare il divario concettuale tra gli input disparati (come collagene e foglie) per proporre architetture o funzionalità materiali innovative. Ciò ha messo in mostra la loro capacità di eseguire ragionamenti analogici all’interno del dominio specializzato.
• Output Strutturato: I modelli hanno aderito con successo alle istruzioni che richiedevano un output strutturato (JSON), indicando buone capacità di seguire le istruzioni, in particolare per quelli affinati con SFT e ottimizzazione delle preferenze o originati da basi Instruct.
• Profondità e Chiarezza Variabili: Sebbene tutti abbiano eseguito il compito principale, sono emerse differenze nella profondità del ragionamento fornito, nella novità e praticità dei design proposti e nella chiarezza e coerenza complessiva della spiegazione. I modelli che hanno subito pipeline di addestramento più complete, specialmente quelli che includevano l’ottimizzazione delle preferenze e la fusione SLERP, hanno spesso fornito risposte più ricche, più perspicaci e più creative.
• Influenza della Fusione: I modelli fusi hanno spesso mostrato un buon equilibrio tra accuratezza specifica del dominio e fluidità/creatività conversazionale, integrando apparentemente la conoscenza dal genitore sintonizzato sul dominio con le abilità di interazione del genitore instruct generico.

Queste sessioni interattive hanno fornito preziose prove qualitative che le strategie di fine-tuning e fusione si traducono in miglioramenti tangibili in compiti pratici e aperti che richiedono ragionamento e creatività specifici del dominio. Hanno dimostrato il potenziale di questi LLM su misura per agire come preziosi collaboratori nell’esplorazione scientifica e nell’ideazione progettuale all’interno di campi come la scienza dei materiali.