Dare Vita al Monocromo: Deep Learning per Colorare Immagini

I toni seppia e le sfumature di grigio delle vecchie fotografie possiedono un fascino unico, catturando momenti congelati nel tempo. Tuttavia, spesso mancano dell’immediatezza vibrante della scena originale. Immaginate di infondere nuovamente le tonalità della vita in questi ricordi preziosi, trasformando un ritratto sbiadito in bianco e nero in una finestra che rivela il mondo del soggetto a colori. Questo processo trasformativo, noto come colorazione delle immagini, affascina da tempo artisti e storici. Oggi, spinta dai progressi dell’intelligenza artificiale, in particolare del deep learning, la colorazione automatizzata sta ottenendo risultati che un tempo erano materia di fantascienza.

Portare colore a un’immagine in scala di grigi presenta una sfida affascinante. Una quantità significativa di informazioni – i dati cromatici originali – viene intrinsecamente persa quando un’immagine è resa in monocromia. Come può un algoritmo sapere il vero colore di un fiore, di un vestito o del cielo basandosi solo sui valori di luminanza? La risposta risiede negli indizi sottili incorporati nell’immagine in scala di grigi stessa: texture, forme, contesto e l’interazione tra luce e ombra. Sebbene individuare il colore originale esatto possa essere impossibile (quella rosa era davvero cremisi, o forse una sfumatura di rosa?), l’obiettivo si sposta verso la creazione di una colorazione plausibile ed esteticamente convincente. Lo scopo è produrre un’immagine che un osservatore umano troverebbe credibile, potenzialmente persino indistinguibile da una fotografia a colori originale.

I modelli di deep learning eccellono nello scoprire pattern intricati e relazioni statistiche all’interno di vasti set di dati. Addestrando questi modelli su milioni di immagini, confrontando le versioni in scala di grigi con le loro controparti a colori originali, gli algoritmi imparano ad associare specifiche texture e strutture a colori probabili. Imparano che l’erba è tipicamente verde, i cieli sono spesso blu e certe texture corrispondono a venature del legno o tessuti. È simile a un’ipotesi informata, ma basata su un’enorme enciclopedia visiva. L’algoritmo non ‘conosce’ il vero colore in senso umano, ma può fare previsioni altamente probabili basate su correlazioni apprese.

Il Linguaggio del Colore: CIELab e Reti Neurali

Per affrontare la colorazione computazionalmente, abbiamo bisogno di un modo adeguato per rappresentare il colore. Sebbene RGB (Red, Green, Blue) sia comune per i display, mescola informazioni di luminanza (luminosità) e crominanza (colore). Un sistema più vantaggioso per questo compito è lo spazio colore CIELab. Questo modello separa elegantemente il colore in tre componenti distinte:

• L (Lightness): Questo canale rappresenta l’informazione in scala di grigi, che va dal nero puro al bianco puro. È essenzialmente il dato di input che abbiamo già in un’immagine in bianco e nero.
• a: Questo canale codifica lo spettro dal verde (valori negativi) al rosso (valori positivi).
• b: Questo canale codifica lo spettro dal blu (valori negativi) al giallo (valori positivi).

La bellezza di CIELab risiede in questa separazione. Il nostro modello di deep learning può concentrarsi sulla previsione dei due canali di crominanza (‘a’ e ‘b’) basandosi unicamente sul canale di Lightness (‘L’) in input. Il compito principale diventa: data l’informazione in scala di grigi (L), quali sono i valori ‘a’ e ‘b’ corrispondenti più probabili per ogni pixel?

I primi tentativi impiegavano spesso Convolutional Neural Networks (CNNs) – un tipo di architettura di deep learning particolarmente adatta all’elaborazione di dati a griglia come le immagini. Queste reti venivano addestrate su grandi dataset di immagini (come ImageNet) per prevedere direttamente i valori ‘a’ e ‘b’ per ogni pixel, trattandolo come un problema di regressione (previsione di valori continui). Tuttavia, emerse una trappola comune: le colorazioni risultanti apparivano spesso desaturate o smorzate. Perché? Consideriamo un oggetto come una mela. Potrebbe plausibilmente essere rossa, verde o persino gialla. Se la rete cerca di mediare queste possibilità durante la regressione, potrebbe stabilirsi su un compromesso opaco e brunastro invece di un colore vibrante e specifico. Questo effetto di mediazione tra più colori plausibili tendeva a sbiadire i risultati.

Un Cambio di Paradigma: la Colorazione come Classificazione

Per superare il problema della desaturazione e produrre colori più vibranti e realistici, un approccio più sofisticato riformula il problema. Invece di trattare la previsione del colore come regressione, viene vista come un compito di classificazione.

Ecco il cambio concettuale:

1. Spazio Colore Quantizzato: Lo spettro continuo dei possibili valori ‘a’ e ‘b’ viene discretizzato in un insieme predefinito di ‘bin’ o classi di colore rappresentative. Pensatelo come ridurre una vasta palette a un insieme gestibile, ma completo, di opzioni di colore distinte all’interno del piano ‘a’-‘b’.
2. Previsione delle Probabilità: Per ogni pixel nell’immagine in scala di grigi di input, la CNN non prevede un singolo valore ‘a’ e ‘b’. Invece, produce una distribuzione di probabilità tra i bin di colore quantizzati. Essenzialmente dice: ‘Per questo pixel, c’è una probabilità del 70% che appartenga al ‘bin rosso vibrante #5’, una probabilità del 20% che sia ‘bin rosso pallido #2’, una probabilità del 5% che sia ‘bin brunastro #12’’, e così via.
3. Gestione dell’Ambiguità: Questo approccio probabilistico gestisce intrinsecamente l’ambiguità del colore. Se un oggetto potesse avere più colori (come la mela), la rete può assegnare probabilità significative a diversi bin di colore, riflettendo questa incertezza senza ricorrere a una media blanda.
4. Decodifica verso Colori Vibranti: Il passo finale consiste nel tradurre questa distribuzione di probabilità in un singolo colore specifico per ogni pixel. Un approccio ingenuo potrebbe essere semplicemente scegliere il bin di colore con la probabilità più alta (la moda). Tuttavia, per incoraggiare la vivacità ed evitare il problema della desaturazione, vengono utilizzate tecniche come il calcolo della media annealed della distribuzione. Questo metodo dà più peso a previsioni meno probabili ma più colorate (saturazione più alta), ‘rompendo gli spareggi’ efficacemente a favore della vivacità, pur rispettando la distribuzione prevista complessiva.

Questo framework di classificazione, combinato con un’attenta progettazione della funzione di perdita (la metrica utilizzata per valutare le prestazioni del modello durante l’addestramento) specifica per la colorazione, consente al modello di apprendere la complessa relazione tra le caratteristiche della scala di grigi e la distribuzione dei colori probabili. Il risultato sono immagini che non solo sono colorate in modo plausibile, ma possiedono anche una ricchezza e un fascino visivo spesso assenti nei precedenti metodi basati sulla regressione.

Sbirciare Sotto il Cofano: un Flusso di Lavoro Pratico di Deep Learning

Sebbene addestrare una CNN così sofisticata da zero sia un compito monumentale che richiede immense risorse computazionali e vasti set di dati, sfruttare modelli pre-addestrati rende questa tecnologia accessibile. Esaminiamo i passaggi concettuali coinvolti nell’utilizzo di un modello di deep learning pre-addestrato (specificamente uno costruito utilizzando il framework Caffe, come nell’esempio originale) per la colorazione delle immagini, implementato utilizzando Python e librerie comuni.

1. Assemblare il Toolkit:

La base tipicamente coinvolge Python, un linguaggio di programmazione versatile popolare nella data science e nell’IA. Librerie chiave svolgono ruoli cruciali:

• NumPy: Essenziale per operazioni numeriche efficienti, in particolare per la gestione degli array multidimensionali che rappresentano le immagini.
• OpenCV (cv2): Una libreria potentissima per compiti di computer vision. Fornisce funzioni per leggere, scrivere, manipolare e visualizzare immagini e, cosa cruciale, include un modulo Deep Neural Network (DNN) capace di caricare ed eseguire modelli addestrati in vari framework come Caffe, TensorFlow e PyTorch.
• Argparse: Una libreria standard di Python per creare interfacce a riga di comando user-friendly, permettendo agli utenti di specificare facilmente parametri di input come il percorso del file immagine.
• OS: Utilizzato per interazioni di base con il sistema operativo, come la costruzione di percorsi di file in modo che funzionino su sistemi diversi (Windows, macOS, Linux).

2. Acquisire l’Intelligenza Pre-Addestrata:

Invece di costruire la rete neurale mattone dopo mattone, utilizziamo file che rappresentano una rete già addestrata per la colorazione. Questi tipicamente includono:

• File Architettura Modello (.prototxt per Caffe): Questo file definisce la struttura della rete neurale – i layer, i loro tipi, connessioni e parametri. È il progetto del modello.
• File Pesi Addestrati (.caffemodel per Caffe): Questo file contiene i pesi numerici appresi dalla rete durante il suo esteso processo di addestramento. Questi pesi incapsulano la ‘conoscenza’ che il modello ha acquisito sulla mappatura delle caratteristiche della scala di grigi alle probabilità di colore. È l’intelligenza distillata.
• Dati Quantizzazione Colore (file .npy): Questo file NumPy di solito memorizza i punti centrali dei bin di colore quantizzati utilizzati nell’approccio di classificazione descritto in precedenza. Agisce come la palette di riferimento per le probabilità di colore previste.

Questi file rappresentano il culmine di potenzialmente settimane o mesi di addestramento su hardware potente.

3. Caricare il Motore di Colorazione:

Con i file necessari localizzati, il modulo DNN di OpenCV fornisce il meccanismo per caricare la rete pre-addestrata in memoria. La funzione cv2.dnn.readNetFromCaffe (o equivalenti per altri framework) prende i file di architettura e pesi come input e istanzia la rete, rendendola pronta per l’inferenza (il processo di fare previsioni su nuovi dati). Vengono caricati anche i punti di quantizzazione del colore dal file .npy, tipicamente usando NumPy.

4. Affinare i Componenti della Rete (Se Necessario):

A volte, specifici layer all’interno della rete pre-addestrata necessitano di piccole regolazioni prima dell’inferenza. Nel contesto del modello di colorazione basato sulla classificazione discusso:

• Regolazione Layer di Output: Il layer finale responsabile dell’output delle previsioni dei canali ‘a’ e ‘b’ (ad esempio, chiamato class8_ab nel modello di riferimento) potrebbe dover essere caricato esplicitamente con i centri dei bin di colore dal file .npy. Ciò garantisce che le probabilità di output della rete mappino correttamente alla palette di colori predefinita. I punti vengono spesso rimodellati e convertiti al tipo di dati appropriato (ad esempio, float32) prima di essere assegnati ai ‘blob’ del layer (termine di Caffe per i contenitori di dati).
• Ribilanciamento Colore: Un altro layer (ad esempio, conv8_313_rh) potrebbe essere regolato per influenzare l’equilibrio tra diversi colori nell’output, potenzialmente aumentando la saturazione o correggendo bias appresi durante l’addestramento. Ciò comporta spesso l’impostazione dei blob del layer su valori specifici appresi (come il valore 2.606 menzionato nel codice originale, probabilmente derivato empiricamente o durante l’addestramento).

Questi passaggi adattano il modello generico pre-addestrato per le sfumature specifiche del compito di colorazione utilizzando l’approccio di classificazione.

5. Preparare l’Immagine di Input:

L’immagine in scala di grigi di input deve subire diversi passaggi di pre-elaborazione prima di essere inviata alla rete neurale:

• Caricamento: L’immagine viene letta dal percorso file specificato usando cv2.imread. Anche se è in scala di grigi, OpenCV potrebbe caricarla come immagine BGR a 3 canali per impostazione predefinita, duplicando il valore di grigio su tutti i canali.
• Normalizzazione: I valori dei pixel, tipicamente compresi tra 0 e 255, vengono scalati a un intervallo più piccolo, spesso da 0.0 a 1.0, dividendo per 255.0. Questa normalizzazione aiuta a stabilizzare il processo di apprendimento e inferenza della rete.
• Conversione Spazio Colore: L’immagine viene convertita dallo spazio colore BGR predefinito allo spazio colore CIELab usando cv2.cvtColor. Questo è cruciale per isolare il canale Lightness (L).
• Ridimensionamento: La maggior parte delle CNN pre-addestrate si aspetta immagini di input di dimensioni fisse (ad esempio, 224x224 pixel, uno standard comune influenzato da dataset come ImageNet). L’immagine LAB viene ridimensionata di conseguenza usando cv2.resize. Questa standardizzazione garantisce la compatibilità con l’architettura della rete.
• Isolamento e Centratura Canale L: Il canale Lightness (L) viene estratto dall’immagine LAB ridimensionata. Spesso, i suoi valori (tipicamente 0-100 in LAB) vengono poi centrati attorno allo zero sottraendo un valore medio (ad esempio, 50). Questa centratura è un’altra pratica comune che può migliorare le prestazioni della rete.

Questo canale L meticolosamente pre-elaborato è ora pronto per essere presentato alla rete.

6. Il Passo di Inferenza: Prevedere il Colore:

Qui è dove avviene la magia:

• Creazione Blob: Il canale L elaborato (ora un array 2D) viene convertito in un ‘blob’, un formato di array a 4 dimensioni atteso dal modulo DNN (cv2.dnn.blobFromImage). Questo formato include tipicamente dimensioni per dimensione batch, canali, altezza e larghezza.
• Passaggio Forward: Il blob viene impostato come input per la rete caricata usando net.setInput. Quindi, viene chiamato il metodo net.forward(). Questo innesca il calcolo: i dati di input fluiscono attraverso i layer della rete, subendo trasformazioni dettate dai pesi appresi, producendo infine l’output previsto. Per il nostro modello di colorazione, l’output rappresenta i canali ‘a’ e ‘b’ previsti (o meglio, le distribuzioni di probabilità sui bin di colore).
• Rimodellamento Output: L’output grezzo dalla rete deve essere rimodellato e trasposto nuovamente in un formato spaziale 2D corrispondente ai canali ‘a’ e ‘b’.

La rete ha ora generato la sua migliore ipotesi per le informazioni sul colore basandosi sull’immagine in scala di grigi di input.

7. Ricostruire l’Immagine a Colori:

La fase finale consiste nel combinare le informazioni sul colore previste con i dati dell’immagine originale:

• Ridimensionamento Canali Previsti: I canali ‘a’ e ‘b’ previsti (che attualmente hanno dimensioni 224x224, corrispondenti all’input della rete) devono essere ridimensionati alle dimensioni originali dell’immagine di input usando cv2.resize. Ciò garantisce che le informazioni sul colore si allineino correttamente con la struttura dell’immagine originale.
• Estrazione Lightness Originale: Crucialmente, il canale Lightness (L) viene estratto dall’immagine LAB originale, a grandezza naturale (creata durante la pre-elaborazione prima del ridimensionamento). L’uso del canale L originale preserva i dettagli e la struttura di luminanza originali dell’immagine, che verrebbero degradati se si utilizzasse il canale L ridimensionato.
• Concatenazione: Il canale L originale viene combinato (concatenato) con i canali ‘a’ e ‘b’ ridimensionati e previsti lungo l’asse del canale colore. Questo riassembla un’immagine LAB completa, ora con il colore previsto.
• Conversione a Formato Visualizzabile: L’immagine LAB risultante viene riconvertita nello spazio colore BGR usando cv2.cvtColor, poiché questo è il formato standard atteso dalla maggior parte delle funzioni di visualizzazione delle immagini (come cv2.imshow).
• Clipping e Scalatura: I valori dei pixel nell’immagine BGR, attualmente nell’intervallo normalizzato (probabilmente da 0.0 a 1.0), vengono ‘clippati’ (limitati) per garantire che rimangano entro questo intervallo valido (i valori a volte possono superare leggermente i limiti a causa del processo di previsione). Quindi, vengono riscalati all’intervallo intero standard 0-255 richiesto per la visualizzazione o il salvataggio come file immagine standard.

8. Visualizzazione:

Infine, funzioni come cv2.imshow possono essere utilizzate per visualizzare l’immagine originale in scala di grigi accanto alla sua controparte appena colorata, consentendo un confronto visivo immediato.

Esecuzione del Processo:

Tipicamente, uno script che implementa questi passaggi verrebbe eseguito dalla riga di comando. Utilizzando la configurazione argparse, l’utente fornirebbe il percorso dell’immagine in scala di grigi di input come argomento (ad esempio, python colorize_image.py --image la_mia_foto.jpg). Lo script esegue quindi i passaggi di caricamento, pre-elaborazione, inferenza e ricostruzione, visualizzando o salvando infine il risultato colorato.

Questo flusso di lavoro, sfruttando modelli pre-addestrati e potenti librerie, trasforma la complessa teoria della colorazione tramite deep learning in uno strumento pratico capace di aggiungere colori vibranti e plausibili alle immagini monocromatiche, colmando efficacemente il divario tra passato e presente.