Kuhuisha Nyeusi-na-Nyeupe: Kujifunza kwa Kina Kupaka Rangi

Rangi za sepia na vivuli vya kijivu vya picha za zamani vina mvuto wa kipekee, zikinasa nyakati zilizoganda kwa wakati. Hata hivyo, mara nyingi hukosa uhai wa rangi halisi wa tukio la awali. Fikiria kuingiza uhai wa rangi tena katika kumbukumbu hizi pendwa, kubadilisha picha iliyofifia ya nyeusi-na-nyeupe kuwa dirisha linaloonyesha ulimwengu wa mhusika katika rangi kamili. Mchakato huu wa mabadiliko, unaojulikana kama upakaji rangi wa picha, umewavutia wasanii na wanahistoria kwa muda mrefu. Leo, ikisukumwa na maendeleo katika akili bandia, hasa ujifunzaji wa kina, upakaji rangi otomatiki unafikia matokeo ambayo hapo awali yalikuwa kama hadithi za kisayansi.

Kuleta rangi kwenye picha ya kijivu kunaleta changamoto ya kuvutia. Kiasi kikubwa cha habari - data halisi ya rangi - hupotea kiasili wakati picha inapotolewa kwa rangi nyeusi-na-nyeupe. Je, algoriti inawezaje kujua rangi halisi ya ua, gauni, au anga kutokana na thamani za mwangaza pekee? Jibu liko katika vidokezo fiche vilivyomo ndani ya picha yenyewe ya kijivu: maumbo, muundo, muktadha, na mwingiliano wa mwanga na kivuli. Ingawa kubainisha rangi halisi ya awali kunaweza kuwa haiwezekani (je, ua hilo la waridi lilikuwa jekundu kweli, au labda kivuli cha pinki?), lengo linabadilika kuelekea kuunda upakaji rangi unaowezekana na unaovutia kimuonekano. Lengo ni kutoa picha ambayo mtazamaji wa kibinadamu angeiona kuwa ya kuaminika, hata pengine isiyoweza kutofautishwa na picha halisi ya rangi.

Miundo ya ujifunzaji wa kina inafaulu katika kufichua mifumo tata na uhusiano wa kitakwimu ndani ya hifadhidata kubwa. Kwa kufunza miundo hii kwenye mamilioni ya picha, kulinganisha matoleo ya kijivu dhidi ya wenzao wa rangi halisi, algoriti hujifunza kuhusisha maumbo na miundo maalum na rangi zinazowezekana. Wanajifunza kuwa nyasi kwa kawaida huwa kijani, anga mara nyingi huwa bluu, na maumbo fulani yanahusiana na mbao au kitambaa. Ni sawa na kubahatisha kwa elimu, lakini ambayo imefahamishwa na ensaiklopidia kubwa ya kuona. Algoriti ‘haijui’ rangi halisi kwa maana ya kibinadamu, lakini inaweza kufanya utabiri wenye uwezekano mkubwa kulingana na uhusiano uliojifunza.

Lugha ya Rangi: CIELab na Mitandao ya Neva

Ili kukabiliana na upakaji rangi kwa njia ya kikompyuta, tunahitaji njia inayofaa ya kuwakilisha rangi. Ingawa RGB (Nyekundu, Kijani, Bluu) ni ya kawaida kwa maonyesho, inachanganya habari za mwangaza (brightness) na rangi (chrominance). Mfumo wenye faida zaidi kwa kazi hii ni nafasi ya rangi ya CIELab. Mfumo huu unatenganisha rangi kwa ustadi katika vipengele vitatu tofauti:

• L (Lightness): Chaneli hii inawakilisha habari za kijivu, kuanzia nyeusi tupu hadi nyeupe tupu. Kimsingi ni data ya ingizo ambayo tayari tunayo katika picha nyeusi-na-nyeupe.
• a: Chaneli hii inasimba wigo kutoka kijani (thamani hasi) hadi nyekundu (thamani chanya).
• b: Chaneli hii inasimba wigo kutoka bluu (thamani hasi) hadi njano (thamani chanya).

Uzuri wa CIELab upo katika utengano huu. Mfumo wetu wa ujifunzaji wa kina unaweza kuzingatia kutabiri chaneli mbili za rangi (‘a’ na ‘b’) kulingana tu na chaneli ya ingizo ya Mwangaza (‘L’). Kazi kuu inakuwa: kutokana na habari za kijivu (L), ni zipi thamani zinazowezekana zaidi za ‘a’ na ‘b’ kwa kila pikseli?

Majaribio ya awali mara nyingi yalitumia Mitandao ya Neva ya Kuchuja (Convolutional Neural Networks - CNNs) - aina ya usanifu wa ujifunzaji wa kina unaofaa hasa katika kuchakata data yenye muundo wa gridi kama vile picha. Mitandao hii ilifunzwa kwenye hifadhidata kubwa za picha (kama ImageNet) ili kutabiri moja kwa moja thamani za ‘a’ na ‘b’ kwa kila pikseli, ikichukulia kama tatizo la regression (kutabiri thamani endelevu). Hata hivyo, kasoro ya kawaida iliibuka: matokeo ya upakaji rangi mara nyingi yalionekana yaliyopungua rangi au kufifia. Kwa nini? Fikiria kitu kama tufaha. Inaweza kuwa nyekundu, kijani, au hata njano. Ikiwa mtandao utajaribu kukadiria wastani wa uwezekano huu wakati wa regression, inaweza kuishia kwenye rangi ya kahawia isiyovutia badala ya rangi mahususi na angavu. Athari hii ya wastani katika rangi nyingi zinazowezekana ilielekea kufifisha matokeo.

Mabadiliko ya Mtazamo: Upakaji Rangi kama Uainishaji

Ili kushinda suala la kupungua kwa rangi na kutoa rangi angavu zaidi, za kweli, mbinu ya kisasa zaidi inabadilisha mtazamo wa tatizo. Badala ya kuchukulia utabiri wa rangi kama regression, inaonekana kama kazi ya uainishaji.

Hapa kuna mabadiliko ya dhana:

1. Nafasi ya Rangi Iliyogawanywa: Wigo endelevu wa thamani zinazowezekana za ‘a’ na ‘b’ umegawanywa katika seti iliyoainishwa mapema ya ‘mapipa’ ya rangi wakilishi au madarasa. Fikiria kama kupunguza paleti kubwa hadi seti inayoweza kudhibitiwa, lakini pana, ya chaguo tofauti za rangi ndani ya ndege ya ‘a’-‘b’.
2. Kutabiri Uwezekano: Kwa kila pikseli katika picha ya ingizo ya kijivu, CNN haitabiri thamani moja ya ‘a’ na ‘b’. Badala yake, inatoa mgawanyo wa uwezekano katika mapipa ya rangi yaliyogawanywa. Kimsingi inasema, ‘Kwa pikseli hii, kuna uwezekano wa 70% kuwa ni ya ‘pipa jekundu angavu #5’, uwezekano wa 20% kuwa ni ‘pipa jekundu lililofifia #2’, uwezekano wa 5% kuwa ni ‘pipa la kahawia #12’,’ na kadhalika.
3. Kushughulikia Utata: Mbinu hii ya uwezekano kwa asili inashughulikia utata wa rangi. Ikiwa kitu kinaweza kuwa na rangi nyingi (kama tufaha), mtandao unaweza kugawa uwezekano mkubwa kwa mapipa kadhaa tofauti ya rangi, ikionyesha kutokuwa na uhakika huu bila kutegemea wastani usiovutia.
4. Kusimbua kwa Rangi Angavu: Hatua ya mwisho inahusisha kutafsiri mgawanyo huu wa uwezekano kurudi kwenye rangi moja, maalum kwa kila pikseli. Mbinu rahisi inaweza kuwa kuchagua tu pipa la rangi lenye uwezekano mkubwa zaidi (mode). Hata hivyo, ili kuhimiza uangavu na kuepuka tatizo la kupungua kwa rangi, mbinu kama vile kukokotoa wastani uliopozwa (annealed mean) wa mgawanyo hutumiwa. Mbinu hii inatoa uzito zaidi kwa utabiri wenye uwezekano mdogo lakini wenye rangi zaidi (saturation ya juu), kwa ufanisi ‘kuvunja sare’ kwa kupendelea uangavu huku bado ikiheshimu mgawanyo wa jumla uliotabiriwa.

Mfumo huu wa uainishaji, pamoja na usanifu makini wa kazi ya hasara (loss function) (kipimo kinachotumiwa kutathmini utendaji wa mfumo wakati wa mafunzo) mahususi kwa ajili ya upakaji rangi, huruhusu mfumo kujifunza uhusiano tata kati ya sifa za kijivu na mgawanyo wa rangi zinazowezekana. Matokeo yake ni picha ambazo sio tu zina rangi zinazowezekana lakini pia zina utajiri na mvuto wa kuona ambao mara nyingi hukosekana katika mbinu za awali za regression.

Kuangalia Chini ya Pazia: Mtiririko wa Kazi wa Vitendo wa Ujifunzaji wa Kina

Ingawa kufunza CNN ya kisasa kama hiyo kutoka mwanzo ni kazi kubwa inayohitaji rasilimali kubwa za kikompyuta na hifadhidata kubwa, kutumia mifumo iliyofunzwa awali hufanya teknolojia hii kupatikana. Hebu tupitie hatua za dhana zinazohusika katika kutumia mfumo wa ujifunzaji wa kina uliofunzwa awali (hasa ule uliojengwa kwa kutumia mfumo wa Caffe, kama ilivyo katika mfano wa awali) kwa upakaji rangi wa picha, uliotekelezwa kwa kutumia Python na maktaba za kawaida.

1. Kukusanya Zana:

Msingi kwa kawaida unahusisha Python, lugha ya programu inayotumika sana katika sayansi ya data na AI. Maktaba muhimu zina majukumu muhimu:

• NumPy: Muhimu kwa shughuli bora za nambari, hasa kushughulikia safu zenye pande nyingi zinazowakilisha picha.
• OpenCV (cv2): Maktaba yenye nguvu kwa kazi za maono ya kompyuta. Inatoa kazi za kusoma, kuandika, kudhibiti, na kuonyesha picha, na muhimu zaidi, inajumuisha moduli ya Mtandao wa Neva wa Kina (DNN) yenye uwezo wa kupakia na kuendesha mifumo iliyofunzwa katika mifumo mbalimbali kama Caffe, TensorFlow, na PyTorch.
• Argparse: Maktaba ya kawaida ya Python ya kuunda violesura vya mstari wa amri vinavyofaa mtumiaji, kuruhusu watumiaji kubainisha kwa urahisi vigezo vya ingizo kama njia ya faili ya picha.
• OS: Inatumika kwa mwingiliano wa msingi wa mfumo wa uendeshaji, kama vile kuunda njia za faili kwa njia inayofanya kazi katika mifumo tofauti (Windows, macOS, Linux).

2. Kupata Akili Iliyofunzwa Awali:

Badala ya kujenga mtandao wa neva hatua kwa hatua, tunatumia faili zinazowakilisha mtandao ambao tayari umefunzwa kwa upakaji rangi. Hizi kwa kawaida hujumuisha:

• Faili ya Usanifu wa Mfumo (.prototxt kwa Caffe): Faili hii inafafanua muundo wa mtandao wa neva - tabaka, aina zake, miunganisho, na vigezo. Ni ramani ya mfumo.
• Faili ya Uzito Uliofunzwa (.caffemodel kwa Caffe): Faili hii ina uzito wa nambari uliojifunza na mtandao wakati wa mchakato wake mrefu wa mafunzo. Uzito huu unajumuisha ‘maarifa’ ambayo mfumo umepata kuhusu kuunganisha sifa za kijivu na uwezekano wa rangi. Ni akili iliyochujwa.
• Data ya Ugawanyaji wa Rangi (faili ya .npy): Faili hii ya NumPy kwa kawaida huhifadhi pointi za katikati za mapipa ya rangi yaliyogawanywa yaliyotumika katika mbinu ya uainishaji iliyoelezwa hapo awali. Inatumika kama paleti ya rejea kwa uwezekano wa rangi uliotabiriwa.

Faili hizi zinawakilisha kilele cha wiki au miezi ya mafunzo kwenye vifaa vyenye nguvu.

3. Kupakia Injini ya Upakaji Rangi:

Pamoja na faili muhimu zilizopo, moduli ya DNN ya OpenCV hutoa utaratibu wa kupakia mtandao uliofunzwa awali kwenye kumbukumbu. Kazi ya cv2.dnn.readNetFromCaffe (au sawa kwa mifumo mingine) inachukua faili za usanifu na uzito kama ingizo na kuanzisha mtandao, na kuifanya kuwa tayari kwa inference (mchakato wa kufanya utabiri kwenye data mpya). Pointi za ugawanyaji wa rangi kutoka faili ya .npy pia hupakiwa, kwa kawaida kwa kutumia NumPy.

4. Kurekebisha Vipengele vya Mtandao (Ikihitajika):

Wakati mwingine, tabaka maalum ndani ya mtandao uliofunzwa awali zinahitaji marekebisho madogo kabla ya inference. Katika muktadha wa mfumo wa upakaji rangi unaotegemea uainishaji uliojadiliwa:

• Marekebisho ya Tabaka la Pato: Tabaka la mwisho linalohusika na kutoa utabiri wa chaneli za ‘a’ na ‘b’ (k.m., lililoitwa class8_ab katika mfumo wa rejea) linaweza kuhitaji kupakiwa waziwazi na vituo vya mapipa ya rangi kutoka faili ya .npy. Hii inahakikisha uwezekano wa pato la mtandao unalingana kwa usahihi na paleti ya rangi iliyoainishwa mapema. Pointi mara nyingi hubadilishwa umbo na kubadilishwa kuwa aina sahihi ya data (k.m., float32) kabla ya kupewa ‘blobs’ za tabaka (neno la Caffe kwa vyombo vya data).
• Usawazishaji Upya wa Rangi: Tabaka lingine (k.m., conv8_313_rh) linaweza kurekebishwa ili kuathiri usawa kati ya rangi tofauti katika pato, ikiwezekana kuongeza saturation au kusahihisha upendeleo uliojifunza wakati wa mafunzo. Hii mara nyingi inahusisha kuweka blobs za tabaka kwa thamani maalum zilizojifunza (kama thamani ya 2.606 iliyotajwa katika msimbo wa awali, ambayo inawezekana ilitokana na majaribio au wakati wa mafunzo).

Hatua hizi hubadilisha mfumo wa jumla uliofunzwa awali kwa nuances maalum za kazi ya upakaji rangi kwa kutumia mbinu ya uainishaji.

5. Kuandaa Picha ya Ingizo:

Picha ya ingizo ya kijivu inahitaji kupitia hatua kadhaa za utayarishaji kabla ya kuingizwa kwenye mtandao wa neva:

• Kupakia: Picha inasomwa kutoka kwa njia ya faili iliyoainishwa kwa kutumia cv2.imread. Hata ikiwa ni ya kijivu, OpenCV inaweza kuipakia kama picha ya BGR ya chaneli 3 kwa chaguo-msingi, ikirudia thamani ya kijivu kwenye chaneli zote.
• Kurekebisha (Normalization): Thamani za pikseli, kwa kawaida kuanzia 0 hadi 255, hupunguzwa kwa kiwango kidogo, mara nyingi 0.0 hadi 1.0, kwa kugawanya na 255.0. Urekebishaji huu husaidia kuimarisha mchakato wa kujifunza na inference wa mtandao.
• Ubadilishaji wa Nafasi ya Rangi: Picha inabadilishwa kutoka nafasi ya rangi ya BGR ya chaguo-msingi hadi nafasi ya rangi ya CIELab kwa kutumia cv2.cvtColor. Hii ni muhimu kwa kutenga chaneli ya Mwangaza (L).
• Kubadilisha Ukubwa: CNN nyingi zilizofunzwa awali zinatarajia picha za ingizo za ukubwa maalum (k.m., pikseli 224x224, kiwango cha kawaida kilichoathiriwa na hifadhidata kama ImageNet). Picha ya LAB inabadilishwa ukubwa ipasavyo kwa kutumia cv2.resize. Usanifishaji huu unahakikisha utangamano na usanifu wa mtandao.
• Utengaji na Uwekaji Katikati wa Chaneli ya L: Chaneli ya Mwangaza (L) inatolewa kutoka kwa picha ya LAB iliyobadilishwa ukubwa. Mara nyingi, thamani zake (kwa kawaida 0-100 katika LAB) huwekwa katikati karibu na sifuri kwa kutoa thamani ya wastani (k.m., 50). Uwekaji katikati huu ni mazoezi mengine ya kawaida ambayo yanaweza kuboresha utendaji wa mtandao.

Chaneli hii ya L iliyoandaliwa kwa uangalifu sasa iko tayari kuwasilishwa kwa mtandao.

6. Hatua ya Inference: Kutabiri Rangi:

Hapa ndipo uchawi hutokea:

• Uundaji wa Blob: Chaneli ya L iliyochakatwa (sasa safu ya 2D) inabadilishwa kuwa ‘blob,’ umbizo la safu lenye pande 4 linalotarajiwa na moduli ya DNN (cv2.dnn.blobFromImage). Umbizo hili kwa kawaida hujumuisha vipimo vya ukubwa wa kundi, chaneli, urefu, na upana.
• Mpito wa Mbele (Forward Pass): Blob inawekwa kama ingizo kwa mtandao uliopakiwa kwa kutumia net.setInput. Kisha, mbinu ya net.forward() inaitwa. Hii huanzisha hesabu: data ya ingizo inapita kupitia tabaka za mtandao, ikipitia mabadiliko yanayoamriwa na uzito uliojifunza, hatimaye kutoa pato lililotabiriwa. Kwa mfumo wetu wa upakaji rangi, pato linawakilisha chaneli za ‘a’ na ‘b’ zilizotabiriwa (au tuseme, mgawanyo wa uwezekano juu ya mapipa ya rangi).
• Kubadilisha Umbo la Pato: Pato ghafi kutoka kwa mtandao linahitaji kubadilishwa umbo na kupinduliwa kurudi kwenye umbizo la anga la 2D linalolingana na chaneli za ‘a’ na ‘b’.

Mtandao sasa umetoa ubashiri wake bora zaidi wa habari za rangi kulingana na picha ya ingizo ya kijivu.

7. Kujenga Upya Picha ya Rangi:

Hatua ya mwisho inahusisha kuchanganya habari za rangi zilizotabiriwa na data ya picha halisi:

• Kubadilisha Ukubwa wa Chaneli Zilizotabiriwa: Chaneli za ‘a’ na ‘b’ zilizotabiriwa (ambazo kwa sasa zina ukubwa wa 224x224, zikilingana na ingizo la mtandao) zinahitaji kubadilishwa ukubwa kurudi kwenye vipimo halisi vya picha ya ingizo kwa kutumia cv2.resize. Hii inahakikisha habari za rangi zinalingana kwa usahihi na muundo wa picha halisi.
• Kutoa Mwangaza Halisi: Muhimu zaidi, chaneli ya Mwangaza (L) inatolewa kutoka kwa picha halisi, ya ukubwa kamili ya LAB (iliyoundwa wakati wa utayarishaji kabla ya kubadilisha ukubwa). Kutumia chaneli halisi ya L huhifadhi maelezo halisi ya picha na muundo wa mwangaza, ambao ungeharibika ikiwa chaneli ya L iliyobadilishwa ukubwa ingetumiwa.
• Kuunganisha: Chaneli halisi ya L inaunganishwa (concatenated) na chaneli za ‘a’ na ‘b’ zilizobadilishwa ukubwa, zilizotabiriwa kando ya mhimili wa chaneli ya rangi. Hii inakusanya tena picha kamili ya LAB, sasa ikiwa na rangi iliyotabiriwa.
• Ubadilishaji Kurudi Kwenye Umbizo Linaloonekana: Picha ya LAB inayotokana inabadilishwa kurudi kwenye nafasi ya rangi ya BGR kwa kutumia cv2.cvtColor, kwani hili ndilo umbizo la kawaida linalotarajiwa na kazi nyingi za kuonyesha picha (kama cv2.imshow).
• Kukata na Kupima (Clipping and Scaling): Thamani za pikseli katika picha ya BGR, ambazo kwa sasa ziko katika kiwango kilichorekebishwa (uwezekano 0.0 hadi 1.0), hukatwa ili kuhakikisha zinabaki ndani ya kiwango hiki halali (thamani wakati mwingine zinaweza kuzidi mipaka kidogo kutokana na mchakato wa utabiri). Kisha, zinapimwa tena hadi kiwango cha kawaida cha nambari kamili cha 0-255 kinachohitajika kwa kuonyesha au kuhifadhi kama faili ya kawaida ya picha.

8. Kuonyesha:

Mwishowe, kazi kama cv2.imshow zinaweza kutumika kuonyesha picha halisi ya kijivu pamoja na mwenzake mpya aliye na rangi, kuruhusu ulinganisho wa haraka wa kuona.

Kutekeleza Mchakato:

Kwa kawaida, hati inayotekeleza hatua hizi ingeendeshwa kutoka kwa mstari wa amri. Kwa kutumia usanidi wa argparse, mtumiaji angetoa njia ya picha ya ingizo ya kijivu kama hoja (k.m., python colorize_image.py --image picha_yangu.jpg). Hati kisha hutekeleza hatua za kupakia, utayarishaji, inference, na ujenzi upya, hatimaye kuonyesha au kuhifadhi matokeo yaliyopakwa rangi.

Mtiririko huu wa kazi, unaotumia mifumo iliyofunzwa awali na maktaba zenye nguvu, hubadilisha nadharia tata ya upakaji rangi wa ujifunzaji wa kina kuwa zana ya vitendo yenye uwezo wa kuongeza rangi angavu, zinazowezekana kwa picha nyeusi-na-nyeupe, kwa ufanisi kuziba pengo kati ya zamani na sasa.