Alibaba Yazindua Miundo ya AI

Utangulizi wa I2VGen-XL: Zana Mbalimbali

Seti ya I2VGen-XL, iliyoandaliwa na Timu ya Ema ya Alibaba, inajumuisha aina kadhaa, kila moja ikilenga mahitaji maalum ya utendaji na matukio ya matumizi. Miundo hii, iliyoanzishwa awali mnamo Januari, imeundwa ili kutoa video za kweli, ikisukuma mipaka ya kile kinachoweza kufikiwa sasa katika uundaji wa video unaoendeshwa na AI. Zana hizi za kisasa sasa zinapatikana kwa urahisi kwenye Hugging Face, kitovu maarufu cha rasilimali za AI na machine learning (ML).

Ukurasa wa Hugging Face uliotolewa kwa Timu ya Ema ya Alibaba unaonyesha miundo minne ya msingi ndani ya seti ya I2VGen-XL:

• T2V-1.3B: Muundo wa maandishi-kwa-video (text-to-video) wenye vigezo bilioni 1.3.
• T2V-14B: Muundo thabiti zaidi wa maandishi-kwa-video wenye vigezo bilioni 14.
• I2V-14B-720P: Muundo wa picha-kwa-video (image-to-video) wenye vigezo bilioni 14, ulioboreshwa kwa ubora wa 720p.
• I2V-14B-480P: Muundo wa picha-kwa-video wenye vigezo bilioni 14, ulioundwa kwa ubora wa 480p.

Majina yanaonyesha wazi tofauti kati ya utendaji wa maandishi-kwa-video (T2V) na picha-kwa-video (I2V), ikiruhusu watumiaji kuchagua muundo unaofaa zaidi kwa data zao za ingizo.

Ufikivu na Utendaji: Kuleta Demokrasia katika Uzalishaji wa Video

Moja ya vipengele vya kushangaza zaidi vya toleo la I2VGen-XL ni upatikanaji wake. Watafiti waliohusika na mradi huu wamesisitiza uwezo wa kuendesha hata lahaja ndogo zaidi, I2VGen-XL T2V-1.3B, kwenye GPU za kiwango cha watumiaji. Hasa, GPU yenye vRAM ndogo kama 8.19GB inatosha. Ili kuweka hili katika mtazamo, timu inaripoti kwamba kuzalisha video ya sekunde tano kwa ubora wa 480p kwa kutumia Nvidia RTX 4090 inachukua takriban dakika nne. Kiwango hiki cha ufikivu kinafungua uwezekano wa kusisimua kwa watafiti, watengenezaji, na hata wapenzi wa mambo haya kujaribu na kuchangia katika maendeleo ya uzalishaji wa video wa AI.

Zaidi ya Video: Seti ya AI yenye Vipengele Vingi

Ingawa lengo kuu la seti ya I2VGen-XL ni uzalishaji wa video, uwezo wake unaenea zaidi ya kazi hii ya msingi. Usanifu wa msingi umeundwa kushughulikia kazi mbalimbali, ikiwa ni pamoja na:

• Uzalishaji wa Picha: Kuunda picha tuli kutoka kwa vidokezo vya maandishi au vya kuona.
• Uzalishaji wa Sauti kutoka kwa Video: Kuunganisha sauti inayosaidia maudhui ya video yaliyozalishwa.
• Uhariri wa Video: Kurekebisha na kuboresha picha za video zilizopo.

Ni muhimu kutambua, hata hivyo, kwamba miundo iliyotolewa kwa sasa haijawekwa kikamilifu kutekeleza kazi hizi za hali ya juu. Toleo la awali linazingatia uwezo wa msingi wa uzalishaji wa video, kukubali vidokezo vya maandishi (kwa Kichina na Kiingereza) na pembejeo za picha.

Ubunifu wa Usanifu: Kusukuma Mipaka

Miundo ya I2VGen-XL imejengwa juu ya usanifu wa ‘diffusion transformer’, mfumo wenye nguvu wa AI generative. Hata hivyo, timu ya Alibaba imeanzisha ubunifu kadhaa muhimu kwa usanifu huu wa msingi, ikiboresha utendaji na ufanisi wake. Maendeleo haya ni pamoja na:

• Novel Variational Autoencoders (VAEs): VAEs huchukua jukumu muhimu katika kusimba na kusimbua data, na Alibaba imeunda VAE mpya zilizoundwa mahsusi kwa ajili ya uzalishaji wa video.
• Mikakati ya Mafunzo Iliyoboreshwa: Timu imetekeleza mikakati iliyosafishwa ya mafunzo ili kuboresha mchakato wa kujifunza wa miundo na utendaji wa jumla.
• I2VGen-XL-VAE: Usanifu wa msingi wa 3D causal VAE.

I2VGen-XL-VAE ni muhimu sana. Inaboresha kwa kiasi kikubwa mgandamizo wa muda na nafasi (spatiotemporal compression), ikipunguza matumizi ya kumbukumbu huku ikidumisha uaminifu wa hali ya juu. Kisimbaji hiki cha kibunifu kinaweza kuchakata video za urefu usio na kikomo za ubora wa 1080p bila kupoteza taarifa muhimu za muda. Uwezo huu ni muhimu kwa kuzalisha mfuatano wa video thabiti na zinazoeleweka.

Kulinganisha Utendaji: Kushinda Ushindani

Alibaba imefanya majaribio ya ndani ili kutathmini utendaji wa miundo ya I2VGen-XL, ikilinganisha na suluhisho zilizopo za hali ya juu. Matokeo ni ya kuvutia, huku miundo ya I2VGen-XL ikiripotiwa kuzidi muundo wa Sora AI wa OpenAI katika maeneo kadhaa muhimu:

• Uthabiti: Kudumisha mshikamano na utulivu katika video yote iliyozalishwa.
• Ubora wa Uzalishaji wa Mandhari: Kuzalisha mandhari zinazovutia na za kweli.
• Usahihi wa Kitu Kimoja: Kutoa kwa usahihi vitu vya kibinafsi ndani ya video.
• Uwekaji Nafasi: Kuhakikisha uhusiano sahihi wa nafasi kati ya vitu.

Vipimo hivi vinaonyesha maendeleo makubwa ambayo Alibaba imefanya katika kuendeleza uwanja wa uzalishaji wa video wa AI.

Leseni na Matumizi: Kusawazisha Uwazi na Uwajibikaji

Miundo ya I2VGen-XL imetolewa chini ya leseni ya Apache 2.0, leseni ya chanzo huria inayoruhusu ambayo inahimiza kupitishwa kwa wingi na ushirikiano. Leseni hii inaruhusu matumizi yasiyo na kikomo kwa madhumuni ya kitaaluma na utafiti, ikikuza uvumbuzi ndani ya jumuiya ya AI.

Hata hivyo, matumizi ya kibiashara yana vikwazo fulani. Ni muhimu kwa wale wanaokusudia kutumia miundo hii kwa madhumuni ya kibiashara kukagua kwa makini sheria na masharti maalum yaliyoainishwa katika makubaliano ya leseni. Mbinu hii inaonyesha mbinu ya kuwajibika kwa AI ya chanzo huria, ikisawazisha faida za ufikiaji wazi na hitaji la kushughulikia athari zinazowezekana za kimaadili na kijamii.

Kuchunguza Zaidi Vipengele vya Kiufundi

Miundo ya I2VGen-XL hutumia mchanganyiko wa mbinu za kisasa ili kufikia uwezo wao wa kuvutia wa uzalishaji wa video. Hebu tuchunguze baadhi ya vipengele hivi vya kiufundi kwa undani zaidi:

Miundo ya Diffusion: Kiini cha I2VGen-XL kiko katika dhana ya miundo ya ‘diffusion’. Miundo hii hufanya kazi kwa kuongeza kelele hatua kwa hatua kwenye data (kama picha au video) hadi iwe kelele tupu. Kisha, hujifunza kubadilisha mchakato huu, ikizalisha data mpya kwa kuanzia na kelele na kuiondoa hatua kwa hatua. Mchakato huu wa uboreshaji wa kurudia-rudia huruhusu miundo kuunda matokeo ya kweli na ya kina.

Usanifu wa Transformer: Kipengele cha “transformer” cha usanifu kinarejelea muundo wenye nguvu wa mtandao wa neva ambao una ubora wa kuchakata data mfuatano. Transfoma zinafaa sana katika kunasa utegemezi wa masafa marefu, ambayo ni muhimu kwa kuzalisha mfuatano wa video unaoeleweka ambapo matukio katika fremu moja yanaweza kuathiri matukio mengi baadaye.

Variational Autoencoders (VAEs): VAEs ni aina ya muundo wa uzalishaji ambao hujifunza uwakilishi ulioshinikizwa, fiche wa data ya ingizo. Katika muktadha wa uzalishaji wa video, VAEs husaidia kupunguza utata wa hesabu wa mchakato kwa kusimba video katika nafasi ya chini-dimensional. I2VGen-XL-VAE ya kibunifu ya Alibaba inaboresha zaidi mchakato huu, ikiboresha mgandamizo wa muda na nafasi na ufanisi wa kumbukumbu.

3D Causal VAE: Kipengele cha “3D causal” cha I2VGen-XL-VAE kinarejelea uwezo wake wa kushughulikia vipimo vitatu vya data ya video (upana, urefu, na wakati) kwa njia inayoheshimu uhusiano wa kisababishi kati ya fremu. Hii inamaanisha kuwa muundo unaelewa kuwa fremu zilizopita huathiri fremu zijazo, lakini si kinyume chake. Uelewa huu wa kisababishi ni muhimu kwa kuzalisha video ambazo ni thabiti kwa muda na kuepuka mabaki yasiyo ya kweli.

Mikakati ya Mafunzo: Utendaji wa muundo wowote wa AI unategemea sana ubora na wingi wa data ambayo imefunzwa, pamoja na mikakati maalum ya mafunzo iliyoajiriwa. Alibaba imewekeza juhudi kubwa katika kuboresha mchakato wa mafunzo kwa I2VGen-XL, ikitumia seti kubwa za data na mbinu zilizosafishwa ili kuboresha uwezo wa kujifunza wa miundo.

Umuhimu wa Chanzo Huria (Open Source)

Uamuzi wa Alibaba wa kutoa I2VGen-XL kama programu huria ni mchango mkubwa kwa jumuiya ya AI. Miundo ya chanzo huria inatoa faida kadhaa:

• Ushirikiano: Ufikiaji wazi unahimiza watafiti na watengenezaji ulimwenguni kote kushirikiana, kubadilishana mawazo, na kujenga juu ya kazi za kila mmoja. Hii inaharakisha kasi ya uvumbuzi na kusababisha maendeleo ya haraka katika uwanja huu.
• Uwazi: Miundo ya chanzo huria inaruhusu uwazi na uchunguzi mkubwa zaidi. Watafiti wanaweza kuchunguza msimbo, kuelewa jinsi miundo inavyofanya kazi, na kutambua upendeleo au mapungufu yanayoweza kutokea. Hii inakuza uaminifu na uwajibikaji.
• Ufikivu: Miundo ya chanzo huria huleta demokrasia katika upatikanaji wa teknolojia ya kisasa ya AI. Vikundi vidogo vya utafiti, watengenezaji binafsi, na hata wapenzi wa mambo haya wanaweza kujaribu na kutumia miundo hii, ikikuza mfumo ikolojia wa AI unaojumuisha zaidi.
• Uvumbuzi: Miundo ya chanzo huria mara nyingi hutumika kama msingi wa uvumbuzi zaidi. Watengenezaji wanaweza kurekebisha na kubadilisha miundo kwa matumizi maalum, na kusababisha uundaji wa zana na mbinu mpya.

Kwa kukumbatia chanzo huria, Alibaba haichangii tu katika maendeleo ya uzalishaji wa video wa AI bali pia inakuza mazingira ya AI yenye ushirikiano na jumuishi zaidi. Mbinu hii ina uwezekano wa kuwa na athari kubwa katika maendeleo ya baadaye ya teknolojia ya AI. Hali ya chanzo huria ya miundo hii inapaswa kuwawezesha watumiaji mbalimbali kuunda, kuvumbua, na kuchangia katika uwanja unaoendelea kwa kasi wa uundaji wa maudhui ya video unaoendeshwa na AI.