अलीबाबा ने ओपन-सोर्स AI वीडियो जेनरेशन मॉडल लॉन्च किए

I2VGen-XL का परिचय: एक बहुमुखी टूलकिट

अलीबाबा के समर्पित Ema टीम द्वारा विकसित I2VGen-XL सूट में कई वेरिएंट शामिल हैं, प्रत्येक विशिष्ट प्रदर्शन आवश्यकताओं और उपयोग के मामलों के अनुरूप है। जनवरी में शुरू में पेश किए गए मॉडल, उल्लेखनीय रूप से यथार्थवादी वीडियो उत्पन्न करने के लिए डिज़ाइन किए गए हैं, जो AI-संचालित वीडियो निर्माण में वर्तमान में जो संभव है उसकी सीमाओं को आगे बढ़ा रहे हैं। ये अत्याधुनिक उपकरण अब Hugging Face पर आसानी से उपलब्ध हैं, जो AI और मशीन लर्निंग (ML) संसाधनों के लिए एक प्रमुख केंद्र है।

Hugging Face पृष्ठ अलीबाबा की Ema टीम को समर्पित I2VGen-XL सूट के भीतर चार मुख्य मॉडलों को प्रदर्शित करता है:

• T2V-1.3B: 1.3 बिलियन पैरामीटर के साथ एक टेक्स्ट-टू-वीडियो मॉडल।
• T2V-14B: 14 बिलियन पैरामीटर वाला एक अधिक मजबूत टेक्स्ट-टू-वीडियो मॉडल।
• I2V-14B-720P: 14 बिलियन पैरामीटर वाला एक इमेज-टू-वीडियो मॉडल, 720p रिज़ॉल्यूशन के लिए अनुकूलित।
• I2V-14B-480P: 14 बिलियन पैरामीटर वाला एक इमेज-टू-वीडियो मॉडल, 480p रिज़ॉल्यूशन के लिए अनुकूलित।

नामकरण स्पष्ट रूप से टेक्स्ट-टू-वीडियो (T2V) और इमेज-टू-वीडियो (I2V) कार्यात्मकताओं के बीच अंतर करता है, जिससे उपयोगकर्ता अपने इनपुट डेटा के लिए सबसे उपयुक्त मॉडल का चयन कर सकते हैं।

पहुंच और प्रदर्शन: वीडियो जेनरेशन का लोकतंत्रीकरण

I2VGen-XL रिलीज़ के सबसे उल्लेखनीय पहलुओं में से एक इसकी पहुंच है। परियोजना के पीछे के शोधकर्ताओं ने उपभोक्ता-ग्रेड GPU पर सबसे छोटे वेरिएंट, I2VGen-XL T2V-1.3B को भी चलाने की क्षमता पर जोर दिया है। विशेष रूप से, 8.19GB vRAM जितना कम वाला GPU पर्याप्त है। इसे परिप्रेक्ष्य में रखने के लिए, टीम रिपोर्ट करती है कि Nvidia RTX 4090 का उपयोग करके 480p रिज़ॉल्यूशन पर पांच सेकंड लंबा वीडियो बनाने में लगभग चार मिनट लगते हैं। पहुंच का यह स्तर शोधकर्ताओं, डेवलपर्स और यहां तक कि शौकियों के लिए AI वीडियो जेनरेशन की उन्नति में प्रयोग करने और योगदान करने के लिए रोमांचक संभावनाएं खोलता है।

वीडियो से परे: एक बहुआयामी AI सूट

जबकि I2VGen-XL सूट का प्राथमिक फोकस वीडियो जेनरेशन है, इसकी क्षमताएं इस मुख्य कार्य से परे फैली हुई हैं। अंतर्निहित वास्तुकला को विभिन्न कार्यों को संभालने के लिए डिज़ाइन किया गया है, जिनमें शामिल हैं:

• इमेज जेनरेशन: टेक्स्ट या विज़ुअल संकेतों से स्थिर इमेज बनाना।
• वीडियो-टू-ऑडियो जेनरेशन: जेनरेट किए गए वीडियो कंटेंट के पूरक ऑडियो को संश्लेषित करना।
• वीडियो एडिटिंग: मौजूदा वीडियो फुटेज को संशोधित और बढ़ाना।

हालांकि, यह ध्यान रखना महत्वपूर्ण है कि वर्तमान में ओपन-सोर्स किए गए मॉडल अभी तक इन उन्नत कार्यों को करने के लिए पूरी तरह से सुसज्जित नहीं हैं। प्रारंभिक रिलीज़ मुख्य वीडियो जेनरेशन क्षमताओं पर केंद्रित है, टेक्स्ट प्रॉम्प्ट (चीनी और English में) और इमेज इनपुट दोनों को स्वीकार करता है।

वास्तु नवाचार: सीमाओं को आगे बढ़ाना

I2VGen-XL मॉडल एक डिफ्यूजन ट्रांसफॉर्मर आर्किटेक्चर पर बनाए गए हैं, जो जेनरेटिव AI के लिए एक शक्तिशाली ढांचा है। हालांकि, अलीबाबा की टीम ने इस बेस आर्किटेक्चर में कई प्रमुख नवाचार पेश किए हैं, जिससे इसके प्रदर्शन और दक्षता में वृद्धि हुई है। इन प्रगतियों में शामिल हैं:

• नॉवेल वेरिएशन ऑटोएन्कोडर्स (VAEs): VAEs डेटा को एन्कोडिंग और डिकोडिंग करने में महत्वपूर्ण भूमिका निभाते हैं, और अलीबाबा ने विशेष रूप से वीडियो जेनरेशन के लिए नए VAEs विकसित किए हैं।
• अनुकूलित प्रशिक्षण रणनीतियाँ: टीम ने मॉडलों की सीखने की प्रक्रिया और समग्र प्रदर्शन को बेहतर बनाने के लिए परिष्कृत प्रशिक्षण रणनीतियों को लागू किया है।
• I2VGen-XL-VAE: एक अभूतपूर्व 3D कॉज़ल VAE आर्किटेक्चर।

I2VGen-XL-VAE विशेष रूप से उल्लेखनीय है। यह उच्च निष्ठा बनाए रखते हुए मेमोरी उपयोग को कम करते हुए, स्पेटियोटेम्पोरल कम्प्रेशन में काफी सुधार करता है। यह इनोवेटिव ऑटोएन्कोडर महत्वपूर्ण टेम्पोरल जानकारी को खोए बिना असीमित-लंबाई वाले 1080p रिज़ॉल्यूशन वीडियो को प्रोसेस कर सकता है। यह क्षमता सुसंगत और सुसंगत वीडियो अनुक्रम उत्पन्न करने के लिए आवश्यक है।

बेंचमार्किंग प्रदर्शन: प्रतिस्पर्धा से बेहतर प्रदर्शन

अलीबाबा ने मौजूदा अत्याधुनिक समाधानों के खिलाफ उनकी तुलना करते हुए, I2VGen-XL मॉडलों के प्रदर्शन का मूल्यांकन करने के लिए आंतरिक परीक्षण किया है। परिणाम प्रभावशाली हैं, I2VGen-XL मॉडल कथित तौर पर कई प्रमुख क्षेत्रों में OpenAI के Sora AI मॉडल से बेहतर प्रदर्शन कर रहे हैं:

• संगति: जेनरेट किए गए वीडियो में सुसंगतता और स्थिरता बनाए रखना।
• दृश्य जेनरेशन गुणवत्ता: दृश्यमान रूप से आकर्षक और यथार्थवादी दृश्य बनाना।
• एकल वस्तु सटीकता: वीडियो के भीतर अलग-अलग वस्तुओं को सटीक रूप से प्रस्तुत करना।
• स्थानिक स्थिति: वस्तुओं के बीच सही स्थानिक संबंधों को सुनिश्चित करना।

ये बेंचमार्क AI वीडियो जेनरेशन के क्षेत्र को आगे बढ़ाने में अलीबाबा द्वारा की गई महत्वपूर्ण प्रगति को उजागर करते हैं।

लाइसेंसिंग और उपयोग: खुलेपन और जिम्मेदारी को संतुलित करना

I2VGen-XL मॉडल Apache 2.0 लाइसेंस के तहत जारी किए गए हैं, एक अनुमेय ओपन-सोर्स लाइसेंस जो व्यापक रूप से अपनाने और सहयोग को प्रोत्साहित करता है। यह लाइसेंस AI समुदाय के भीतर नवाचार को बढ़ावा देते हुए, अकादमिक और अनुसंधान उद्देश्यों के लिए अप्रतिबंधित उपयोग की अनुमति देता है।

हालांकि, वाणिज्यिक उपयोग कुछ प्रतिबंधों के अधीन है। उन लोगों के लिए जो इन मॉडलों का व्यावसायिक उद्देश्यों के लिए उपयोग करने का इरादा रखते हैं, लाइसेंस समझौते में उल्लिखित विशिष्ट नियमों और शर्तों की सावधानीपूर्वक समीक्षा करना महत्वपूर्ण है। यह दृष्टिकोण ओपन-सोर्स AI के लिए एक जिम्मेदार दृष्टिकोण को दर्शाता है, संभावित नैतिक और सामाजिक निहितार्थों को संबोधित करने की आवश्यकता के साथ खुले पहुंच के लाभों को संतुलित करता है।

तकनीकी पहलुओं में गहराई से जाना

I2VGen-XL मॉडल अपनी प्रभावशाली वीडियो जेनरेशन क्षमताओं को प्राप्त करने के लिए तकनीकों के एक परिष्कृत संयोजन का लाभ उठाते हैं। आइए इनमें से कुछ तकनीकी पहलुओं को और विस्तार से देखें:

डिफ्यूजन मॉडल: I2VGen-XL के केंद्र में डिफ्यूजन मॉडल की अवधारणा है। ये मॉडल डेटा (जैसे इमेज या वीडियो) में धीरे-धीरे शोर जोड़कर काम करते हैं जब तक कि यह शुद्ध यादृच्छिक शोर न बन जाए। फिर, वे इस प्रक्रिया को उलटना सीखते हैं, शोर से शुरू करके और उत्तरोत्तर इसे हटाकर नया डेटा उत्पन्न करते हैं। यह पुनरावृत्त शोधन प्रक्रिया मॉडलों को अत्यधिक यथार्थवादी और विस्तृत आउटपुट बनाने की अनुमति देती है।

ट्रांसफॉर्मर आर्किटेक्चर: आर्किटेक्चर का “ट्रांसफॉर्मर” घटक एक शक्तिशाली न्यूरल नेटवर्क डिज़ाइन को संदर्भित करता है जो अनुक्रमिक डेटा को संसाधित करने में उत्कृष्टता प्राप्त करता है। ट्रांसफॉर्मर लंबी दूरी की निर्भरता को पकड़ने में विशेष रूप से प्रभावी होते हैं, जो सुसंगत वीडियो अनुक्रम उत्पन्न करने के लिए महत्वपूर्ण है जहां एक फ्रेम में घटनाएं कई फ्रेम बाद की घटनाओं को प्रभावित कर सकती हैं।

वेरिएशनल ऑटोएन्कोडर्स (VAEs): VAEs एक प्रकार का जेनरेटिव मॉडल है जो इनपुट डेटा का एक संकुचित, अव्यक्त प्रतिनिधित्व सीखता है। वीडियो जेनरेशन के संदर्भ में, VAEs वीडियो को कम-आयामी स्थान में एन्कोडिंग करके प्रक्रिया की कम्प्यूटेशनल जटिलता को कम करने में मदद करते हैं। अलीबाबा का इनोवेटिव I2VGen-XL-VAE इस प्रक्रिया को और बढ़ाता है, स्पेटियोटेम्पोरल कम्प्रेशन और मेमोरी दक्षता में सुधार करता है।

3D कॉज़ल VAE: I2VGen-XL-VAE का “3D कॉज़ल” पहलू वीडियो डेटा के तीन आयामों (चौड़ाई, ऊंचाई और समय) को इस तरह से संभालने की क्षमता को संदर्भित करता है जो फ्रेम के बीच कारण संबंधों का सम्मान करता है। इसका मतलब है कि मॉडल समझता है कि पिछले फ्रेम भविष्य के फ्रेम को प्रभावित करते हैं, लेकिन इसके विपरीत नहीं। यह कारण समझ उन वीडियो को उत्पन्न करने के लिए आवश्यक है जो अस्थायी रूप से सुसंगत हैं और अवास्तविक कलाकृतियों से बचते हैं।

प्रशिक्षण रणनीतियाँ: किसी भी AI मॉडल का प्रदर्शन उस डेटा की गुणवत्ता और मात्रा पर बहुत अधिक निर्भर करता है जिस पर उसे प्रशिक्षित किया जाता है, साथ ही नियोजित विशिष्ट प्रशिक्षण रणनीतियों पर भी। अलीबाबा ने I2VGen-XL के लिए प्रशिक्षण प्रक्रिया को अनुकूलित करने में महत्वपूर्ण प्रयास किया है, बड़े डेटासेट और परिष्कृत तकनीकों का उपयोग करके मॉडलों की सीखने की क्षमताओं को बढ़ाया है।

ओपन सोर्स का महत्व

अलीबाबा का I2VGen-XL को ओपन-सोर्स सॉफ़्टवेयर के रूप में जारी करने का निर्णय AI समुदाय के लिए एक महत्वपूर्ण योगदान है। ओपन-सोर्स मॉडल कई फायदे प्रदान करते हैं:

• सहयोग: खुली पहुंच दुनिया भर के शोधकर्ताओं और डेवलपर्स को सहयोग करने, विचारों को साझा करने और एक-दूसरे के काम पर निर्माण करने के लिए प्रोत्साहित करती है। यह नवाचार की गति को तेज करता है और क्षेत्र में तेजी से प्रगति की ओर ले जाता है।
• पारदर्शिता: ओपन-सोर्स मॉडल अधिक पारदर्शिता और जांच की अनुमति देते हैं। शोधकर्ता कोड की जांच कर सकते हैं, समझ सकते हैं कि मॉडल कैसे काम करते हैं, और संभावित पूर्वाग्रहों या सीमाओं की पहचान कर सकते हैं। यह विश्वास और जवाबदेही को बढ़ावा देता है।
• पहुंच: ओपन-सोर्स मॉडल अत्याधुनिक AI तकनीक तक पहुंच का लोकतंत्रीकरण करते हैं। छोटे शोध समूह, व्यक्तिगत डेवलपर्स और यहां तक कि शौकीन भी इन मॉडलों के साथ प्रयोग और उपयोग कर सकते हैं, एक अधिक समावेशी AI पारिस्थितिकी तंत्र को बढ़ावा दे सकते हैं।
• नवाचार: ओपन-सोर्स मॉडल अक्सर आगे के नवाचार के लिए एक आधार के रूप में काम करते हैं। डेवलपर्स विशिष्ट अनुप्रयोगों के लिए मॉडलों को अनुकूलित और संशोधित कर सकते हैं, जिससे नए टूल और तकनीकों का निर्माण हो सकता है।

ओपन सोर्स को अपनाकर, अलीबाबा न केवल AI वीडियो जेनरेशन की उन्नति में योगदान दे रहा है, बल्कि एक अधिक सहयोगी और समावेशी AI परिदृश्य को भी बढ़ावा दे रहा है। इस दृष्टिकोण का AI तकनीक के भविष्य के विकास पर महत्वपूर्ण प्रभाव पड़ने की संभावना है। इन मॉडलों की ओपन-सोर्स प्रकृति उपयोगकर्ताओं की एक विस्तृत श्रृंखला को AI-संचालित वीडियो सामग्री निर्माण के तेजी से विकसित हो रहे क्षेत्र में बनाने, नवाचार करने और योगदान करने के लिए सशक्त बनाना चाहिए।