علي بابا تكشف عن نماذج توليد فيديو مفتوحة المصدر

الغوص في I2VGen-XL: مجموعة أدوات متعددة الاستخدامات

تتألف مجموعة I2VGen-XL، التي طورها فريق Ema المخصص في علي بابا، من عدة متغيرات، كل منها مصمم خصيصًا لمتطلبات أداء وحالات استخدام محددة. تم تصميم النماذج، التي تم تقديمها في البداية في يناير، لإنشاء مقاطع فيديو واقعية بشكل ملحوظ، مما يدفع حدود ما يمكن تحقيقه حاليًا في إنشاء الفيديو المدفوع بالذكاء الاصطناعي. هذه الأدوات المتطورة متاحة الآن بسهولة على Hugging Face، وهو مركز بارز لموارد الذكاء الاصطناعي والتعلم الآلي (ML).

تعرض صفحة Hugging Face المخصصة لفريق Ema في علي بابا النماذج الأساسية الأربعة ضمن مجموعة I2VGen-XL:

• T2V-1.3B: نموذج تحويل النص إلى فيديو مع 1.3 مليار معيار.
• T2V-14B: نموذج أكثر قوة لتحويل النص إلى فيديو يضم 14 مليار معيار.
• I2V-14B-720P: نموذج تحويل الصورة إلى فيديو مع 14 مليار معيار، مُحسّن لدقة 720p.
• I2V-14B-480P: نموذج تحويل الصورة إلى فيديو مع 14 مليار معيار، مُصمم خصيصًا لدقة 480p.

يميز التصنيف بوضوح بين وظائف تحويل النص إلى فيديو (T2V) وتحويل الصورة إلى فيديو (I2V)، مما يسمح للمستخدمين باختيار النموذج الأنسب لبيانات الإدخال الخاصة بهم.

إمكانية الوصول والأداء: إضفاء الطابع الديمقراطي على توليد الفيديو

أحد أبرز جوانب إصدار I2VGen-XL هو إمكانية الوصول إليه. أكد الباحثون الذين يقفون وراء المشروع على القدرة على تشغيل حتى أصغر متغير، I2VGen-XL T2V-1.3B، على وحدات معالجة الرسومات (GPUs) من فئة المستهلك. على وجه التحديد، تكفي وحدة معالجة رسومات (GPU) بسعة 8.19 جيجابايت فقط من vRAM. لوضع هذا في منظوره الصحيح، أفاد الفريق أن إنشاء مقطع فيديو مدته خمس ثوانٍ بدقة 480p باستخدام Nvidia RTX 4090 يستغرق حوالي أربع دقائق. يفتح هذا المستوى من إمكانية الوصول إمكانيات مثيرة للباحثين والمطورين وحتى الهواة للتجربة والمساهمة في تطوير توليد الفيديو بالذكاء الاصطناعي.

ما وراء الفيديو: مجموعة ذكاء اصطناعي متعددة الأوجه

في حين أن التركيز الأساسي لمجموعة I2VGen-XL هو توليد الفيديو، فإن قدراتها تتجاوز هذه الوظيفة الأساسية. تم تصميم البنية الأساسية للتعامل مع المهام المختلفة، بما في ذلك:

• توليد الصور: إنشاء صور ثابتة من مطالبات نصية أو مرئية.
• توليد الصوت من الفيديو: توليف الصوت الذي يكمل محتوى الفيديو الذي تم إنشاؤه.
• تحرير الفيديو: تعديل وتحسين لقطات الفيديو الموجودة.

من المهم ملاحظة أن النماذج مفتوحة المصدر حاليًا ليست مجهزة بالكامل بعد لأداء هذه المهام المتقدمة. يركز الإصدار الأولي على إمكانات توليد الفيديو الأساسية، ويقبل كلاً من المطالبات النصية (باللغتين الصينية والإنجليزية) وإدخالات الصور.

الابتكارات المعمارية: دفع الحدود

تم بناء نماذج I2VGen-XL على بنية محول الانتشار، وهو إطار عمل قوي للذكاء الاصطناعي التوليدي. ومع ذلك، قدم فريق علي بابا العديد من الابتكارات الرئيسية لهذه البنية الأساسية، مما عزز أدائها وكفاءتها. تشمل هذه التطورات:

• أجهزة التشفير التلقائي المتغيرة الجديدة (VAEs): تلعب VAEs دورًا حاسمًا في ترميز وفك ترميز البيانات، وقد طورت علي بابا VAEs جديدة مصممة خصيصًا لتوليد الفيديو.
• استراتيجيات التدريب المحسّنة: قام الفريق بتنفيذ استراتيجيات تدريب محسّنة لتحسين عملية تعلم النماذج والأداء العام.
• I2VGen-XL-VAE: بنية VAE سببية ثلاثية الأبعاد رائدة.

يعد I2VGen-XL-VAE جديرًا بالملاحظة بشكل خاص. إنه يحسن بشكل كبير الضغط المكاني الزماني، مما يقلل من استخدام الذاكرة مع الحفاظ على الدقة العالية. يمكن لجهاز التشفير التلقائي المبتكر هذا معالجة مقاطع فيديو غير محدودة الطول بدقة 1080p دون فقدان المعلومات الزمنية الهامة. هذه القدرة ضرورية لتوليد تسلسلات فيديو متسقة ومتماسكة.

قياس الأداء: التفوق على المنافسة

أجرت علي بابا اختبارات داخلية لتقييم أداء نماذج I2VGen-XL، ومقارنتها بالحلول الحديثة الحالية. النتائج مثيرة للإعجاب، حيث تفوقت نماذج I2VGen-XL على نموذج Sora AI من OpenAI في العديد من المجالات الرئيسية:

• الاتساق: الحفاظ على التماسك والاستقرار طوال الفيديو الذي تم إنشاؤه.
• جودة توليد المشهد: إنتاج مشاهد جذابة بصريًا وواقعية.
• دقة الكائن الفردي: عرض الكائنات الفردية بدقة داخل الفيديو.
• التموضع المكاني: ضمان العلاقات المكانية الصحيحة بين الكائنات.

تسلط هذه المعايير الضوء على التقدم الكبير الذي أحرزته علي بابا في تطوير مجال توليد الفيديو بالذكاء الاصطناعي.

الترخيص والاستخدام: الموازنة بين الانفتاح والمسؤولية

تم إصدار نماذج I2VGen-XL بموجب ترخيص Apache 2.0، وهو ترخيص مفتوح المصدر متساهل يشجع على التبني والتعاون على نطاق واسع. يسمح هذا الترخيص بالاستخدام غير المقيد للأغراض الأكاديمية والبحثية، مما يعزز الابتكار داخل مجتمع الذكاء الاصطناعي.

ومع ذلك، يخضع الاستخدام التجاري لقيود معينة. من الضروري لأولئك الذين يعتزمون استخدام هذه النماذج لأغراض تجارية مراجعة الشروط والأحكام المحددة الموضحة في اتفاقية الترخيص بعناية. يعكس هذا النهج نهجًا مسؤولًا تجاه الذكاء الاصطناعي مفتوح المصدر، ويوازن بين فوائد الوصول المفتوح والحاجة إلى معالجة الآثار الأخلاقية والمجتمعية المحتملة.

التعمق أكثر في الجوانب الفنية

تستفيد نماذج I2VGen-XL من مزيج متطور من التقنيات لتحقيق قدراتها الرائعة في توليد الفيديو. دعنا نستكشف بعض هذه الجوانب الفنية بمزيد من التفصيل:

نماذج الانتشار (Diffusion Models): في قلب I2VGen-XL يكمن مفهوم نماذج الانتشار. تعمل هذه النماذج عن طريق إضافة ضوضاء تدريجيًا إلى البيانات (مثل صورة أو مقطع فيديو) حتى تصبح ضوضاء عشوائية خالصة. بعد ذلك، يتعلمون عكس هذه العملية، وإنشاء بيانات جديدة من خلال البدء من الضوضاء وإزالتها تدريجيًا. تسمح عملية التحسين التكرارية هذه للنماذج بإنشاء مخرجات واقعية ومفصلة للغاية.

بنية المحولات (Transformer Architecture): يشير مكون “المحول” في البنية إلى تصميم شبكة عصبية قوي يتفوق في معالجة البيانات المتسلسلة. المحولات فعالة بشكل خاص في التقاط التبعيات طويلة المدى، وهو أمر بالغ الأهمية لتوليد تسلسلات فيديو متماسكة حيث يمكن للأحداث في إطار واحد أن تؤثر على الأحداث بعد عدة إطارات.

أجهزة التشفير التلقائي المتغيرة (VAEs): VAEs هي نوع من النماذج التوليدية التي تتعلم تمثيلًا مضغوطًا ومتخفيًا لبيانات الإدخال. في سياق توليد الفيديو، تساعد VAEs على تقليل التعقيد الحسابي للعملية عن طريق ترميز الفيديو في مساحة ذات أبعاد أقل. يعزز I2VGen-XL-VAE المبتكر من علي بابا هذه العملية بشكل أكبر، مما يحسن الضغط المكاني الزماني وكفاءة الذاكرة.

3D Causal VAE: يشير جانب “3D causal” في I2VGen-XL-VAE إلى قدرته على التعامل مع الأبعاد الثلاثة لبيانات الفيديو (العرض والارتفاع والوقت) بطريقة تحترم العلاقات السببية بين الإطارات. هذا يعني أن النموذج يفهم أن الإطارات السابقة تؤثر على الإطارات المستقبلية، ولكن ليس العكس. هذا الفهم السببي ضروري لتوليد مقاطع فيديو متسقة زمنيًا وتجنب التحف غير الواقعية.

استراتيجيات التدريب (Training Strategies): يعتمد أداء أي نموذج ذكاء اصطناعي بشكل كبير على جودة وكمية البيانات التي يتم تدريبه عليها، بالإضافة إلى استراتيجيات التدريب المحددة المستخدمة. استثمرت علي بابا جهدًا كبيرًا في تحسين عملية التدريب لـ I2VGen-XL، باستخدام مجموعات بيانات كبيرة وتقنيات محسّنة لتعزيز قدرات التعلم للنماذج.

أهمية المصدر المفتوح

يعد قرار علي بابا بإصدار I2VGen-XL كبرنامج مفتوح المصدر مساهمة كبيرة لمجتمع الذكاء الاصطناعي. تقدم النماذج مفتوحة المصدر العديد من المزايا:

• التعاون: يشجع الوصول المفتوح الباحثين والمطورين في جميع أنحاء العالم على التعاون ومشاركة الأفكار والبناء على عمل بعضهم البعض. هذا يسرع وتيرة الابتكار ويؤدي إلى تقدم أسرع في هذا المجال.
• الشفافية: تسمح النماذج مفتوحة المصدر بمزيد من الشفافية والتدقيق. يمكن للباحثين فحص الكود وفهم كيفية عمل النماذج وتحديد التحيزات أو القيود المحتملة. هذا يعزز الثقة والمساءلة.
• إمكانية الوصول: تعمل النماذج مفتوحة المصدر على إضفاء الطابع الديمقراطي على الوصول إلى أحدث تقنيات الذكاء الاصطناعي. يمكن لمجموعات البحث الأصغر والمطورين الفرديين وحتى الهواة تجربة هذه النماذج واستخدامها، مما يعزز نظامًا بيئيًا أكثر شمولاً للذكاء الاصطناعي.
• الابتكار: غالبًا ما تكون النماذج مفتوحة المصدر بمثابة أساس لمزيد من الابتكار. يمكن للمطورين تكييف وتعديل النماذج لتطبيقات محددة، مما يؤدي إلى إنشاء أدوات وتقنيات جديدة.

من خلال تبني المصدر المفتوح، لا تساهم علي بابا في تطوير توليد الفيديو بالذكاء الاصطناعي فحسب، بل تعزز أيضًا مشهدًا أكثر تعاونًا وشمولية للذكاء الاصطناعي. من المرجح أن يكون لهذا النهج تأثير كبير على التطوير المستقبلي لتقنية الذكاء الاصطناعي. يجب أن تمكّن الطبيعة مفتوحة المصدر لهذه النماذج مجموعة واسعة من المستخدمين من الإنشاء والابتكار والمساهمة في مجال إنشاء محتوى الفيديو المدفوع بالذكاء الاصطناعي سريع التطور.