알리바바, 오픈소스 AI 비디오 생성 모델 제품군 공개

I2VGen-XL 소개: 다재다능한 툴킷

Alibaba의 Ema Team이 개발한 I2VGen-XL 제품군은 특정 성능 요구 사항 및 사용 사례에 맞춰진 여러 변형 모델로 구성됩니다. 1월에 처음 소개된 이 모델은 AI 기반 비디오 생성에서 현재 달성 가능한 범위를 넓히며 놀랍도록 사실적인 비디오를 생성하도록 설계되었습니다. 이러한 최첨단 도구는 이제 AI 및 머신 러닝(ML) 리소스의 주요 허브인 Hugging Face에서 쉽게 액세스할 수 있습니다.

Hugging Face 페이지에서 Alibaba의 Ema Team은 I2VGen-XL 제품군 내의 네 가지 핵심 모델을 선보입니다.

• T2V-1.3B: 13억 개의 매개변수를 가진 텍스트-비디오 모델.
• T2V-14B: 140억 개의 매개변수를 자랑하는 더욱 강력한 텍스트-비디오 모델.
• I2V-14B-720P: 140억 개의 매개변수를 가진 이미지-비디오 모델로, 720p 해상도에 최적화됨.
• I2V-14B-480P: 140억 개의 매개변수를 가진 이미지-비디오 모델로, 480p 해상도에 맞춰짐.

명명법은 텍스트-비디오(T2V)와 이미지-비디오(I2V) 기능을 명확하게 구분하여 사용자가 입력 데이터에 가장 적합한 모델을 선택할 수 있도록 합니다.

접근성 및 성능: 비디오 생성의 대중화

I2VGen-XL 릴리스의 가장 두드러진 측면 중 하나는 접근성입니다. 프로젝트를 이끈 연구원들은 가장 작은 변형 모델인 I2VGen-XL T2V-1.3B조차도 소비자 등급 GPU에서 실행할 수 있다는 점을 강조했습니다. 구체적으로, 8.19GB의 vRAM만 있는 GPU로도 충분합니다. 이를 설명하기 위해 팀은 Nvidia RTX 4090을 사용하여 480p 해상도의 5초 길이 비디오를 생성하는 데 약 4분이 걸린다고 보고합니다. 이러한 수준의 접근성은 연구원, 개발자, 심지어 취미로 하는 사람들까지 AI 비디오 생성의 발전을 실험하고 기여할 수 있는 흥미로운 가능성을 열어줍니다.

비디오를 넘어선 다면적인 AI 제품군

I2VGen-XL 제품군의 주요 초점은 비디오 생성이지만, 그 기능은 이 핵심 기능을 넘어 확장됩니다. 기본 아키텍처는 다음을 포함한 다양한 작업을 처리하도록 설계되었습니다.

• 이미지 생성: 텍스트 또는 시각적 프롬프트에서 정적 이미지 생성.
• 비디오-오디오 생성: 생성된 비디오 콘텐츠를 보완하는 오디오 합성.
• 비디오 편집: 기존 비디오 영상 수정 및 개선.

그러나 현재 오픈 소스 모델은 이러한 고급 작업을 아직 완전히 수행할 수 없다는 점에 유의해야 합니다. 초기 릴리스는 핵심 비디오 생성 기능에 집중하며, 텍스트 프롬프트(중국어 및 영어)와 이미지 입력을 모두 허용합니다.

아키텍처 혁신: 경계를 넓히다

I2VGen-XL 모델은 생성 AI를 위한 강력한 프레임워크인 diffusion transformer 아키텍처를 기반으로 합니다. 그러나 Alibaba 팀은 이 기본 아키텍처에 몇 가지 주요 혁신을 도입하여 성능과 효율성을 향상시켰습니다. 이러한 발전에는 다음이 포함됩니다.

• 새로운 Variational Autoencoders (VAEs): VAE는 데이터 인코딩 및 디코딩에 중요한 역할을 하며, Alibaba는 비디오 생성을 위해 특별히 맞춤화된 새로운 VAE를 개발했습니다.
• 최적화된 훈련 전략: 팀은 모델의 학습 과정과 전반적인 성능을 개선하기 위해 정제된 훈련 전략을 구현했습니다.
• I2VGen-XL-VAE: 획기적인 3D causal VAE 아키텍처.

I2VGen-XL-VAE는 특히 주목할 만합니다. 이는 시공간 압축을 크게 개선하여 높은 충실도를 유지하면서 메모리 사용량을 줄입니다. 이 혁신적인 오토인코더는 중요한 시간 정보를 잃지 않고 무제한 길이의 1080p 해상도 비디오를 처리할 수 있습니다. 이 기능은 일관되고 일관된 비디오 시퀀스를 생성하는 데 필수적입니다.

성능 벤치마킹: 경쟁 우위

Alibaba는 I2VGen-XL 모델의 성능을 평가하기 위해 내부 테스트를 수행하여 기존 최첨단 솔루션과 비교했습니다. 결과는 인상적이며, I2VGen-XL 모델은 여러 주요 영역에서 OpenAI의 Sora AI 모델을 능가하는 것으로 보고되었습니다.

• 일관성: 생성된 비디오 전체에서 일관성과 안정성 유지.
• 장면 생성 품질: 시각적으로 매력적이고 사실적인 장면 생성.
• 단일 객체 정확도: 비디오 내에서 개별 객체를 정확하게 렌더링.
• 공간 배치: 객체 간의 올바른 공간 관계 보장.

이러한 벤치마크는 Alibaba가 AI 비디오 생성 분야를 발전시키는 데 상당한 진전을 이루었음을 강조합니다.

라이선스 및 사용: 개방성과 책임의 균형

I2VGen-XL 모델은 광범위한 채택과 협업을 장려하는 허용적인 오픈 소스 라이선스인 Apache 2.0 라이선스에 따라 릴리스됩니다. 이 라이선스는 학술 및 연구 목적으로 무제한 사용을 허용하여 AI 커뮤니티 내에서 혁신을 촉진합니다.

그러나 상업적 사용에는 특정 제한이 적용됩니다. 이러한 모델을 상업적 목적으로 사용하려는 사람들은 라이선스 계약에 명시된 특정 이용 약관을 주의 깊게 검토하는 것이 중요합니다. 이러한 접근 방식은 개방형 액세스의 이점과 잠재적인 윤리적 및 사회적 영향을 해결해야 할 필요성의 균형을 맞추는 오픈 소스 AI에 대한 책임감 있는 접근 방식을 반영합니다.

기술적 측면에 대한 심층 분석

I2VGen-XL 모델은 인상적인 비디오 생성 기능을 달성하기 위해 정교한 기술 조합을 활용합니다. 이러한 기술적 측면 중 일부를 더 자세히 살펴보겠습니다.

Diffusion Models: I2VGen-XL의 핵심에는 diffusion models의 개념이 있습니다. 이러한 모델은 데이터(이미지 또는 비디오와 같은)에 노이즈를 점차적으로 추가하여 순수한 랜덤 노이즈가 될 때까지 작동합니다. 그런 다음 노이즈에서 시작하여 점진적으로 노이즈를 제거하여 새로운 데이터를 생성하는 이 프로세스를 역전시키는 방법을 배웁니다. 이 반복적인 정제 프로세스를 통해 모델은 매우 사실적이고 상세한 출력을 생성할 수 있습니다.

Transformer Architecture: 아키텍처의 ‘transformer’ 구성 요소는 순차적 데이터 처리에 탁월한 강력한 신경망 설계를 나타냅니다. Transformers는 장거리 종속성을 포착하는 데 특히 효과적이며, 이는 한 프레임의 이벤트가 여러 프레임 후의 이벤트에 영향을 줄 수 있는 일관된 비디오 시퀀스를 생성하는 데 중요합니다.

Variational Autoencoders (VAEs): VAE는 입력 데이터의 압축된 잠재 표현을 학습하는 일종의 생성 모델입니다. 비디오 생성의 맥락에서 VAE는 비디오를 저차원 공간으로 인코딩하여 프로세스의 계산 복잡성을 줄이는 데 도움이 됩니다. Alibaba의 혁신적인 I2VGen-XL-VAE는 이 프로세스를 더욱 향상시켜 시공간 압축 및 메모리 효율성을 개선합니다.

3D Causal VAE: I2VGen-XL-VAE의 ‘3D causal’ 측면은 프레임 간의 인과 관계를 존중하는 방식으로 비디오 데이터의 세 가지 차원(너비, 높이 및 시간)을 처리하는 기능을 나타냅니다. 즉, 모델은 과거 프레임이 미래 프레임에 영향을 미치지만 그 반대는 아니라는 것을 이해합니다. 이러한 인과 관계 이해는 시간적으로 일관되고 비현실적인 아티팩트를 피하는 비디오를 생성하는 데 필수적입니다.

Training Strategies: 모든 AI 모델의 성능은 훈련에 사용되는 데이터의 품질과 양, 그리고 사용되는 특정 훈련 전략에 크게 좌우됩니다. Alibaba는 I2VGen-XL의 훈련 프로세스를 최적화하는 데 상당한 노력을 기울였으며, 대규모 데이터 세트와 정제된 기술을 사용하여 모델의 학습 능력을 향상시켰습니다.

오픈 소스의 중요성

I2VGen-XL을 오픈 소스 소프트웨어로 릴리스하기로 한 Alibaba의 결정은 AI 커뮤니티에 대한 중요한 기여입니다. 오픈 소스 모델은 다음과 같은 여러 가지 이점을 제공합니다.

• 협업: 개방형 액세스는 전 세계 연구원과 개발자가 협력하고, 아이디어를 공유하고, 서로의 작업을 기반으로 구축하도록 장려합니다. 이는 혁신 속도를 가속화하고 해당 분야의 발전을 더 빠르게 이끌어냅니다.
• 투명성: 오픈 소스 모델은 더 큰 투명성과 조사를 허용합니다. 연구원은 코드를 검토하고, 모델 작동 방식을 이해하고, 잠재적인 편향이나 한계를 식별할 수 있습니다. 이는 신뢰와 책임감을 조성합니다.
• 접근성: 오픈 소스 모델은 최첨단 AI 기술에 대한 접근을 민주화합니다. 소규모 연구 그룹, 개별 개발자, 심지어 취미로 하는 사람들까지 이러한 모델을 실험하고 활용하여 보다 포괄적인 AI 생태계를 조성할 수 있습니다.
• 혁신: 오픈 소스 모델은 종종 추가 혁신의 기반 역할을 합니다. 개발자는 특정 애플리케이션에 맞게 모델을 조정하고 수정하여 새로운 도구와 기술을 만들 수 있습니다.

Alibaba는 오픈 소스를 수용함으로써 AI 비디오 생성의 발전에 기여할 뿐만 아니라 보다 협력적이고 포괄적인 AI 환경을 조성하고 있습니다. 이러한 접근 방식은 AI 기술의 미래 발전에 상당한 영향을 미칠 것입니다. 이러한 모델의 오픈 소스 특성은 광범위한 사용자가 AI 기반 비디오 콘텐츠 생성의 빠르게 진화하는 분야에서 창조하고, 혁신하고, 기여할 수 있도록 지원해야 합니다.