중국의 AI 동영상 스타트업 Sand AI가 최근 동영상 제작을 위한 오픈 소스 AI 모델을 출시하여 Microsoft Research Asia의 창립 이사인 Kai-Fu Lee와 같은 저명한 인사들로부터 찬사를 받았습니다. 그러나 TechCrunch의 테스트 결과 Sand AI는 모델의 공개 호스팅 버전을 검열하여 중국 규제 당국의 분노를 일으킬 수 있는 이미지 생성을 방지하는 것으로 나타났습니다.
Magi-1: 유망하지만 제한적인 모델
이번 주 초, Sand AI는 프레임 시퀀스를 ‘자기 회귀적’으로 예측하여 동영상을 생성할 수 있는 모델인 Magi-1을 공개했습니다. 이 회사는 이 모델이 오픈 소스 경쟁업체보다 물리학을 더 정확하게 캡처하는 고품질의 제어 가능한 영상을 제작할 수 있다고 주장합니다.
잠재력에도 불구하고 Magi-1은 현재 대부분의 소비자 하드웨어에는 실용적이지 않습니다. 240억 개의 파라미터를 자랑하며 효과적으로 작동하려면 4~8개의 Nvidia H100 GPU가 필요합니다. 파라미터는 AI 모델이 예측을 수행하는 데 사용하는 내부 변수입니다. TechCrunch 기자 등 많은 사용자에게 Sand AI 플랫폼은 Magi-1을 평가할 수 있는 유일한 접근 가능한 방법입니다.
검열 작동 방식: 어떤 이미지가 차단되나요?
플랫폼은 동영상 생성을 시작하기 위해 텍스트 프롬프트 또는 초기 이미지를 요구합니다. 그러나 TechCrunch가 신속하게 발견했듯이 모든 프롬프트가 허용되는 것은 아닙니다. Sand AI는 다음이 포함된 이미지 업로드를 적극적으로 차단합니다.
- 시진핑
- 천안문 광장과 탱크맨
- 대만 국기
- 홍콩 해방을 지지하는 표지판
필터링은 이미지 수준에서 발생하는 것으로 보이며 이미지 파일 이름을 변경해도 차단을 우회할 수 없습니다.
Sand AI, 검열 구현에 홀로 서 있지 않음
Sand AI는 접근 방식에 있어 독특하지 않습니다. 상하이에 본사를 둔 MiniMax에서 운영하는 생성 미디어 플랫폼인 Hailuo AI도 정치적으로 민감한 이미지, 특히 시진핑을 묘사한 이미지를 업로드하지 못하도록 합니다. 그러나 Hailuo AI가 천안문 광장 이미지를 허용하므로 Sand AI의 필터링이 특히 엄격한 것으로 보입니다.
중국의 AI 검열 법적 환경
Wired가 1월 기사에서 설명했듯이 중국에서 운영되는 AI 모델은 엄격한 정보 통제를 받습니다. 2023년 법은 이러한 모델이 ‘국가 통일과 사회적 조화를 위태롭게 하는’ 콘텐츠를 생성하는 것을 금지합니다. 이는 정부의 역사적 및 정치적 내러티브와 모순되는 콘텐츠로 해석될 수 있습니다. 이러한 규정을 준수하기 위해 중국 스타트업은 종종 프롬프트 수준 필터 또는 미세 조정을 통해 모델을 검열합니다.
검열의 대조: 정치 대 포르노
흥미롭게도 중국 AI 모델은 정치적 표현을 차단하는 경향이 있지만 미국 모델보다 포르노 콘텐츠에 대한 필터가 적은 경우가 많습니다. 404는 최근 중국 기업에서 출시한 여러 동영상 생성기가 비합의적인 노골적인 이미지 생성을 방지하기 위한 기본적인 안전 장치가 부족하다고 보고했습니다.
AI 검열의 의미
Sand AI 및 기타 중국 AI 기업이 사용하는 검열 관행은 중국의 AI 개발 및 접근성의 미래에 대한 중요한 질문을 제기합니다. 이러한 관행은 생성할 수 있는 콘텐츠의 범위를 제한할 뿐만 아니라 이러한 회사가 운영되는 더 광범위한 정치적, 사회적 제약을 반영합니다.
차단된 이미지에 대한 자세한 분석
Sand AI가 차단한 특정 이미지는 중국 정부의 민감성을 엿볼 수 있는 창을 제공합니다. 예를 들어 시진핑 이미지 검열은 정부가 지도자의 신중하게 큐레이팅된 이미지를 유지하는 데 중점을 두고 있음을 강조합니다. 마찬가지로 천안문 광장과 탱크맨 이미지 차단은 1989년 시위에 대한 토론과 기억을 억압하려는 정부의 노력을 강조합니다. 대만 국기와 홍콩 해방을 지지하는 표지판 검열은 이러한 정치적으로 민감한 문제에 대한 정부의 입장을 반영합니다.
검열의 기술적 측면
Sand AI의 검열이 이미지 수준에서 작동한다는 사실은 특정 시각적 콘텐츠를 식별하고 차단할 수 있는 정교한 필터링 시스템을 시사합니다. 이 시스템은 이미지 인식 기술을 사용하여 업로드된 이미지를 분석하고 금지된 콘텐츠 데이터베이스와 비교할 가능성이 높습니다. 이미지 파일 이름을 변경해도 차단을 우회할 수 없다는 사실은 시스템이 단순히 파일 이름에 의존하는 것이 아니라 실제로 이미지 데이터를 분석하고 있음을 나타냅니다.
AI 검열의 글로벌 맥락
중국의 AI 검열 접근 방식은 특히 엄격하지만 AI 생성 콘텐츠를 규제하는 방법에 대한 문제로 씨름하는 유일한 국가는 아닙니다. 미국과 유럽에서는 정책 입안자들이 허위 정보, 딥페이크 및 저작권 침해와 같은 문제를 해결하기 위한 규정을 고려하고 있습니다. 그러나 구체적인 접근 방식과 우선순위는 중국과 크게 다릅니다.
오픈 소스 AI의 역할
Sand AI가 Magi-1 모델을 오픈 소스로 출시했다는 사실은 혁신과 검열 사이의 균형에 대한 흥미로운 질문을 제기합니다. 한편으로 오픈 소스 AI는 연구자와 개발자가 코드에 자유롭게 액세스하고 수정할 수 있도록 함으로써 혁신과 협업을 촉진할 수 있습니다. 반면에 기술 사용을 통제하고 악의적인 목적으로 사용되는 것을 방지하는 것도 더 어렵게 만들 수 있습니다.
중국의 AI 미래
중국의 AI 미래는 기술 혁신을 촉진하려는 정부의 욕구와 사회적, 정치적 통제를 유지하려는 의지 사이의 지속적인 긴장에 의해 형성될 것입니다. 중국 AI 기업은 복잡한 규제 환경을 탐색하고 혁신적이고 정부 규정을 준수하는 방식으로 기술을 개발하고 배포하는 방법을 찾아야 합니다.
더 광범위한 의미
Sand AI의 사례는 표현의 자유와 정보 접근에 대한 AI 검열의 더 광범위한 의미를 강조합니다. AI 기술이 더욱 강력해지고 널리 보급됨에 따라 그 사용의 윤리적, 사회적 의미를 고려하고 반대 의견을 억압하거나 정보 접근을 제한하는 데 사용되지 않도록 하는 것이 점점 더 중요해지고 있습니다.
다른 플랫폼과의 비교 분석
Sand AI의 검열 관행을 Hailuo AI의 관행과 비교하면 중국 AI 기업 간의 검열 엄격성에 약간의 차이가 있음이 드러납니다. Hailuo AI가 천안문 광장 이미지를 허용한다는 사실은 검열 정책이 Sand AI보다 포괄적이지 않다는 것을 시사합니다. 이러한 차이는 기업의 위험 감수성, 정부 규정 해석 또는 기술 능력의 차이를 반영할 수 있습니다.
검열의 경제적 영향
중국의 AI 생성 콘텐츠 검열은 경제적 영향도 미칠 수 있습니다. 한편으로는 동일한 검열 요구 사항이 적용되지 않는 외국 기업과의 경쟁으로부터 국내 기업을 보호할 수 있습니다. 반면에 혁신을 억압하고 중국 AI 기업이 글로벌 시장에서 경쟁할 수 있는 잠재력을 제한할 수도 있습니다.
혁신과 통제의 균형을 맞추는 과제
중국 정부는 AI 혁신을 촉진하려는 욕구와 사회적, 정치적 통제를 유지하려는 의지 사이의 균형을 맞추는 과제에 직면해 있습니다. 검열이 너무 많으면 혁신을 억압하고 중국 AI 기업의 잠재력을 제한할 수 있습니다. 검열이 너무 적으면 허위 정보가 확산되고 사회적, 정치적 안정이 저하될 수 있습니다.
글로벌 AI 환경
AI 환경은 빠르게 진화하고 있으며 새로운 기술과 응용 프로그램이 끊임없이 등장하고 있습니다. 중국은 AI 분야의 주요 주자이지만 검열, 데이터 프라이버시 및 인재 접근과 관련된 문제에 직면해 있습니다. AI의 미래는 이러한 문제를 해결하는 방법과 국가가 공정하고 개방적인 방식으로 협력하고 경쟁할 수 있는 정도에 달려 있습니다.
윤리적 고려 사항
AI 사용은 편향, 공정성, 투명성 및 책임과 관련된 문제를 포함하여 여러 가지 윤리적 고려 사항을 제기합니다. AI가 책임감 있고 유익한 방식으로 사용되도록 AI 개발 및 배포에 대한 윤리적 지침과 표준을 개발하는 것이 중요합니다.
투명성의 중요성
투명성은 AI 시스템에 대한 신뢰를 구축하는 데 필수적입니다. AI 모델이 어떻게 작동하고 결정을 내리는지 이해하는 것이 중요합니다. 이를 위해서는 데이터, 알고리즘 및 의사 결정 프로세스에 대한 액세스를 제공해야 합니다. 투명성은 편향을 식별하고 완화하고 공정성을 보장하며 책임을 증진하는 데 도움이 될 수 있습니다.
교육의 역할
교육은 AI 시대에 개인과 사회를 준비시키는 데 중요한 역할을 합니다. 사람들에게 AI 기술, 잠재적 이점과 위험, 윤리적, 사회적 의미에 대해 교육하는 것이 중요합니다. 교육은 AI 리터러시, 비판적 사고 및 책임 있는 혁신을 증진하는 데 도움이 될 수 있습니다.
미래의 업무
AI는 미래의 업무에 상당한 영향을 미칠 가능성이 높습니다. 일부 작업은 자동화될 수 있는 반면 다른 작업은 생성되거나 변환될 수 있습니다. AI 기반 경제에서 성공하는 데 필요한 기술과 교육을 제공하여 이러한 변화에 대비하는 것이 중요합니다.
협업의 중요성
협업은 AI가 제시하는 과제와 기회를 해결하는 데 필수적입니다. 여기에는 연구자, 개발자, 정책 입안자 및 대중 간의 협업이 포함됩니다. 협업은 AI가 모든 사람에게 유익한 방식으로 개발되고 배포되도록 하는 데 도움이 될 수 있습니다.
AI와 국가 안보
AI는 국가 안보에서도 점점 더 중요한 역할을 하고 있습니다. 감시, 정보 수집 및 자율 무기 시스템과 같은 응용 프로그램에 사용되고 있습니다. 국가 안보에서 AI를 사용하는 것은 신중하게 고려해야 할 복잡한 윤리적, 전략적 질문을 제기합니다.
규제의 필요성
AI 규제는 복잡하고 진화하는 문제입니다. 일부는 잠재적 피해를 방지하기 위해 AI를 엄격하게 규제해야 한다고 주장하는 반면 다른 사람들은 과도한 규제가 혁신을 억압할 수 있다고 주장합니다. 혁신을 촉진하고 위험으로부터 보호하는 것 사이에서 균형을 맞추는 것이 중요합니다.
AI와 의료
AI는 여러 가지 방법으로 의료를 혁신할 가능성이 있습니다. 질병의 진단, 치료 및 예방을 개선하는 데 사용할 수 있습니다. AI는 또한 의료를 개인화하고 보다 접근 가능하고 저렴하게 만드는 데 사용할 수 있습니다.
AI와 교육
AI는 교육을 개선하는 데에도 사용할 수 있습니다. 학습을 개인화하고 피드백을 제공하고 관리 작업을 자동화하는 데 사용할 수 있습니다. AI는 또한 새로운 교육 도구와 리소스를 만드는 데 사용할 수 있습니다.
AI와 환경
AI는 기후 변화, 오염 및 자원 고갈과 같은 환경 문제를 해결하는 데 사용할 수 있습니다. 에너지 소비를 최적화하고 농업 관행을 개선하고 환경 조건을 모니터링하는 데 사용할 수 있습니다.
AI의 힘
AI는 우리 삶의 많은 측면을 변화시킬 잠재력이 있는 강력한 기술입니다. 모든 인류에게 유익하도록 책임감 있고 윤리적인 방식으로 AI를 개발하고 배포하는 것이 중요합니다. 중국의 검열 관행은 AI가 통제 및 억압 목적으로 사용될 수 있다는 잠재력을 생생하게 상기시켜 줍니다. AI가 계속 진화함에 따라 윤리적 의미에 대한 지속적인 대화와 토론에 참여하고 자유, 정의 및 인간의 복지를 증진하는 데 사용되도록 하는 것이 중요합니다. 일부 AI 모델의 오픈 소스 특성은 이와 관련하여 기회와 과제를 모두 제공합니다. 오픈 소스 AI는 혁신과 협업을 촉진할 수 있지만 기술 사용을 통제하고 악의적인 목적으로 사용되는 것을 방지하는 것도 더 어렵게 만듭니다. 문제는 AI의 힘을 활용하면서 위험을 완화하고 모든 사람에게 유익하도록 하는 방법을 찾는 것입니다. 이를 위해서는 윤리적 지침, 규정, 교육, 지속적인 대화 및 토론을 포함하는 다면적인 접근 방식이 필요합니다.
국제 협력의 역할
AI의 개발 및 배포는 국제 협력이 필요한 글로벌 노력입니다. 국가들은 공동 표준을 개발하고, 모범 사례를 공유하고, AI의 윤리적, 사회적 의미를 해결하기 위해 협력해야 합니다. 국제 협력은 AI가 모든 사람을 위한 평화, 안보 및 번영을 증진하는 데 사용되도록 하는 데 도움이 될 수 있습니다.
결론
Sand AI와 검열 관행에 대한 이야기는 AI가 제시하는 더 큰 과제와 기회의 축소판입니다. AI가 계속 진화하고 더욱 널리 보급됨에 따라 그 사용의 윤리적, 사회적, 정치적 의미를 해결하는 것이 필수적입니다. AI의 미래는 선을 위한 힘을 활용하면서 위험을 완화하고 자유, 정의 및 인간의 복지를 증진하는 데 사용할 수 있는 능력에 달려 있습니다. AI에 대한 지속적인 대화와 토론은 미래를 형성하고 모든 사람을 위한 더 나은 세상을 만드는 데 사용되도록 하는 데 필수적입니다.