인도는 자체 인공지능(AI) 역량을 구축하기 위한 혁신적인 여정을 시작했습니다. 벵갈루루에 기반을 둔 신생 기업인 Sarvam AI가 인도AI 미션의 지원 하에 인도 최초의 독립적인 대규모 언어 모델(LLM) 개발을 주도하는 중추적인 역할을 맡게 되었습니다. 이 야심찬 프로젝트는 기술 자립을 촉진하고 AI의 힘을 자국민의 이익을 위해 활용하려는 인도의 의지를 강조합니다.
토착 AI를 향한 비전
이 이니셔티브의 핵심에는 심오한 비전이 있습니다. 단순한 토착 AI 모델을 넘어 고급 추론 능력, 정교한 음성 처리 기능, 다양한 인도 언어에 대한 유창한 구사 능력을 갖춘 AI 모델을 만드는 것입니다. 이 모델은 인도의 고유한 정체성과 유산을 반영하여 인도 언어 및 문화적 배경에 깊이 뿌리내릴 것입니다.
이 비전의 실현을 촉진하기 위해 Sarvam AI는 6개월 동안 4,086개의 NVIDIA H100 GPU로 구성된 강력한 컴퓨팅 리소스에 액세스할 수 있게 됩니다. 이를 통해 이 스타트업은 인도 맥락의 특정 요구와 열망에 맞게 LLM을 처음부터 구축할 수 있습니다.
세 가지 고유한 변형
이 독립적인 LLM의 개발은 특정 애플리케이션 및 요구 사항을 충족하도록 설계된 세 가지 고유한 변형을 포괄합니다.
Sarvam-Large: 이 변형은 복잡한 추론 및 생성 작업에서 탁월한 성능을 발휘하도록 설계되어 복잡한 문제를 해결하고 정교한 콘텐츠를 생성할 수 있습니다.
Sarvam-Small: 이 변형은 실시간 인터랙티브 애플리케이션에 최적화되어 다양한 시나리오에서 사용자와의 신속하고 반응적인 상호 작용을 보장합니다.
Sarvam-Edge: 이 변형은 장치 내 작업에 맞게 조정되어 클라우드에 대한 지속적인 연결 없이도 리소스가 제한된 장치에서 원활하게 작동할 수 있습니다.
협력적인 노력으로 Sarvam AI는 IIT Madras의 이니셔티브인 AI4Bharat와 협력하여 모델이 인도 언어 및 문화적 맥락에 깊이 내재되도록 할 것입니다. 이 협력은 자연어 처리 분야에서 AI4Bharat의 전문 지식과 풍부한 인도 언어 리포지토리를 활용할 것입니다.
Sarvam AI의 입증된 실적
Sarvam AI는 이미 인도 AI 환경에서, 특히 다국어 AI 영역에서 선두 주자로 두각을 나타냈습니다. 인도 맥락의 고유한 과제를 해결하기 위한 혁신과 헌신의 실적은 이 야심찬 프로젝트를 이끌 자연스러운 선택으로 자리매김했습니다.
2024년 10월, Sarvam AI는 특히 인도 언어를 위해 설계되고 최적화된 20억 개의 파라미터를 가진 LLM인 Sarvam-1을 공개했습니다. 이 모델은 영어 외에도 벵골어, 구자라트어, 힌디어, 칸나다어, 말라얄람어, 마라티어, 오디아어, 펀자브어, 타밀어, 텔루구어를 포함한 10개의 주요 인도 언어를 지원합니다.
인도 스크립트를 처리할 때 토큰 비효율성으로 어려움을 겪는 기존의 많은 모델과 달리 Sarvam-1은 단어당 1.4~2.1개의 토큰의 비옥도 비율을 달성합니다. 이 놀라운 성과는 처리 효율성을 크게 향상시켜 모델이 인도 언어를 더 빠른 속도와 정확도로 처리할 수 있도록 합니다.
국내 교육 및 인프라
Sarvam-1은 NVIDIA H100 Tensor Core GPU, Yotta의 데이터 센터 및 AI4Bharat의 언어 리소스로 구동되는 국내 AI 인프라를 활용하여 인도 내에서 완전히 교육을 받았습니다. 이러한 엔드 투 엔드 국내 접근 방식은 AI 개발에서 인도의 성장하는 역량과 자립적인 AI 생태계를 구축하기 위한 노력을 강조합니다.
성능 벤치마크에 따르면 Sarvam-1은 특히 인도 언어와 관련된 작업에서 Meta의 Llama 3.1 8B 및 Google의 Gemma-2-9B와 같은 더 큰 모델과 일치할 뿐만 아니라 일부 경우에는 능가합니다. 이러한 인상적인 성능은 Sarvam AI의 접근 방식의 효과와 글로벌 AI 리더와 경쟁할 수 있는 능력을 강조합니다.
인도 언어 전반에 걸친 TriviaQA 벤치마크에서 Sarvam-1은 86.11의 정확도를 달성하여 Llama-3.1 8B의 61.47 점수를 능가했습니다. 이 상당한 차이는 인도 언어로 된 정보를 이해하고 처리하는 데 있어 Sarvam-1의 우수한 기능을 입증합니다.
앞으로의 과제
Sarvam AI가 Sarvam-1으로 역량을 입증했지만, 최초의 토착 기반 모델을 구축하는 작업은 어려움이 따릅니다. 이러한 과제를 극복하려면 창의성, 인내심 및 협력 정신이 필요합니다.
인프라 확장
가장 중요한 장애물 중 하나는 대규모 모델 교육의 요구 사항을 충족하도록 인프라를 확장하는 것입니다. 이러한 모델을 교육하려면 장기간에 걸쳐 막대한 컴퓨팅 파워에 액세스해야 합니다. 정부가 수천 개의 NVIDIA H100 GPU를 제공하는 것은 중요한 진전이지만, 이러한 고급 리소스를 관리, 최적화 및 유지 관리하는 것은 복잡한 작업입니다.
효과적인 리소스 관리는 교육 프로세스가 효율적이고 비용 효율적인지 확인하는 데 중요합니다. 여기에는 GPU 사용 최적화, 메모리 할당 관리 및 잠재적인 병목 현상을 완화하기 위한 전략 구현이 포함됩니다.
데이터 큐레이션
또 다른 중요한 과제는 고품질의 다양한 데이터 세트를 큐레이션하는 데 있습니다. 인도의 언어적 환경은 언어 간뿐만 아니라 방언, 문화 및 글쓰기 스타일 내에서도 변동이 있어 매우 복잡합니다. 편견을 도입하지 않고 이러한 다양성을 진정으로 포착하는 균형 잡힌 데이터 세트를 만드는 것은 필수적이지만 매우 어렵습니다.
데이터 세트는 인도 내의 다양한 지역, 커뮤니티 및 사회 집단을 대표해야 합니다. 또한 불공정하거나 차별적인 결과를 초래할 수 있는 편견이 없어야 합니다. 이러한 기준을 충족하는지 확인하기 위해 데이터 선택 및 주석에 세심한 주의를 기울여야 합니다.
언어적 뉘앙스
또한 모델은 관용구, 은유 및 문화적 참조를 포함하여 인도 언어의 미묘한 뉘앙스를 포착할 수 있어야 합니다. 이를 위해서는 이러한 언어가 사용되는 문화적 맥락에 대한 깊은 이해가 필요합니다.
AI4Bharat와의 Sarvam AI의 협력은 이러한 과제를 해결하는 데 중요한 역할을 할 것입니다. 인도 언어에 대한 AI4Bharat의 전문 지식과 광범위한 언어 리소스에 대한 액세스는 독립적인 LLM 개발에 귀중한 지원을 제공할 것입니다.
인도에 미치는 영향
독립적인 LLM의 개발은 인도의 기술 환경과 글로벌 AI 분야에서의 역할에 심오한 영향을 미칩니다. 이 이니셔티브는 교육, 의료, 금융 및 거버넌스를 포함한 다양한 부문을 변화시킬 잠재력이 있습니다.
경제 성장
혁신을 촉진하고 경제 성장을 주도함으로써 독립적인 LLM은 인도 기업과 기업가에게 새로운 기회를 창출할 수 있습니다. 또한 현지 언어로 정보와 서비스에 대한 액세스를 제공하여 디지털 격차를 해소하는 데 도움이 될 수 있습니다.
역량 강화
또한 LLM은 개인화된 교육, 의료 및 기타 필수 서비스에 대한 액세스를 제공하여 시민의 역량을 강화할 수 있습니다. 또한 언어 장벽을 허물고 다른 커뮤니티 간의 의사 소통을 촉진하여 사회적 포용을 촉진하는 데 도움이 될 수 있습니다.
전략적 독립성
궁극적으로 독립적인 LLM 개발은 인도의 전략적 명령입니다. 이를 통해 국가는 자체 AI 역량을 개발하고 외국 기술에 대한 의존도를 줄이며 디지털 주권을 보장할 수 있습니다.
협력적 생태계
이 야심찬 노력의 성공은 정부, 산업, 학계 및 스타트업 커뮤니티를 결합하는 협력적 생태계의 창출에 달려 있습니다. 함께 협력함으로써 이러한 이해 관계자는 집단적 전문 지식과 리소스를 활용하여 혁신을 주도하고 인도에서 AI 개발을 가속화할 수 있습니다.
Sarvam AI에 대한 정부의 지원과 컴퓨팅 리소스에 대한 액세스를 제공하려는 노력은 이 생태계의 중요한 조력자입니다. 산업 파트너십은 실제 데이터와 전문 지식에 대한 액세스를 제공할 수 있으며, 학술 기관은 최첨단 연구와 인재를 기여할 수 있습니다.
AI 기반의 미래
인도가 이 혁신적인 여정을 시작하면서 국가는 AI의 엄청난 잠재력을 발휘하고 혁신, 포용성 및 자립을 기반으로 하는 미래를 창조할 준비가 되었습니다. 독립적인 LLM 개발은 인도의 야망과 인공지능 시대에 자체 운명을 결정하려는 흔들리지 않는 의지의 증거입니다.