Sarvam AI는 인도 언어 및 수학과 프로그래밍을 포함한 복잡한 추론 작업에 탁월하도록 세심하게 제작된 획기적인 240억 매개변수 대규모 언어 모델 (LLM)을 최근 출시했습니다. "M"이 Mistral을 의미하는 이 혁신적인 모델 Sarvam-M은 오픈 웨이트 하이브리드 모델 영역에서 상당한 발전을 나타냅니다. 작지만 매우 강력한 오픈 소스 언어 모델인 Mistral Small의 기반을 바탕으로 구축되었으며 전문 교육 및 최적화 기술을 통해 기능을 향상시킵니다.
Sarvam-M: 언어 모델링에 대한 하이브리드 접근 방식
Sarvam-M은 오픈 소스 기반의 강점과 독점적인 개선 사항을 결합한 하이브리드 접근 방식으로 두드러집니다. 이러한 설계 철학을 통해 Sarvam AI는 Mistral Small 모델을 둘러싼 집단적 지식과 커뮤니티 지원을 활용하는 동시에 인도 시장의 특정 요구 사항을 충족하도록 조정할 수 있습니다. 모델의 아키텍처와 훈련 방법론은 성능과 기능을 이해하는 데 중요합니다.
지도 학습 미세 조정: 정확도 및 정밀도
모델의 정확도와 정밀도를 높이기 위해 Sarvam AI는 세심한 지도 학습 미세 조정 프로세스를 사용했습니다. 여기에는 다양한 작업에서 성능을 향상시키기 위해 특별히 설계된 엄선된 예제 데이터 세트에서 모델을 훈련하는 과정이 포함되었습니다. 모델을 다양한 시나리오에 노출시키고 명확하게 레이블이 지정된 데이터를 제공함으로써 지도 학습 미세 조정 프로세스를 통해 Sarvam-M은 데이터 내의 복잡한 패턴과 관계를 학습하여 보다 정확하고 신뢰할 수 있는 결과를 얻을 수 있습니다.
검증 가능한 보상을 통한 강화 학습: 의사 결정 능력
지도 학습 미세 조정 외에도 Sarvam AI는 모델의 의사 결정 능력을 향상시키기 위해 검증 가능한 보상을 통해 강화 학습을 통합했습니다. 이 기술은 수학 문제를 올바르게 해결하는 것과 같이 명확하고 측정 가능한 목표와 관련된 피드백에서 학습하도록 모델을 훈련하는 것을 포함합니다. 이러한 목표를 달성한 모델에 보상을 제공함으로써 강화 학습 프로세스는 모델이 더 나은 결정을 내리고 시간이 지남에 따라 성능을 최적화하도록 장려합니다. 이 접근 방식은 복잡한 추론 및 문제 해결 기술이 필요한 작업에 특히 효과적입니다.
실시간 사용에 최적화됨: 효율성 및 응답성
실시간 성능의 중요성을 인식한 Sarvam AI는 특히 실시간 사용 중에 답변을 생성할 때 보다 효율적이고 정확하게 응답하도록 Sarvam-M을 세심하게 최적화했습니다. 여기에는 대기 시간을 최소화하고 처리량을 최대화하기 위해 모델의 아키텍처와 알고리즘을 미세 조정하여 사용자가 쿼리에 대한 시기적절하고 관련성 있는 응답을 받을 수 있도록 하는 과정이 포함되었습니다. 최적화 노력은 계산 오버헤드를 줄이고 모델의 동시 요청 처리 능력을 향상시키는 데 중점을 두어 수요가 많은 환경에 배포하기에 적합합니다.
벤치마킹 성능: 새로운 표준 설정
Sarvam AI의 Sarvam-M이 인도 언어, 수학 및 프로그래밍 작업에서 해당 규모의 모델에 대한 새로운 벤치마크를 설정했다는 주장은 광범위한 벤치마킹 데이터에 의해 뒷받침됩니다. 이 스타트업은 다양한 표준 벤치마크에서 모델의 성능에 대한 엄격한 평가를 수행하여 결과를 다른 최첨단 모델의 결과와 비교했습니다. 이러한 평가 결과는 Sarvam-M이 여러 주요 영역에서 달성한 상당한 개선 사항을 보여줍니다.
인도어 벤치마크: 평균 20% 성능 향상
SarvamAI가 발표한 블로그 게시물에 따르면 Sarvam-M은 기본 모델보다 주요 개선 사항을 보여 인도어 벤치마크에서 평균 20%의 성능 향상을 보입니다. 이 상당한 개선은 모델의 인도어 이해 및 생성 능력을 향상시키는 데 있어 지도 학습 미세 조정 프로세스의 효과성을 강조합니다. 이러한 언어의 뉘앙스와 복잡성을 처리하는 모델의 능력은 인도 시장에서 채택 및 사용에 매우 중요합니다. 성능을 평가하는 데 사용된 특정 벤치마크에는 텍스트 분류, 질문 응답 및 기계 번역과 같은 작업이 포함되어 다양한 언어 문제를 다룹니다.
수학 과제: 평균 21.6% 성능 향상
인도어 외에도 Sarvam-M은 수학 과제에서도 평균 21.6% 향상된 인상적인 성능 향상을 보여줍니다. 정확도와 문제 해결 능력이 크게 향상된 것은 모델의 추론 능력을 향상시키는 데 있어 검증 가능한 보상을 통한 강화 학습 기술의 효과성을 강조합니다. 수학 문제를 해결하는 모델의 능력은 재무 모델링, 과학 연구 및 데이터 분석과 같은 분야에 적용하는 데 필수적입니다. 수학 과제에 대한 성능을 평가하는 데 사용된 벤치마크에는 대수학, 미적분학 및 통계학과 같은 다양한 영역의 문제가 포함되었습니다. 모델은 정답을 제공할 뿐만 아니라 추론 과정을 보여주고 솔루션을 정당화하는 능력도 평가되었습니다.
프로그래밍 테스트: 평균 17.6% 성능 향상
프로그래밍 테스트에 대한 Sarvam-M의 성능도 평균 17.6%의 향상된 점수를 보여줍니다. 이러한 개선은 모델의 다양한 프로그래밍 언어로 된 코드를 이해하고 생성하는 능력을 반영하여 소프트웨어 개발자 및 엔지니어에게 가치 있는 도구입니다. 프로그래밍에 능숙한 모델은 코드 생성, 버그 탐지 및 자동화된 테스트와 같은 분야에 적용하는 데 매우 중요합니다. 프로그래밍 테스트에 대한 성능을 평가하는 데 사용된 벤치마크에는 자연어 설명에서 코드 완성, 코드 복구 및 코드 생성과 같은 작업이 포함되었습니다. 모델은 주어진 요구 사항을 충족하는 구문상 정확하고 의미상 의미 있는 코드를 생성하는 능력을 평가했습니다.
결합된 작업: 뛰어난 성능
이 모델은 인도 언어와 수학을 결합한 작업에서 훨씬 더 나은 성능을 발휘하여 언어 및 추론 기술이 모두 필요한 복잡한 시나리오를 처리할 수 있는 다재다능함과 능력을 보여줍니다. 예를 들어 GSM-8K 벤치마크의 로마자 표기된 인도 언어 버전에서 86%의 개선을 달성했습니다. 이 놀라운 개선은 모델이 인도 언어와 수학적 개념에 대한 지식을 활용하여 어려운 문제를 해결하는 능력을 강조합니다. GSM-8K 벤치마크는 모델의 자연어로 표현된 초등학교 수학 문제를 해결하는 능력을 테스트하는 데 널리 사용되는 데이터 세트입니다. 이 벤치마크에 대한 모델의 성능은 문제 설명을 이해하고 관련 정보를 식별하며 적절한 수학적 연산을 적용하여 올바른 솔루션을 얻는 능력을 보여줍니다. Sarvam-M이 달성한 86%의 개선은 고급 추론 능력과 복잡하고 다면적인 작업을 처리할 수 있는 능력을 입증합니다.
다른 모델과의 비교: Sarvam-M은 자체적으로 유지됩니다.
Sarvam AI의 블로그 게시물은 Sarvam-M과 다른 주요 언어 모델 간의 비교를 통해 경쟁력 있는 성능을 강조합니다. 이 비교 분석은 모델의 강점과 약점에 대한 귀중한 통찰력을 제공하여 사용자가 특정 요구 사항에 대한 적합성에 대해 정보에 입각한 결정을 내릴 수 있도록 합니다. 블로그 게시물은 Sarvam-M이 대부분의 벤치마크에서 Llama-2 7B보다 성능이 뛰어나고 Llama-3 70B와 같은 더 큰 밀도 모델과 유사하며 훨씬 더 많은 토큰에서 사전 훈련된 Gemma 27B와 같은 모델과 유사하다는 사실을 강조합니다. 이러한 비교는 Sarvam-M의 교육 방법론의 효율성과 비교적 작은 매개변수 크기로 경쟁력 있는 성능을 달성할 수 있는 능력을 강조합니다. 매개변수가 적은 상태에서 유사한 성능을 달성할 수 있다는 것은 계산 비용이 낮아지고 추론 속도가 빨라져 Sarvam-M이 많은 사용자에게 보다 실용적이고 접근 가능한 솔루션이 됩니다.
영어 지식 기반 벤치마크: 개선의 여지
인도 언어 및 추론 작업에서 인상적인 성능을 보임에도 불구하고 Sarvam AI는 Sarvam-M이 MMLU와 같은 영어 지식 기반 벤치마크에서 여전히 개선이 필요하다는 점을 인정합니다. 이러한 벤치마크에서 Sarvam-M은 기준 모델보다 약 1% 포인트 낮은 성능을 보입니다. 이러한 성능 저하는 모델의 훈련 데이터가 인도 언어 및 추론 작업에 치우쳐 영어 지식에 대한 이해가 약간 약해졌음을 시사합니다. 그러나 Sarvam AI는 모델의 훈련 세트에 더 많은 영어 데이터를 통합하고 모델의 아키텍처를 미세 조정하여 영어 지식 기반 작업을 더 잘 처리함으로써 이 문제를 적극적으로 해결하고 있습니다. 회사는 영어 언어 벤치마크에서 다른 최첨단 모델과의 동등성을 달성하여 Sarvam-M이 다재다능하고 세계적으로 경쟁력 있는 언어 모델이 되도록 노력하고 있습니다.
다재다능함 및 응용 프로그램: 광범위한 가능성
Sarvam-M은 다재다능성을 위해 구축되었으며 대화형 에이전트, 번역 및 교육 도구를 포함한 광범위한 응용 프로그램을 지원하도록 설계되었습니다. 인도 언어를 이해하고 생성하는 능력과 추론 능력은 인도 시장에서 운영되는 기업과 조직에 귀중한 자산이 됩니다.
대화형 에이전트: 고객 서비스 향상
Sarvam-M은 고객의 모국어로 상호 작용하고 개인화되고 효율적인 고객 서비스를 제공할 수 있는 대화형 에이전트의 기능을 향상시키는 데 사용할 수 있습니다. 이러한 에이전트는 자주 묻는 질문에 답변하고, 제품 정보를 제공하고, 고객 불만을 해결하는 등 광범위한 작업을 처리할 수 있습니다. 고객이 선호하는 언어로 통신할 수 있도록 지원함으로써 Sarvam-M은 고객 만족도와 충성도를 향상시킬 수 있습니다. Sarvam-M으로 구동되는 대화형 에이전트는 웹사이트, 모바일 앱 및 메시징 플랫폼과 같은 다양한 플랫폼에 배포되어 고객에게 원활하고 편리한 통신 경험을 제공할 수 있습니다.
번역: 언어 장벽 해소
Sarvam-M의 번역 기능은 언어 장벽을 해소하고 서로 다른 언어를 사용하는 사람들 간의 커뮤니케이션을 촉진하는 데 사용할 수 있습니다. 이 모델은 영어와 다양한 인도 언어 간에 텍스트와 음성을 번역하여 기업이 새로운 시장으로 진출하고 개인이 다른 문화의 사람들과 연결할 수 있도록 합니다. Sarvam-M으로 구동되는 번역 서비스는 문서 번역 도구, 웹사이트 번역 플러그인 및 실시간 번역 앱과 같은 다양한 응용 프로그램에 통합되어 사용자에게 원활하고 정확한 번역 기능을 제공할 수 있습니다.
교육 도구: 개인화된 학습 경험
Sarvam-M은 모든 연령대의 학생에게 개인화된 학습 경험을 제공하는 교육 도구를 개발하는 데 사용할 수 있습니다. 이 모델은 맞춤형 학습 자료를 생성하고, 학생 작업에 대한 피드백을 제공하고, 학생 질문에 답변 สามารถ. 각 학생의 개별 요구 사항과 학습 스타일에 학습 경험을 맞춤으로써 Sarvam-M은 학생 참여도와 학업 성취도를 향상시킬 수 있습니다. Sarvam-M으로 구동되는 교육 도구는 온라인 학습 플랫폼, 모바일 앱 및 대화형 교과서와 같은 다양한 플랫폼에 배포되어 학생들이 언제 어디서나 개인화된 학습 리소스에 액세스할 수 있도록 합니다.
액세스 및 가용성: 개발자 지원
Sarvam AI는 Sarvam-M을 개발자와 연구자가 쉽게 액세스할 수 있도록 하여 AI 커뮤니티 내에서 혁신과 협업을 촉진합니다. 이 모델은 오픈 소스 AI 모델을 공유하고 액세스하는 데 널리 사용되는 플랫폼인 Hugging Face에서 다운로드할 수 있습니다. 개발자는 Sarvam AI의 플레이그라운드에서 모델을 테스트할 수도 있습니다. Sarvam AI의 플레이그라운드는 사용자가 모델의 기능을 실험하고 잠재적인 응용 프로그램을 탐색할 수 있는 웹 기반 인터페이스입니다. 또한 Sarvam AI는 개발자가 Sarvam-M을 자신의 응용 프로그램 및 서비스에 통합할 수 있도록 하는 API를 제공합니다. 모델과 관련 도구에 대한 쉬운 액세스를 제공함으로써 Sarvam AI는 개발자가 AI의 힘을 활용하는 혁신적인 솔루션을 구축할 수 있도록 지원합니다.
향후 계획: 인도에 주권 AI 생태계 구축
Sarvam AI는 인도에 주권 AI 생태계를 구축하기 위한 노력의 일환으로 모델을 정기적으로 출시할 계획입니다. 이 모델은 해당 기여 시리즈의 첫 번째 모델입니다. 회사는 인도 국민의 요구와 가치에 부합하는 AI 기술을 개발하고 배포하기 위해 노력하고 있습니다. 강력한 국내 AI 산업을 육성함으로써 Sarvam AI는 외국 기술에 대한 인도의 의존도를 줄이고 경제 성장과 사회 발전을 촉진하는 것을 목표로 합니다. 회사의 비전은 혁신적이고 포용적인 AI 생태계를 만들어 모든 인도인이 AI의 혜택을 누릴 수 있도록 하는 것입니다.
4월 말 인도 정부는 신흥 기술 분야에서 국내 역량을 강화하기 위한 국가적 노력인 IndiaAI Mission의 일환으로 Sarvam을 국가 주권 LLM 구축 업체로 선정했습니다. 이 선정은 인도에 주권 AI 생태계를 구축하려는 Sarvam AI의 비전을 실현할 수 있는 능력에 대한 정부의 자신감을 강조합니다. IndiaAI Mission은 AI 분야의 연구 개발을 촉진하고 혁신과 기업가 정신을 육성하며 AI 산업을 지원하기 위한 숙련된 인력을 창출하는 것을 목표로 하는 포괄적인 이니셔티브입니다. Sarvam AI와의 협력을 통해 정부는 목표를 달성하고 인도를 AI 분야의 글로벌 리더로 확립하기 위한 중요한 단계를 밟고 있습니다.