Sarvam AI, sebuah startup yang berbasis di Bengaluru, baru-baru ini meluncurkan model bahasa besar (LLM) 24 miliar parameter inovatif yang dibuat dengan cermat untuk unggul dalam bahasa-bahasa India dan mengatasi tugas-tugas penalaran yang rumit, termasuk matematika dan pemrograman. Model inovatif ini, yang dinamai Sarvam-M (dengan "M" yang menandakan Mistral), mewakili kemajuan signifikan dalam ranah model hibrida open-weights. Ia dibangun di atas fondasi Mistral Small, sebuah model bahasa open-source yang ringkas namun sangat kuat, meningkatkan kemampuannya melalui pelatihan khusus dan teknik optimasi.
Sarvam-M: Pendekatan Hibrida untuk Pemodelan Bahasa
Sarvam-M menonjol karena pendekatan hibridanya, menggabungkan kekuatan fondasi open-source dengan peningkatan hak milik. Filosofi desain ini memungkinkan Sarvam AI untuk memanfaatkan pengetahuan kolektif dan dukungan komunitas di sekitar model Mistral Small sambil secara bersamaan menyesuaikannya untuk memenuhi kebutuhan spesifik pasar India. Arsitektur dan metodologi pelatihan model adalah kunci untuk memahami kinerja dan kemampuannya.
Fine-Tuning Terawasi: Presisi dan Akurasi
Untuk meningkatkan akurasi dan presisi model, Sarvam AI menerapkan proses fine-tuning terawasi yang cermat. Ini melibatkan pelatihan model pada dataset contoh yang dikuratori dengan cermat yang secara khusus dirancang untuk meningkatkan kinerjanya pada berbagai tugas. Dengan mengekspos model ke beragam skenario dan memberinya data yang jelas dan berlabel, proses fine-tuning terawasi memungkinkan Sarvam-M untuk mempelajari pola dan hubungan yang rumit dalam data, menghasilkan output yang lebih akurat dan andal.
Pembelajaran Penguatan dengan Hadiah yang Dapat Diverifikasi: Kehebatan Pengambilan Keputusan
Selain fine-tuning terawasi, Sarvam AI memasukkan pembelajaran penguatan dengan hadiah yang dapat diverifikasi untuk meningkatkan kemampuan pengambilan keputusan model. Teknik ini melibatkan pelatihan model untuk belajar dari umpan balik yang terkait dengan tujuan yang jelas dan terukur, seperti memecahkan masalah matematika dengan benar. Dengan memberi penghargaan kepada model karena mencapai tujuan-tujuan ini, proses pembelajaran penguatan mendorongnya untuk membuat keputusan yang lebih baik dan mengoptimalkan kinerjanya dari waktu ke waktu. Pendekatan ini sangat efektif untuk tugas-tugas yang membutuhkan penalaran kompleks dan keterampilan pemecahan masalah.
Dioptimalkan untuk Penggunaan Real-Time: Efisiensi dan Responsif
Menyadari pentingnya kinerja real-time, Sarvam AI dengan cermat mengoptimalkan Sarvam-M untuk merespons lebih efisien dan akurat saat menghasilkan jawaban, terutama selama penggunaan real-time. Ini melibatkan penyempurnaan arsitektur dan algoritma model untuk meminimalkan latensi dan memaksimalkan throughput, memastikan bahwa pengguna dapat menerima respons yang tepat waktu dan relevan terhadap pertanyaan mereka. Upaya optimasi difokuskan pada pengurangan overhead komputasi dan peningkatan kemampuan model untuk menangani permintaan bersamaan, membuatnya cocok untuk penyebaran di lingkungan dengan permintaan tinggi.
Tolok Ukur Kinerja: Menetapkan Standar Baru
Klaim Sarvam AI bahwa Sarvam-M menetapkan tolok ukur baru untuk model seukurannya dalam bahasa-bahasa India dan tugas-tugas matematika dan pemrograman didukung oleh data tolok ukur yang ekstensif. Startup tersebut melakukan evaluasi yang ketat terhadap kinerja model pada berbagai tolok ukur standar, membandingkan hasilnya dengan model-model canggih lainnya. Hasil evaluasi ini menunjukkan peningkatan signifikan yang dicapai oleh Sarvam-M di beberapa bidang utama.
Tolok Ukur Bahasa India: Peningkatan Kinerja Rata-Rata 20%
Menurut postingan blog yang dirilis oleh SarvamAI, Sarvam-M menunjukkan peningkatan besar atas model dasar, dengan peningkatan kinerja rata-rata 20% pada tolok ukur bahasa India. Peningkatan substansial ini menggarisbawahi efektivitas proses fine-tuning terawasi dalam meningkatkan pemahaman dan generasi bahasa India model. Kemampuan model untuk menangani nuansa dan kompleksitas bahasa-bahasa ini sangat penting untuk adopsi dan penggunaannya di pasar India. Tolok ukur spesifik yang digunakan untuk menilai kinerja termasuk tugas-tugas seperti klasifikasi teks, menjawab pertanyaan, dan terjemahan mesin, mencakup beragam tantangan linguistik.
Tugas Matematika: Peningkatan Kinerja Rata-Rata 21,6%
Selain bahasa-bahasa India, Sarvam-M juga menunjukkan peningkatan kinerja yang mengesankan pada tugas-tugas matematika, dengan peningkatan rata-rata 21,6%. Peningkatan signifikan dalam akurasi dan kemampuan pemecahan masalah ini menyoroti efektivitas pembelajaran penguatan dengan teknik hadiah yang dapat diverifikasi dalam meningkatkan kemampuan penalaran model. Kemampuan model untuk memecahkan masalah matematika sangat penting untuk penerapannya di bidang-bidang seperti pemodelan keuangan, penelitian ilmiah, dan analisis data. Tolok ukur yang digunakan untuk mengevaluasi kinerja pada tugas-tugas matematika termasuk masalah dari berbagai domain, seperti aljabar, kalkulus, dan statistik. Model dinilai pada kemampuannya tidak hanya memberikan jawaban yang benar tetapi juga untuk menunjukkan proses penalarannya dan membenarkan solusinya.
Tes Pemrograman: Peningkatan Kinerja Rata-Rata 17,6%
Kinerja Sarvam-M pada tes pemrograman sama-sama pentingnya, dengan peningkatan rata-rata 17,6%. Peningkatan ini mencerminkan kemampuan model untuk memahami dan menghasilkan kode dalam berbagai bahasa pemrograman, menjadikannya alat yang berharga bagi pengembang dan insinyur perangkat lunak. Kemahiran model dalam pemrograman sangat penting untuk penerapannya di bidang-bidang seperti pembuatan kode, deteksi bug, dan pengujian otomatis. Tolok ukur yang digunakan untuk menilai kinerja pada tes pemrograman termasuk tugas-tugas seperti pelengkapan kode, perbaikan kode, dan pembuatan kode dari deskripsi bahasa alami. Model dievaluasi pada kemampuannya untuk menghasilkan kode yang benar secara sintaksis dan bermakna secara semantik yang memenuhi persyaratan yang diberikan.
Tugas Gabungan: Kinerja Luar Biasa
Model ini bekerja lebih baik pada tugas-tugas yang menggabungkan bahasa-bahasa India dan matematika, mengilustrasikan keserbagunaannya dan kemampuan untuk menangani skenario kompleks yang membutuhkan keterampilan linguistik dan penalaran. Misalnya, ia mencapai peningkatan 86% pada versi bahasa India yang diromanisasi dari tolok ukur GSM-8K. Peningkatan luar biasa ini menggarisbawahi kemampuan model untuk memanfaatkan pengetahuannya tentang bahasa-bahasa India dan konsep matematika untuk memecahkan masalah yang menantang. Tolok ukur GSM-8K adalah dataset yang banyak digunakan yang menguji kemampuan model untuk memecahkan masalah matematika sekolah dasar yang diekspresikan dalam bahasa alami. Kinerja model pada tolok ukur ini menunjukkan kemampuannya untuk memahami pernyataan masalah, mengidentifikasi informasi yang relevan, dan menerapkan operasi matematika yang sesuai untuk sampai pada solusi yang benar. Peningkatan 86% yang dicapai oleh Sarvam-M adalah bukti kemampuan penalaran lanjutannya dan kemampuannya untuk menangani tugas-tugas kompleks dan multi-faceted.
Perbandingan dengan Model Lain: Sarvam-M Mempertahankan Diri
Postingan blog Sarvam AI menarik perbandingan antara Sarvam-M dan model-model bahasa terkemuka lainnya, menekankan kinerja kompetitifnya. Analisis komparatif ini memberikan wawasan berharga tentang kekuatan dan kelemahan model, memungkinkan pengguna untuk membuat keputusan yang tepat tentang kesesuaiannya untuk kebutuhan spesifik mereka. Postingan blog menyoroti fakta bahwa Sarvam-M mengungguli Llama-2 7B pada sebagian besar tolok ukur dan sebanding dengan model padat yang lebih besar seperti Llama-3 70B, dan model-model seperti Gemma 27B, yang dilatih sebelumnya pada token yang jauh lebih banyak. Perbandingan ini menggarisbawahi efisiensi metodologi pelatihan Sarvam-M dan kemampuannya untuk mencapai kinerja kompetitif dengan ukuran parameter yang relatif lebih kecil. Kemampuan untuk mencapai kinerja yang sebanding dengan lebih sedikit parameter diterjemahkan ke dalam biaya komputasi yang lebih rendah dan kecepatan inferensi yang lebih cepat, menjadikan Sarvam-M solusi yang lebih praktis dan mudah diakses bagi banyak pengguna.
Tolok Ukur Berbasis Pengetahuan Bahasa Inggris: Ruang untuk Peningkatan
Terlepas dari kinerjanya yang mengesankan pada bahasa-bahasa India dan tugas-tugas penalaran, Sarvam AI mengakui bahwa Sarvam-M masih membutuhkan peningkatan dalam tolok ukur berbasis pengetahuan bahasa Inggris seperti MMLU. Dalam tolok ukur ini, Sarvam-M berkinerja sekitar 1 poin persentase lebih rendah dari model dasar. Penurunan kinerja yang sedikit ini menunjukkan bahwa data pelatihan model mungkin bias terhadap bahasa-bahasa India dan tugas-tugas penalaran, menghasilkan pemahaman yang sedikit lebih lemah tentang pengetahuan bahasa Inggris. Namun, Sarvam AI secara aktif bekerja untuk mengatasi masalah ini dengan memasukkan lebih banyak data bahasa Inggris ke dalam set pelatihan model dan dengan fine-tuning arsitektur model untuk menangani tugas-tugas berbasis pengetahuan bahasa Inggris dengan lebih baik. Perusahaan berkomitmen untuk mencapai paritas dengan model-model canggih lainnya pada tolok ukur bahasa Inggris, memastikan bahwa Sarvam-M adalah model bahasa yang serbaguna dan kompetitif secara global.
Keserbagunaan dan Aplikasi: Berbagai Kemungkinan
Sarvam-M dibangun untuk keserbagunaan dan dirancang untuk mendukung berbagai aplikasi, termasuk agen percakapan, terjemahan, dan alat pendidikan. Kemampuannya untuk memahami dan menghasilkan bahasa-bahasa India, ditambah dengan kemampuan penalarannya, menjadikannya aset yang berharga bagi bisnis dan organisasi yang beroperasi di pasar India.
Agen Percakapan: Meningkatkan Layanan Pelanggan
Sarvam-M dapat digunakan untuk mendukung agen percakapan yang dapat berinteraksi dengan pelanggan dalam bahasa asli mereka, memberikan layanan pelanggan yang dipersonalisasi dan efisien. Agen-agen ini dapat menangani berbagai tugas, seperti menjawab pertanyaan yang sering diajukan, memberikan informasi produk, dan menyelesaikan keluhan pelanggan. Dengan memungkinkan pelanggan untuk berkomunikasi dalam bahasa pilihan mereka, Sarvam-M dapat meningkatkan kepuasan dan loyalitas pelanggan. Agen percakapan yang didukung oleh Sarvam-M dapat disebarkan pada berbagai platform, seperti situs web, aplikasi seluler, dan platform perpesanan, menyediakan pelanggan dengan pengalaman komunikasi yang lancar dan nyaman.
Terjemahan: Memecah Hambatan Bahasa
Kemampuan terjemahan Sarvam-M dapat digunakan untuk memecah hambatan bahasa dan memfasilitasi komunikasi antara orang-orang yang berbicara bahasa yang berbeda. Model dapat menerjemahkan teks dan ucapan antara bahasa Inggris dan berbagai bahasa India, memungkinkan bisnis untuk memperluas jangkauan mereka ke pasar baru dan individu untuk terhubung dengan orang-orang dari budaya yang berbeda. Layanan terjemahan yang didukung oleh Sarvam-M dapat diintegrasikan ke dalam berbagai aplikasi, seperti alat terjemahan dokumen, plugin terjemahan situs web, dan aplikasi terjemahan real-time, menyediakan pengguna dengan kemampuan terjemahan yang lancar dan akurat.
Alat Pendidikan: Pengalaman Belajar yang Dipersonalisasi
Sarvam-M dapat digunakan untuk mengembangkan alat pendidikan yang menyediakan pengalaman belajar yang dipersonalisasi untuk siswa dari segala usia. Model dapat menghasilkan materi pembelajaran yang disesuaikan, memberikan umpan balik tentang pekerjaan siswa, dan menjawab pertanyaan siswa. Dengan menyesuaikan pengalaman belajar dengan kebutuhan individu dan gaya belajar masing-masing siswa, Sarvam-M dapat meningkatkan keterlibatan siswa dan kinerja akademik. Alat pendidikan yang didukung oleh Sarvam-M dapat disebarkan pada berbagai platform, seperti platform pembelajaran online, aplikasi seluler, dan buku teks interaktif, menyediakan siswa dengan akses ke sumber daya pembelajaran yang dipersonalisasi kapan saja, di mana saja.
Akses dan Ketersediaan: Memberdayakan Pengembang
Sarvam AI telah membuat Sarvam-M mudah diakses oleh pengembang dan peneliti, mendorong inovasi dan kolaborasi dalam komunitas AI. Model ini tersedia untuk diunduh di Hugging Face, sebuah platform populer untuk berbagi dan mengakses model AI open-source. Pengembang juga dapat menguji model di playground Sarvam AI, sebuah antarmuka berbasis web yang memungkinkan pengguna untuk bereksperimen dengan kemampuan model dan menjelajahi potensi aplikasinya. Selain itu, Sarvam AI menawarkan API yang memungkinkan pengembang untuk mengintegrasikan Sarvam-M ke dalam aplikasi dan layanan mereka sendiri. Dengan menyediakan akses mudah ke model dan alat terkaitnya, Sarvam AI memberdayakan pengembang untuk membangun solusi inovatif yang memanfaatkan kekuatan AI.
Rencana Masa Depan: Membangun Ekosistem AI Berdaulat di India
Sarvam AI berencana untuk merilis model secara teratur sebagai bagian dari upayanya untuk membangun ekosistem AI berdaulat di India. Model ini adalah yang pertama dalam serangkaian kontribusi itu. Perusahaan berkomitmen untuk mengembangkan dan menyebarkan teknologi AI yang selaras dengan kebutuhan dan nilai-nilai masyarakat India. Dengan membina industri AI domestik yang kuat, Sarvam AI bertujuan untuk mengurangi ketergantungan India pada teknologi asing dan mempromosikan pertumbuhan ekonomi dan pembangunan sosial. Visi perusahaan adalah untuk menciptakan ekosistem AI yang inovatif dan inklusif, memastikan bahwa semua orang India memiliki akses ke manfaat AI.
Pada akhir April, pemerintah India memilih Sarvam untuk membangun LLM berdaulat negara itu sebagai bagian dari Misi IndiaAI, upaya nasional untuk memperkuat kemampuan domestik dalam teknologi yang baru muncul. Pemilihan ini menggarisbawahi kepercayaan pemerintah pada kemampuan Sarvam AI untuk mewujudkan visinya tentang ekosistem AI berdaulat di India. Misi IndiaAI adalah inisiatif komprehensif yang bertujuan untuk mempromosikan penelitian dan pengembangan di bidang AI, membina inovasi dan kewirausahaan, dan menciptakan tenaga kerja terampil untuk mendukung industri AI. Dengan bermitra dengan Sarvam AI, pemerintah mengambil langkah signifikan menuju pencapaian tujuan-tujuannya dan membangun India sebagai pemimpin global di bidang AI.