L’Inde s’est engagée dans une aventure transformatrice visant à établir ses propres capacités d’intelligence artificielle indépendantes, confiant à Sarvam AI, une jeune entreprise en pleine croissance basée à Bangalore, le rôle central de chef de file du développement du premier grand modèle linguistique (LLM) souverain du pays sous l’égide de la mission IndiaAI. Cette entreprise ambitieuse souligne l’engagement de l’Inde à favoriser l’autonomie technologique et à exploiter la puissance de l’IA au profit de ses citoyens.
Une vision pour une IA indigène
Au cœur de cette initiative se trouve une vision profonde : créer un modèle d’IA non seulement indigène, mais aussi doté de capacités de raisonnement avancées, de capacités sophistiquées de traitement de la parole et d’une fluidité parfaite dans un éventail diversifié de langues indiennes. Ce modèle sera profondément ancré dans le paysage linguistique et culturel indien, reflétant l’identité et le patrimoine uniques de la nation.
Pour faciliter la réalisation de cette vision, Sarvam AI aura accès à un arsenal formidable de ressources informatiques, comprenant 4 086 GPU NVIDIA H100, sur une période de six mois. Cet accès permettra à la startup de construire le LLM à partir de zéro, en l’adaptant aux besoins et aux aspirations spécifiques du contexte indien.
Trois variantes distinctes
Le développement de ce LLM souverain englobera trois variantes distinctes, chacune conçue pour répondre à un ensemble spécifique d’applications et d’exigences :
Sarvam-Large : Cette variante sera conçue pour exceller dans les tâches complexes de raisonnement et de génération, lui permettant de s’attaquer à des problèmes complexes et de générer un contenu sophistiqué.
Sarvam-Small : Cette variante sera optimisée pour les applications interactives en temps réel, garantissant des interactions rapides et réactives avec les utilisateurs dans divers scénarios.
Sarvam-Edge : Cette variante sera conçue pour les opérations sur l’appareil, lui permettant de fonctionner de manière transparente sur des appareils aux ressources limitées sans nécessiter une connectivité constante au cloud.
Dans un effort de collaboration, Sarvam AI s’associera à AI4Bharat, une initiative de IIT Madras, pour s’assurer que les modèles sont profondément ancrés dans les contextes linguistiques et culturels indiens. Cette collaboration tirera parti de l’expertise d’AI4Bharat en matière de traitement du langage naturel et de son riche référentiel de ressources linguistiques indiennes.
Les antécédents éprouvés de Sarvam AI
Sarvam AI s’est déjà distinguée comme un chef de file dans le paysage indien de l’IA, en particulier dans le domaine de l’IA multilingue. Les antécédents d’innovation de l’entreprise et son engagement à relever les défis uniques du contexte indien l’ont positionnée comme un choix naturel pour diriger ce projet ambitieux.
En octobre 2024, Sarvam AI a dévoilé Sarvam-1, un LLM de 2 milliards de paramètres spécialement conçu et optimisé pour les langues indiennes. Ce modèle prend en charge dix grandes langues indiennes, dont le bengali, le gujarati, l’hindi, le kannada, le malayalam, le marathi, l’odia, le punjabi, le tamil et le télougou, en plus de l’anglais.
Contrairement à de nombreux modèles existants qui ont du mal avec l’inefficacité des jetons lors du traitement des scripts indic, Sarvam-1 atteint des taux de fertilité de 1,4 à 2,1 jetons par mot. Cette performance remarquable améliore considérablement l’efficacité du traitement, permettant au modèle de traiter les langues indiennes avec plus de rapidité et de précision.
Formation et infrastructure nationales
Sarvam-1 a été entièrement formé en Inde, en utilisant une infrastructure d’IA nationale alimentée par les GPU NVIDIA H100 Tensor Core, les centres de données de Yotta et les ressources linguistiques d’AI4Bharat. Cette approche nationale de bout en bout souligne les capacités croissantes de l’Inde en matière de développement de l’IA et son engagement à bâtir un écosystème d’IA autonome.
Les bancs d’essai de performance ont révélé que Sarvam-1 non seulement égale, mais, dans certains cas, surpasse les modèles plus grands comme Llama 3.1 8B de Meta et Gemma-2-9B de Google, en particulier dans les tâches impliquant les langues indic. Cette performance impressionnante met en évidence l’efficacité de l’approche de Sarvam AI et sa capacité à rivaliser avec les leaders mondiaux de l’IA.
Sur le banc d’essai TriviaQA dans les langues indic, Sarvam-1 a atteint une précision de 86,11, surpassant le score de Llama-3.1 8B de 61,47. Cette marge significative démontre les capacités supérieures de Sarvam-1 à comprendre et à traiter l’information dans les langues indiennes.
Les défis à venir
Bien que Sarvam AI ait démontré ses capacités avec Sarvam-1, la tâche de construire le premier modèle de base indigène n’est pas sans défis. Surmonter ces défis nécessitera de l’ingéniosité, de la persévérance et un esprit de collaboration.
Mise à l’échelle de l’infrastructure
L’un des obstacles les plus importants est la mise à l’échelle de l’infrastructure pour répondre aux demandes de la formation de grands modèles. La formation de ces modèles nécessite un accès à une puissance de calcul massive sur des périodes prolongées. Bien que la fourniture par le gouvernement de milliers de GPU NVIDIA H100 soit un pas important en avant, la gestion, l’optimisation et la maintenance de ces ressources haut de gamme sont une entreprise complexe.
Une gestion efficace des ressources sera essentielle pour garantir que le processus de formation est efficace et rentable. Cela impliquera l’optimisation de l’utilisation des GPU, la gestion de l’allocation de la mémoire et la mise en œuvre de stratégies pour atténuer les goulets d’étranglement potentiels.
Conservation des données
Un autre défi essentiel réside dans la conservation d’ensembles de données diversifiés et de haute qualité. Le paysage linguistique de l’Inde est incroyablement complexe, avec des variations non seulement entre les langues, mais aussi au sein des dialectes, des cultures et des styles d’écriture. La création d’un ensemble de données équilibré qui capture véritablement cette diversité sans introduire de biais est essentielle, mais extrêmement difficile.
L’ensemble de données doit être représentatif des diverses régions, communautés et groupes sociaux en Inde. Il doit également être exempt de biais qui pourraient conduire à des résultats injustes ou discriminatoires. Une attention particulière doit être accordée à la sélection et à l’annotation des données pour s’assurer qu’elles répondent à ces critères.
Nuances linguistiques
De plus, les modèles doivent être capables de saisir les nuances subtiles des langues indiennes, y compris les expressions idiomatiques, les métaphores et les références culturelles. Cela nécessite une compréhension approfondie du contexte culturel dans lequel ces langues sont utilisées.
La collaboration de Sarvam AI avec AI4Bharat sera essentielle pour relever ces défis. L’expertise d’AI4Bharat dans les langues indiennes et son accès à un vaste référentiel de ressources linguistiques fourniront un soutien précieux au développement du LLM souverain.
Implications pour l’Inde
Le développement d’un LLM souverain a des implications profondes pour le paysage technologique de l’Inde et son rôle dans l’arène mondiale de l’IA. Cette initiative a le potentiel de transformer divers secteurs, y compris l’éducation, les soins de santé, la finance et la gouvernance.
Croissance économique
En favorisant l’innovation et en stimulant la croissance économique, le LLM souverain peut créer de nouvelles opportunités pour les entreprises et les entrepreneurs indiens. Il peut également contribuer à combler la fracture numérique en donnant accès à l’information et aux services dans les langues locales.
Autonomisation
De plus, le LLM peut autonomiser les citoyens en leur donnant accès à une éducation personnalisée, à des soins de santé et à d’autres services essentiels. Il peut également contribuer à promouvoir l’inclusion sociale en éliminant les barrières linguistiques et en favorisant la communication entre les différentes communautés.
Indépendance stratégique
En fin de compte, le développement d’un LLM souverain est un impératif stratégique pour l’Inde. Il permettra à la nation de développer ses propres capacités en matière d’IA, réduisant ainsi sa dépendance à l’égard des technologies étrangères et assurant sa souveraineté numérique.
Un écosystème collaboratif
Le succès de cette entreprise ambitieuse dépend de la création d’un écosystème collaboratif qui rassemble le gouvernement, l’industrie, le monde universitaire et la communauté des startups. En travaillant ensemble, ces intervenants peuvent tirer parti de leur expertise et de leurs ressources collectives pour stimuler l’innovation et accélérer le développement de l’IA en Inde.
Le soutien du gouvernement à Sarvam AI et son engagement à fournir un accès aux ressources informatiques sont des facteurs essentiels à cet écosystème. Les partenariats industriels peuvent donner accès à des données et à une expertise réelles, tandis que les établissements universitaires peuvent contribuer à la recherche et aux talents de pointe.
Un avenir alimenté par l’IA
Alors que l’Inde se lance dans cette aventure transformatrice, la nation est sur le point de libérer l’immense potentiel de l’IA et de créer un avenir alimenté par l’innovation, l’inclusivité et l’autonomie. Le développement d’un LLM souverain témoigne de l’ambition de l’Inde et de son engagement inébranlable à façonner son propre destin à l’ère de l’intelligence artificielle.