భారతదేశం తన స్వతంత్ర కృత్రిమ మేధస్సు (Artificial Intelligence - AI) సామర్థ్యాలను స్థాపించే ఒక పరివర్తనాత్మక ప్రయాణాన్ని ప్రారంభించింది. బెంగుళూరు కేంద్రంగా పనిచేస్తున్న సార్వమ్ AI (Sarvam AI) అనే వర్ధమాన స్టార్టప్‌కు దేశం యొక్క మొట్టమొదటి సార్వభౌమ లార్జ్ లాంగ్వేజ్ మోడల్ (Large Language Model - LLM) అభివృద్ధికి సారథ్యం వహించే కీలక పాత్రను అప్పగించింది. ఈ ప్రతిష్టాత్మక కార్యక్రమం, ఇండియాAI మిషన్ (IndiaAI Mission) ఆధ్వర్యంలో జరుగుతుంది. సాంకేతిక పరిజ్ఞానం విషయంలో స్వయం సమృద్ధిని పెంపొందించడానికి మరియు AI శక్తిని దేశ పౌరుల ప్రయోజనం కోసం ఉపయోగించుకోవడానికి భారతదేశం యొక్క నిబద్ధతను ఇది నొక్కి చెబుతుంది.
స్వదేశీ AI కోసం ఒక దృష్టి
ఈ చొరవ యొక్క ప్రధాన ఉద్దేశ్యం ఒక గొప్ప దృష్టిని కలిగి ఉంది: ఇది కేవలం స్వదేశీ AI నమూనాను సృష్టించడం మాత్రమే కాదు, అధునాతన తార్కిక సామర్థ్యాలు (reasoning abilities), అత్యాధునిక ప్రసంగ ప్రాసెసింగ్ సామర్థ్యాలు (speech processing capabilities) మరియు విభిన్న భారతీయ భాషలలో నిష్ణాతులుగా ఉండటం దీని లక్ష్యం. ఈ నమూనా భారతీయ భాషా మరియు సాంస్కృతిక భూభాగంలో లోతుగా పాతుకుపోయి, దేశం యొక్క ప్రత్యేక గుర్తింపు మరియు వారసత్వాన్ని ప్రతిబింబిస్తుంది.
ఈ దృష్టిని సాకారం చేయడానికి, సార్వమ్ AI కి 4,086 NVIDIA H100 GPU లతో కూడిన గణన వనరుల (computational resources) యొక్క బలమైన ఆయుధాగారానికి ఆరు నెలల కాలానికి అనుమతి లభిస్తుంది. ఈ అనుమతి స్టార్టప్‌ను మొదటి నుండి LLM ను నిర్మించడానికి, భారతీయ సందర్భం యొక్క నిర్దిష్ట అవసరాలు మరియు ఆకాంక్షలకు అనుగుణంగా రూపొందించడానికి వీలు కల్పిస్తుంది.
మూడు విభిన్న వేరియంట్‌లు
ఈ సార్వభౌమ LLM అభివృద్ధి మూడు విభిన్న వేరియంట్‌లను కలిగి ఉంటుంది, వీటిలో ప్రతి ఒక్కటి నిర్దిష్ట అనువర్తనాలు మరియు అవసరాలకు అనుగుణంగా రూపొందించబడింది:
సార్వమ్-లార్జ్ (Sarvam-Large): ఈ వేరియంట్ సంక్లిష్టమైన తార్కిక మరియు ఉత్పత్తి పనులలో (reasoning and generation tasks) రాణించడానికి ఇంజనీరింగ్ చేయబడుతుంది, ఇది క్లిష్టమైన సమస్యలను పరిష్కరించడానికి మరియు అధునాతన కంటెంట్‌ను ఉత్పత్తి చేయడానికి వీలు కల్పిస్తుంది.
సార్వమ్-స్మాల్ (Sarvam-Small): ఈ వేరియంట్ నిజ-సమయ ఇంటరాక్టివ్ అప్లికేషన్స్ కోసం ఆప్టిమైజ్ చేయబడుతుంది, ఇది వివిధ దృష్టాంతాలలో వినియోగదారులతో వేగవంతమైన మరియు ప్రతిస్పందించే పరస్పర చర్యలను నిర్ధారిస్తుంది.
సార్వమ్-ఎడ్జ్ (Sarvam-Edge): ఈ వేరియంట్ ఆన్-డివైస్ ఆపరేషన్స్ కోసం రూపొందించబడుతుంది, ఇది క్లౌడ్‌కు నిరంతర కనెక్టివిటీ అవసరం లేకుండా వనరులు పరిమితంగా ఉన్న పరికరాలలో సజావుగా పనిచేయడానికి అనుమతిస్తుంది.
సహకార ప్రయత్నంలో, సార్వమ్ AI, IIT మద్రాస్ యొక్క AI4Bharat కార్యక్రమంతో భాగస్వామ్యం అవుతుంది, తద్వారా నమూనాలు భారతీయ భాషా మరియు సాంస్కృతిక సందర్భాలలో లోతుగా పొ embedded చేయబడతాయి. ఈ సహకారం సహజ భాషా ప్రాసెసింగ్‌లో AI4Bharat యొక్క నైపుణ్యాన్ని మరియు భారతీయ భాషా వనరుల యొక్క గొప్ప రిపోజిటరీని ఉపయోగించుకుంటుంది.
సార్వమ్ AI యొక్క నిరూపితమైన ట్రాక్ రికార్డ్
సార్వమ్ AI ఇప్పటికే భారతీయ AI రంగంలో ముందంజలో ఉంది, ముఖ్యంగా బహుభాషా AI రంగంలో. సంస్థ యొక్క వినూత్న రికార్డ్ మరియు భారతీయ సందర్భం యొక్క ప్రత్యేక సవాళ్లను పరిష్కరించడానికి దాని నిబద్ధత ఈ ప్రతిష్టాత్మక ప్రాజెక్ట్‌కు నాయకత్వం వహించడానికి సహజ ఎంపికగా నిలిచింది.
అక్టోబర్ 2024 లో, సార్వమ్ AI భారతీయ భాషల కోసం ప్రత్యేకంగా రూపొందించిన మరియు ఆప్టిమైజ్ చేసిన 2-బిలియన్-పారామీటర్ LLM అయిన సార్వమ్-1 (Sarvam-1) ను ఆవిష్కరించింది. ఈ మోడల్ ఇంగ్లీష్‌తో పాటు బెంగాలీ, గుజరాతీ, హిందీ, కన్నడ, మలయాళం, మరాఠీ, ఒడియా, పంజాబీ, తమిళం మరియు తెలుగుతో సహా పది ప్రధాన భారతీయ భాషలకు మద్దతు ఇస్తుంది.
సూచిక లిపులను (Indic scripts) ప్రాసెస్ చేసేటప్పుడు టోకెన్ అసమర్థతతో పోరాడే అనేక ప్రస్తుత నమూనాల మాదిరిగా కాకుండా, సార్వమ్-1 ప్రతి పదానికి 1.4 నుండి 2.1 టోకెన్ల సారవంత రేట్లను (fertility rates) సాధిస్తుంది. ఈ అద్భుతమైన ఫీట్ ప్రాసెసింగ్ సామర్థ్యాన్ని గణనీయంగా పెంచుతుంది, ఇది భారతీయ భాషలను ఎక్కువ వేగం మరియు ఖచ్చితత్వంతో నిర్వహించడానికి నమూనాను అనుమతిస్తుంది.
దేశీయ శిక్షణ మరియు మౌలిక సదుపాయాలు
సార్వమ్-1 పూర్తిగా భారతదేశంలోనే శిక్షణ పొందింది, NVIDIA H100 టెన్సర్ కోర్ GPU లు, యోటా యొక్క డేటా కేంద్రాలు మరియు AI4Bharat యొక్క భాషా వనరుల ద్వారా శక్తిని పొందిన దేశీయ AI మౌలిక సదుపాయాలను ఉపయోగించుకుంది. ఈ ఎండ్-టు-ఎండ్ దేశీయ విధానం AI అభివృద్ధిలో భారతదేశం యొక్క పెరుగుతున్న సామర్థ్యాలను మరియు స్వయం సమృద్ధి గల AI పర్యావరణ వ్యవస్థను నిర్మించడానికి దాని నిబద్ధతను నొక్కి చెబుతుంది.
పనితీరు ప్రమాణాలు (Performance benchmarks) సార్వమ్-1 మెటా యొక్క లామా 3.1 8B (Llama 3.1 8B) మరియు గూగుల్ యొక్క జెమ్మా-2-9B (Gemma-2-9B) వంటి పెద్ద నమూనాలకు సరిపోలడమే కాకుండా, కొన్ని సందర్భాల్లో అధిగమిస్తుందని వెల్లడించాయి, ముఖ్యంగా సూచిక భాషలను కలిగి ఉన్న పనులలో. ఈ ఆకట్టుకునే పనితీరు సార్వమ్ AI యొక్క విధానం యొక్క ప్రభావాన్ని మరియు ప్రపంచ AI నాయకులతో పోటీ పడే సామర్థ్యాన్ని హైలైట్ చేస్తుంది.
సూచిక భాషల్లోని ట్రివియాQA (TriviaQA) బెంచ్‌మార్క్‌లో, సార్వమ్-1 86.11 ఖచ్చితత్వాన్ని సాధించింది, ఇది లామా-3.1 8B యొక్క 61.47 స్కోర్‌ను అధిగమించింది. ఈ గణనీయమైన మార్జిన్ భారతీయ భాషలలో సమాచారాన్ని అర్థం చేసుకోవడంలో మరియు ప్రాసెస్ చేయడంలో సార్వమ్-1 యొక్క ఉన్నతమైన సామర్థ్యాలను ప్రదర్శిస్తుంది.
ముందున్న సవాళ్లు
సార్వమ్ AI సార్వమ్-1తో తన సామర్థ్యాలను ప్రదర్శించినప్పటికీ, మొదటి స్వదేశీ పునాది నమూనాను (indigenous foundation model) నిర్మించే పని సవాళ్లతో కూడుకున్నది కాదు. ఈ సవాళ్లను అధిగమించడానికి చాతుర్యం, పట్టుదల మరియు సహకార స్ఫూర్తి అవసరం.
మౌలిక సదుపాయాల విస్తరణ (Infrastructure Scaling)
పెద్ద నమూనాలకు శిక్షణ ఇవ్వడానికి డిమాండ్లను తీర్చడానికి మౌలిక సదుపాయాలను విస్తరించడం అత్యంత ముఖ్యమైన అడ్డంకులలో ఒకటి. ఈ నమూనాలకు శిక్షణ ఇవ్వడానికి ఎక్కువ కాలం పాటు భారీ గణన శక్తికి ప్రాప్యత అవసరం. ప్రభుత్వం వేలాది NVIDIA H100 GPU లను అందించడం ఒక ముఖ్యమైన ముందడుగు అయినప్పటికీ, అటువంటి హై-ఎండ్ వనరులను నిర్వహించడం, ఆప్టిమైజ్ చేయడం మరియు నిర్వహించడం ఒక సంక్లిష్టమైన పని.
శిక్షణ ప్రక్రియ సమర్థవంతంగా మరియు ఖర్చుతో కూడుకున్నదని నిర్ధారించడానికి సమర్థవంతమైన వనరుల నిర్వహణ చాలా కీలకం. ఇది GPU ల వినియోగాన్ని ఆప్టిమైజ్ చేయడం, మెమరీ కేటాయింపును నిర్వహించడం మరియు సంభావ్య అవరోధాలను తగ్గించడానికి వ్యూహాలను అమలు చేయడం వంటివి కలిగి ఉంటుంది.
డేటా క్యూరేషన్ (Data Curation)
మరొక క్లిష్టమైన సవాలు అధిక-నాణ్యత, విభిన్న డేటాసెట్‌లను క్యూరేట్ చేయడంలో ఉంది. భారతదేశం యొక్క భాషాపరమైన భూభాగం చాలా సంక్లిష్టమైనది, భాషల మధ్య మాత్రమే కాకుండా మాండలికాలు, సంస్కృతులు మరియు రచన శైలులలో కూడా వైవిధ్యాలు ఉన్నాయి. పక్షపాతాలను ప్రవేశపెట్టకుండా ఈ వైవిధ్యాన్ని నిజంగా సంగ్రహించే సమతుల్య డేటాసెట్‌ను సృష్టించడం చాలా అవసరం, కానీ చాలా సవాలుతో కూడుకున్నది.
డేటాసెట్ భారతదేశంలోని వివిధ ప్రాంతాలు, సంఘాలు మరియు సామాజిక సమూహాలకు ప్రాతినిధ్యం వహించాలి. ఇది అన్యాయమైన లేదా వివక్షాపూరితమైన ఫలితాలకు దారితీసే పక్షపాతాల నుండి కూడా విముక్తి కలిగి ఉండాలి. ఈ ప్రమాణాలను తీర్చడానికి డేటా ఎంపిక మరియు ఉల్లేఖనకు (annotation) జాగ్రత్తగా శ్రద్ధ వహించాలి.
భాషాపరమైన సూక్ష్మ నైపుణ్యాలు (Linguistic Nuances)
అంతేకాకుండా, నమూనాలు ఇడియమ్స్ (idioms), రూపకాలు (metaphors) మరియు సాంస్కృతిక సూచనలతో సహా భారతీయ భాషల యొక్క సూక్ష్మ నైపుణ్యాలను సంగ్రహించగలగాలి. ఈ భాషలు ఉపయోగించే సాంస్కృతిక సందర్భం గురించి లోతైన అవగాహన అవసరం.
ఈ సవాళ్లను పరిష్కరించడంలో AI4Bharat తో సార్వమ్ AI యొక్క సహకారం కీలక పాత్ర పోషిస్తుంది. భారతీయ భాషలలో AI4Bharat యొక్క నైపుణ్యం మరియు భాషాపరమైన వనరుల యొక్క విస్తారమైన రిపోజిటరీకి దాని ప్రాప్యత సార్వభౌమ LLM అభివృద్ధిలో విలువైన మద్దతును అందిస్తుంది.
భారతదేశానికి చిక్కులు
సార్వభౌమ LLM అభివృద్ధి భారతదేశం యొక్క సాంకేతిక భూభాగం మరియు ప్రపంచ AI రంగంలో దాని పాత్రకు సంబంధించిన లోతైన చిక్కులను కలిగి ఉంది. ఈ కార్యక్రమం విద్య, ఆరోగ్యం, ఆర్థికం మరియు పాలనతో సహా వివిధ రంగాలను మార్చే సామర్థ్యాన్ని కలిగి ఉంది.
ఆర్థిక వృద్ధి (Economic Growth)
వినూత్నతను పెంపొందించడం మరియు ఆర్థిక వృద్ధిని పెంచడం ద్వారా, సార్వభౌమ LLM భారతీయ వ్యాపారాలు మరియు వ్యవస్థాపకులకు కొత్త అవకాశాలను సృష్టించగలదు. ఇది స్థానిక భాషలలో సమాచారం మరియు సేవలకు ప్రాప్యతను అందించడం ద్వారా డిజిటల్ అంతరాన్ని తగ్గించడానికి కూడా సహాయపడుతుంది.
సాధికారత (Empowerment)
అంతేకాకుండా, LLM పౌరులకు వ్యక్తిగతీకరించిన విద్య, ఆరోగ్యం మరియు ఇతర ముఖ్యమైన సేవలకు ప్రాప్యతను అందించడం ద్వారా వారిని శక్తివంతం చేస్తుంది. ఇది భాషా అవరోధాలను తొలగించడం ద్వారా మరియు వివిధ వర్గాల మధ్య సంబంధాన్ని ప్రోత్సహించడం ద్వారా సామాజిక చేరికను ప్రోత్సహించడంలో కూడా సహాయపడుతుంది.
వ్యూహాత్మక స్వాతంత్ర్యం (Strategic Independence)
చివరికి, సార్వభౌమ LLM అభివృద్ధి భారతదేశానికి ఒక వ్యూహాత్మక ఆవశ్యకత. ఇది దేశం తన స్వంత AI సామర్థ్యాలను అభివృద్ధి చేయడానికి, విదేశీ సాంకేతిక పరిజ్ఞానంపై ఆధారపడటాన్ని తగ్గించడానికి మరియు దాని డిజిటల్ సార్వభౌమాధికారాన్ని నిర్ధారించడానికి వీలు కల్పిస్తుంది.
ఒక సహకార పర్యావరణ వ్యవస్థ (A Collaborative Ecosystem)
ఈ ప్రతిష్టాత్మక ప్రయత్నం యొక్క విజయం ప్రభుత్వం, పరిశ్రమ, విద్యాసంస్థలు మరియు స్టార్టప్ సంఘాన్ని ఒకచోట చేర్చే సహకార పర్యావరణ వ్యవస్థను సృష్టించడంపై ఆధారపడి ఉంటుంది. కలిసి పనిచేయడం ద్వారా, ఈ వాటాదారులు భారతదేశంలో AI అభివృద్ధిని ప్రోత్సహించడానికి వారి సమిష్టి నైపుణ్యం మరియు వనరులను ఉపయోగించగలరు.
సార్వమ్ AI కి ప్రభుత్వం మద్దతు మరియు గణన వనరులకు ప్రాప్యతను అందించడానికి దాని నిబద్ధత ఈ పర్యావరణ వ్యవస్థకు కీలకమైనవి. పరిశ్రమ భాగస్వామ్యాలు నిజ-ప్రపంచ డేటా మరియు నైపుణ్యానికి ప్రాప్యతను అందించగలవు, అయితే విద్యా సంస్థలు అత్యాధునిక పరిశోధన మరియు ప్రతిభను అందించగలవు.
AI ద్వారా శక్తిని పొందిన భవిష్యత్తు
భారతదేశం ఈ పరివర్తనాత్మక ప్రయాణాన్ని ప్రారంభించినప్పుడు, దేశం AI యొక్క అపారమైన సామర్థ్యాన్ని అన్‌లాక్ చేయడానికి మరియు వినూత్నత, సమ్మిళితత్వం మరియు స్వయం సమృద్ధి ద్వారా శక్తిని పొందిన భవిష్యత్తును సృష్టించడానికి సిద్ధంగా ఉంది. సార్వభౌమ LLM అభివృద్ధి భారతదేశం యొక్క ఆశయానికి మరియు కృత్రిమ మేధస్సు యుగంలో తన స్వంత విధిని రూపొందించడానికి దాని యొక్క దృఢమైన నిబద్ధతకు నిదర్శనం.