ভারতে স্বনির্ভর এআই (AI) বিকাশের এক সাহসী পদক্ষেপ: সর্বম এআই (Sarvam AI) কর্তৃক সার্বভৌম এলএলএম (LLM) উন্নয়নের নেতৃত্ব
ভারত তার নিজস্ব স্বতন্ত্র কৃত্রিম বুদ্ধিমত্তা (artificial intelligence) সক্ষমতা প্রতিষ্ঠার একটি রূপান্তরমূলক যাত্রা শুরু করেছে। বেঙ্গালুরু-ভিত্তিক একটি উদীয়মান startup সর্বম এআই (Sarvam AI)-কে ভারতএআই মিশনের (IndiaAI Mission) অধীনে দেশের প্রথম সার্বভৌম বৃহৎ ভাষা মডেল (large language model, LLM) উন্নয়নের মূল ভূমিকা অর্পণ করেছে। এই উচ্চাভিলাষী উদ্যোগটি ভারতের প্রযুক্তিগত আত্মনির্ভরতা গড়ে তোলার এবং তার নাগরিকদের সুবিধার জন্য এআই-এর শক্তি ব্যবহারের প্রতিশ্রুতির ওপর জোর দেয়।
দেশীয় এআই (AI) এর জন্য একটি দৃষ্টিভঙ্গি
এই উদ্যোগের কেন্দ্রবিন্দুতে একটি গভীর দৃষ্টিভঙ্গি রয়েছে: এমন একটি এআই (AI) মডেল তৈরি করা, যা কেবল দেশীয়ই নয়, উন্নত যুক্তিবোধ ক্ষমতা, অত্যাধুনিক স্পিচ প্রসেসিং (speech processing) ক্ষমতা এবং বিভিন্ন ভারতীয় ভাষায় সাবলীল হবে। এই মডেলটি ভারতীয় ভাষাগত এবং সাংস্কৃতিক ভূখণ্ডে গভীরভাবে প্রোথিত থাকবে, যা জাতির অনন্য পরিচয় এবং ঐতিহ্যকে প্রতিফলিত করবে।
এই দৃষ্টিভঙ্গির বাস্তবায়নকে সহজতর করার জন্য, সর্বম এআই (Sarvam AI)-কে ৪০৮৬টি এনভিডিয়া এইচ১০০ জিপিইউ (NVIDIA H100 GPUs) সমন্বিত কম্পিউটেশনাল রিসোর্সের একটি শক্তিশালী ভাণ্ডারে ছয় মাসের জন্য অ্যাক্সেস দেওয়া হবে। এই অ্যাক্সেস startup-টিকে একেবারে শুরু থেকে এলএলএম (LLM) তৈরি করতে এবং ভারতীয় প্রেক্ষাপটের নির্দিষ্ট চাহিদা এবং আকাঙ্ক্ষার সাথে সঙ্গতি রেখে তৈরি করতে সক্ষম করবে।
তিনটি স্বতন্ত্র প্রকার
এই সার্বভৌম এলএলএম (LLM) এর উন্নয়নে তিনটি স্বতন্ত্র প্রকার অন্তর্ভুক্ত থাকবে, প্রতিটি একটি নির্দিষ্ট অ্যাপ্লিকেশন (application) এবং প্রয়োজনীয়তার জন্য ডিজাইন করা হয়েছে:
সর্বম-লার্জ (Sarvam-Large): এই প্রকারটি জটিল যুক্তি এবং জেনারেশন (generation) কার্যাবলীতে দক্ষতা অর্জনের জন্য তৈরি করা হবে, যা জটিল সমস্যাগুলি মোকাবেলা করতে এবং অত্যাধুনিক কনটেন্ট (content) তৈরি করতে সক্ষম হবে।
সর্বম-স্মল (Sarvam-Small): এই প্রকারটি রিয়েল-টাইম ইন্টারেক্টিভ অ্যাপ্লিকেশনগুলির (real-time interactive applications) জন্য অপ্টিমাইজ করা হবে, যা বিভিন্ন পরিস্থিতিতে ব্যবহারকারীদের সাথে দ্রুত এবং প্রতিক্রিয়াশীল মিথস্ক্রিয়া নিশ্চিত করবে।
সর্বম-এজ (Sarvam-Edge): এই প্রকারটি অন-ডিভাইস অপারেশনের (on-device operations) জন্য তৈরি করা হবে, যা এটিকে ক্লাউডের সাথে ক্রমাগত সংযোগের প্রয়োজন ছাড়াই সংস্থান-সীমাবদ্ধ ডিভাইসগুলিতে নির্বিঘ্নে কাজ করতে দেবে।
একটি সহযোগী প্রচেষ্টায়, সর্বম এআই (Sarvam AI), আইআইটি (IIT) মাদ্রাজ-এর একটি উদ্যোগ এআই৪ভারত (AI4Bharat)-এর সাথে অংশীদারিত্ব করবে, যাতে মডেলগুলি ভারতীয় ভাষাগত এবং সাংস্কৃতিক প্রেক্ষাপটে গভীরভাবে এম্বেড করা হয়। এই সহযোগিতা প্রাকৃতিক ভাষা প্রক্রিয়াকরণে এআই৪ভারত (AI4Bharat)-এর দক্ষতা এবং ভারতীয় ভাষার সংস্থানগুলির সমৃদ্ধ ভাণ্ডারকে কাজে লাগাবে।
সর্বম এআই (Sarvam AI)-এর প্রমাণিত ট্র্যাক রেকর্ড
সর্বম এআই (Sarvam AI) ইতিমধ্যে ভারতীয় এআই (AI) ল্যান্ডস্কেপে (landscape) একটি অগ্রগামী হিসাবে নিজেকে আলাদা করেছে, বিশেষ করে বহুভাষিক এআই (multilingual AI) এর ক্ষেত্রে। কোম্পানির উদ্ভাবনের ট্র্যাক রেকর্ড এবং ভারতীয় প্রেক্ষাপটের অনন্য চ্যালেঞ্জ মোকাবেলার প্রতিশ্রুতি এটিকে এই উচ্চাভিলাষী প্রকল্পের নেতৃত্ব দেওয়ার জন্য একটি স্বাভাবিক পছন্দ হিসাবে স্থান দিয়েছে।
অক্টোবর ২০২৪-এ, সর্বম এআই (Sarvam AI) সর্বম-১ (Sarvam-1) উন্মোচন করেছে, যা ২ বিলিয়ন প্যারামিটার এলএলএম (2-billion-parameter LLM), বিশেষভাবে ভারতীয় ভাষার জন্য ডিজাইন এবং অপ্টিমাইজ করা হয়েছে। এই মডেলটি ইংরেজি ছাড়াও বাংলা, গুজরাটি, হিন্দি, কন্নড়, মালায়ালাম, মারাঠি, ওড়িয়া, পাঞ্জাবি, তামিল এবং তেলেগু সহ দশটি প্রধান ভারতীয় ভাষার সমর্থন করে।
অনেক বিদ্যমান মডেল যখন ইন্ডিক স্ক্রিপ্ট (Indic script) প্রক্রিয়াকরণের সময় টোকেন অদক্ষতার সাথে লড়াই করে, তখন সর্বম-১ (Sarvam-1) প্রতি শব্দে ১.৪ থেকে ২.১ টোকেনের উর্বরতার হার অর্জন করে। এই অসাধারণ কৃতিত্ব প্রক্রিয়াকরণের দক্ষতা উল্লেখযোগ্যভাবে বৃদ্ধি করে, যা মডেলটিকে আরও বেশি গতি এবং নির্ভুলতার সাথে ভারতীয় ভাষাগুলি পরিচালনা করতে সক্ষম করে।
দেশীয় প্রশিক্ষণ এবং অবকাঠামো
সর্বম-১ (Sarvam-1) সম্পূর্ণরূপে ভারতের অভ্যন্তরে প্রশিক্ষিত হয়েছিল, যা এনভিডিয়া এইচ১০০ টেনসর কোর জিপিইউ (NVIDIA H100 Tensor Core GPUs), ইয়োটা (Yotta)-এর ডেটা সেন্টার (data centers) এবং এআই৪ভারত (AI4Bharat)-এর ভাষার সংস্থান দ্বারা চালিত দেশীয় এআই (AI) অবকাঠামো ব্যবহার করে। এই এন্ড-টু-এন্ড (end-to-end) দেশীয় পদ্ধতি এআই (AI) উন্নয়নে ভারতের ক্রমবর্ধমান সক্ষমতা এবং একটি স্বনির্ভর এআই (AI) ইকোসিস্টেম (ecosystem) গড়ে তোলার প্রতিশ্রুতিকে তুলে ধরে।
পারফরম্যান্স বেঞ্চমার্ক (performance benchmarks) প্রকাশ করেছে যে সর্বম-১ (Sarvam-1) শুধুমাত্র মেটা’র লামা ৩.১ ৮বি (Meta’s Llama 3.1 8B) এবং গুগল-এর জেমিনি ২-৯বি (Google’s Gemma-2-9B)-এর মতো বড় মডেলগুলির সাথে মেলে না, বরং কিছু ক্ষেত্রে, বিশেষ করে ইন্ডিক ভাষা জড়িত কাজগুলিতে তাদের ছাড়িয়ে যায়। এই চিত্তাকর্ষক পারফরম্যান্স সর্বম এআই (Sarvam AI)-এর পদ্ধতির কার্যকারিতা এবং বিশ্বব্যাপী এআই (AI) নেতাদের সাথে প্রতিযোগিতা করার ক্ষমতা তুলে ধরে।
ইন্ডিক ভাষা জুড়ে ট্রিভিয়াকিউএ (TriviaQA) বেঞ্চমার্কে, সর্বম-১ (Sarvam-1) ৮৬.১১ এর নির্ভুলতা অর্জন করেছে, যা লামা-৩.১ ৮বি (Llama-3.1 8B)-এর ৬১.৪৭ স্কোরকে ছাড়িয়ে গেছে। এই উল্লেখযোগ্য ব্যবধান ভারতীয় ভাষাগুলিতে তথ্য বোঝা এবং প্রক্রিয়াকরণে সর্বম-১ (Sarvam-1)-এর উন্নত ক্ষমতা প্রদর্শন করে।
ভবিষ্যতের চ্যালেঞ্জ
যদিও সর্বম এআই (Sarvam AI) সর্বম-১ (Sarvam-1) দিয়ে তার সক্ষমতা প্রদর্শন করেছে, প্রথম দেশীয় ভিত্তি মডেল তৈরি করার কাজটি চ্যালেঞ্জবিহীন নয়। এই চ্যালেঞ্জগুলি কাটিয়ে উঠতে উদ্ভাবনী, অধ্যবসায় এবং একটি সহযোগী মনোভাব প্রয়োজন।
অবকাঠামো বৃদ্ধি
সবচেয়ে গুরুত্বপূর্ণ বাধাগুলির মধ্যে একটি হল বড় মডেলগুলির প্রশিক্ষণের চাহিদা মেটাতে অবকাঠামো বৃদ্ধি করা। এই মডেলগুলির প্রশিক্ষণের জন্য বর্ধিত সময়ের জন্য ব্যাপক কম্পিউটেশনাল পাওয়ারের অ্যাক্সেস প্রয়োজন। সরকার কর্তৃক হাজার হাজার এনভিডিয়া এইচ১০০ জিপিইউ (NVIDIA H100 GPUs) সরবরাহ করা একটি গুরুত্বপূর্ণ পদক্ষেপ, তবে এই ধরনের উচ্চ-প্রান্তের সংস্থানগুলি পরিচালনা, অপ্টিমাইজ (optimize) এবং রক্ষণাবেক্ষণ করা একটি জটিল কাজ।
কার্যকরী সংস্থান পরিচালনা নিশ্চিত করার জন্য অত্যন্ত গুরুত্বপূর্ণ হবে যে প্রশিক্ষণ প্রক্রিয়াটি দক্ষ এবং ব্যয়বহুল। এর মধ্যে জিপিইউগুলির (GPUs) ব্যবহার অপ্টিমাইজ (optimize) করা, মেমরি বরাদ্দ পরিচালনা করা এবং সম্ভাব্য বাধাগুলি হ্রাস করার জন্য কৌশল বাস্তবায়ন করা জড়িত থাকবে।
ডেটা কিউরেশন (Data Curation)
আরেকটি গুরুত্বপূর্ণ চ্যালেঞ্জ হল উচ্চ-মানের, বিভিন্ন ডেটাসেট (dataset) তৈরি করা। ভারতের ভাষাগত দৃশ্যপট অবিশ্বাস্যভাবে জটিল, ভাষাগুলির মধ্যে কেবল পার্থক্যই নয়, উপভাষা, সংস্কৃতি এবং লেখার শৈলীর মধ্যেও ভিন্নতা রয়েছে। একটি সুষম ডেটাসেট (dataset) তৈরি করা যা পক্ষপাতিত্ব ছাড়াই এই বৈচিত্র্যকে সত্যভাবে ধারণ করে অপরিহার্য, তবে অত্যন্ত চ্যালেঞ্জিং।
ডেটাসেটটি (dataset) অবশ্যই ভারতের বিভিন্ন অঞ্চল, সম্প্রদায় এবং সামাজিক গোষ্ঠীর প্রতিনিধিত্ব করতে হবে। এটি অবশ্যই এমন পক্ষপাতিত্ব থেকে মুক্ত হতে হবে যা অন্যায্য বা বৈষম্যমূলক ফলাফলের দিকে পরিচালিত করতে পারে। এই মানদণ্ডগুলি পূরণ করে তা নিশ্চিত করার জন্য ডেটা নির্বাচন এবং টীকাগুলিতে মনোযোগ দিতে হবে।
ভাষাগত সূক্ষ্মতা
আরও, মডেলগুলিকে ভারতীয় ভাষার সূক্ষ্মতা, যেমন - বাগধারা, রূপক এবং সাংস্কৃতিক উল্লেখগুলি ক্যাপচার করতে সক্ষম হতে হবে। এর জন্য সেই সাংস্কৃতিক প্রেক্ষাপটের গভীর বোঝার প্রয়োজন যেখানে এই ভাষাগুলি ব্যবহৃত হয়।
এআই৪ভারত (AI4Bharat)-এর সাথে সর্বম এআই (Sarvam AI)-এর সহযোগিতা এই চ্যালেঞ্জগুলি মোকাবেলায় সহায়ক হবে। ভারতীয় ভাষায় এআই৪ভারত (AI4Bharat)-এর দক্ষতা এবং ভাষাগত সংস্থানগুলির একটি বিশাল ভাণ্ডারে অ্যাক্সেস সার্বভৌম এলএলএম (LLM)-এর উন্নয়নে মূল্যবান সহায়তা প্রদান করবে।
ভারতের জন্য প্রভাব
একটি সার্বভৌম এলএলএম (LLM)-এর উন্নয়ন ভারতের প্রযুক্তিগত দৃশ্যপট এবং বিশ্বব্যাপী এআই (AI) অঙ্গনে এর ভূমিকার জন্য গভীর প্রভাব ফেলে। এই উদ্যোগ শিক্ষা, স্বাস্থ্যসেবা, অর্থ এবং শাসন সহ বিভিন্ন খাতকে রূপান্তরিত করার সম্ভাবনা রাখে।
অর্থনৈতিক প্রবৃদ্ধি
উদ্ভাবনকে উত্সাহিত করে এবং অর্থনৈতিক প্রবৃদ্ধি চালনা করে, সার্বভৌম এলএলএম (LLM) ভারতীয় ব্যবসা এবং উদ্যোক্তাদের জন্য নতুন সুযোগ তৈরি করতে পারে। এটি স্থানীয় ভাষায় তথ্য এবং পরিষেবাগুলিতে অ্যাক্সেস সরবরাহ করে ডিজিটাল বিভাজন কমাতে সহায়তা করতে পারে।
ক্ষমতায়ন
অধিকন্তু, এলএলএম (LLM) নাগরিকদের ব্যক্তিগতকৃত শিক্ষা, স্বাস্থ্যসেবা এবং অন্যান্য প্রয়োজনীয় পরিষেবাগুলিতে অ্যাক্সেস সরবরাহ করে তাদের ক্ষমতায়ন করতে পারে। এটি ভাষার বাধা ভেঙে এবং বিভিন্ন সম্প্রদায়ের মধ্যে যোগাযোগকে উত্সাহিত করে সামাজিক অন্তর্ভুক্তিকে প্রচার করতে সহায়তা করতে পারে।
কৌশলগত স্বাধীনতা
পরিশেষে, একটি সার্বভৌম এলএলএম (LLM)-এর উন্নয়ন ভারতের জন্য একটি কৌশলগত অপরিহার্যতা। এটি জাতিকে তার নিজস্ব এআই (AI) ক্ষমতা বিকাশ করতে, বিদেশী প্রযুক্তির উপর নির্ভরতা হ্রাস করতে এবং এর ডিজিটাল সার্বভৌমত্ব নিশ্চিত করতে সক্ষম করবে।
একটি সহযোগী ইকোসিস্টেম (Ecosystem)
এই উচ্চাভিলাষী প্রচেষ্টার সাফল্য একটি সহযোগী ইকোসিস্টেম (ecosystem) তৈরির উপর নির্ভর করে যা সরকার, শিল্প, শিক্ষা এবং startup সম্প্রদায়কে একত্রিত করে। একসাথে কাজ করে, এই স্টেকহোল্ডাররা তাদের সম্মিলিত দক্ষতা এবং সংস্থানগুলি কাজে লাগিয়ে ভারতে উদ্ভাবন চালাতে এবং এআই (AI)-এর বিকাশকে ত্বরান্বিত করতে পারে।
সর্বম এআই (Sarvam AI)-এর প্রতি সরকারের সমর্থন এবং কম্পিউটেশনাল রিসোর্সে (computational resources) অ্যাক্সেস প্রদানের প্রতিশ্রুতি এই ইকোসিস্টেমের (ecosystem) গুরুত্বপূর্ণ সক্ষমতা। শিল্প অংশীদারিত্ব বাস্তব-বিশ্বের ডেটা (data) এবং দক্ষতা সরবরাহ করতে পারে, যেখানে একাডেমিক প্রতিষ্ঠানগুলি অত্যাধুনিক গবেষণা এবং প্রতিভা অবদান রাখতে পারে।
এআই (AI) দ্বারা চালিত একটি ভবিষ্যৎ
ভারত যখন এই রূপান্তরমূলক যাত্রা শুরু করেছে, তখন জাতি এআই (AI)-এর বিশাল সম্ভাবনা উন্মোচন করতে এবং উদ্ভাবন, অন্তর্ভুক্তিমূলকতা এবং আত্মনির্ভরতা দ্বারা চালিত একটি ভবিষ্যৎ তৈরি করতে প্রস্তুত। একটি সার্বভৌম এলএলএম (LLM)-এর উন্নয়ন ভারতের উচ্চাকাঙ্ক্ষার প্রমাণ এবং কৃত্রিম বুদ্ধিমত্তার যুগে তার নিজস্ব ভাগ্য গঠনের প্রতি অটল প্রতিশ্রুতি।