হার্ডওয়্যার কৌশল: স্কেলিং আপ এবং আউট
Nvidia-র হার্ডওয়্যার কৌশলের মূলে রয়েছে আরও শক্তিশালী GPU-এর নিরলস সাধনা। সংস্থাটি একটি দ্বিমুখী পদ্ধতি গ্রহণ করছে, প্রথমে উল্লম্ব স্কেলিংয়ের উপর মনোযোগ দিচ্ছে, তারপর অনুভূমিক স্কেলিংয়ের উপর। লক্ষ্য হল কেবল একটি একক, অতি-শক্তিশালী এআই সুপারকম্পিউটার তৈরি করা নয়, বরং আন্তঃসংযুক্ত র্যাকগুলির একটি সম্পূর্ণ ইকোসিস্টেম তৈরি করা, যা একটি বিশাল এআই সুপারকম্পিউটার কমপ্লেক্স তৈরি করবে। এই ‘এআই কারখানা’ পদ্ধতিটি সবচেয়ে বেশি চাহিদাপূর্ণ এআই ওয়ার্কলোডের জন্য প্রয়োজনীয় কম্পিউটেশনাল ক্ষমতা সরবরাহ করার জন্য ডিজাইন করা হয়েছে।
নতুন ব্ল্যাকওয়েল আল্ট্রা র্যাক-মাউন্ট করা এআই সুপারকম্পিউটার, যা সম্প্রতি GTC সম্মেলনে উন্মোচন করা হয়েছে, এই কৌশলের উদাহরণ। প্রশিক্ষণ এবং পরীক্ষার সময় স্কেলিং অনুমান উভয়কেই ত্বরান্বিত করার জন্য ডিজাইন করা হয়েছে ব্ল্যাকওয়েল আল্ট্রা। এটি বিদ্যমান ব্ল্যাকওয়েল আর্কিটেকচার ব্যবহার করে কিন্তু আরও শক্তিশালী GB300 NVL72 অন্তর্ভুক্ত করে। এই কনফিগারেশনে NVLink এর মাধ্যমে আন্তঃসংযুক্ত ৭২টি ব্ল্যাকওয়েল আল্ট্রা GPU রয়েছে, যা FP4 নির্ভুলতা কম্পিউট পাওয়ারের ১.১ Exaflops সরবরাহ করে। GB300 NVL72 GB200 NVL72-এর তুলনায় ১.৫ গুণ বেশি এআই পারফরম্যান্স প্রদান করে। একটি একক DGS GB300 সিস্টেম ১৫ Exaflops কম্পিউট প্রদান করে। ২০২৫ সালের দ্বিতীয়ার্ধে প্রকাশের জন্য নির্ধারিত, ব্ল্যাকওয়েল আল্ট্রা Cisco, Dell, HPE, Lenovo, ASUS, Foxconn, Gigabyte, Pegatron, এবং Quanta সহ সার্ভার সরঞ্জাম বিক্রেতাদের দ্বারা সমর্থিত হবে। এছাড়াও, AWS, GCP এবং Azure-এর মতো ক্লাউড পরিষেবা প্রদানকারীরা ব্ল্যাকওয়েল আল্ট্রার উপর ভিত্তি করে কম্পিউট পরিষেবা সরবরাহ করবে।
এই পাওয়ার প্ল্যান্ট-স্তরের এআই কারখানা সিস্টেমগুলি ছাড়াও, Nvidia এন্টারপ্রাইজগুলির মধ্যে অনুমানের চাহিদাগুলির জন্য একটি নতুন লাইন কম্পিউটার চালু করেছে। এর মধ্যে রয়েছে DGX Spark এবং DGX Station ব্যক্তিগত এআই কম্পিউটার। DGX Spark, আকারে একটি Mac mini-র মতো, ১ PFlops পর্যন্ত কম্পিউট পাওয়ার সরবরাহ করে।
বিষয়টি পরিষ্কারভাবে বোঝার জন্য, তাইওয়ানিয়া ৩ সুপারকম্পিউটার, যা ২০২১ সালে ৫০,০০০-এর বেশি কোর নিয়ে চালু হয়েছিল, সেটি মাত্র ২.৭ PFlops পারফরম্যান্স প্রদান করে। মাত্র চার বছরে, তিনটি ডেস্কটপ আকারের ব্যক্তিগত এআই কম্পিউটারের কম্পিউট পাওয়ার তাইওয়ানিয়া ৩-কে ছাড়িয়ে গেছে। ১২৮GB মেমরি কনফিগারেশনের জন্য $৩,৯৯৯ (প্রায় NT$১৩০,০০০) মূল্যের এই নতুন ব্যক্তিগত এআই কম্পিউটারগুলি এন্টারপ্রাইজগুলির মধ্যে ভবিষ্যতের অভ্যন্তরীণ এআই চাহিদাগুলিকে শক্তি জোগানোর জন্য ডিজাইন করা হয়েছে, যা মিনি-এআই কারখানা হিসাবে বা এমনকি প্রান্তীয় এআই পরিবেশে কাজ করতে পারে।
ভবিষ্যতের রোডম্যাপ: ভেরা রুবিন এবং তার পরে
ভবিষ্যতের দিকে তাকিয়ে, Nvidia-র সিইও জেনসেন হুয়াং আগামী দুই বছরের জন্য একটি পণ্য রোডম্যাপের রূপরেখা দিয়েছেন। ২০২৬ সালের দ্বিতীয়ার্ধে, কোম্পানি ভেরা রুবিন NVL144 প্রকাশ করার পরিকল্পনা করেছে, যা আমেরিকান জ্যোতির্বিজ্ঞানী ভেরা রুবিনের নামে নামকরণ করা হয়েছে, যিনি ডার্ক ম্যাটার আবিষ্কার করেছিলেন। ভেরা রুবিন NVL144 GB300 NVL72-এর চেয়ে ৩.৩ গুণ বেশি পারফরম্যান্স প্রদান করবে, যার মেমরি ক্ষমতা, ব্যান্ডউইথ এবং NVLink গতি ১.৬ গুণ বেশি বৃদ্ধি পাবে। ২০২৭ সালের দ্বিতীয়ার্ধে, Nvidia রুবিন আল্ট্রা NVL576 চালু করবে, যা GB300 NVL72-এর চেয়ে ১৪ গুণ বেশি পারফরম্যান্স সরবরাহ করবে, NVLink7 এবং CX9-এর মাধ্যমে উল্লেখযোগ্যভাবে উন্নত মেমরি ক্ষমতা এবং ব্যান্ডউইথ গতি সহ।
ভেরা রুবিন আর্কিটেকচারের পর, Nvidia-র পরবর্তী প্রজন্মের আর্কিটেকচারের নামকরণ করা হবে প্রখ্যাত আমেরিকান পদার্থবিদ রিচার্ড ফাইনম্যানের নামে, যিনি চ্যালেঞ্জার স্পেস শাটল বিপর্যয় তদন্তের জন্য পরিচিত।
সফ্টওয়্যার কৌশল: Nvidia ডায়নামো
Nvidia সর্বদা সফ্টওয়্যারের উপর একটি শক্তিশালী জোর দিয়েছে, এটিকে হার্ডওয়্যারের চেয়েও বেশি গুরুত্বপূর্ণ বলে মনে করে। এই কৌশলগত ফোকাস কোম্পানির এআই কারখানা উদ্যোগগুলিতেও প্রসারিত।
বিভিন্ন ডোমেনে CUDA-X এআই ত্বরণ লাইব্রেরি প্রসারিত করার পাশাপাশি বিশেষ ত্বরণ লাইব্রেরি তৈরি করার পাশাপাশি, Nvidia Nvidia ডায়নামো চালু করেছে, যা একটি নতুন এআই কারখানা অপারেটিং সিস্টেম। উল্লেখযোগ্যভাবে, Nvidia এই অপারেটিং সিস্টেমটিকে ওপেন সোর্স করেছে।
Nvidia ডায়নামো একটি ওপেন সোর্স অনুমান পরিষেবা কাঠামো যা LLM অনুমান পরিষেবা প্রদান করে এমন প্ল্যাটফর্ম তৈরি করার জন্য ডিজাইন করা হয়েছে। এটি K8s পরিবেশে স্থাপন করা যেতে পারে এবং বৃহৎ আকারের এআই অনুমান কাজগুলি স্থাপন এবং পরিচালনা করতে ব্যবহৃত হয়। Nvidia ডায়নামোকে তার NIM মাইক্রোসার্ভিস কাঠামোতে সংহত করার পরিকল্পনা করেছে, এটিকে Nvidia AI এন্টারপ্রাইজ কাঠামোর একটি উপাদান করে তুলেছে।
ডায়নামো হল Nvidia-র বিদ্যমান ওপেন সোর্স অনুমান সার্ভার প্ল্যাটফর্ম ট্রিটনের পরবর্তী প্রজন্মের পণ্য। এর মূল বৈশিষ্ট্য হল LLM অনুমান কাজগুলিকে দুটি পর্যায়ে বিভক্ত করা, যা অনুমান প্রক্রিয়াকরণের অপ্টিমাইজ করার জন্য, দক্ষতা উন্নত করতে এবং GPU ব্যবহার সর্বাধিক করার জন্য GPU-গুলির আরও নমনীয় এবং দক্ষ ব্যবহার করতে দেয়। ডায়নামো অনুমানের প্রয়োজনীয়তার ভিত্তিতে গতিশীলভাবে GPU বরাদ্দ করতে পারে এবং GPU-গুলির মধ্যে অসিঙ্ক্রোনাস ডেটা স্থানান্তরকে ত্বরান্বিত করতে পারে, মডেল অনুমানের প্রতিক্রিয়ার সময় হ্রাস করে।
ট্রান্সফরমার-ভিত্তিক GAI মডেলগুলি অনুমানকে দুটি পর্যায়ে ভাগ করে: প্রিফিল (প্রি-ইনপুট), যা ইনপুট ডেটাকে স্টোরেজের জন্য টোকেনে রূপান্তরিত করে এবং ডিকোড, একটি ক্রমানুসারে প্রক্রিয়া যা পূর্ববর্তীটির উপর ভিত্তি করে পরবর্তী টোকেন তৈরি করে।
ঐতিহ্যবাহী LLM অনুমান প্রিফিল এবং ডিকোড উভয় কাজই একই GPU-কে অর্পণ করে। যাইহোক, এই কাজগুলির বিভিন্ন কম্পিউটেশনাল বৈশিষ্ট্যের কারণে, ডায়নামো সেগুলিকে বিভক্ত করে, সেই অনুযায়ী GPU সংস্থান বরাদ্দ করে এবং কাজের বৈশিষ্ট্যের ভিত্তিতে গতিশীলভাবে বরাদ্দ সামঞ্জস্য করে। এটি GPU ক্লাস্টারের কর্মক্ষমতা অপ্টিমাইজ করে।
Nvidia-র পরীক্ষায় দেখা গেছে যে GB200 NVL72-এ ৬৭১ বিলিয়ন প্যারামিটার DeepSeek-R1 মডেলের সাথে ডায়নামো ব্যবহার করলে অনুমানের কর্মক্ষমতা ৩০ গুণ বাড়ানো যায়। হপার GPU-তে চলমান Llama 70B-এর কর্মক্ষমতাও দ্বিগুণের বেশি উন্নত করা যেতে পারে।
অনুমান গণনার জটিল প্রকৃতি এবং বিভিন্ন সমান্তরাল প্রক্রিয়াকরণ মডেলের কারণে অনুমান কাজগুলি পরিচালনা করা জটিল। হুয়াং জোর দিয়েছিলেন যে Nvidia এআই কারখানাগুলির জন্য একটি অপারেটিং সিস্টেম সরবরাহ করার জন্য ডায়নামো কাঠামো চালু করেছে।
ঐতিহ্যবাহী ডেটা সেন্টারগুলি এন্টারপ্রাইজ আইটি সংস্থানগুলিতে বিভিন্ন অ্যাপ্লিকেশন অর্কেস্ট্রেট করার জন্য VMware-এর মতো অপারেটিং সিস্টেমের উপর নির্ভর করে। এআই এজেন্ট হল ভবিষ্যতের অ্যাপ্লিকেশন, এবং এআই কারখানাগুলির VMware নয়, ডায়নামোর প্রয়োজন।
হুয়াং নতুন এআই কারখানা অপারেটিং সিস্টেমের নামকরণ করেছেন ডায়নামো, একটি ইঞ্জিন যা শিল্প বিপ্লবকে উস্কে দিয়েছিল, এই প্ল্যাটফর্মের জন্য তার প্রত্যাশা এবং উচ্চাকাঙ্ক্ষা প্রকাশ করে।