آج کے دور میں، بڑے لسانی ماڈلز (LLMs) تیزی سے ترقی کر رہے ہیں۔ یہ ماڈلز اب محض تحقیقی تجسس نہیں رہے، بلکہ مختلف ایپلی کیشنز کے لیے طاقتور اوزار بن چکے ہیں۔ اگرچہ Llama.cpp یا Ollama جیسے ٹولز کا استعمال کرتے ہوئے ایک سادہ چیٹ بوٹ بنانا نسبتاً آسان ہے، لیکن حقیقی دنیا کے ورک لوڈز کو سنبھالنے کے لیے پروڈکشن ماحول میں LLMs کو تعینات کرنا مختلف چیلنجز پیش کرتا ہے۔ ان چیلنجز میں متعدد بیک وقت صارفین کو منظم کرنا، اپ ٹائم کی ضمانتوں کو یقینی بنانا، اور بجٹ کی رکاوٹوں سے بچنے کے لیے GPU وسائل کے استعمال کو بہتر بنانا شامل ہے۔
کسی LLM کو بڑے پیمانے پر چلانے کے لیے درکار وسائل ذاتی کمپیوٹر پر چلانے کے لیے درکار وسائل سے نمایاں طور پر مختلف ہوتے ہیں۔ ایک ماڈل جو پی سی پر 4 جی بی سے کم میموری کے ساتھ مؤثر طریقے سے کام کرتا ہے، متعدد بیک وقت درخواستوں کو سنبھالنے کے لیے پروڈکشن سیٹنگ میں تعینات ہونے پر 40 جی بی یا اس سے زیادہ GPU میموری کا مطالبہ کر سکتا ہے۔
یہ گائیڈ ابتدائی پروف آف کانسیپٹس سے لے کر پروڈکشن کے لیے تیار تعیناتیوں تک AI ورک لوڈز کو اسکیل کرنے کے طریقوں کو تلاش کرتی ہے۔ ہم آپ کو Gemma 3 یا Llama 3 جیسے ماڈلز کو بڑے پیمانے پر تعینات کرنے کے بارے میں بتائیں گے۔
LLM انضمام کے لیے APIs کا استعمال
LLMs کو کوڈ بیس میں ضم کرنے کے مختلف طریقے ہیں، لیکن پروڈکشن تعیناتیوں کے لیے OpenAI کے مطابق API کا استعمال کرنے کی سختی سے سفارش کی جاتی ہے۔ یہ نقطہ نظر تیزی سے تیار ہونے والے ماڈل لینڈ اسکیپٹ کے مطابق ڈھالنے کی لچک فراہم کرتا ہے۔ وہ ماڈلز جو مہینوں پہلے تک جدید ترین سمجھے جاتے تھے، وہ تیزی سے متروک ہو سکتے ہیں۔
2022 میں ChatGPT کے ساتھ شروع ہونے والے AI بوم کے بعد سے، OpenAI کا API انٹرفیس ایپلی کیشنز کو LLMs سے جوڑنے کے لیے ڈی فیکٹو معیار کے طور پر ابھرا ہے۔ یہ معیار ڈویلپرز کو دستیاب وسائل کا استعمال کرتے ہوئے ایپلی کیشنز بنانے کی اجازت دیتا ہے، جیسے کہ نوٹ بک پر Llama.cpp میں Mistral 7B کے ساتھ شروعات کرنا اور پروڈکشن تعیناتی کے لیے Mistral AI کے API سرورز میں بغیر کسی رکاوٹ کے منتقل ہونا۔ یہ کسی ایک ماڈل، انفرنس انجن، یا API فراہم کنندہ میں بند ہونے سے بچاتا ہے۔
کلاؤڈ پر مبنی انفرنس سروسز AI تعیناتیوں کو اسکیل کرنے کا ایک سرمایہ جاتی اخراجات (capex) دوستانہ ذریعہ فراہم کرتی ہیں۔ یہ خدمات ہارڈ ویئر مینجمنٹ اور ماڈل کنفیگریشن کی ضرورت کو ختم کرتی ہیں، اس کی بجائے ایپلی کیشن انضمام کے لیے ایک API فراہم کرتی ہیں۔
بڑے ماڈل بنانے والوں کی API پیشکشوں کے علاوہ، AI انفراسٹرکچر اسٹارٹ اپس کی ایک بڑھتی ہوئی تعداد اوپن ویٹ ماڈلز کے لیے انفرنس-ایز-اے-سروس پیش کرتی ہے۔ ان فراہم کنندگان کے نقطہ نظر میں مختلف نوعیت پائی جاتی ہے۔ کچھ، جیسے SambaNova، Cerebras، اور Groq، انفرنس کو تیز کرنے کے لیے خصوصی ہارڈ ویئر یا قیاس آرائی پر مبنی ڈی کوڈنگ جیسی تکنیکوں کا فائدہ اٹھاتے ہیں لیکن ماڈلز کا ایک چھوٹا انتخاب پیش کرتے ہیں۔ دیگر، جیسے Fireworks AI، لو رینک اڈاپٹیشن (LoRA) اڈاپٹرز کا استعمال کرتے ہوئے اپنی مرضی کے مطابق عمدہ ٹیونڈ ماڈلز کی تعیناتی کی حمایت کرتے ہیں۔ AI ماحولیاتی نظام کے تنوع کے لیے کسی خاص فراہم کنندہ کے ساتھ عہد کرنے سے پہلے مکمل تحقیق کی ضرورت ہے۔
آن پریمیس LLM تعیناتی کے تحفظات
ان حالات میں جہاں رازداری، ریگولیٹری، یا پہلے سے موجود انفراسٹرکچر کی رکاوٹوں کی وجہ سے کلاؤڈ پر مبنی نقطہ نظر ممکن نہیں ہیں (مثال کے طور پر، کسی کمپنی نے پہلے ہی GPU سرورز میں سرمایہ کاری کی ہے)، آن پریمیس تعیناتی ضروری ہو جاتی ہے۔ یہ کئی چیلنجز پیش کر سکتا ہے۔ کچھ عام سوالات جو پیدا ہوتے ہیں ان میں شامل ہیں:
- ماڈل کا انتخاب: مناسب ماڈل مخصوص استعمال کے معاملے پر منحصر ہے۔ ایک ماڈل جو کسٹمر سروس چیٹ بوٹ کے لیے ڈیزائن کیا گیا ہے اس کی ضروریات بازیافت سے متعلقہ اضافہ جنریشن یا کوڈ اسسٹنٹ کے طور پر استعمال ہونے والے ماڈل سے مختلف ہوں گی۔ ضروریات کو پورا کرنے والے ماڈل کی نشاندہی کرنے کے لیے API فراہم کنندگان کے ساتھ وقت گزارنے کی سفارش کی جاتی ہے۔
- ہارڈ ویئر کی ضروریات: ضروری ہارڈ ویئر کا تعین کرنا بہت ضروری ہے، کیونکہ GPUs مہنگے ہوتے ہیں اور ان کا حصول مشکل ہو سکتا ہے۔ ماڈل خود اسے چلانے کے لیے درکار ہارڈ ویئر کے بارے میں بصیرت فراہم کر سکتا ہے۔ بڑے ماڈلز کو زیادہ ہارڈ ویئر کی ضرورت ہوتی ہے۔ کم از کم GPU میموری کا ایک موٹا تخمینہ پیرامیٹر کی تعداد (اربوں میں) کو 16 بٹ کی درستگی پر تربیت یافتہ ماڈلز کے لیے 2 جی بی سے ضرب دے کر لگایا جا سکتا ہے۔ 8 بٹ ماڈلز کے لیے، ایک ارب پیرامیٹرز کے لیے 1 جی بی کی ضرورت ہے۔ کوانٹائزیشن جیسی ماڈل کمپریشن تکنیک اسے فی ارب پیرامیٹرز 512MB تک کم کر سکتی ہے۔ یہ ایک نچلی حد ہے۔ ماڈل کی قلیل مدتی میموری کے طور پر کام کرنے والے کلیدی قدر کیش کی وجہ سے متعدد صارفین کو بیک وقت ماڈل پیش کرنے کے لیے اضافی میموری کی ضرورت ہے۔ Nvidia کا سپورٹ میٹرکس مختلف ماڈلز کو چلانے کے لیے درکار GPUs کے بارے میں رہنمائی فراہم کرتا ہے۔
- فاضل: ماڈل کے مطابق ہارڈ ویئر کا سائز کرنے کے علاوہ، فاضل پر بھی غور کرنا چاہیے۔ ایک واحد GPU نوڈ ناکامی کا شکار ہے، اس لیے فیل اوور اور لوڈ بیلنسنگ کے لیے دو یا دو سے زیادہ سسٹمز تعینات کرنا ضروری ہے۔
- تعیناتی کے طریقے: LLMs کو مختلف طریقوں کا استعمال کرتے ہوئے پروڈکشن میں تعینات اور پیش کیا جا سکتا ہے: لوڈ بیلنسرز کے ساتھ بیئر میٹل، ورچوئل مشینیں، یا ڈوکر یا Kubernetes میں کنٹینرز۔ Kubernetes کنٹینر تخلیق، نیٹ ورکنگ، اور لوڈ بیلنسنگ کو خودکار بنا کر بڑے پیمانے پر تعیناتیوں کو آسان بناتا ہے۔
LLM تعیناتی کے لیے Kubernetes
Kubernetes کنٹینر تخلیق، نیٹ ورکنگ، اور لوڈ بیلنسنگ کو خودکار بنا کر بڑے پیمانے پر تعیناتیوں سے وابستہ زیادہ تر پیچیدگیوں کو دور کرتا ہے۔ بہت سے کاروباری اداروں نے پہلے ہی Kubernetes کو اپنایا اور سمجھتے ہیں۔ Nvidia، Hugging Face، اور دیگر عام ورک لوڈز اور تعیناتیوں کے لیے پہلے سے ترتیب شدہ Nvidia Inference Microservices (NIMs) اور Hugging Face Generative AI Services (HUGS) کے ساتھ کنٹینرائزڈ ماحول کو ترجیح دیتے ہیں۔
انفرنس انجن
ماڈلز کو چلانے کے لیے مختلف انفرنس انجن دستیاب ہیں، جن میں Ollama اور Llama.cpp شامل ہیں، جو ہارڈ ویئر کی ایک وسیع رینج کے ساتھ مطابقت رکھتے ہیں۔ ماڈلز کو اسکیل کرنے کے لیے، vLLM، TensorRT LLM، SGLang، اور PyTorch جیسی لائبریریاں اکثر استعمال ہوتی ہیں۔ یہ گائیڈ vLLM کا استعمال کرتے ہوئے ماڈلز کو تعینات کرنے پر توجہ مرکوز کرتی ہے، کیونکہ یہ مقبول ماڈلز کے ایک وسیع انتخاب کی حمایت کرتا ہے اور Nvidia، AMD، اور دیگر ہارڈ ویئر میں وسیع حمایت اور مطابقت پیش کرتا ہے۔
Kubernetes ماحول کی تیاری
GPUs کے ساتھ کام کرنے کے لیے Kubernetes ماحول کو ترتیب دینے کے لیے ایک عام Kubernetes سیٹ اپ کے مقابلے میں اضافی ڈرائیورز اور انحصار کی ضرورت ہوتی ہے۔ سیٹ اپ کا عمل AMD اور Nvidia ہارڈ ویئر کے لیے مختلف ہوگا۔
یہ گائیڈ ایک واحد نوڈ کنفیگریشن میں K3S استعمال کرتی ہے۔ بنیادی اقدامات ملٹی نوڈ ماحول سے ملتے جلتے ہیں، لیکن انحصار ہر GPU ورکر نوڈ پر پورا کرنا ضروری ہے، اور اسٹوریج کنفیگریشن میں ایڈجسٹمنٹ کی ضرورت ہو سکتی ہے۔
مقصد یہ ہے کہ پروڈکشن دوستانہ انداز میں انفرنس ورک لوڈز کو تعینات کرنے کے لیے ایک ٹھوس بنیاد فراہم کی جائے۔ درج ذیل پیشگی شرائط درکار ہیں:
- کم از کم ایک تائید شدہ AMD یا Nvidia GPU بورڈ والا ایک سرور یا ورک سٹیشن
- Ubuntu 24.04 LTS کی ایک نئی تنصیب
Nvidia انحصار
Nvidia ایکسلریٹڈ K3S ماحول کو ترتیب دینے کے لیے CUDA ڈرائیورز Fabric Manager اور ہیڈ لیس سرور ڈرائیورز انسٹال کرنے کی ضرورت ہے۔ ڈرائیور کے مسائل کو ڈیبگ کرنے کے لیے Nvidia کی سرور یوٹیلیٹیز انسٹال کریں۔