ڈیپ سیک (DeepSeek) کے بعد کے دور میں اے آئی چپس اور انفراسٹرکچر پر نظر ثانی
ڈیپ سیک کی جانب سے اے آئی ٹیکنالوجی میں تیز رفتار جدت طرازی، ڈیٹا سینٹرز، چپس اور سسٹم کی تعمیر کے طریقوں پر بنیادی نظر ثانی کا تقاضا کرتی ہے تاکہ ضروری کمپیوٹنگ پاور مہیا کی جا سکے۔ ڈیپ سیک کی انجینئرنگ کی اختراعات نے اے آئی کمپیوٹنگ کی لاگت کو نمایاں طور پر کم کیا ہے، جس سے اے آئی انفراسٹرکچر کے مستقبل کے بارے میں ایک وسیع بحث چھڑ گئی ہے۔
اگرچہ ڈیپ سیک نے اے آئی ٹیکنالوجی کی حدود کو یکسر تبدیل نہیں کیا ہے، لیکن اے آئی مارکیٹ پر اس کا اثر گہرا ہے۔ مکسچر آف ایکسپرٹس (MoE)، ملٹی لیئر اٹینشن (MLA)، اور ملٹی ٹوکن پریڈکشن (MTP) جیسی ٹیکنالوجیز نے ڈیپ سیک کے ساتھ ساتھ شہرت حاصل کی ہے۔ اگرچہ ان تمام ٹیکنالوجیز کو ڈیپ سیک نے ایجاد نہیں کیا تھا، لیکن ان کے کامیاب نفاذ نے وسیع پیمانے پر ان کو اپنانے کی ترغیب دی ہے۔ ایم ایل اے (MLA) خاص طور پر، ایج ڈیوائسز سے لے کر کلاؤڈ کمپیوٹنگ تک، مختلف پلیٹ فارمز پر بحث کا مرکز بن گیا ہے۔
ایم ایل اے (MLA) اور الگورتھم ایجاد کا چیلنج
نیکسٹ سلیکون (NextSilicon) کے سی ای او (CEO) الاد راز نے حال ہی میں نشاندہی کی کہ اگرچہ ایم ایل اے میموری کی کارکردگی کو بہتر بناتا ہے، لیکن یہ ڈیولپرز کے لیے کام کے بوجھ کو بھی بڑھا سکتا ہے اور پروڈکشن ماحول میں اے آئی کے استعمال کو پیچیدہ بنا سکتا ہے۔ جی پی یو (GPU) استعمال کرنے والوں کو ایم ایل اے کے لیے ‘ہاتھ سے کوڈ’ کی اصلاح میں مشغول ہونا پڑ سکتا ہے۔ یہ مثال اے آئی چپس اور انفراسٹرکچر آرکیٹیکچرز کے نفاذ پر دوبارہ غور کرنے کی ضرورت کو اجاگر کرتی ہے۔
ایم ایل اے کی اہمیت کو سمجھنے کے لیے، لارج لینگویج ماڈلز (LLMs) کے بنیادی تصورات کو سمجھنا ضروری ہے۔ صارف کے ان پُٹس (inputs) کے جوابات تیار کرتے وقت، ایل ایل ایمز (LLMs) بڑے پیمانے پر کے وی ویکٹرز (KV vectors) – کیز (keys) اور ویلیوز (values) پر انحصار کرتے ہیں – جو ماڈل کو متعلقہ ڈیٹا پر توجہ مرکوز کرنے کے قابل بناتے ہیں۔ اٹینشن میکانزم (attention mechanisms) میں، ماڈل سب سے زیادہ متعلقہ مواد کا تعین کرنے کے لیے نئی درخواستوں کا کیز (keys) سے موازنہ کرتا ہے۔
الاد راز ایک کتاب کی مثال استعمال کرتے ہیں، کلید (key) ایک ‘کتاب کے ابواب کے عنوانات کی طرح ہے، جو اس بات کی نشاندہی کرتی ہے کہ ہر حصہ کس چیز کے بارے میں ہے، جس کی قدر ان عنوانات کے تحت مزید تفصیلی خلاصے ہیں۔ لہذا جب ایک صارف درخواست داخل کرتا ہے، تو یہ جواب پیدا کرنے میں مدد کے لیے سرچ ٹرم (search term) مانگتا ہے۔ یہ پوچھ رہا ہے، ‘اس کہانی کے تحت، کون سا باب سب سے زیادہ متعلقہ ہے؟‘‘
ایم ایل اے ان ابواب کے عنوانات (کیز) اور خلاصوں (ویلیوز) کو کمپریس (compress) کرتا ہے، جوابات تلاش کرنے کے عمل کو تیز کرتا ہے اور کارکردگی کو بڑھاتا ہے۔ آخر میں، ایم ایل اے ڈیپ سیک کو میموری کے استعمال کو 5-13% تک کم کرنے میں مدد کرتا ہے۔ مزید تفصیلی معلومات ڈیپ سیک کے آفیشل پیپر میں مل سکتی ہیں۔ میڈیا ٹیک کی ڈیولپر کانفرنس میں ان کے ڈیمینسٹی (Dimensity) موبائل چپس میں ایم ایل اے کے لیے سپورٹ پر بھی تبادلہ خیال کیا گیا، جس سے ڈیپ سیک کے وسیع اثر و رسوخ کو اجاگر کیا گیا۔
ایم ایل اے جیسی ٹیکنالوجیز اے آئی کے دور میں الگورتھمک ایجاد کی نمائندگی کرتی ہیں۔ تاہم، اے آئی ٹیکنالوجی کی تیز رفتار ترقی اختراعات کا ایک مسلسل سلسلہ پیدا کرتی ہے، جو بدلے میں نئے چیلنجز پیدا کرتی ہے، خاص طور پر جب یہ اختراعات مخصوص پلیٹ فارمز کے لیے تیار کی جاتی ہیں۔ ایم ایل اے کی صورت میں، نان-این وی آئی ڈی آئی اے (non-NVIDIA) جی پی یو (GPU) استعمال کرنے والوں کو ٹیکنالوجی سے فائدہ اٹھانے کے لیے اضافی دستی کوڈنگ کی ضرورت ہوتی ہے۔
اگرچہ ڈیپ سیک کی ٹیکنالوجیز اے آئی کے دور کی جدت اور قدر کو ظاہر کرتی ہیں، لیکن ہارڈ ویئر اور سافٹ ویئر کو ان اختراعات کے مطابق ڈھالنا چاہیے۔ الاد راز کے مطابق، اس طرح کی موافقت سے ڈیولپرز اور پروڈکشن ماحول کے لیے پیچیدگی کم ہونی چاہیے۔ بصورت دیگر، ہر ایجاد کی قیمت بہت زیادہ ہو جاتی ہے۔
پھر سوال یہ پیدا ہوتا ہے: ‘اگر اگلی الگورتھم ایجاد موجودہ آرکیٹیکچرز میں اچھی طرح سے ترجمہ نہیں کرتی ہے تو کیا ہوتا ہے؟’
چپ ڈیزائن اور الگورتھم ایجاد کے درمیان تنازعہ
گزشتہ چند سالوں میں، اے آئی چپ مینوفیکچررز نے مسلسل اطلاع دی ہے کہ بڑے اے آئی چپس ڈیزائن کرنے میں کم از کم 1-2 سال لگتے ہیں۔ اس کا مطلب ہے کہ چپ ڈیزائن کو چپ کی مارکیٹ میں ریلیز سے بہت پہلے شروع کرنا چاہیے۔ اے آئی ٹیکنالوجی میں تیز رفتار ترقی کے پیش نظر، اے آئی چپ ڈیزائن مستقبل پر مبنی ہونا چاہیے۔ صرف موجودہ ضروریات پر توجہ مرکوز کرنے کے نتیجے میں پرانے اے آئی چپس بنیں گے جو تازہ ترین ایپلیکیشن ایجادات کے مطابق نہیں ہو سکتے۔
اے آئی ایپلیکیشن الگورتھم ایجاد اب ہفتہ وار بنیادوں پر ہوتی ہے۔ جیسا کہ پچھلے مضامین میں ذکر کیا گیا ہے، اے آئی ماڈلز کو ایک جیسی صلاحیتوں کو حاصل کرنے کے لیے درکار کمپیوٹنگ پاور میں سالانہ 4-10 گنا کمی واقع ہوتی ہے۔ جی پی ٹی-3 (GPT-3) کے برابر معیار حاصل کرنے والے اے آئی ماڈلز کی انفرنس کاسٹ (inference cost) میں گزشتہ تین سالوں میں 1200 گنا کمی واقع ہوئی ہے۔ فی الحال، 2B پیرامیٹرز (parameters) والے ماڈلز ماضی کے 170B پیرامیٹر جی پی ٹی-3 (GPT-3) کے برابر سطح حاصل کر سکتے ہیں۔ اے آئی ٹیکنالوجی اسٹیک کی اوپری تہوں میں یہ تیز رفتار جدت روایتی چپ آرکیٹیکچر پلاننگ اور ڈیزائن کے لیے اہم چیلنجز پیش کرتی ہے۔
الاد راز کا خیال ہے کہ صنعت کو ڈیپ سیک ایم ایل اے جیسی ایجادات کو اے آئی ٹیکنالوجی کے معمول کے طور پر تسلیم کرنے کی ضرورت ہے۔ ‘اگلی نسل کی کمپیوٹنگ کو نہ صرف آج کے ورک لوڈز (workloads) کے لیے بہتر بنانا چاہیے بلکہ مستقبل کی پیش رفت کو بھی ایڈجسٹ کرنا چاہیے۔’ یہ نقطہ نظر نہ صرف چپ انڈسٹری پر لاگو ہوتا ہے بلکہ اے آئی ٹیکنالوجی اسٹیک کے پورے درمیانی سے نچلی سطح کے انفراسٹرکچر پر بھی لاگو ہوتا ہے۔
الاد راز نے کہا کہ ‘ڈیپ سیک اور دیگر ایجادات نے الگورتھم ایجاد کی تیز رفتار ترقی کو ظاہر کیا ہے۔ محققین اور ڈیٹا سائنسدانوں کو نئی بصیرتیں اور دریافتیں کرنے کے لیے زیادہ ورسٹائل، لچکدار اوزار کی ضرورت ہے۔ مارکیٹ کو ذہین، سافٹ ویئر سے متعین ہارڈ ویئر کمپیوٹنگ پلیٹ فارمز کی ضرورت ہے جو صارفین کو موجودہ ایکسلریٹر (accelerator) سلوشنز کو ‘ڈراپ-ان ریپلیس’ کرنے کی اجازت دیتے ہیں، جبکہ ڈیولپرز کو اپنے کام کو بغیر کسی تکلیف کے پورٹ کرنے کے قابل بناتے ہیں۔’
اس صورتحال سے نمٹنے کے لیے، صنعت کو زیادہ ذہین، موافق اور لچکدار کمپیوٹنگ انفراسٹرکچر ڈیزائن کرنا چاہیے۔
لچک اور کارکردگی اکثر متضاد اہداف ہوتے ہیں۔ سی پی یوز (CPUs) انتہائی لچکدار ہوتے ہیں لیکن جی پی یوز (GPUs) کے مقابلے میں متوازی کمپیوٹنگ کی کارکردگی نمایاں طور پر کم ہوتی ہے۔ جی پی یوز، اپنی پروگرام ایبلٹی (programmability) کے ساتھ، ڈیڈیکیٹڈ (dedicated) اے آئی اے ایس آئی سی (ASIC) چپس کے مقابلے میں کم موثر ہو سکتے ہیں۔
الاد راز نے نوٹ کیا کہ این وی آئی ڈی آئی اے (NVIDIA) کو توقع ہے کہ اے آئی ڈیٹا سینٹر ریک (rack) جلد ہی 600 کلو واٹ پاور کی کھپت تک پہنچ جائیں گے۔ سیاق و سباق کے لیے، 75% معیاری انٹرپرائز ڈیٹا سینٹرز میں فی ریک (rack) صرف 15-20 کلو واٹ کی چوٹی کی پاور کی کھپت ہوتی ہے۔ اے آئی میں ممکنہ کارکردگی کے فوائد سے قطع نظر، یہ کمپیوٹنگ انفراسٹرکچر سسٹم بنانے والے ڈیٹا سینٹرز کے لیے ایک اہم چیلنج ہے۔
الاد راز کے نقطہ نظر میں، موجودہ جی پی یوز (GPUs) اور اے آئی ایکسلریٹرز (accelerators) اے آئی اور ہائی پرفارمنس کمپیوٹنگ (HPC) کی ممکنہ مانگ کو پورا کرنے کے لیے کافی نہیں ہو سکتے ہیں۔ ‘اگر ہم کمپیوٹنگ کی کارکردگی کو بہتر بنانے کے طریقے پر بنیادی طور پر نظر ثانی نہیں کرتے ہیں، تو صنعت کو جسمانی اور معاشی حدود سے دوچار ہونے کا خطرہ ہے۔ اس رکاوٹ کے ضمنی اثرات بھی ہوں گے، جو زیادہ تنظیموں کے لیے اے آئی اور ایچ پی سی تک رسائی کو محدود کریں گے، الگورتھم یا روایتی جی پی یو آرکیٹیکچرز میں ترقی کے باوجود اختراع میں رکاوٹ پیدا کریں گے۔’
اگلی نسل کے کمپیوٹنگ انفراسٹرکچر کے لیے سفارشات اور تقاضے
ان مشاہدات کی بنیاد پر، الاد راز نے اگلی نسل کے کمپیوٹنگ انفراسٹرکچر کی وضاحت کے لیے ‘چار ستون’ تجویز کیے:
(1) پلگ اینڈ پلے ریپلیسیبلٹی (Plug-and-Play Replaceability): ‘تاریخ نے ثابت کیا ہے کہ پیچیدہ آرکیٹیکچر ٹرانزیشنز (transitions)، جیسے سی پی یو سے جی پی یو کی منتقلی، کو مکمل طور پر نافذ کرنے میں دہائیاں لگ سکتی ہیں۔ اس لیے، اگلی نسل کے کمپیوٹنگ آرکیٹیکچرز کو ہموار منتقلی کی حمایت کرنی چاہیے۔’ ‘پلگ اینڈ پلے’ ریپلیسیبلٹی کے لیے، الاد راز تجویز کرتے ہیں کہ نئے کمپیوٹنگ آرکیٹیکچرز کو x86 اور آرم (Arm) ایکو سسٹم (ecosystem) سے سیکھنا چاہیے، جو پچھلی مطابقت کے ذریعے وسیع پیمانے پر اپنایا جانا حاصل کرتے ہیں۔
جدید ڈیزائنز کو ڈیولپرز کو بڑی مقدار میں کوڈ دوبارہ لکھنے یا مخصوص وینڈرز (vendors) پر انحصار پیدا کرنے کی ضرورت سے بھی گریز کرنا چاہیے۔ ‘مثال کے طور پر، ابھرتی ہوئی ٹیکنالوجیز جیسے ایم ایل اے کے لیے سپورٹ کو معیاری بنایا جانا چاہیے، بجائے اس کے کہ اضافی دستی ایڈجسٹمنٹ کی ضرورت ہو جیسا کہ نان-این وی آئی ڈی آئی اے جی پی یوز کے معاملے میں ہے۔ اگلی نسل کے سسٹمز کو بغیر دستی کوڈ کی تبدیلیوں یا اہم اے پی آئی ایڈجسٹمنٹس کی ضرورت کے، نئے ورک لوڈز کو سمجھنا اور باکس سے باہر بہتر بنانا چاہیے۔’
(2) ایڈاپٹیبل (Adaptable)، ریئل ٹائم پرفارمنس آپٹیمائزیشن (Real-Time Performance Optimization): الاد راز کا خیال ہے کہ صنعت کو فکسڈ-فنکشن ایکسلریٹرز (fixed-function accelerators) سے دور ہٹ جانا چاہیے۔ ‘صنعت کو ذہین، سافٹ ویئر سے متعین ہارڈ ویئر کی بنیادوں پر تعمیر کرنے کی ضرورت ہے جو رن ٹائم (runtime) پر متحرک طور پر خود کو بہتر بنا سکیں۔’
‘ورک لوڈز سے مسلسل سیکھ کر، مستقبل کے سسٹمز حقیقی وقت میں خود کو ایڈجسٹ کر سکتے ہیں، استعمال اور برقرار کارکردگی کو زیادہ سے زیادہ کر سکتے ہیں، قطع نظر اس کے کہ مخصوص ایپلیکیشن ورک لوڈ کیا ہے۔ اس متحرک موافقت کا مطلب ہے کہ انفراسٹرکچر حقیقی دنیا کے منظرناموں میں مستقل کارکردگی فراہم کر سکتا ہے، چاہے وہ ایچ پی سی سیمولیشنز، پیچیدہ اے آئی ماڈلز، یا ویکٹر ڈیٹا بیس آپریشنز چلا رہا ہو۔’
(3) اسکیل ایبل (Scalable) ایفیشینسی (Efficiency): ‘ہارڈ ویئر اور سافٹ ویئر کو الگ کر کے اور ذہین ریئل ٹائم آپٹیمائزیشن پر توجہ مرکوز کر کے، مستقبل کے سسٹمز کو زیادہ استعمال اور کم مجموعی توانائی کی کھپت حاصل کرنی چاہیے۔ اس سے انفراسٹرکچر زیادہ لاگت والا اور نئے ورک لوڈز کی ترقی پذیر مطالبات کو پورا کرنے کے لیے اسکیل ایبل ہو جائے گا۔’
(4) فیوچر-ڈیزائن (Future-Design): یہ نکتہ اے آئی انفراسٹرکچر، خاص طور پر چپ ڈیزائن کے لیے مستقبل پر مبنی تقاضے سے مطابقت رکھتا ہے۔ ‘آج کے جدید ترین الگورتھم کل متروک ہو سکتے ہیں۔’ ‘چاہے وہ اے آئی نیورل نیٹ ورکس ہوں یا ٹرانسفارمر پر مبنی ایل ایل ایم ماڈلز، اگلی نسل کے کمپیوٹنگ انفراسٹرکچر کو موافق ہونے کی ضرورت ہے، اس بات کو یقینی بناتے ہوئے کہ کاروباری اداروں کی ٹیکنالوجی سرمایہ کاری آنے والے سالوں تک لچکدار رہے۔’
یہ تجاویز ایک نسبتاً مثالی لیکن فکر انگیز نقطہ نظر پیش کرتی ہیں۔ اس رہنمائی کے طریقہ کار پر اے آئی اور ایچ پی سی ٹیکنالوجیز کی مستقبل کی ترقی کے لیے غور کیا جانا چاہیے، یہاں تک کہ اگر کچھ موروثی تضادات صنعت میں طویل عرصے سے جاری مسائل باقی رہیں۔ ‘اے آئی، ایچ پی سی، اور دیگر مستقبل کی کمپیوٹنگ اور ڈیٹا پر مبنی ورک لوڈز کی صلاحیت کو اجاگر کرنے کے لیے، ہمیں انفراسٹرکچر پر نظر ثانی کرنی چاہیے اور اختراع اور علمبرداروں کی حمایت کے لیے متحرک اور ذہین سلوشنز کو اپنانا چاہیے۔’