مائیکروسافٹ کی جانب سے تیار کردہ 1-بٹ LLM: روزمرہ کے CPUs پر موثر GenAI کے لیے ایک انقلاب
مصنوعی ذہانت کے متحرک منظر نامے میں، مائیکروسافٹ ریسرچ کی جانب سے ایک اہم پیش رفت سامنے آئی ہے جو جنریٹیو اے آئی کی رسائی اور کارکردگی کو نئی تعریف دینے کا وعدہ کرتی ہے۔ ان کے حالیہ مقالے میں BitNet b1.58 2B4T متعارف کرایا گیا ہے، جو ایک بڑا لسانی ماڈل (LLM) ہے جو ‘1-بٹ’ وزن، یا زیادہ واضح طور پر، 1-ٹریٹ وزن کے ساتھ مقامی تربیت کے ذریعے ممتاز ہے۔ یہ اختراعی نقطہ نظر روایتی طریقوں سے انحراف کی نشاندہی کرتا ہے جو ابتدائی طور پر مکمل درستگی میں تربیت یافتہ ماڈلز کو مقدار میں تبدیل کرنے پر انحصار کرتے ہیں۔
روایتی LLMs کی حدود پر قابو پانا
روایتی LLMs، اپنی قابل ذکر کارکردگی کے باوجود، کافی رکاوٹوں سے نمٹتے ہیں جو ان کے وسیع پیمانے پر اختیار کرنے میں رکاوٹ ہیں۔ یہ حدود بنیادی طور پر ان کے بڑے میموری فٹ پرنٹس، کافی توانائی کی کھپت، اور نمایاں انفرنس لیٹنسی سے پیدا ہوتی ہیں۔ نتیجے کے طور پر، ان ماڈلز کو ایج ڈیوائسز پر، محدود وسائل والے ماحول میں، اور حقیقی وقت کی ایپلی کیشنز کے لیے تعینات کرنا غیر عملی ہو جاتا ہے۔
ان چیلنجوں کو کم کرنے کے لیے، اے آئی کمیونٹی نے تیزی سے مقدار میں تبدیل شدہ ماڈلز کو تلاش کرنے پر توجہ مرکوز کی ہے۔ یہ ماڈلز ان کے مکمل درستگی کے ہم منصبوں سے حاصل کیے گئے ہیں جن کے وزن کو کم بٹ فارمیٹ میں تبدیل کیا گیا ہے۔ اگرچہ مقداریकरण ماڈل کے سائز اور کمپیوٹیشنل مطالبات کو کم کرنے کا ایک راستہ پیش کرتا ہے، لیکن یہ اکثر درستگی کے نقصان کی قیمت پر آتا ہے، ممکنہ طور پرماڈل کی درستگی اور مجموعی کارکردگی کو متاثر کرتا ہے۔
BitNet b1.58 2B4T آرکیٹیکچر
BitNet b1.58 2B4T LLM ڈیزائن میں ایک مثالی تبدیلی کی نمائندگی کرتا ہے، جو 1-بٹ وزن کا استعمال کرتے ہوئے شروع سے ماڈل کو تربیت دے کر مقداریकरण سے وابستہ درستگی کے نقصان سے بچتا ہے۔ یہ نقطہ نظر ماڈل کو چھوٹے وزن کے فوائد کو برقرار رکھنے کی اجازت دیتا ہے، بشمول کم میموری فٹ پرنٹ اور کم کمپیوٹیشنل لاگت۔
مائیکروسافٹ کے محققین نے 4 ٹریلین ٹوکنز کے ایک بڑے کارپس پر BitNet b1.58 2B4T کو تربیت دے کر اس پرجوش کوشش کا آغاز کیا۔ اس وسیع تربیتی ڈیٹا سیٹ نے اس بات کو یقینی بنایا کہ ماڈل پیچیدہ لسانی نمونوں کو مؤثر طریقے سے سیکھ سکتا ہے اور انسانی مواصلات کی باریکیوں کی جامع سمجھ پیدا کر سکتا ہے۔
کارکردگی کی تشخیص اور بینچ مارکنگ
BitNet b1.58 2B4T کی افادیت کا جائزہ لینے کے لیے، مائیکروسافٹ نے سخت بینچ مارکس منعقد کیے، جس میں اس کی کارکردگی کا موازنہ اسی سائز کے معروف اوپن ویٹ، مکمل درستگی والے ماڈلز سے کیا گیا۔ نتائج سے پتہ چلا کہ نیا ماڈل زبان کی سمجھ اور استدلال، عالمی علم، پڑھنے کی فہم، ریاضی اور کوڈ، اور ہدایات پر عمل کرنے اور بات چیت کرنے سمیت وسیع پیمانے پر کاموں میں یکساں طور پر کارکردگی کا مظاہرہ کر رہا ہے۔
ان نتائج سے 1-بٹ LLMs کی مکمل درستگی کے ہم منصبوں کے ساتھ کارکردگی برابری حاصل کرنے کی صلاحیت کو اجاگر کیا گیا ہے، جبکہ بیک وقت کارکردگی اور وسائل کے استعمال کے لحاظ سے اہم فوائد پیش کیے گئے ہیں۔
کلیدی آرکیٹیکچرل اختراعات
BitNet b1.58 2B4T کے دل میں اس کا اختراعی فن تعمیر ہے، جو معیاری مکمل درستگی والی لکیری تہوں کو کسٹم BitLinear تہوں سے بدلتا ہے۔ یہ تہیں فارورڈ پاس کے دوران وزن کو ترنری اقدار (trits) کے طور پر انکوڈ کرنے کے لیے 1.58-بٹ کی نمائندگیوں کا استعمال کرتی ہیں۔
ترنری اقدار کا استعمال، جو {-1, 0, +1} کے طور پر ظاہر ہوتا ہے، ماڈل کے سائز میں زبردست کمی کو ممکن بناتا ہے اور موثر ریاضیاتی کارروائیوں کو آسان بناتا ہے۔ یہ ایک مطلق اوسط (absmean) مقداریकरण اسکیم کے ذریعے حاصل کیا جاتا ہے، جو وزن کو ان ترنری اقدار میں نقش کرتا ہے۔
BitLinear تہوں کے علاوہ، BitNet b1.58 2B4T کئی قائم شدہ LLM تکنیکوں کو شامل کرتا ہے، جیسے کہ مربع ReLU ایکٹیویشن فنکشنز، روٹری پوزیشنل ایمبیڈنگز، اور تعصب اصطلاح کو ہٹانا۔ یہ تکنیک ماڈل کے سائز کو کم کرنے اور تربیتی استحکام کو بہتر بنانے میں مزید معاون ہیں۔
تربیتی استحکام اور کارکردگی کو بڑھانا
BitLinear تہوں میں استعمال ہونے والی دو اضافی تکنیکیں—فعالیت کا مقداریकरण اور معمول بنانا—ماڈل کے سائز کو کم کرنے اور تربیتی استحکام کو بڑھانے میں اہم کردار ادا کرتی ہیں۔ ایکٹیویشن مقداریकरण ایکٹیویشن کی درستگی کو کم کرتا ہے، جبکہ معمول بنانے کی تکنیکیں ایکٹیویشن کو بہت بڑا یا بہت چھوٹا ہونے سے روکنے میں مدد کرتی ہیں۔
یہ تکنیکیں، 1-بٹ وزن کے استعمال کے ساتھ مل کر، BitNet b1.58 2B4T کو بڑے ڈیٹا سیٹس پر بھی زیادہ مؤثر اور مؤثر طریقے سے تربیت دینے کے قابل بناتی ہیں۔
تربیتی طریقہ کار
تربیت کے لیے، BitNet b1.58 2B4T تین کلیدی تکنیکوں کا فائدہ اٹھاتا ہے: بڑے پیمانے پر پہلے سے تربیت، زیر نگرانی عمدہ ٹیوننگ، اور براہ راست ترجیحی اصلاح۔
بڑے پیمانے پر پہلے سے تربیت
اس ابتدائی مرحلے میں ماڈل کو متن اور کوڈ کے ایک بڑے ڈیٹا سیٹ پر تربیت دینا شامل ہے، جس سے اسے عام لسانی نمونے سیکھنے اور دنیا کی وسیع سمجھ پیدا کرنے کی اجازت ملتی ہے۔
زیر نگرانی عمدہ ٹیوننگ
اس مرحلے میں، ماڈل کو ایک چھوٹے، زیادہ مخصوص ڈیٹا سیٹ پر عمدہ ٹیون کیا جاتا ہے، جو کسی خاص کام یا ڈومین کے مطابق ہوتا ہے۔ یہ ماڈل کو کام کی مخصوص ضروریات کے مطابق اپنے علم اور مہارت کو ڈھالنے کی اجازت دیتا ہے۔
براہ راست ترجیحی اصلاح
اس تکنیک میں ماڈل کو انسانی ترجیحات کے لیے براہ راست بہتر بنانے کے لیے تربیت دینا شامل ہے، جیسا کہ تاثرات یا درجہ بندیوں کے ذریعے ظاہر کیا گیا ہے۔ اس سے یہ یقینی بنانے میں مدد ملتی ہے کہ ماڈل کے نتائج انسانی اقدار اور توقعات کے ساتھمنسلک ہیں۔
محققین نے نوٹ کیا کہ مزید جدید تکنیکیں، جیسے کہ Proximal Policy Optimization یا Group Relative Policy Optimization، مستقبل میں ریاضی کی صلاحیتوں اور چین آف تھاٹ ریزننگ کو بڑھانے کے لیے تلاش کی جائیں گی۔
Bitnet.cpp انفرنس لائبریری
BitNet b1.58 2B4T کی منفرد مقداریकरण اسکیم کو دیکھتے ہوئے، ماڈل کو معیاری ڈیپ لرننگ لائبریریوں جیسے llama.cpp کے ساتھ استعمال نہیں کیا جا سکتا اور اس کے لیے ایک خصوصی کرنل کی ضرورت ہے۔ اس چیلنج سے نمٹنے کے لیے، مائیکروسافٹ نے ایک اوپن سورس وقف شدہ انفرنس لائبریری، bitnet.cpp تیار کی ہے۔
bitnet.cpp 1-بٹ LLMs کے لیے سرکاری انفرنس فریم ورک کے طور پر کام کرتا ہے، جیسے BitNet b1.58۔ یہ CPU پر 1.58-بٹ ماڈلز کے تیز اور بے ضرر انفرنس کو سپورٹ کرنے والے آپٹمائزڈ کرنلز کا ایک مجموعہ پیش کرتا ہے، مستقبل میں NPUs اور GPUs تک سپورٹ بڑھانے کے منصوبوں کے ساتھ۔
یہ انفرنس لائبریری BitNet b1.58 2B4T کو آلات اور پلیٹ فارمز کی وسیع رینج پر تعینات کرنے کے قابل بنانے کے لیے بہت ضروری ہے، جو اسے ڈویلپرز اور محققین کے لیے زیادہ قابل رسائی بناتی ہے۔
مستقبل کی تحقیقی سمتیں
محققین تسلیم کرتے ہیں کہ موجودہ GPU ہارڈویئر 1-بٹ ماڈلز کے لیے موزوں نہیں ہے اور یہ کہ کم بٹ آپریشنز کے لیے وقف شدہ منطق کو شامل کرکے مزید کارکردگی میں اضافہ حاصل کیا جا سکتا ہے۔ اس سے پتہ چلتا ہے کہ مستقبل کے ہارڈویئر آرکیٹیکچرز کو خاص طور پر 1-بٹ LLMs کو سپورٹ کرنے کے لیے ڈیزائن کیا جا سکتا ہے، جس سے اور بھی زیادہ کارکردگی اور کارکردگی حاصل ہوگی۔
ہارڈویئر اصلاح کے علاوہ، مستقبل کی تحقیقی سمتوں میں بڑے ماڈلز کی تربیت، کثیر لسانی صلاحیتوں اور کثیر ماڈل انضمام کا اضافہ، اور سیاق و سباق کی ونڈو کی لمبائی میں توسیع شامل ہے۔ یہ پیشرفت BitNet b1.58 2B4T اور دیگر 1-بٹ LLMs کی صلاحیتوں اور استعداد کو مزید بڑھائے گی۔
مضمرات اور ممکنہ اثرات
BitNet b1.58 2B4T کی ترقی کے AI کے مستقبل کے لیے اہم مضمرات ہیں، خاص طور پر جنریٹیو AI کے دائرے میں۔ یہ ظاہر کرتے ہوئے کہ صرف 1-بٹ وزن کا استعمال کرتے ہوئے اعلی کارکردگی والے LLMs کو تربیت دینا ممکن ہے، مائیکروسافٹ نے زیادہ موثر اور قابل رسائی AI نظام بنانے کے لیے نئی راہیں کھول دی ہیں۔
یہ پیش رفت اسمارٹ فونز، IoT آلات، اور دیگر محدود وسائل والے پلیٹ فارمز سمیت آلات کی وسیع رینج پر AI ماڈلز کی تعیناتی کا باعث بن سکتی ہے۔ یہ زیادہ توانائی سے چلنے والے AI نظاموں کی ترقی کو بھی قابل بنا سکتا ہے، جس سے ان کے ماحولیاتی اثرات کم ہو سکتے ہیں۔
مزید برآں، 1-بٹ وزن کے ساتھ LLMs کو تربیت دینے کی صلاحیت مخصوص ایپلی کیشنز کے لیے AI ماڈلز کو اپنی مرضی کے مطابق بنانے اور ذاتی بنانے میں آسانی پیدا کر سکتی ہے۔ اس سے زیادہ موثر اور صارف دوست AI نظاموں کی ترقی ہو سکتی ہے جو انفرادی صارفین اور تنظیموں کی منفرد ضروریات کے مطابق ہوں۔
نتیجہ
مائیکروسافٹ کا BitNet b1.58 2B4T زیادہ موثر اور قابل رسائی AI کی تلاش میں ایک اہم قدم کی نمائندگی کرتا ہے۔ یہ ظاہر کرتے ہوئے کہ صرف 1-بٹ وزن کا استعمال کرتے ہوئے اعلی کارکردگی والے LLMs کو تربیت دینا ممکن ہے، مائیکروسافٹ نے روایتی حکمت کو چیلنج کیا ہے اور AI کے مستقبل کے لیے نئی راہیں کھول دی ہیں۔
جیسے جیسے اس شعبے میں تحقیق جاری ہے، ہم 1-بٹ LLMs کی اور بھی زیادہ اختراعی ایپلی کیشنز دیکھنے کی توقع کر سکتے ہیں، جس کی وجہ سے ایک ایسا مستقبل ہوگا جہاں AI زیادہ وسیع، موثر اور مجموعی طور پر معاشرے کے لیے فائدہ مند ہو۔