مائیکروسافٹ فائی: اے آئی میں چھوٹا ماڈل انقلاب

مائیکروسافٹ نے اپنے چھوٹے لسانی ماڈلز (SLMs) کی حد متعارف کرانے کے ایک سال بعد، Azure AI Foundry پر Phi-3 کے اجرا کے ساتھ، اپنی اگلی نسل کے ماڈلز کی نقاب کشائی کی ہے: Phi-4-reasoning، Phi-4-reasoning-plus، اور Phi-4-mini-reasoning۔ یہ اختراعات SLMs کے لیے ایک اہم موڑ کی نشاندہی کرتی ہیں، جو اس بات کی نئی تعریف کرتی ہیں کہ کمپیکٹ اور موثر AI کے ساتھ کیا حاصل کیا جا سکتا ہے۔

فائی-ریزنگ ماڈلز کا آغاز

نئے Phi-reasoning ماڈلز کو انفرنس کے وقت اسکیلنگ کو پیچیدہ کاموں کے لیے استعمال کرنے کے لیے تیار کیا گیا ہے جن میں کثیر قدمی تخفیف اور اندرونی عکاسی کی ضرورت ہوتی ہے۔ یہ ماڈلز ریاضیاتی استدلال میں غیر معمولی صلاحیتوں کا مظاہرہ کرتے ہیں، اور ایجنٹ نما ایپلی کیشنز کی بنیاد کے طور پر اپنے آپ کو قائم کرتے ہیں جو پیچیدہ اور کثیر الجہتی کاموں کو سنبھالتے ہیں۔ تاریخی طور پر، اس طرح کی صلاحیتیں نمایاں طور پر بڑے ماڈلز کے لیے مخصوص تھیں۔ Phi-reasoning ماڈلز SLMs کی ایک نئی قسم متعارف کراتے ہیں جو سائز اور کارکردگی کے درمیان توازن قائم کرنے کے لیے کشید، کمک سیکھنے اور اعلیٰ معیار کے ڈیٹا کا فائدہ اٹھاتے ہیں۔ ان کا کمپیکٹ سائز انہیں کم تاخیر والے ماحول کے لیے موزوں بناتا ہے، جبکہ ان کی مضبوط استدلال کی صلاحیتیں بہت بڑے ماڈلز کا مقابلہ کرتی ہیں۔ کارکردگی اور صلاحیت کا یہ امتزاج محدود وسائل والے آلات کو بھی پیچیدہ استدلال کے کاموں کو مؤثر طریقے سے انجام دینے کی اجازت دیتا ہے۔

فائی-4-ریزنگ اور فائی-4-ریزنگ-پلس: مزید گہرائی میں

فائی-4-ریزنگ: اوپن-ویٹ ریزنگ ماڈل

Phi-4-reasoning ایک اوپن ویٹ ریزنگ ماڈل کے طور پر نمایاں ہے جس میں 14 بلین پیرامیٹرز ہیں۔ اسے پیچیدہ استدلال کے کاموں میں نمایاں طور پر بڑے ماڈلز سے مقابلہ کرنے کے لیے ڈیزائن کیا گیا ہے۔ اس ماڈل کو OpenAI کے o3-mini سے اخذ کردہ احتیاط سے تیار کردہ استدلال کی مثالوں پر Phi-4 کی نگرانی میں عمدہ ٹیوننگ کے ذریعے تربیت دی گئی تھی۔ Phi-4-reasoning تفصیلی استدلال کی زنجیریں تیار کرتا ہے، جو اندازے کے دوران اضافی کمپیوٹیشن وقت کو مؤثر طریقے سے استعمال کرتا ہے۔ یہ کامیابی اس بات پر زور دیتی ہے کہ کس طرح درست ڈیٹا کیوریٹنگ اور اعلیٰ معیار کے مصنوعی ڈیٹا سیٹ چھوٹے ماڈلز کو ان کے بڑے ہم منصبوں کا مقابلہ کرنے کے لیے بااختیار بناتے ہیں۔

فائی-4-ریزنگ-پلس: کمک سیکھنے کے ساتھ استدلال کو بڑھانا

Phi-4-reasoning کی صلاحیتوں پر تعمیر کرتے ہوئے، Phi-4-reasoning-plus انفرنس کے دوران اضافی حساب کتاب کے وقت سے فائدہ اٹھانے کے لیے کمک سیکھنے کے ساتھ مزید تربیت حاصل کرتا ہے۔ یہ Phi-4-reasoning کے مقابلے میں 1.5 گنا زیادہ ٹوکن پر کارروائی کرتا ہے، جس کے نتیجے میں درستگی میں اضافہ ہوتا ہے۔

کارکردگی کے بینچ مارکس

ان کے نمایاں طور پر چھوٹے سائز کے باوجود، Phi-4-reasoning اور Phi-4-reasoning-plus دونوں ریاضیاتی استدلال اور پی ایچ ڈی سطح کی سائنسی پوچھ گچھ سمیت مختلف بینچ مارکس میں OpenAI کے o1-mini اور DeepSeek-R1-Distill-Llama-70B سے بہتر کارکردگی کا مظاہرہ کرتے ہیں۔ متاثر کن طور پر، وہ AIME 2025 ٹیسٹ میں مکمل DeepSeek-R1 ماڈل (671 بلین پیرامیٹرز کے ساتھ) کو بھی پیچھے چھوڑ دیتے ہیں، جو کہ 2025 کے USA Math Olympiad کے لیے کوالیفائنگ مقابلہ کے طور پر کام کرتا ہے۔ دونوں ماڈلز Azure AI Foundry اور Hugging Face پر آسانی سے دستیاب ہیں۔

Phi-4-Mini-Reasoning: محدود ماحول کے لیے کمپیکٹ پاور ہاؤس

Phi-4-mini-reasoning خاص طور پر ایک کمپیکٹ ریزنگ ماڈل کی مانگ کو پورا کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ ٹرانسفارمر پر مبنی لینگویج ماڈل ریاضیاتی استدلال کے لیے موزوں ہے اور ان ماحول میں اعلیٰ معیار کی، مرحلہ وار مسئلہ حل کرنے کی صلاحیتیں پیش کرتا ہے جہاں کمپیوٹنگ پاور یا تاخیر محدود ہو۔ Deepseek-R1 ماڈل کے ذریعہ تیار کردہ مصنوعی ڈیٹا کا استعمال کرتے ہوئے فائن ٹیونڈ، یہ مؤثر طریقے سے اعلی درجے کی استدلال کی صلاحیتوں کے ساتھ کارکردگی کو متوازن کرتا ہے۔ یہ اسے تعلیمی ایپلی کیشنز، ایمبیڈڈ ٹیوشننگ سسٹم اور ایج یا موبائل سسٹم پر ہلکے وزن کی تعیناتیوں کے لیے مثالی بناتا ہے۔ ماڈل کو دس لاکھ سے زیادہ متنوع ریاضیاتی مسائل پر تربیت دی گئی ہے، جس میں مڈل اسکول سے لے کر پی ایچ ڈی کی سطح تک کی مشکل شامل ہے، جو تعلیمی سیاق و سباق کی وسیع رینج میں اس کی استعداد اور تاثیر کو یقینی بناتی ہے۔

ایکشن میں فائی: افق کو وسعت دینا

گزشتہ سال کے دوران Phi کے ارتقاء نے مسلسل سائز کے لحاظ سے معیار کی حدود کو آگے بڑھایا ہے، خاندان نئی خصوصیات کو شامل کرنے کے لیے تیار ہو رہا ہے جو متنوع ضروریات کے مطابق ہوں۔ یہ ماڈلز ونڈوز 11 کے مختلف آلات پر CPUs اور GPUs دونوں پر مقامی طور پر چلائے جا سکتے ہیں، جو مختلف ہارڈ ویئر کنفیگریشن والے صارفین کو لچک اور رسائی فراہم کرتے ہیں۔

Copilot+ PCs کے ساتھ انضمام: AI سے چلنے والی کمپیوٹنگ کا ایک نیا دور

Phi ماڈلز Copilot+ PCs کا ایک لازمی حصہ ہیں، جو NPU-optimized Phi Silica ویرینٹ کا فائدہ اٹھاتے ہیں۔ Phi کا یہ انتہائی موثر ورژن، جو آپریٹنگ سسٹم کے زیر انتظام ہے، میموری میں پہلے سے لوڈ ہونے کے لیے ڈیزائن کیا گیا ہے، جو تیز رفتار ردعمل کے اوقات اور توانائی سے موثر ٹوکن تھرو پٹ پیش کرتا ہے۔ یہ اسے پی سی پر دیگر ایپلی کیشنز کے ساتھ بیک وقت طلب کرنے کے قابل بناتا ہے، ملٹی ٹاسکنگ کی صلاحیتوں اور مجموعی نظام کی کارکردگی کو بڑھاتا ہے۔

حقیقی دنیا کی ایپلی کیشنز

Phi ماڈلز پہلے سے ہی بنیادی تجربات میں استعمال ہو رہے ہیں جیسے کہ کلک ٹو ڈو، جو اسکرین پر موجود تمام مواد کے لیے ذہین ٹیکسٹ ٹولز فراہم کرتا ہے۔ وہ ایپلی کیشنز میں بغیر کسی رکاوٹ کے انضمام کے لیے ڈیولپر APIs کے طور پر بھی دستیاب ہیں۔ ماڈلز فی الحال مختلف پروڈکٹیوٹی ایپلی کیشنز جیسے Outlook میں استعمال ہو رہے ہیں، جہاں وہ آف لائن Copilot سمریزیشن خصوصیات فراہم کرتے ہیں۔ Phi-4-reasoning اور Phi-4-mini-reasoning ماڈلز Phi Silica کے لیے کم بٹ آپٹیمائزیشن کا فائدہ اٹھاتے ہیں اور جلد ہی Copilot+ PC NPUs پر چلانے کے لیے دستیاب ہوں گے۔

ذمہ دار AI اور حفاظت کے لیے مائیکروسافٹ کا عزم

مائیکروسافٹ میں، ذمہ دار AI ایک بنیادی اصول ہے جو AI سسٹمز کی ترقی اور تعیناتی کی رہنمائی کرتا ہے، بشمول Phi ماڈلز۔ Phi ماڈلز کو Microsoft AI کے اصولوں کے مطابق تیار کیا گیا ہے: جوابدہی، شفافیت، انصاف، وشوسنییتا اور حفاظت، رازداری اور سلامتی، اور شمولیت۔ ماڈلز کا Phi خاندان پوسٹ ٹریننگ سیفٹی کے لیے ایک مضبوط طریقہ کار استعمال کرتا ہے، ان کے ذمہ دارانہ اور اخلاقی استعمال کو یقینی بنانے کے لیے سپروائزڈ فائن ٹیوننگ (SFT)، ڈائریکٹ پریفرنس آپٹیمائزیشن (DPO)، اور ہیومن فیڈ بیک (RLHF) تکنیکوں سے کمک سیکھنے کے امتزاج کا استعمال کرتا ہے۔

فائی ماڈلز کی تکنیکی بنیادیں: ایک تفصیلی جائزہ

مائیکروسافٹ کے فائی ماڈلز چھوٹے لسانی ماڈلز کے میدان میں ایک اہم پیش رفت کی نمائندگی کرتے ہیں، خاص طور پر نسبتاً کم پیرامیٹرز کے ساتھ پیچیدہ استدلال کے کام انجام دینے کی ان کی صلاحیت میں۔ یہ سیکشن ان تکنیکی تفصیلات میں شامل ہے جو ان ماڈلز کو اتنی متاثر کن کارکردگی حاصل کرنے کے قابل بناتی ہیں۔

تعمیراتی اختراعات

Phi ماڈلز ٹرانسفارمر آرکیٹیکچر پر مبنی ہیں، جو کہ ڈیپ لرننگ ماڈل ہے جس نے قدرتی زبان کی پروسیسنگ میں انقلاب برپا کر دیا ہے۔ ٹرانسفارمرز متن میں طویل فاصلے پر انحصار کو حاصل کرنے میں بہترین ہیں، جس سے ماڈلز زبان کے سیاق و سباق اور باریکیوں کو سمجھ سکتے ہیں۔

• توجہ کا میکانزم: ٹرانسفارمر فن تعمیر کا مرکز توجہ کا میکانزم ہے، جو ماڈل کو آؤٹ پٹ تیار کرتے وقت ان پٹ کے سب سے زیادہ متعلقہ حصوں پر توجہ مرکوز کرنے کی اجازت دیتا ہے۔ یہ خاص طور پر استدلال کے کاموں کے لیے اہم ہے، جہاں ماڈل کو درست نتیجہ اخذ کرنے کے لیے کلیدی معلومات اور تعلقات کی شناخت کرنے کی ضرورت ہوتی ہے۔

• اسکیلڈ ڈاٹ پروڈکٹ اٹینشن: فائی ماڈلز اسکیلڈ ڈاٹ پروڈکٹ اٹینشن کا استعمال کرتے ہیں، جو توجہ کے میکانزم کا ایک بہتر ورژن ہے جس میں ڈاٹ پروڈکٹس کو بہت بڑا ہونے سے روکنے کے لیے ایک اسکیلنگ فیکٹر شامل ہوتا ہے، جو تربیت کے دوران عدم استحکام کا باعث بن سکتا ہے۔

• ملٹی ہیڈ اٹینشن: ان پٹ کے مختلف پہلوؤں کو حاصل کرنے کے لیے، فائی ماڈلز ملٹی ہیڈ اٹینشن کا استعمال کرتے ہیں، جہاں متعدد توجہ کے میکانزم متوازی طور پر کام کرتے ہیں۔ ہر سر ان پٹ کے ایک مختلف ذیلی سیٹ پر توجہ مرکوز کرتا ہے، جس سے ماڈل کو مزید پیچیدہ نمائندگی سیکھنے کی اجازت ملتی ہے۔

• فیڈ فارورڈ نیٹ ورکس: توجہ کی تہوں کے بعد، ٹرانسفارمر فن تعمیر میں فیڈ فارورڈ نیٹ ورکس شامل ہیں جو معلومات پر مزید کارروائی کرتے ہیں۔ ان نیٹ ورکس میں نیورونز کی متعدد تہیں شامل ہوتی ہیں جو توجہ کے آؤٹ پٹ سے خصوصیات نکالنا سیکھتی ہیں۔

تربیتی طریقہ کار: ایک کثیر جہتی نقطہ نظر

فائی ماڈلز کی تربیت میں نگرانی میں عمدہ ٹیوننگ، کمک سیکھنے اور ڈیٹا کشید سمیت تکنیکوں کا امتزاج شامل ہے۔

• نگرانی میں عمدہ ٹیوننگ (SFT): نگرانی میں عمدہ ٹیوننگ میں ماڈل کو لیبل والے ڈیٹا سیٹ پر تربیت دینا شامل ہے، جہاں ان پٹ ایک سوال یا مسئلہ ہے، اور آؤٹ پٹ درست جواب یا حل ہے۔ اس سے ماڈل کو مخصوص ان پٹ کو متعلقہ آؤٹ پٹ کے ساتھ جوڑنا سیکھنے میں مدد ملتی ہے۔

• کمک سیکھنا (RL): کمک سیکھنا ایک ایسی تکنیک ہے جہاں ماڈل ماحول کے ساتھ تعامل کرکے اور اپنے اعمال کے لیے انعامات یا جرمانے وصول کرکے فیصلے کرنا سیکھتا ہے۔ لینگویج ماڈلز کے تناظر میں، ماحول قواعد یا رکاوٹوں کا ایک مجموعہ ہو سکتا ہے، اور ماڈل کے ردعمل کی درستگی کی بنیاد پر انعام دیا جا سکتا ہے۔

• ڈیٹا کشید: ڈیٹا کشید ایک ایسی تکنیک ہے جہاں ایک چھوٹے ماڈل کو ایک بڑے، زیادہ پیچیدہ ماڈل کے رویے کی نقل کرنے کے لیے تربیت دی جاتی ہے۔ یہ چھوٹے ماڈل کو بڑے ماڈل کے مقابلے میں کارکردگی حاصل کرنے کی اجازت دیتا ہے، جبکہ کم وسائل کی ضرورت ہوتی ہے۔

ڈیٹا کیوریٹنگ: کارکردگی کا سنگ بنیاد

فائی ماڈلز کی کارکردگی تربیت کے لیے استعمال ہونے والے ڈیٹا کے معیار پر بہت زیادہ انحصار کرتی ہے۔ مائیکروسافٹ نے اعلیٰ معیار کے ڈیٹا سیٹس کی تیاری میں نمایاں کوششیں کی ہیں جو خاص طور پر استدلال کے کاموں کے لیے ڈیزائن کیے گئے ہیں۔

• مصنوعی ڈیٹا جنریشن: دستیاب ڈیٹا کو بڑھانے کے لیے، مائیکروسافٹ نے مصنوعی ڈیٹا تیار کرنے کے لیے تکنیک تیار کی ہیں جو حقیقی دنیا کے ڈیٹا کی خصوصیات کی نقل کرتی ہے۔ اس سے ماڈلز کو ایک بڑے اور زیادہ متنوع ڈیٹا سیٹ پر تربیت دینے کی اجازت ملتی ہے، جو ان کی عمومیت کی صلاحیت کو بہتر بناتا ہے۔

• ڈیٹا فلٹرنگ: مائیکروسافٹ تربیتی ڈیٹا سیٹ سے شور یا غیر متعلقہ ڈیٹا کو ہٹانے کے لیے سخت ڈیٹا فلٹرنگ تکنیک کا استعمال کرتا ہے۔ یہ یقینی بناتا ہے کہ ماڈلز کو صاف اور درست ڈیٹا پر تربیت دی گئی ہے، جس سے بہتر کارکردگی حاصل ہوتی ہے۔

• ڈیٹا اگمینٹیشن: ڈیٹا اگمینٹیشن تکنیک کا استعمال موجودہ ڈیٹا میں تبدیلیاں لاگو کرکے تربیتی ڈیٹا سیٹ کے تنوع کو بڑھانے کے لیے کیا جاتا ہے۔ اس سے ماڈلز کو ان پٹ میں تغیرات کے لیے زیادہ مضبوط ہونے میں مدد ملتی ہے۔

اصلاح کی تکنیک: کارکردگی اور درستگی کو متوازن کرنا

فائی ماڈلز کو کارکردگی اور درستگی دونوں کے لیے بہتر بنایا گیا ہے، جس سے وہ کارکردگی کو قربان کیے بغیر وسائل سے محدود آلات پر چل سکتے ہیں۔

• کوانٹائزیشن: کوانٹائزیشن ایک ایسی تکنیک ہے جہاں ماڈل کے پیرامیٹرز کی درستگی کو کم کیا جاتا ہے، جو ماڈل کے میموری فوٹ پرنٹ اور حساب کتاب کی ضروریات کو کم کرتا ہے۔

• پروننگ: پروننگ ایک ایسی تکنیک ہے جہاں ماڈل میں کم اہم کنکشن کو ہٹا دیا جاتا ہے، جو ماڈل کے سائز اور پیچیدگی کو کم کرتا ہے۔

• نالج ڈسٹیلیشن: نالج ڈسٹیلیشن میں ایک بڑے، زیادہ پیچیدہ ماڈل سے ایک چھوٹے ماڈل میں علم کی منتقلی شامل ہے۔ یہ چھوٹے ماڈل کو بڑے ماڈل کے مقابلے میں کارکردگی حاصل کرنے کی اجازت دیتا ہے، جبکہ کم وسائل کی ضرورت ہوتی ہے۔

فائی سلیکا این پی یو: ایک ہارڈ ویئر سافٹ ویئر ہم آہنگی نقطہ نظر

مائیکروسافٹ کے فائی ماڈلز کو فائی سلیکا این پی یو (نیورل پروسیسنگ یونٹ) کے ساتھ مضبوطی سے مربوط کرنے کے لیے ڈیزائن کیا گیا ہے، جو ایک خصوصی ہارڈ ویئر ایکسلریٹر ہے جو ڈیپ لرننگ ورک لوڈ کے لیے موزوں ہے۔

• کم بٹ آپٹیمائزیشن: فائی سلیکا این پی یو کم بٹ آپٹیمائزیشن کی حمایت کرتا ہے، جو ماڈلز کو کم درستگی کے ساتھ چلانے کی اجازت دیتا ہے، ان کے میموری فوٹ پرنٹ اور حساب کتاب کی ضروریات کو مزید کم کرتا ہے۔

• میموری میں پہلے سے لوڈنگ: فائی ماڈلز کو میموری میں پہلے سے لوڈ کرنے کے لیے ڈیزائن کیا گیا ہے، جو انہیں تیزی سے اور مؤثر طریقے سے طلب کرنے کی اجازت دیتا ہے۔

• آپریٹنگ سسٹم مینجمنٹ: فائی سلیکا این پی یو کو آپریٹنگ سسٹم کے زیر انتظام کیا جاتا ہے، جو اسے صارف کے تجربے میں بغیر کسی رکاوٹ کے مربوط کرنے کی اجازت دیتا ہے۔

خلاصہ یہ کہ مائیکروسافٹ کے فائی ماڈلز چھوٹے لسانی ماڈلز کے میدان میں ایک اہم کامیابی کی نمائندگی کرتے ہیں۔ جدید تعمیراتی ڈیزائن، سخت تربیتی طریقہ کار، محتاط ڈیٹا کیوریٹنگ، اور ہارڈ ویئر سافٹ ویئر کے مشترکہ ڈیزائن کو یکجا کرکے، مائیکروسافٹ نے ماڈلز کا ایک خاندان تخلیق کیا ہے جو طاقتور اور کارآمد دونوں ہیں، جو AI سے چلنے والی ایپلی کیشنز کی ایک وسیع رینج کو فعال کرتے ہیں۔