OpenAI کے GPT-4.5 کی تربیت: ایک گہری نظر

OpenAI نے حال ہی میں اپنے اب تک کے سب سے بڑے ماڈل، GPT-4.5 کی تیاری کے بارے میں تفصیلات شیئر کی ہیں۔ یہ انکشاف ماڈل کی ریلیز کے ایک ماہ سے زیادہ عرصے بعد سامنے آیا، ایک بے باکانہ 45 منٹ کی گفتگو میں جس میں OpenAI کے شریک بانی اور سی ای او، سیم آلٹمین، GPT-4.5 پروجیکٹ کے تین اہم تکنیکی شخصیات کے ساتھ شامل تھے۔ اس بحث میں پہلے سے نامعلوم چیلنجز کا انکشاف کیا گیا، جس میں اہم ٹائم لائن اوور رن، کمپیوٹیشنل کلسٹر میں بار بار ناکامیاں، اور کارکردگی میں اضافے کے غیر متوقع راستے شامل ہیں۔

GPT-4.5 کی ابتدا: دو سال کی اوڈیسی

GPT-4.5 کی پہل، اس کی لانچ سے دو سال قبل تصور کی گئی، OpenAI کے اب تک کے سب سے محتاط منصوبہ بندی کی نمائندگی کرتی ہے۔ اس میں سینکڑوں افراد کی مشترکہ کوشش کی ضرورت تھی، جس میں آلٹمین نے نوٹ کیا کہ اس پروجیکٹ نے مؤثر طریقے سے OpenAI میں ‘تقریباً ہر فرد’ کو شامل کیا۔ یہ وسیع پیمانے پر شمولیت تنظیم کے وسیع تر مشن کے اندر GPT-4.5 کی تزویراتی اہمیت کو اجاگر کرتی ہے۔

ترقی کے مرحلے کے دوران، OpenAI ٹیم کو ان مسائل کا سامنا کرنا پڑا جسے انہوں نے ‘تباہ کن مسائل’ قرار دیا۔ 100,000 GPU کلسٹر کی تعیناتی نے بنیادی ڈھانچے کی کمزوریوں کو بے نقاب کیا جو غیر معمولی لیکن گہری ناکامیوں کے طور پر ظاہر ہوئیں۔ تیزرفتاری اور بہترین کارکردگی کے درمیان توازن قائم کرنے کے لیے، سسٹم انجینئرز نے ایک تکراری طریقہ کار اپنایا، بنیادی طور پر ‘تعمیر اور درست کرنا’ بیک وقت۔ ایک خاص طور پر مبہم بگ نے کلسٹر کو بار بار آنے والی غلطیوں سے دوچار کیا، جو اس وقت تک غیر محسوس رہا جب تک کہ تربیتی عمل تقریباً 40% مکمل نہیں ہو گیا تھا۔

مضحکہ خیز طور پر، ان آزمائشوں نے OpenAI کی تکنیکی بنیاد کو مضبوط کرنے میں اہم کردار ادا کیا۔ حاصل کردہ مہارت اب صرف 5-10 افراد کی ایک دبلی پتلی ٹیم کو GPT-4 کے حجم کے ماڈل کو نقل کرنے کے قابل بناتی ہے۔ GPT-4 سے GPT-4.5 تک کارکردگی میں چھلانگ، جس کا اندازہ تقریباً دس گنا لگایا گیا ہے، ‘مقدار کرنا مشکل لیکن جامع طور پر بہتر انٹیلی جنس’ کی طرف اشارہ کرتا ہے، جو OpenAI کے اندر موجود افراد کو بھی حیران کر دیتا ہے۔ یہ معیاری چھلانگ محض اسکیلنگ سے آگے کی پیش رفت کی تجویز کرتی ہے، جو استدلال کرنے اور سمجھنے کے ماڈل کی صلاحیت میں بنیادی بہتری کی نشاندہی کرتی ہے۔

آگے دیکھتے ہوئے، OpenAI تسلیم کرتا ہے کہ کارکردگی میں اگلا درجہ حاصل کرنا تنہا کمپیوٹیشنل طاقت پر منحصر نہیں ہوگا، بلکہ ڈیٹا کی کارکردگی پر منحصر ہوگا۔ توجہ ایسے الگورتھم تیار کرنے کی طرف منتقل ہو رہی ہے جو موجودہ ڈیٹا سیٹوں سے زیادہ علم نکال سکیں، اس طرح دستیاب کمپیوٹ وسائل کی افادیت کو زیادہ سے زیادہ کیا جا سکے۔

مزید برآں، فن تعمیر ایک واحد کلسٹر سے ملٹی کلسٹر ڈیزائن میں تیار ہو رہا ہے، جس میں مستقبل کے تربیتی منظرناموں کا تصور کیا جا رہا ہے جس میں 10 ملین GPUs پر باہمی تعاون کے ساتھ سیکھنا شامل ہے۔ اس تبدیلی کے لیے غلطی رواداری میں نمایاں بہتری کی ضرورت ہے تاکہ اس طرح کے بڑے پیمانے پر تقسیم شدہ سسٹمز کے استحکام اور وشوسنییتا کو یقینی بنایا جا سکے۔

گفتگو میں ڈیٹا کی ‘لمبی دم’ اور اسکیلنگ قوانین کے درمیان تعلق، مشین لرننگ اور سسٹمز ٹیموں کے درمیان قریبی تعاون کے فوائد (کو ڈیزائن)، غیر زیر نگرانی سیکھنے کا جوہر، اور محتاط مسئلہ حل کرنے کی ثقافت پر بھی روشنی ڈالی گئی۔

GPT-4.5 کے پیچھے اہم کھلاڑی

آلٹمین کے علاوہ، OpenAI کے تین دیگر ٹیم ممبران جنہوں نے اس گفتگو میں حصہ لیا وہ یہ تھے:

• ایلکس پائنو: GPT-4.5 کے پہلے سے تربیت یافتہ مشین لرننگ الگورتھم کے ذمہ دار۔
• امین توتونچیان: OpenAI کے چیف سسٹم آرکیٹیکٹ۔
• ڈینیئل سیلسام: ڈیٹا کی کارکردگی اور الگورتھم پر تحقیق کرتے ہیں۔

GPT-4.5 کی ابتدا اور ارتقاء

سیم آلٹمین: GPT-4.5 جتنا بڑا ماڈل بنانے میں واقعی کیا لگتا ہے؟

ایلکس پائنو: ہم نے یہ پروجیکٹ تقریباً دو سال پہلے شروع کیا تھا۔ اس وقت، OpenAI ایک نیا بڑا کمپیوٹنگ کلسٹر شروع کرنے والا تھا، اور ہماری ٹیم نے اس موقع کو دیکھا اور ماڈل میں شامل کرنے کے لیے ضروری افعال کا تعین کرنے کے لیے کاموں کا ایک سلسلہ انجام دیا، اور خطرے کو کم کرنے کے آپریشن ٹیسٹوں کی ایک بڑی تعداد منعقد کی۔

ہم نے اس کے لیے ایک طویل منصوبہ تیار کیا، جس میں سسٹم سے لے کر مشین لرننگ تک پورا ٹیکنالوجی اسٹیک شامل تھا۔ خطرات کو کم کرنا اور تربیت کی تیاری ایک طویل عمل ہے، اور تربیت خود بھی ایک بہت بڑا پروجیکٹ ہے۔

امین توتونچیان: میرا خیال ہے کہ اس عمل میں مشین لرننگ ٹیم اور سسٹم ٹیم کے درمیان شروع سے ہی قریبی تعاون کی ضرورت ہوتی ہے، یہاں تک کہ ہمیں واضح طور پر معلوم ہو جائے کہ ہم کس ماڈل کو تربیت دینا چاہتے ہیں، اور پھر تربیت شروع کریں۔

ہم نے مشین لرننگ اور سسٹمز میں پیشین گوئیاں کی ہیں، توقعات اور حقیقت کے درمیان فرق کو کم کرنے کی کوشش کر رہے ہیں۔ تاہم، کیونکہ ہمارے کام کی تال بہت تیز ہے اور ہمیں تازہ ترین کمپیوٹنگ وسائل استعمال کرنے پڑتے ہیں، ماڈل کی تربیت ایک ایسی چیز بن گئی ہے جس کی پیشگی منصوبہ بندی کرنا مشکل ہے۔

ہم تقریباً ہمیشہ بہت سے حل طلب مسائل کے ساتھ تربیت شروع کرتے ہیں اور عمل کے دوران چیلنجوں پر قابو پانے اور پیش رفت کرنے کی کوشش کرتے ہیں۔ اس کا بنیادی حل یہ ہے کہ زیادہ کمپیوٹنگ وسائل میں اضافہ کیا جائے۔

آخری مرحلہ عملدرآمد ہے، جس میں بہت سے لوگوں کو طویل عرصے تک تربیت کے عمل کو مکمل کرنے کے لیے بہت زیادہ توانائی اور حوصلہ افزائی کی سرمایہ کاری کرنے کی ضرورت ہوتی ہے۔

سیم آلٹمین: آپ کے خیال میں ہماری توقعات اور حقیقت کے درمیان کتنا فرق ہے؟

امین توتونچیان: سسٹم کے لحاظ سے، شروع میں، ہم عام طور پر متوقع حالت سے بہت دور ہوتے ہیں۔ ہمیں ہمیشہ ایک انتخاب کا سامنا ہوتا ہے: چاہے لانچ کو ملتوی کر دیا جائے اور مسئلے کے حل ہونے کا انتظار کیا جائے، یا جلدی شروع کر کے عمل کے دوران مسئلے کو حل کیا جائے۔ عمل میں غیر معقول تاخیر سے بچنے کے لیے اس کے لیے ہمیشہ سمجھوتہ کی ضرورت ہوتی ہے۔

لیکن تقریباً ہمیشہ غیر متوقع مسائل ہوتے ہیں، اور ہمیں جو کچھ کرنا ہے وہ یہ ہے کہ ان نوڈس کو زیادہ سے زیادہ سنبھالنا، نامعلوم عوامل سے نمٹنا، اور ماڈل کی تربیت کے لیے ایک منصوبہ تیار کرنا ہے۔

ایلکس پائنو: اس پروجیکٹ میں، ہمارا مقصد GPT-4.5 بنانا ہے، جس کا مطلب ہے کہ اس کی صلاحیتیں GPT-4 سے 10 گنا زیادہ ہوشیار ہونی چاہئیں۔ یہ ابتدائی ہدف ہے جو ہم نے تقریباً 2 سال پہلے طے کیا تھا۔

اس عمل میں بہت سی چیزیں ہوئیں۔ ہم اس بارے میں سوچ رہے تھے کہ کیا ہم توقع سے بہتر یا بدتر کر سکتے ہیں؟ یہ ایک بہت پیچیدہ عمل ہے، لیکن آخر میں، ہم نے جو مؤثر حسابات کیے ہیں، اس کے لحاظ سے، ہمیں ایک ایسا ماڈل ملا جو ہمارے خیال میں GPT-4 سے 10 گنا زیادہ ہوشیار ہے۔

امین توتونچیان: عملدرآمد کے لحاظ سے، GPT-4.5 پروجیکٹ پر صرف ہونے والا وقت اس سے کہیں زیادہ ہے جس کی ہم نے شروع میں توقع کی تھی۔

دبلی پتلی ٹیم انقلاب: کم سے کم وسائل کے ساتھ GPT-4 کی تربیت

سیم آلٹمین: جب کلسٹر 10,000 کارڈز سے بڑھ کر 100,000 کارڈز تک پہنچ گیا، تو آپ کو اتنے مسائل کیوں درپیش آئے؟

امین توتونچیان: میرا خیال ہے کہ اگر سسٹم ڈویلپرز کافی حساس ہیں، تو زیادہ تر مسائل کو چھوٹے پیمانے کے مرحلے میں دیکھا جا سکتا ہے۔

کچھ ایسے مسائل بھی ہیں جو بڑے پیمانے پر تربیتی مرحلے کے لیے منفرد نہیں ہیں، لیکن اصل میں اکثر پیش آتے ہیں، لیکن اسکیل میں اضافہ کے بعد تباہ کن مسائل بن جائیں گے، خاص طور پر جب ٹیم نے پیشگی طور پر یہ توقع نہیں کی تھی کہ یہ مسائل اس حد تک خراب ہو جائیں گے۔

سیم آلٹمین: کن چیزوں نے تباہ کن نتائج پیدا کیے ہیں؟

امین توتونچیان: میرا خیال ہے کہ بنیادی ڈھانچے کے مسائل اچھی طرح سے معلوم ہیں۔ ناکامی کی شرح، ناکامی کی قسم، اور ناکامیوں کی کل مقدار بہت زیادہ ہے۔ 100,000 کارڈ کلسٹر ایک بڑے پیمانے پر نمونے کا تالاب ہے، اس لیے ہم نے وہ مسائل بھی دریافت کیے جن کا مشاہدہ کمپیوٹنگ پاور فراہم کرنے والے نے نہیں کیا۔

نیٹ ورک اس کا ایک حصہ ہے، اور انفرادی ایکسلریٹرز میں بھی مسائل ہو سکتے ہیں۔ لیکن یہ بھی اس سسٹم کی خوبصورتی ہے - متوقع نتائج پیدا کرنے کے لیے تقریباً تمام اجزاء کو توقع کے مطابق کام کرنے کی ضرورت ہے۔ ہمارا کام اس مسئلے کو زیادہ سے زیادہ کم کرنا ہے۔

سیم آلٹمین: کلسٹر اسکیل کی حد پر کام کرنا واقعی مشکل ہے، لیکن میں نے یہ بھی دیکھا کہ وہ کام کرنا جو اب ٹیکنالوجی میں سب سے آگے نہیں ہیں بہت آسان ہو گیا ہے۔ GPT-4.5 کی تربیت کے لیے سینکڑوں افراد کی ضرورت ہے، اور OpenAI میں تقریباً ہر کوئی شامل ہے۔

لیکن آج، اگر آپ کو OpenAI سے سب سے چھوٹی ٹیم کا انتخاب کرنے اور ہمارے پاس موجود تمام علم اور تمام سسٹم کے کام کے ساتھ GPT-4 کو شروع سے دوبارہ تربیت دینے دیا جائے، تو اس میں کتنے لوگ لگیں گے؟

ایلکس پائنو: میرا خیال ہے کہ اب GPT-4 کی سطح کا ماڈل بنانے میں تقریباً 5 سے 10 افراد لگ سکتے ہیں۔ GPT-4.5 کو مکمل کرنے کے عمل میں ٹیکنالوجی اسٹیک میں بہت زیادہ بہتری آئی ہے۔

درحقیقت، ہم نے GPT-4.5 کی تربیت کے عمل میں اسی طرح کی چیزیں کی ہیں - ہم نے GPT-4o کو تربیت دی، جو GPT-4 کی سطح کا ماڈل ہے، اور GPT-4.5 ریسرچ پروجیکٹ سے بہت سے وہی مواد استعمال کرکے اسے دوبارہ تربیت دی۔ اس تربیت کے لیے کم لوگوں کو استعمال کیا گیا۔

ڈیٹا کی کارکردگی: اگلی نسل کے ماڈلز کو کھولنے کی کلید

سیم آلٹمین: آپ کے نقطہ نظر سے، ڈین؟ بڑے ماڈلز کو تربیت دینا مشکل کیوں ہے؟

ڈینیئل سیلسام: میرا خیال ہے کہ کوئی بھی نئی چیز کرنا مشکل ہے۔ میرا خیال ہے کہ صرف یہ دریافت کرنا کہ کسی اور نے کچھ کیا ہے اس کو بہت آسان بنا دیتا ہے، کیونکہ سب سے مشکل حصہ یہ یقین رکھنا ہے کہ آپ پہلی جگہ پر کچھ کر سکتے ہیں۔ میرا خیال ہے کہ صرف یہ جاننا کہ کوئی چیز قابل عمل ہے ایک سپر چیٹ کوڈ ہے، جو چیزوں کو بہت آسان بنا دیتا ہے۔

ایلکس پائنو: ہم GPT پری ٹریننگ آپریشن کو اس سے 10 گنا بڑھا رہے ہیں جو پہلے تھا، اور ہمیں ہمیشہ کچھ دلچسپ نئی چیزیں ملیں گی جن کی آپ ضروری نہیں کہ پیشین گوئی کر سکیں۔

سیم آلٹمین: پری ٹریننگ اسکیل میں اگلے 10x یا 100x ترقی حاصل کرنے کے لیے کیا ضروری ہے؟

ڈینیئل سیلسام: ڈیٹا کی کارکردگی۔ ٹرانسفارمر فن تعمیر (جو کہ GPT ہے) ڈیٹا استعمال کرنے میں بہت موثر ہے۔ یہ معلومات کو اچھی طرح سے جذب اور کمپریس کر سکتا ہے اور تعمیم حاصل کر سکتا ہے۔ اس کی سب سے بڑی خصوصیت یہ ہے کہ یہ کمپیوٹنگ وسائل کے ساتھ معلومات کو موثر طریقے سے جذب کر سکتا ہے۔

تاہم، اس کی ڈیٹا سے حاصل ہونے والی بصیرت کی گہرائی محدود ہے۔ جب کمپیوٹنگ پاور تیزی سے بڑھتی ہے جبکہ ڈیٹا نسبتاً آہستہ بڑھتا ہے، تو ڈیٹا اس معیاری ماڈل میں رکاوٹ بن جاتا ہے۔ اس کے لیے الگورتھمک جدت طرازی کی ضرورت ہے، ایسے طریقے تیار کرنا جو زیادہ کمپیوٹنگ پاور کو اسی مقدار کے ڈیٹا سے زیادہ علم سیکھنے کے لیے استعمال کر سکیں۔

سیم آلٹمین: اس کے علاوہ آپ کے خیال میں توسیع کو برقرار رکھنے کے لیے ہمیں اور کیا کرنے کی ضرورت ہے؟

امین توتونچیان: میرا جواب سسٹم کے بارے میں ہے۔ میرا خیال ہے کہ GPT-4.5 کے لیے درکار کام کی بہت بڑی مقدار بنیادی طور پر ماڈل کی وضاحتوں کا ناگزیر نتیجہ ہے۔ ہم GPT-4.5 کو بالکل GPT-4 کی طرح تکنیکی فن تعمیر کے ساتھ تربیت نہیں دے سکتے۔

اسٹیٹ مینجمنٹ کے لحاظ سے، کیونکہ مطلوبہ کمپیوٹنگ وسائل ایک واحد کلسٹر کی لے جانے کی صلاحیت سے تجاوز کر چکے ہیں، اس لیے ہمیں ملٹی کلسٹر ٹریننگ آرکیٹیکچر پر سوئچ کرنا ہوگا۔ اس ہدف کو حاصل کرنے کے لیے، ہمیں ایک مختصر وقت میں متعدد مختلف ورک فلو کو ضم کرنا چاہیے۔

اگرچہ اس سے ہمیں مرحلہ وار پیش رفت حاصل کرنے میں مدد ملی، کارکردگی میں اگلے آرڈر آف میگنیٹیوڈ کو حاصل کرنے کے لیے، ہمیں ابھی بھی کئی معلوم لیکن عارضی طور پر شیلف شدہ تکنیکی مسائل کو حل کرنے کی ضرورت ہے - ان مسائل سے بچا نہیں جا سکتا۔ یہ اس قسم کی تکنیکی تجارت ہے جو ایک بہترین سسٹم کے ترقیاتی سائیکل کو مسلسل طول دیتی ہے۔ ہم ہمیشہ بہترین نفاذ کے منصوبے کے حصول میں تزویراتی سمجھوتے کرتے ہیں۔

یہ واضح کرنے کی ضرورت ہے کہ سسٹم خود حتمی مقصد نہیں ہے۔ اس کی اصل پیداوار کی قیمت بنیادی غور ہے۔ اگلے 10x کارکردگی میں بہتری کے لیے، میرا خیال ہے کہ غلطی رواداری میں پیش رفت بہت اہم ہے۔ ہمیں ایک غلطی روادار میکانزم بنانے کی ضرورت ہے جو آپریشن اور دیکھ بھال کی پریشانی کو نمایاں طور پر کم کرنے کے لیے ورک لوڈ کے ساتھ گہرا تعاون کرے۔ موجودہ سپر لارج سسٹم کی آپریشن اور دیکھ بھال کی پیچیدگی بنیادی طور پر پچھلے سسٹمز سے مختلف ہے۔

سیم آلٹمین: کیا آپ کو معلوم ہے کہ GPT-4.5 کی تربیت کے دوران کچھ اجزاء کی وجہ سے کتنے فیصد ناکامیاں ہوئیں؟

امین توتونچیان: میرے پاس اشتراک کرنے کے لیے کوئی خاص اعداد و شمار نہیں ہیں، لیکن عام طور پر، ہارڈ ویئر کی ایک نئی نسل کی ابتدائی تعیناتی کو اکثر بہت سے تکنیکی چیلنجوں کا سامنا کرنا پڑتا ہے جنہیں پوری طرح سے نہیں سمجھا گیا ہے۔ ہم نے مسئلے کو پوری طرح واضح ہونے سے پہلے پروجیکٹ کو آگے بڑھانے کا انتخاب کیا، جس کی وجہ سے ابتدائی ناکامی کی شرح زیادہ تھی۔

لیکن تجربہ بتاتا ہے کہ جیسے ہی بنیادی وجہ کی نشاندہی اور حل کیا جاتا ہے، ناکامی کی شرح میں نمایاں کمی واقع ہوگی۔ یہ رجحان بنیادی طور پر بنیادی ڈھانچے کی ہماری گہری سمجھ کی عکاسی کرتا ہے - کچھ لوگ اسے بنیادی ڈھانچے کی صفائی یا بنیادی ڈھانچے کے بنیادی مسائل کو سمجھنا کہتے ہیں۔

عملدرآمد کے ابتدائی مراحل تقریباً ہمیشہ کافی تکلیف دہ ہوتے ہیں۔ جب ہم پروجیکٹ کو آگے بڑھا رہے ہوتے ہیں، ہم مسلسل ناکامی کے نئے طریقوں کو بھی دریافت اور حل کر رہے ہوتے ہیں، لیکن آخر کار ناکامی کی شرح آہستہ آہستہ کم ہو جائے گی اور عام چلنے کا وقت بڑھ جائے گا۔

یہ بنیادی طور پر ترجیحی سمجھوتوں کا معاملہ ہے: بنیادی ڈھانچے کی زندگی کے چکر کے ابتدائی مراحل میں، اس کے ناکامی کے خطرے کا درست اندازہ لگانا اکثر مشکل ہوتا ہے۔ اور اگر ہم انتہائی مثالی حالت (اصل ‘سٹی اسٹیٹ’ ہے، مثالی شہر ریاست ڈیزائن) کو حد سے زیادہ حاصل کرنے کی کوشش کرتے ہیں، تو اس سے سسٹم کی ابتدائی دستیابی کی کارکردگی انتہائی خراب ہو سکتی ہے۔

کمپیوٹ سے آگے: الگورتھمک جدت طرازی اور ڈیٹا کی غیر استعمال شدہ صلاحیت

سیم آلٹمین: اگرچہ نتیجہ اخذ کرنے کا ماڈل ہمارے مستقبل کے ٹیکنالوجی اسٹیک کا ایک اہم جزو ہے، آئیے عارضی طور پر روایتی پری ٹریننگ ماڈلز کی ترقیاتی حدود پر توجہ مرکوز کریں۔ فرض کریں کہ ہمارے پاس لامحدود GPU کمپیوٹنگ پاور، لامحدود نیٹ ورک بینڈوتھ، اور لامحدود پاور سپلائی ہے، لیکن پھر بھی موجودہ تکنیکی رکاوٹوں سے محدود ہیں - بشمول سسٹم کی وشوسنییتا کے مسائل، غلطی روادار تربیتی طریقوں کی کمی، اور موجودہ ڈیٹا سیٹوں کی حدود۔

ہربڑے GPT ورژن نمبر کے لیے 100 گنا اسکیل میں اضافہ حاصل کرنے کے ہمارے ارتقائی اصول کے مطابق، موجودہ تکنیکی حدود کی بنیاد پر، پری ٹریننگ ماڈلز کی ترقی کس سطح تک پہنچ سکتی ہے؟ خاص طور پر، GPT سیریز کے ماڈلز کے لیے، ہمارے موجودہ علم کے نظام کی بنیاد پر، نظریاتی طور پر کس قسم کا ماڈل تربیت دی جا سکتا ہے؟ کیا ہم GPT-5.5 بنا سکتے ہیں؟

ایلکس پائنو: مشین لرننگ اور الگورتھم کی ترقی کے نقطہ نظر سے، ہم ابھی تک کسی واضح نظریاتی حد تک نہیں پہنچے ہیں۔ درحقیقت، ہم نے صرف ان الگورتھم کو تلاش کرنا شروع کیا ہے جن میں ڈیٹا کی کارکردگی زیادہ ہے اور موجودہ ڈیٹا وسائل کو زیادہ سے زیادہ استعمال کیسے کیا جائے۔ یہ صورتحال بہت دلچسپ ہے - یہاں تک کہ GPT-4 جیسے ماڈلز بھی بڑی حد تک محدود کمپیوٹنگ وسائل کی شرائط کے تحت تیار کیے گئے ہیں، جس نے زیادہ تر پچھلی تحقیق کی سمت کا تعین کیا ہے۔

لیکن صورتحال اب بالکل مختلف ہے۔ GPT-4.5 کے بعد سے، کچھ اہم جہتوں میں، کمپیوٹنگ کے بجائے ڈیٹا اہم رکاوٹ بن رہا ہے۔ اس تبدیلی سے متعلقہ تحقیق کم دلچسپ ہو جاتی ہے۔

سیم آلٹمین: لیکن یہ واقعی ایک حیرت انگیز پیش رفت ہے، اور دنیا کو پوری طرح سے احساس نہیں ہو سکتا ہے کہ کمپیوٹیشنل وسائل اب بہترین ماڈل پر اہم رکاوٹ نہیں ہیں جسے ہم بنا سکتے ہیں۔ یہ تبدیلی بہت معنی خیز ہے، آخرکار، ہم بہت طویل عرصے سے حساب سے محدود ماحول میں رہ رہے ہیں۔

حیرتوں سے پردہ اٹھانا: پیش گوئی بمقابلہ غیر متوقع انٹیلی جنس

سیم آلٹمین: GPT-4.5 کی تربیت کے دوران ہم نے جو سب سے دلچسپ مشین لرننگ کا تجربہ سیکھا وہ کیا ہے؟ بس وہی بتائیں جو آپ شیئر کرنا چاہتے ہیں۔

امین توتونچیان: عام طور پر، سب سے زیادہ فکر انگیز چیزیں وہ ہیں جو ہماری پیشین گوئیوں سے ہٹ جاتی ہیں - خاص طور پر جب ہم یہ سمجھنے کی کوشش کرتے ہیں کہ اصل کارکردگی متوقع وکر سے کیوں ہٹ جاتی ہے۔

ایلکس پائنو: ہمارے لیے سب سے حیران کن دریافتوں میں سے ایک یہ ہے کہ مختلف مشین لرننگ اجزاء میں بہت مختلف اسکیل ایبلٹی پرفارمنس ہوتی ہے۔ کچھ حصوں کو بہت اچھی طرح سے بڑھایا جا سکتا ہے، جبکہ دوسروں کو نہیں کیا جا سکتا۔ یہ وہی ہے جو ہم نے اصل تربیتی عمل کے دوران محسوس کیا۔ اس تجربے نے ہمیں بہت ترغیب دی۔

ڈینیئل سیلسام: میرا خیال ہے کہ GPT پیراڈائم کی دو بنیادی خصوصیات ہیں: اول، ٹیسٹ نقصان (ایک میٹرک جو اس بات کی پیمائش کرتا ہے کہ ماڈل غیر دیکھے گئے ٹیسٹ ڈیٹا پر کتنی اچھی طرح سے کارکردگی کا مظاہرہ کرتا ہے) کی درست پیشین گوئی کی جا سکتی ہے؛ دوم، ماڈل کی کارکردگی پیمانے میں اضافے کے ساتھ پیش قیاسی بہتری کو ظاہر کرتی ہے۔ اس سے بھی زیادہ حیرت انگیز بات یہ ہے کہ ٹیسٹ نقصان میں کمی کو مختلف مشکل سے مقدار کرنے والی لیکن حیرت انگیز اور پراسرار طریقوں سے انٹیلی جنس کی ہمہ گیر بہتر سطح میں تبدیل کیا جائے گا۔

سیم آلٹمین: کیا آپ اس بارے میں بالکل پر امید ہیں؟ کیا آپ اس نقطہ نظر سے پوری طرح متفق ہیں؟

ڈینیئل سیلسام: دراصل، میں جو کہنا چاہتا ہوں وہ یہ ہے کہ ہمیں GPT-4.5 ٹیسٹ میں ایک خاص طور پر دلچسپ رجحان ملا - دوبارہ جانچ کرنے کے بعد، ماڈل کے ذریعہ دکھائی جانے والی بہت سی جدید صلاحیتیں ہر ایک کی توقعات سے بالکل تجاوز کر گئیں۔

ہمیں یقین ہے کہ یہ مختلف طریقوں سے ہوشیار ہو جائے گا جن کی پیشگی وضاحت کرنا مشکل ہے، اور ان باریک بہتریوں کو اصل تعیناتی کے بعد صارف کے اطمینان سے دیکھا جا سکتا ہے: مضبوط مشترکہ احساس ذخائر، زیادہ درست سیاق و سباق کو سمجھنے کی صلاحیت، اور زیادہ لطیف سیمنٹک گرفت - یہ وہ جادو ہے جو ان اضافی ٹیسٹ نقصانات کے ذریعہ لایا گیا ہے۔ میری رائے میں، اسکیلنگ قانون کو اس جہت میں بالکل درست ثابت کیا گیا ہے۔

تعاون کی طاقت: مشین لرننگ اور سسٹم ٹیمیں ہم آہنگی کے ساتھ کام کر رہی ہیں

سیم آلٹمین: پورے تربیتی عمل کے دوران سب سے مثبت لمحہ کیا تھا؟ آپ کی پسندیدہ یاد کیا ہے؟ ظاہر ہے کہ بہت درد ہے، لیکن مجھے امید ہے کہ اس درد کو کم کر دیا گیا ہے۔

ایلکس پائنو: میرے پاس ایسا ایک لمحہ ہے۔ ہم نے تربیت کے دوران بہت سے مشین لرننگ کا کام کیا، اور میرے خیال میں اس عمل کے دوران ہم نے جو تبدیلیاں کیں ان کا کافی اچھا اثر پڑا، شاید توقع سے بھی بہتر، جو ہمارے لیے ایک بہت ہی دلچسپ لمحہ تھا۔

امین توتونچیان: میرے لیے، تربیت کے ساتھ ہی، ہم بنیادی ڈھانچہ بھی بنا رہے ہیں۔ ہمیں پختہ یقین ہے کہ ہم اس کارکردگی کو عبور کر سکتے ہیں، اور ہمارے پاس ایک منصوبہ ہے، اور ہر کوئی اسے عملی جامہ پہنا رہا ہے، لیکن اس میں بہت وقت لگتا ہے۔ یہ سخت محنت ہے اور یقینی طور پر میری سوچ سے زیادہ مشکل ہے۔ میری پیشین گوئی غلط تھی، اور میں نے ان مسائل کو حل کرنے میں لگنے والے وقت کو کم سمجھا۔

وہ لمحہ جب ٹیم نے آخر کار ان اہم مسائل پر قابو پالیا اور کارکردگی میں نمایاں بہتری آئی وہ اب بھی میری یاد میں تازہ ہے۔ آپ پوری ٹیم میں توانائی کی تبدیلی کو واضح طور پر محسوس کر سکتے ہیں - ہر کوئی اچانک توانائی سے بھرپور ہے اور نئی ترغیب کے ساتھ آخری ہدف کی طرف بڑھ رہا ہے۔

سب سے حیرت انگیز بات یہ ہے کہ ہماری اسٹیٹس ٹریکر پر دکھائی جانے والی تخمینی تکمیل کا وقت ابتدائی دو سالوں سے مسلسل کم ہوتا رہا، اور آخر کار ایک واضح وقت نوڈ پر مقفل ہو گیا۔ اس مرئی پیش رفت کی ٹیم کی حوصلہ افزائی کے لیے ناپے جانے کی حد نہیں ہے۔ میرا خیال ہے کہ یہ اس کی خوبصورتی ہے۔

میں اس بات پر زور دینا چاہوں گا کہ مشین لرننگ کا کام کبھی نہیں رکا۔ تربیت شروع ہونے کے بعد بھی، یہ مشین لرننگ کو ڈیزائن کرنے کا عمل ابھی تک جاری ہے۔ مشین لرننگ ٹیم نے نہ صرف ان مسائل پر فعال طور پر عمل کیا جنہیں ‘بعد میں پروسیسنگ’ کے طور پر نشان زد کیا گیا تھا، بلکہ اس میں بہتری لانا بھی جاری رکھا جس نے واقعی تربیت کے وقت کو بہتر بنایا۔

یہ بالکل ہماری ٹیم کے جذبے کی عکاسی کرتا ہے - یہاں ‘اپنے دروازے کے سامنے سے برف صاف کرنے’ کی کوئی کام کی حد نہیں ہے، بلکہ ایک حقیقی ہموار تعاون ہے۔ یہ ہم آہنگی ہمارا سب سے بڑا فائدہ ہے۔

GPT-4.5 پری ٹریننگ میں محتاط منصوبہ بندی اور بے رحم غیر معمولی چیزوں کا تعاقب

ڈینیئل سیلسام: بیرونی دنیا نے اس تربیت کے چیلنجوں اور پیشن گوئی کی درستگی کے بارے میں بہت کچھ بحث کی ہے۔ لیکن درحقیقت، یہ سب انتہائی محتاط منصوبہ بندی پر بنایا گیا ہے - کیا آپ اس بارے میں مزید تفصیل سے بات کر سکتے ہیں؟

ایلکس پائنو: یہ یقینی طور پر سب سے زیادہ محتاط منصوبہ ہے جو ہم نے اب تک بنایا ہے۔ جیسا کہ میں نے کہا، ہم نے تربیت کے سرکاری آغاز سے ایک سال پہلے اس پروجیکٹ کی تیاری شروع کر دی تھی۔ اس دوران، ہم نے متعدد بڑے پیمانے پر خطرے کو کنٹرول کرنے کے ٹیسٹ رن منعقد کیے۔

ہم تمام بہتریوں کو بتدریج متعارف کرانے پر خصوصی توجہ دیتے ہیں: ایک اعلیٰ اعتماد والے بنیادی ترتیب سے شروع کرتے ہیں - جسے GPT-4 کی طرح ایک پختہ فن تعمیر سمجھا جا سکتا ہے، ہم نے مشین لرننگ کی سطح پر اس ترتیب میں مکمل مہارت حاصل کر لی ہے - اور پھر بلاکس کی طرح نئی خصوصیات کی پرت بندی کرتے ہیں۔

اہم بات یہ ہے کہ مختلف ترازو پر ہر بہتری کی اسکیل ایبلٹی کی سختی سے تصدیق کرنا: نہ صرف کارکردگی میں بہتری دیکھنا، بلکہ یہ یقینی بنانا بھی ہے کہ یہ بہتری ماڈل کے سائز میں اضافے کے ساتھ مؤثر رہے گی۔ بہتریوں کی ایک بڑی تعداد چھوٹے پیمانے کے ٹیسٹوں میں اچھی کارکردگی کا مظاہرہ کرتی ہے، لیکن بڑے پیمانے پر ایپلی کیشنز میں ناکام ہو جائے گی۔

اس لیے، ہم نے پورے عمل کے دوران چوکسی کی ایک اعلیٰ ڈگری برقرار رکھی ہے اور اپنی اسکیلنگ قانون کی طریقہ کار کو بہتر بنانا اور بہتر بنانا جاری رکھے ہوئے ہیں۔ اس خطرے کو کنٹرول کرنے کی مشق کے ذریعے، ہم نے بہت سارے قیمتی تجربات جمع کیے ہیں، جو مستقبل میں GPT سیریز کے ماڈلز کی ترقی کی رہنمائی کرتے رہیں گے۔

امین توتونچیان: مجھے ایک خاص طور پر دلچسپ لمحہ یاد ہے جسے میں بہت یاد کرتا ہوں۔ آپ جانتے ہیں، ہم تقریباً ناگزیر طور پر ہر بار تربیتی ٹاسک شروع کرتے وقت مختلف کیڑوں کا سامنا کرتے ہیں، جو کہ ایک عام بات ہے۔ لیکن اہم بات یہ ہے کہ پیش رفت میں رکاوٹ نہ ڈالی جائے، اور ہمیں ہمیشہ اس بات کی تصدیق کرنی چاہیے کہ آیا موجودہ پیش رفت صحیح راستے پر ہے اور کیا یہ کیڑے تربیت کی صحت پر مہلک اثر ڈالیں گے۔

اگرچہ ہم ابتدائی طور پر اس بات کا یقین کر رہے تھے کہ بڑے نقائص ہیں، لیکن ہم نے جو پورا مانیٹرنگ سسٹم بنایا ہے، اس کے ذریعے ہم اس مسئلے کی بنیادی وجہ کو درست طور پر ممتاز کرنے میں کامیاب رہے: کیا یہ ہارڈ ویئر کی ناکامی ہے؟ ہارڈ ویئر کی ناکامی کی قسم کیا ہے؟ کیا یہ ڈیٹا کی خرابی ہے؟ یا یہ خود مشین لرننگ ماڈل میں ایک بگ ہے؟ یا یہ کوڈ میں دوڑ کی شرط ہے؟

اس وقت، ہمارے پاس ایک ہی وقت میں متعدد مسئلہ بحث کے علاقے کھلے تھے، جن میں مختلف قسم کی علامات تھیں۔ متعدد بگ فکسز کے بعد، ہم ڈیڈلاک میں پھنس گئے: متعدد حل طلب مسائل ہمارے سامنے ڈھیر ہو گئے، اور ہر کوئی اپنے دماغ کو مار رہا تھا - کیا یہ مختلف کیڑوں کی وجہ سے تھے؟ یا یہ ایک ایسا کیڑا ہے جو پریشانی کا باعث بن رہا ہے؟

بعد میں، ہم نے ووٹنگ کروائی اور ٹیم ممبران سے کہا کہ وہ سب سے زیادہ ممکنہ بنیادی وجہ کے لیے ووٹ دیں۔ نتیجے کے طور پر، کم سے کم پرامید آپشن سچائی سے ٹکرا گیا: یہ پتہ چلا کہ PyTorch کے اوپر کی طرف ٹارچ ڈاٹ سم فنکشن میں ایک مسئلہ تھا، ایک سادہ جمع کرنے کا عمل۔

یہ بگ بہت دلچسپ ہے۔ آپ جانتے ہیں کہ ہم بنیادی طور پر ٹریٹن کرنل استعمال کرتے ہیں، اور صرف کچھ غیر اہم معمولی منظرناموں میں ہم ٹارچ آپریشنز پر واپس جائیں گے۔ ہماری مخصوص کوڈ پاتھ کے ذریعے شروع کیا گیا ٹارچ ڈاٹ سم فنکشن بگ وقتاً فوقتاً ڈیٹا کی تقسیم کی خصوصیات کی وجہ سے غیر قانونی میموری تک رسائی کا سبب بنے گا - اس نے میموری آف سیٹ کا حساب لگاتے وقت غلطی کی۔

سب سے زیادہ ڈرامائی بات یہ ہے کہ جب ایک انجینئر نے آخر کار مسئلے کا پتہ لگایا اور ایک فکس جمع کرایا، تو مختلف علامات والے تمام کیڑے غائب ہو گئے۔ ہر ایک نے پرجوش طور پر سلیک چینل کو ‘ملٹی بگ تھیوری’ سے ‘سنگل بگ تھیوری’ میں تبدیل کر دیا، اور منظر بہت خوشگوار تھا۔

یہ بگ کتنے عرصے سے چھپا ہوا ہے؟ یہ تربیت کے ابتدائی مراحل سے موجود ہے اور اس وقت تک نہیں ملا جب تک کہ پیشرفت بار تقریباً 40٪ سے گزر نہیں گئی۔ دریافت کا عمل بھی ڈرامے سے بھرپور تھا: اس وقت، ایک پیچیدہ کرنل مسلسل ایک ترتیب کو کال کرتا ہے، اور دوسری کال غیر قانونی میموری تک رسائی کو شروع کرتی ہے۔

اگرچہ اس کریش فریکوئنسی انتہائی کم ہے (یہ ہر چند سو یا ہزاروں تربیتی مراحل میں صرف ایک بار ہوتی ہے)، لیکن اسے کبھی کبھار ہونے والی ناکامی کے طور پر نظر انداز کرنا آسان ہے، لیکن ہماری ٹیم کا اصول ہے: کسی بھی غیر معمولی کو کبھی نہ چھوڑیں۔ اس کہانی کا بہترین حصہ آسانی سے ہار نہ ماننے کی اس استقامت میں مضمر ہے۔

مثالی سسٹمز کی تلاش: ایک دور دراز افق

سیم آلٹمین: GPT-4.5 پری ٹریننگ شروع ہونے کے بعد، آپ کو اور کیا کرنا ہے؟

ایلکس پائنو: ہم سب کو نقصان کے وکر کا کثرت سے مشاہدہ کرنے کی ضرورت ہے۔ اس کے علاوہ، ہمیں سسٹم کو مسلسل بہتر بنانے اور اس کو ڈیزائن کرنے کو بہتر بنانے کی ضرورت ہے جو تربیت شروع ہونے سے پہلے مکمل نہیں ہوا تھا۔ ہم تربیتی عمل کے دوران مختلف شماریاتی اشارے کی قریب سے نگرانی کرتے ہیں تاکہ یہ یقینی بنایا جا سکے کہ غیر متوقع غیر معمولی رجحانات نہیں ہیں۔ ایک ہی وقت میں، ہم مشین لرننگ کے نقطہ نظر سے ممکنہ بہتری کے منصوبوں کو تلاش کرتے ہیں۔ اگرچہ پری ٹریننگ شروع ہونے کے بعد ڈیٹا کی سطح کا کام عارضی طور پر کم ہو جائے گا، لیکن اب بھی پروسیس کرنے کے لیے بڑی تعداد میں کام موجود ہیں۔

امین توتونچیان: میرا خیال ہے کہ مشین لرننگ بڑی حد تک فیصلے کی درستگی پر منحصر ہے۔ پری ٹریننگ شروع ہونے کے بعد، بڑی تعداد میں شور کے اشاروں کا سامنا کرتے ہوئے، ہم چائے کی پتیوں کی تشریح کرنے والے قسمت بتانے والوں کی طرح ہیں، اور ہمیں یہ فیصلہ کرنے کی ضرورت ہے کہ آیا نظام صحت مند ہے۔ یہ ہماری ذمہ داری ہے۔

سیم آلٹمین: سسٹم کی سطح پر، ماڈل کی تربیت کرنے سے ہمیں کیا چیز روکتی ہے؟ کیا یہ چپس، پروسیسرز، میموری، نیٹ ورک، یا پاور ہے؟

امین توتونچیان: سسٹم کی خوبصورتی یہ ہے کہ جب کو ڈیزائن کیا جاتا ہے، تو ورک لوڈ اس بنیادی ڈھانچے کو اپنا سکتا ہے جو آپ بناتے ہیں۔ یہاں کوئی عام قول نہیں ہے کہ نیٹ ورک رکاوٹ ہے، یا میموری بینڈوتھ رکاوٹ ہے، وغیرہ۔ یہاں تک کہ ایک ہی تفصیلات کے ماڈلز کے لیے بھی، ہم وسائل کی ضروریات کو منتقل کرنے کا انتخاب کر سکتے ہیں، اور ہم ایک زیادہ متوازن سسٹم بنانے کا انتخاب کر سکتے ہیں، لیکن زیادہ میموری بینڈوتھ کا ہونا ہمیشہ فائدہ مند ہوتا ہے۔ محدود حالات کے بغیر اس سوال کا جواب دینا مشکل ہے۔

GPT-4.5 کو ڈیزائن کرتے وقت، ہمیں سسٹم کو کچھ قسم کی خوبیوں کی ضرورت پڑ سکتی ہے، جو انسانی رہنمائی کے تحت پیدا ہونے کی ضرورت ہے۔ اس لیے ماڈل فن تعمیر اور تعمیراتی عناصر کی تشکیل کے لیے کو ڈیزائن بہت اہم ہے، اور ایک حد تک سسٹم اور مشین لرننگ کے پہلوؤں کو جوڑتا ہے۔ اگر سسٹم میں کوئی ایسی خوبی ہے جو ہم بہت زیادہ نہیں رکھنا چاہتے ہیں، تو میری مثالی صورتحال یہ ہے کہ سب کچھ ڈی کپلڈ ہونا چاہیے تاکہ ایک دوسرے کو زیادہ سے زیادہ جگہ مل سکے۔

کبھی کبھی چیزیں ایک ساتھ جڑی ہوئی ہوتی ہیں، اور ہمیں بنیادی ڈھانچے کی ضروریات کو پورا کرنے کی ضرورت ہوتی ہے، یا چیزیں ایسی ہونی چاہئیں۔ زیادہ تر وقت، ہمیں ایک متوازن نظام اور متوازن مواصلات کی ضرورت ہوتی ہے۔ اور ایڈجسٹمنٹ کے بہترین ذرائع جو ہمارے پاس ہیں وہ یہ تمام کو ڈیزائن ہیں۔

سیم آلٹمین: ہم اس مثالی سسٹم کے ہدف سے کتنے دور ہیں؟

امین توتونچیان: ہم اس ہدف سے ابھی بہت دور ہیں۔ ایک سسٹم بنانے کا عمل ہمیشہ ایسا ہی ہوتا ہے: پہلے ایک مثالی نظریہ ہوتا ہے کہ چیزیں کیسے کام کرنی چاہئیں، اور پھر موجودہ وسائل کے ساتھ ان اختلافات کو ہم آہنگ کریں۔

میرا خیال ہے کہ ہم نظریہ کے لیے نظریہ کے لیے نہیں کر رہے ہیں، بلکہ صرف اس بات پر بحث کرنا چاہتے ہیں کہ ہم اسے کیا بنانا چاہتے ہیں، اسے حاصل کرنا چاہتے ہیں، اور اس مثالی کے قریب سے قریب تر ہونا چاہتے ہیں۔ یہ شاید سسٹم کے میدان کا سب سے دلچسپ حصہ ہے۔ لوگ کہتے تھے کہ یہ ایک خوبصورت سسٹم ڈیزائن ہے، اور آخر کار تاریخ ہمیں بتائے گی کہ آیا یہ انتخاب صحیح ہے یا غلط۔

سیم آلٹمین: اگر آپ کو اگلی بڑی تربیت سے پہلے مشین لرننگ کے مسئلے کا جواب مل سکے، تو آپ سب سے زیادہ کیا جاننا چاہیں گے؟

ایلکس پائنو: میں یہ جاننا چاہوں گا کہ محدود ڈیٹا اور مخصوص شعبوں کے تحت ہمیں کون سے الگورتھم استعمال کرنے چاہئیں۔ اگرچہ یہ ایک وسیع سوال ہے، لیکن یہ واقعی سب سے اہم ہے۔

سیم آلٹمین: کیا آپ مستقبل میں 10 ملین یا اس سے زیادہ GPUs کے ساتھ ہم وقت ساز پری ٹریننگ کروائیں گے؟

ایلکس پائنو: میرے خیال میں ہوگی، لیکن یہ روایتی پری ٹریننگ ماڈل نہیں ہو سکتا۔ اس کی شکل موجودہ ٹیکنالوجی سے بہت مختلف ہو سکتی ہے، لیکن یہ اب بھی غیر زیر نگرانی سیکھنے کے مرکز کو برقرار رکھے گا۔

امین توتونچیان: میں نیم ہم وقت ساز موڈ کو ترجیح دیتا ہوں۔ جسمانی قوانین کی وجہ سے، مکمل ہم وقت سازی حقیقت پسندانہ نہیں ہے۔

ڈینیئل سیلسام: میرا خیال ہے کہ اس کا زیادہ امکان وکندریقرت ہونا ہے۔ سیکھنے اور کاموں کو انجام دینے کے لیے یقینی طور پر 10 ملین GPUs ایک ساتھ AI سسٹم میں کام کریں گے، لیکن دماغ کے مختلف حصوں کی طرح، وہ ضروری نہیں کہ ایک دوسرے کے ساتھ بات چیت کریں۔

الگورتھمک بہتری اور ڈیٹا کی کارکردگی کی ہم آہنگی طاقت

سیم آلٹمین: جدید ترین الگورتھم اور انسانی ڈیٹا کی کارکردگی کے درمیان کتنا فرق ہے؟ کیا ہم مستقبل میں پکڑنے کی امید کر سکتے ہیں؟

ڈینیئل سیلسام: دونوں کا براہ راست موازنہ کرنا مشکل ہے۔ زبان سیکھنے میں فرق یقینی طور پر بہت بڑا ہے۔ اہم بات یہ ہے کہ انسانی بصری اعصاب کے ذریعہ موصول ہونے والی معلومات کی مقدار کی وضاحت کیسے کی جائے۔ میرا خیال ہے کہ الگورتھم عام طور پر انسانوں سے کہیں کم ڈیٹا موثر ہوتے ہیں۔

عشروں سے، گہری تعلیم کمپیوٹنگ پاور کی کارکردگی پر مرکوز ہے۔ ڈیٹا اور کمپیوٹنگ پاور کی ترقی کے علاوہ، جو چیز واقعی حیران کن ہے وہ الگورتھمک بہتری سے پیدا ہونے والا ہم آہنگی اثر ہے۔ ہر بار جب الگورتھم کی کارکردگی میں 10٪ یا 20٪ بہتری آتی ہے، تو ڈیٹا کی کارکردگی پر سپر امپوز ہونے پر اس کا نمایاں اثر پڑے گا۔ اب تک، ڈیٹا کی کارکردگی کے ارد گرد کوئی متحرک کاری نہیں ہوئی ہے، کیونکہ یہ طریقہ اس وقت قابل قدر نہیں ہے جب ڈیٹا کی گردش نہیں ہو رہی ہے اور کمپیوٹنگ پاور محدود ہے۔

اب، ہم AI تحقیق کے ایک نئے مرحلے میں داخل ہو رہے ہیں، اور ہم ڈیٹا کی کارکردگی