مائیکروسافٹ نے Phi-4 متعارف کرایا ہے، جو AI ماڈلز کا ایک انقلابی خاندان ہے جو سائز اور صلاحیت کے درمیان توازن کو نئے سرے سے متعین کرتا ہے۔ یہ ماڈل کارکردگی کے لیے بنائے گئے ہیں، متن، تصاویر اور تقریر پر بیک وقت کارروائی کرتے ہیں، جبکہ اپنے ہم عصروں کے مقابلے میں نمایاں طور پر کم کمپیوٹیشنل پاور کا مطالبہ کرتے ہیں۔
ڈیپ سیک کی حالیہ مقبولیت نے AI انڈسٹری میں ہلچل مچا دی ہے، اور اسکا اثر صرف مصنوعی ذہانت تک ہی محدود نہیں ہے۔ سیمی کنڈکٹر انڈسٹری نے خاص طور پر توجہ دی ہے۔ علی بابا کے DAMO اکیڈمی نے ڈیپ سیک-R1 سیریز ڈسٹلیشن ماڈل کو اپنایا، جو RISC-V کی اوپن سورس انسٹرکشن سیٹ آرکیٹیکچر کی AI ڈومین میں مضبوط رفتار کو ظاہر کرتا ہے۔
روکڈ، چین میں قائم ایک Augmented Reality (AR) ڈیوائس بنانے والی کمپنی، نے اپنے جدید ترین AI سے چلنے والے چشموں سے دھوم مچا دی ہے۔ یہ صرف مستقبل کے تصورات نہیں ہیں؛ یہ اس بات کی ایک ٹھوس پیش رفت کی نمائندگی کرتے ہیں کہ کس طرح AI کو پہننے کے قابل ٹیکنالوجی میں عملی، حقیقی دنیا کی ایپلی کیشنز کے لیے ضم کیا جا سکتا ہے۔
سوپرا سٹیریا، یورپی ٹیک میں ایک بڑا نام، اور مسٹرل اے آئی، جو کہ جنریٹو آرٹیفیشل انٹیلی جنس میں رہنما ہیں، نے ایک اسٹریٹجک اتحاد قائم کیا ہے۔ اس تعاون کا مقصد یورپی اداروں اور عوامی انتظامیہ کے لیے خود مختار، صنعتی جنریٹو AI حل فراہم کرنا ہے۔
مون شاٹ اے آئی کے محققین نے میون اور مون لائٹ متعارف کرائے ہیں جو بڑے لینگویج ماڈلز کو موثر تربیتی تکنیکوں سے بہتر بناتے ہیں۔
مون شاٹ اے آئی کے کیمی نے ایک نیا ٹیکنیکل رپورٹ جاری کیا ہے، ساتھ ہی مون لائٹ، ایک 30 بلین اور 160 بلین پیرامیٹر والا ہائبرڈ ایکسپرٹ ماڈل متعارف کرایا ہے۔ یہ ماڈل زیادہ کارکردگی اور کم خرچ کے لیے بنایا گیا ہے۔
بائی کوان ایم ون بڑے لسانی ماڈلز کا ایک سلسلہ ہے جو طبی صلاحیتوں کو بڑھانے پر توجہ مرکوز کرتے ہوئے 20 ٹریلین ٹوکنز پر تربیت یافتہ ہے۔ یہ طبی میدان میں ایک اہم پیش رفت ہے۔
ایک حالیہ تحقیق سے پتہ چلتا ہے کہ مصنوعی ذہانت کے ماڈلز عالمی تاریخ کو سمجھنے میں جدوجہد کر رہے ہیں، جس سے ان کی درستگی اور قابل اعتمادی کے بارے میں خدشات پیدا ہو رہے ہیں۔
یہ تحقیق ڈیفیوژن ماڈلز میں انفرنس ٹائم اسکیلنگ کے تصور کو تلاش کرتی ہے، جس میں انفرینس کے دوران کمپیوٹیشنل وسائل میں اضافہ کرکے نمونوں کے معیار کو بہتر بنایا جاتا ہے۔ ایک عمومی سرچ فریم ورک کے ذریعے، محققین نے پایا کہ بہتر نمونہ سازی کے لیے شور کی تلاش کلیدی حیثیت رکھتی ہے۔ یہ فریم ورک دو اہم ڈیزائن محوروں پر مرکوز ہے: تصدیق کنندگان (جو نمونوں کا جائزہ لیتے ہیں) اور الگورتھم (جو بہتر شور کے امیدوار تلاش کرتے ہیں)۔ نتائج سے پتہ چلتا ہے کہ یہ طریقہ کار نہ صرف امیج نیٹ جیسے بنیادی سیٹ اپ میں موثر ہے، بلکہ بڑے پیمانے پر ٹیکسٹ ٹو امیج ٹاسک میں بھی کارآمد ہے، جو مختلف ایپلی کیشنز کے لیے لچک فراہم کرتا ہے۔
بڑے لسانی ماڈلز (LLMs) میں موثر پیمانے پر استدلال ایک اہم چیلنج ہے۔ روایتی توجہ کے طریقہ کار میں کلیدی قدر (KV) کیش ایک بڑی رکاوٹ ہے، جو بیچ سائز اور ترتیب کی لمبائی کے ساتھ خطی طور پر بڑھتی ہے۔ ملٹی میٹرکس فیکٹرائزیشن اٹینشن (MFA) اور MFA-Key-Reuse (MFA-KR) ایک نیا طریقہ کار ہے جو کارکردگی کو بہتر بناتے ہوئے KV کیش کے استعمال کو 93.7 فیصد تک کم کرتا ہے۔ MFA ڈیزائن میں سادگی، آسانی سے دوبارہ پیدا کرنے کی صلاحیت، کم حساسیت اور مختلف پوزیشن ایمبیڈنگ طریقوں کے ساتھ مطابقت رکھتا ہے۔ یہ طریقہ کار ماڈل کی صلاحیت کو زیادہ سے زیادہ کرنے، پیرامیٹر کی کارکردگی کو برقرار رکھنے، اور میموری کے استعمال کو کم سے کم کرنے کے لیے ڈیزائن کیا گیا ہے۔ تجرباتی نتائج سے پتہ چلتا ہے کہ MFA روایتی MHA کے مقابلے میں بڑے پیمانے پر صلاحیتوں کو برقرار رکھتا ہے، جبکہ MFA-KR میموری کے استعمال کو نمایاں طور پر کم کرتا ہے۔
