سٹیپ فن: چین کا ابھرتا ہوا اے آئی ستارہ
شنگھائی میں واقع سٹیپ فن تیزی سے چین کے معروف اے آئی "ٹائیگرز" میں سے ایک کے طور پر پہچانی جا رہی ہے۔ یہ کمپنی ویڈیو اور تصاویر پر کارروائی کرنے کی صلاحیت رکھتی ہے۔
Tag: Stepfun
سٹیپ 1 ایکس-ایڈٹ: ایک انقلابی تصویری ترمیمی ماڈل
سٹیپ 1 ایکس-ایڈٹ، ایک اوپن سورس تصویری ترمیمی ماڈل ہے، جو اعلیٰ ترین کارکردگی کا مظاہرہ کرتا ہے۔ یہ ماڈل درست معنوی تجزیہ، مستقل شناخت کے تحفظ، اور اعلیٰ درستگی والے علاقائی کنٹرول کے لیے بہترین ہے۔
بڑے لسانی ماڈلز میں میموری کی رکاوٹ کو کم کرنے کے لیے ملٹی میٹرکس فیکٹرائزیشن توجہ
بڑے لسانی ماڈلز (LLMs) میں موثر پیمانے پر استدلال ایک اہم چیلنج ہے۔ روایتی توجہ کے طریقہ کار میں کلیدی قدر (KV) کیش ایک بڑی رکاوٹ ہے، جو بیچ سائز اور ترتیب کی لمبائی کے ساتھ خطی طور پر بڑھتی ہے۔ ملٹی میٹرکس فیکٹرائزیشن اٹینشن (MFA) اور MFA-Key-Reuse (MFA-KR) ایک نیا طریقہ کار ہے جو کارکردگی کو بہتر بناتے ہوئے KV کیش کے استعمال کو 93.7 فیصد تک کم کرتا ہے۔ MFA ڈیزائن میں سادگی، آسانی سے دوبارہ پیدا کرنے کی صلاحیت، کم حساسیت اور مختلف پوزیشن ایمبیڈنگ طریقوں کے ساتھ مطابقت رکھتا ہے۔ یہ طریقہ کار ماڈل کی صلاحیت کو زیادہ سے زیادہ کرنے، پیرامیٹر کی کارکردگی کو برقرار رکھنے، اور میموری کے استعمال کو کم سے کم کرنے کے لیے ڈیزائن کیا گیا ہے۔ تجرباتی نتائج سے پتہ چلتا ہے کہ MFA روایتی MHA کے مقابلے میں بڑے پیمانے پر صلاحیتوں کو برقرار رکھتا ہے، جبکہ MFA-KR میموری کے استعمال کو نمایاں طور پر کم کرتا ہے۔