تسلط هذه المقالة الضوء على التطور الكبير في مجال الذكاء الاصطناعي التوليدي للمحتوى (AIGC) مع التركيز على تطوير وتنفيذ نماذج اللغة الكبيرة (LLM). وتكشف عن إطلاق OpenAI لوكيل ذكاء اصطناعي في الوقت الفعلي يمكن تطويره في 20 دقيقة فقط، مما يوضح إمكانات التطوير عالي الكفاءة في مجال التطبيقات المدعومة بالذكاء الاصطناعي.
تستكشف هذه الدراسة فعالية تحجيم وقت الاستدلال في نماذج الانتشار، حيث تبين أن زيادة الموارد الحسابية أثناء الاستدلال يؤدي إلى تحسين جودة العينات المولدة. يقدم البحث إطارًا للبحث عن الضوضاء المثالية أثناء أخذ العينات، مع التركيز على محورين رئيسيين: المدققون والخوارزميات. تشمل الخوارزميات البحث العشوائي والبحث من الرتبة الصفرية والبحث المساري. يوضح التحليل أن المدققين قد لا يحتاجون إلى معلومات شرطية لتوجيه البحث بشكل فعال، وأن فعالية المدقق تعتمد على توافقه مع متطلبات المهمة. بالإضافة إلى ذلك، يمكن استخدام هذه الطريقة مع النماذج المضبوطة بدقة، ويمكن تعويض الموارد الحسابية الكبيرة التي تنفق أثناء التدريب بكميات أقل من الحساب أثناء التوليد، مما يؤدي إلى عينات ذات جودة أعلى بكفاءة أكبر.
يشهد عالم التكنولوجيا ضجة كبيرة حول الإصدار الوشيك لـ o3-mini من OpenAI، والمقرر إطلاقه في غضون أسابيع. هذا الإعلان يأتي مباشرة من الرئيس التنفيذي لـ OpenAI، سام ألتمان، مؤكداً التكهنات السابقة في الصناعة. سيكون o3-mini، وهو نسخة مقطرة من نموذج أكبر، متاحًا عبر واجهة برمجة تطبيقات وواجهة ويب، مما يمثل خطوة كبيرة في جعل الذكاء الاصطناعي المتقدم أكثر سهولة. تخطط الشركة لإصدار ثلاثة إصدارات من o3-mini في وقت واحد - عالية ومتوسطة ومنخفضة. لن يتفوق o3-mini على أداء o1-pro ولكنه سيقدم سرعة محسنة. ومع ذلك، فإن البيانات المعيارية لـ OpenAI تقدم صورة أكثر دقة، حيث تظهر النسخة العالية تحسينات. ستكون تكلفة o3-mini فعالة للغاية ومناسبة لمهام البرمجة. كما أكد ألتمان على قدرات نموذج o3 الكامل، مشيراً إلى أنه سيكون أكثر تقدماً من o1-pro، وخاصة o3-pro. سيتمكن مشتركو ChatGPT Plus من الوصول إلى o3-mini وسيتم دمج العلامات التجارية بين نماذج GPT و o هذا العام. بالإضافة إلى ذلك، ذكر ألتمان أن تحقيق AGI ممكن ولكنه سيتطلب 872 ميجاوات من الطاقة الحاسوبية.
تستكشف هذه المقالة آلية انتباه جديدة تسمى MFA و MFA-KR، والتي تقلل بشكل كبير من استخدام ذاكرة التخزين المؤقت KV في نماذج اللغة الكبيرة مع الحفاظ على الأداء أو تحسينه. تعمل MFA على تحسين كفاءة الذاكرة من خلال زيادة عدد رؤوس الانتباه والأبعاد، واستخدام تقنية التحلل منخفض الرتبة، وتوظيف تصميم رأس واحد للمفتاح والقيمة. أظهرت النتائج التجريبية أن MFA تتفوق على آليات الانتباه الأخرى مثل MQA و MLA، وتوفر تخفيضًا كبيرًا في استخدام الذاكرة.
كشفت Evolutionaryscale عن إي إس إم 3 نموذج بيولوجي رائد بـ 98 مليار معامل يمثل تقدما كبيرا في فهم البروتينات ومعالجتها يحول إي إس إم 3 بنية البروتينات ثلاثية الأبعاد ووظائفها إلى أبجدية منفصلة مما يسمح بمعالجة متزامنة للتسلسل والهيكل والوظيفة محاكاة التطور تضاهي 5 تريليونات سنة أعلنت Evolutionaryscale عن توفر واجهة برمجة تطبيقات إي إس إم 3 مجانا لتعزيز التنبؤ بالبروتين يان ليكن أشاد بهذا الإنجاز قدرة حسابية هائلة وقدرات أساسية نهج متعدد الأنماط ونمذجة اللغة المقنعة توليد بروتينات جديدة وتطبيقات واقعية مثل إنزيمات لتحليل النفايات البلاستيكية أنتج إي إس إم 3 بروتين فلوري أخضر جديد esmGFP بـ 58٪ تشابه تسلسلي فقط مع البروتينات الفلورية المعروفة يظهر esmGFP سطوعا مماثلا لـ GFP الطبيعي مع مسار تطوري مختلف
كشفت مايكروسوفت عن MatterGen، وهو نموذج لغوي كبير رائد مصمم خصيصًا لإنشاء مواد غير عضوية. يعتمد هذا النموذج المبتكر على بنية نموذج الانتشار، وهو قادر على التحسين التدريجي لأنواع الذرات والإحداثيات والشبكات الدورية. يتيح ذلك التوليد السريع لمواد غير عضوية جديدة ومتنوعة. أحد الأمثلة الرئيسية على إمكاناته هو في قطاع الطاقة، حيث يمكن لـ MatterGen توليد مواد جديدة لكاثود بطاريات الليثيوم أيون. بالمقارنة مع الطرق التقليدية لاكتشاف المواد، يزيد MatterGen بشكل كبير من نسبة المواد المستقرة والفريدة والجديدة التي يتم إنتاجها بأكثر من الضعف. علاوة على ذلك، فإن الهياكل التي تم إنشاؤها أقرب بحوالي عشر مرات إلى الحد الأدنى المحلي للطاقة في نظرية الكثافة الوظيفية (DFT). هذا يجعل MatterGen أداة لا تقدر بثمن للقطاعات ذات التقنية العالية مثل السيارات الكهربائية والفضاء والرقائق الإلكترونية.
كشفت دراسة حديثة من جامعة ستانفورد وجامعة كاليفورنيا في بيركلي عن تقلبات كبيرة في أداء وسلوك نموذجي GPT-3.5 و GPT-4 على مدى ثلاثة أشهر، حيث لوحظ انخفاض في الدقة في بعض المهام وزيادة في الأخطاء، مما يسلط الضوء على تحديات الحفاظ على اتساق وموثوقية هذه النماذج.
