Tag: AIGC

تحجيم الاستدلال في نماذج الانتشار نموذج جديد

تستكشف هذه الدراسة فعالية تحجيم وقت الاستدلال في نماذج الانتشار، حيث تبين أن زيادة الموارد الحسابية أثناء الاستدلال يؤدي إلى تحسين جودة العينات المولدة. يقدم البحث إطارًا للبحث عن الضوضاء المثالية أثناء أخذ العينات، مع التركيز على محورين رئيسيين: المدققون والخوارزميات. تشمل الخوارزميات البحث العشوائي والبحث من الرتبة الصفرية والبحث المساري. يوضح التحليل أن المدققين قد لا يحتاجون إلى معلومات شرطية لتوجيه البحث بشكل فعال، وأن فعالية المدقق تعتمد على توافقه مع متطلبات المهمة. بالإضافة إلى ذلك، يمكن استخدام هذه الطريقة مع النماذج المضبوطة بدقة، ويمكن تعويض الموارد الحسابية الكبيرة التي تنفق أثناء التدريب بكميات أقل من الحساب أثناء التوليد، مما يؤدي إلى عينات ذات جودة أعلى بكفاءة أكبر.

تحجيم الاستدلال في نماذج الانتشار نموذج جديد

آلية الانتباه الجديدة لتقليل ذاكرة التخزين المؤقت KV

تستكشف هذه المقالة آلية انتباه جديدة تسمى MFA و MFA-KR، والتي تقلل بشكل كبير من استخدام ذاكرة التخزين المؤقت KV في نماذج اللغة الكبيرة مع الحفاظ على الأداء أو تحسينه. تعمل MFA على تحسين كفاءة الذاكرة من خلال زيادة عدد رؤوس الانتباه والأبعاد، واستخدام تقنية التحلل منخفض الرتبة، وتوظيف تصميم رأس واحد للمفتاح والقيمة. أظهرت النتائج التجريبية أن MFA تتفوق على آليات الانتباه الأخرى مثل MQA و MLA، وتوفر تخفيضًا كبيرًا في استخدام الذاكرة.

آلية الانتباه الجديدة لتقليل ذاكرة التخزين المؤقت KV

إي إس إم 3 قفزة في أبحاث البروتين محاكاة 500 مليون سنة تطور واجهة برمجة تطبيقات مجانية يان ليكن يدعم

كشفت Evolutionaryscale عن إي إس إم 3 نموذج بيولوجي رائد بـ 98 مليار معامل يمثل تقدما كبيرا في فهم البروتينات ومعالجتها يحول إي إس إم 3 بنية البروتينات ثلاثية الأبعاد ووظائفها إلى أبجدية منفصلة مما يسمح بمعالجة متزامنة للتسلسل والهيكل والوظيفة محاكاة التطور تضاهي 5 تريليونات سنة أعلنت Evolutionaryscale عن توفر واجهة برمجة تطبيقات إي إس إم 3 مجانا لتعزيز التنبؤ بالبروتين يان ليكن أشاد بهذا الإنجاز قدرة حسابية هائلة وقدرات أساسية نهج متعدد الأنماط ونمذجة اللغة المقنعة توليد بروتينات جديدة وتطبيقات واقعية مثل إنزيمات لتحليل النفايات البلاستيكية أنتج إي إس إم 3 بروتين فلوري أخضر جديد esmGFP بـ 58٪ تشابه تسلسلي فقط مع البروتينات الفلورية المعروفة يظهر esmGFP سطوعا مماثلا لـ GFP الطبيعي مع مسار تطوري مختلف

إي إس إم 3 قفزة في أبحاث البروتين محاكاة 500 مليون سنة تطور واجهة برمجة تطبيقات مجانية يان ليكن يدعم