הכירו את Baichuan-M1 מודלי שפה רפואיים
Baichuan-M1 סדרת מודלי שפה גדולים שאומנו על 20 טריליון טוקנים תוך התמקדות בשיפור יכולות רפואיות מודלים אלה מציגים גישה חדשה ל-AI רפואי
Tag: AIGC
AI מודלים מתקשים בהיסטוריה עולמית מחקר חושף
מחקר חדש חושף כי מודלים של בינה מלאכותית מתקשים בהבנת ההיסטוריה העולמית, עם שיעור הצלחה של 46% בלבד בתשובות לשאלות היסטוריות. המחקר מדגיש את הצורך בשיפור איכות הנתונים והאלגוריתמים של הבינה המלאכותית.
קנה מידה של הסקה של מודל דיפוזיה פרדיגמה חדשה
מחקר חדש בוחן את ההשפעה של הגדלת החישוב בזמן ההסקה במודלים של דיפוזיה, ומגלה שיפור משמעותי באיכות הדגימות שנוצרות. המחקר מציע מסגרת המאפשרת גמישות בשילוב רכיבים ומדגיש את החשיבות של חיפוש רעש טוב יותר במהלך הדגימה. המסגרת מתמקדת בשני צירי עיצוב עיקריים: מאמתים ואלגוריתמים, ונבדקה בתרחישים שונים כולל יצירת תמונות מותנות טקסט.
מנגנון קשב חדש מפחית מטמון KV
מאמר זה מציג מנגנון קשב חדש בשם Multi-matrix Factorization Attention (MFA) וגרסתו MFA-Key-Reuse (MFA-KR), שמפחיתים משמעותית את עלות ההסקה של מודלי שפה גדולים תוך שיפור הביצועים. MFA ו-MFA-KR עולים על MLA בביצועים ומתאימים לביצועים של MHA מסורתי, תוך הפחתת השימוש במטמון KV בעד 93.7%. המאמר מנתח את העיצוב הכללי והקיבולת של מנגנוני קשב, מציג את המושג של Generalized Multi-Head Attention (GMHA) כמסגרת מאחדת, וקובע את Fully Parameterized Bilinear Attention (FPBA) כגבול העליון התיאורטי של הביצועים. MFA משלבת שלוש חדשנות עיקריות: הגדלת מספר וממד ראשי הקשב, שימוש בפירוק דרגה נמוכה, ושימוש בראש מפתח-ערך יחיד. תוצאות ניסיוניות מראות כי MFA שומרת על ביצועים מצוינים גם בסדרי גודל גדולים, ומשיגה חיסכון משמעותי בזיכרון.
ESM3 פריצת דרך במחקר חלבונים מודל ביולוגי עם API חינמי
ESM3 מודל ביולוגי פורץ דרך עם 98 מיליארד פרמטרים מבית Evolutionaryscale, מאפשר עיבוד סימולטני של רצף, מבנה ותפקוד חלבונים. ה-API זמין כעת בחינם, זכה לשבחים מיאן לקון, ומדמה 5 טריליון שנות אבולוציה.