חברת WaveForms AI, שהוקמה על ידי אלכסיס קונאו, לשעבר מוביל פיתוח קול מתקדם ב-OpenAI, גייסה 40 מיליון דולר למימון פיתוח מודלי שפה גדולים (LLM) לשמע. החברה שמה לה למטרה ליצור בינה מלאכותית אמפתית ובעלת אינטליגנציה רגשית, תוך שימוש בטכנולוגיה חדשנית לעיבוד שמע ישיר.
מודל Kimi k1.5 של Moonshot AI מציג ביצועים מרשימים בתחומי מתמטיקה, קידוד והנמקה מולטימודלית, ומשתווה ואף עולה על מודל o1 של OpenAI. המודל החדש מהווה פריצת דרך בתחום הבינה המלאכותית ומסמן את הפוטנציאל של חדשנות מקומית.
חברת OpenAI עומדת להציג סוכן AI על-אנושי ברמת דוקטורט, מה שמעורר חששות לגבי השפעה על שוק העבודה. חברות כמו Meta ו-Salesforce כבר מבצעות שינויים בעקבות התקדמות ה-AI, כולל פיטורים ושינוי אסטרטגיות. סוכני AI על-אנושיים מסוגלים לפתור בעיות מורכבות באופן אוטונומי, תוך שימוש בלמידת מכונה, עיבוד שפה טבעית ומודלים מורכבים.
מאמר זה מתמקד בהתקדמות משמעותית בבינה מלאכותית גנרטיבית (AIGC) ויישום מודלי שפה גדולים (LLM). הוא מדגיש את השחרור של סוכן AI בזמן אמת של OpenAI, שניתן לפתח תוך 20 דקות בלבד. התקדמות זו מדגימה פיתוח יעיל של יישומים מבוססי AI.
מחקר חדש בוחן את ההשפעה של הגדלת החישוב בזמן ההסקה במודלים של דיפוזיה, ומגלה שיפור משמעותי באיכות הדגימות שנוצרות. המחקר מציע מסגרת המאפשרת גמישות בשילוב רכיבים ומדגיש את החשיבות של חיפוש רעש טוב יותר במהלך הדגימה. המסגרת מתמקדת בשני צירי עיצוב עיקריים: מאמתים ואלגוריתמים, ונבדקה בתרחישים שונים כולל יצירת תמונות מותנות טקסט.
העולם הטכנולוגי סוער לקראת השקת ה-o3-mini של OpenAI, גרסה מזוקקת של מודל גדול יותר שתהיה נגישה דרך API וממשק אינטרנט. המודל מגיע בשלוש גרסאות - גבוהה, בינונית ונמוכה, ומציע מהירות משופרת לעומת o1-pro. בנוסף, סם אלטמן התייחס לדרישות הכוח של AGI, וציין כי זה דורש 872 מגה-ואט, כאשר כוח המחשוב הנוכחי של AI מתקרב לרמה הזו.
מאמר זה מציג מנגנון קשב חדש בשם Multi-matrix Factorization Attention (MFA) וגרסתו MFA-Key-Reuse (MFA-KR), שמפחיתים משמעותית את עלות ההסקה של מודלי שפה גדולים תוך שיפור הביצועים. MFA ו-MFA-KR עולים על MLA בביצועים ומתאימים לביצועים של MHA מסורתי, תוך הפחתת השימוש במטמון KV בעד 93.7%. המאמר מנתח את העיצוב הכללי והקיבולת של מנגנוני קשב, מציג את המושג של Generalized Multi-Head Attention (GMHA) כמסגרת מאחדת, וקובע את Fully Parameterized Bilinear Attention (FPBA) כגבול העליון התיאורטי של הביצועים. MFA משלבת שלוש חדשנות עיקריות: הגדלת מספר וממד ראשי הקשב, שימוש בפירוק דרגה נמוכה, ושימוש בראש מפתח-ערך יחיד. תוצאות ניסיוניות מראות כי MFA שומרת על ביצועים מצוינים גם בסדרי גודל גדולים, ומשיגה חיסכון משמעותי בזיכרון.
ESM3 מודל ביולוגי פורץ דרך עם 98 מיליארד פרמטרים מבית Evolutionaryscale, מאפשר עיבוד סימולטני של רצף, מבנה ותפקוד חלבונים. ה-API זמין כעת בחינם, זכה לשבחים מיאן לקון, ומדמה 5 טריליון שנות אבולוציה.
מיקרוסופט הציגה את MatterGen, מודל שפה גדול פורץ דרך שנועד ליצור חומרים אנאורגניים. מודל זה, הבנוי על ארכיטקטורת מודל דיפוזיה, מסוגל לייעל בהדרגה סוגי אטומים, קואורדינטות וסריגים מחזוריים, ומאפשר יצירה מהירה של חומרים אנאורגניים חדשים ומגוונים. MatterGen מגדיל משמעותית את שיעור החומרים היציבים, הייחודיים והחדשים שנוצרים, והמבנים שנוצרים קרובים פי עשרה למינימום האנרגיה המקומית שלהם. למודל יש פוטנציאל לחולל מהפכה בתחומים כמו טכנולוגיית סוללות ולקדם את הבינה המלאכותית הכללית. MatterGen משתמש בתהליך דיפוזיה ליצירת מבנה גבישי מסודר ויציב ממצב התחלתי אקראי לחלוטין, ומשלב רשתות ניקוד אקווריאנטיות כדי להנחות את המודל להתאים אטומים ופרמטרים של סריג. בנוסף, מודולי מתאם משפרים את הגמישות על ידי התאמה עדינה של המודל למשימות שונות.
מחקר חדש מאוניברסיטת סטנפורד וברקלי מראה תנודות בביצועי GPT-3.5 ו-GPT-4 לאורך שלושה חודשים. המחקר בחן שבע משימות, כולל מתמטיקה, יצירת קוד, שאלות מורכבות, ומבחן רישוי רפואי בארה'ב. נמצא כי ביצועי GPT-4 ירדו במשימות כמו זיהוי מספרים ראשוניים, בעוד ש-GPT-3.5 השתפר. כמו כן, חלה ירידה בנכונות GPT-4 לענות על שאלות רגישות וירידה ביכולתו לעקוב אחר הוראות. המחקר מדגיש את חוסר השקיפות של מודלים סגורים ואת הצורך להבין את הדינמיקה של מודלים אלה.
