שיתוף פעולה בין Arm ו-Alibaba מביא בינה מלאכותית רב-מודאלית משופרת לקצה
ההתפתחות המהירה של הבינה המלאכותית (AI) מבשרת עידן חדש של מודלים רב-מודאליים. מערכות מתוחכמות אלו בעלות יכולת לעבד ולפרש מידע ממגוון מקורות, כולל טקסט, תמונות, אודיו, וידאו ואפילו נתוני חיישנים. עם זאת, פריסת מודלים רבי עוצמה אלה במכשירי קצה מציבה מכשולים משמעותיים. המגבלות המובנות בהספק ובקיבולת הזיכרון של חומרת קצה, בשילוב עם המשימה המורכבת של עיבוד בו-זמני של סוגי נתונים מגוונים, יוצרים אתגר מורכב.
Arm Kleidi: מיטוב הסקת AI במעבדי Arm
Arm Kleidi תוכנן במיוחד כדי להתמודד עם אתגר זה, ומספק מיטוב ביצועים חלק עבור כל עומסי העבודה של הסקת AI הפועלים על מעבדי Arm. בלב Kleidi נמצא KleidiAI, חבילה יעילה של שגרות Arm בקוד פתוח ויעילות במיוחד, שנבנו כדי להאיץ את הבינה המלאכותית.
KleidiAI כבר משולב בגרסאות העדכניות ביותר של מסגרות AI בשימוש נרחב עבור מכשירי קצה. אלה כוללים את ExecuTorch, Llama.cpp, LiteRT באמצעות XNNPACK ו-MediaPipe. אינטגרציה נרחבת זו מציעה יתרון משמעותי למיליוני מפתחים, שיכולים כעת ליהנות אוטומטית ממיטוב ביצועי AI ללא כל מאמץ נוסף.
שותפות עם Alibaba: מודל Qwen2-VL-2B-Instruct
אבן דרך חדשה בקידום הבינה המלאכותית הרב-מודאלית במכשירי קצה הושגה באמצעות שיתוף פעולה הדוק עם MNN. MNN היא מסגרת למידה עמוקה קלת משקל וקוד פתוח שפותחה ומתוחזקת על ידי Alibaba. שותפות זו הביאה לשילוב מוצלח של KleidiAI, המאפשר לעומסי עבודה של AI רב-מודאליים לפעול ביעילות במכשירים ניידים באמצעות מעבדי Arm. המפתח להישג זה הוא מודל Qwen2-VL-2B-Instruct בעל 2B פרמטרים של Alibaba, המכוון להוראות. מודל זה תוכנן במיוחד להבנת תמונה, הסקת מסקנות מטקסט לתמונה ויצירה רב-מודאלית במספר שפות, הכל מותאם למגבלות של מכשירי קצה.
שיפורי ביצועים מדידים
השילוב של KleidiAI עם MNN הניב שיפורי ביצועים משמעותיים ומדידים עבור מודל Qwen2-VL-2B-Instruct. זמני תגובה מהירים יותר נצפו במקרי שימוש רב-מודאליים קריטיים של AI בקצה. שיפורים אלה פותחים חוויות משתמש משופרות במגוון יישומים ממוקדי לקוח של Alibaba. דוגמאות כוללות:
- צ’אטבוטים לשירות לקוחות: מתן תגובות מהירות ויעילות יותר לפניות לקוחות.
- יישומי קניות אלקטרוניות: הפעלת חיפוש מתמונה למוצרים, המאפשר ללקוחות למצוא במהירות את הפריטים שהם מחפשים פשוט על ידי העלאת תמונה.
המהירות המשופרת ביישומים אלה היא תוצאה ישירה של שיפורי ביצועים משמעותיים:
- שיפור מילוי מראש: שיפור ביצועים יוצא דופן של 57 אחוז הושג במילוי מראש. זה מתייחס לשלב המכריע שבו מודלים של AI מטפלים בקלטי הנחיה ממספר מקורות לפני יצירת תגובה.
- שיפור פענוח: שיפור ביצועים משמעותי של 28 אחוז נצפה בפענוח. זהו התהליך שבו מודל ה-AI מייצר טקסט לאחר עיבוד הנחיה.
מעבר למהירות, שילוב KleidiAI תורם גם לעיבוד יעיל יותר של עומסי עבודה של AI בקצה. זה מושג על ידי הפחתת העלות החישובית הכוללת הקשורה לעומסי עבודה רב-מודאליים. שיפורי ביצועים ויעילות אלה נגישים בקלות למיליוני מפתחים. כל מפתח שמריץ יישומים ועומסי עבודה במסגרת MNN, כמו גם מסגרות AI פופולריות אחרות עבור מכשירי קצה שבהם KleidiAI משולב, יכול ליהנות באופן מיידי.
הדגמה בעולם האמיתי: תצוגת MWC
היכולות המעשיות של מודל Qwen2-VL-2B-Instruct, המופעל על ידי שילוב KleidiAI החדש עם MNN, הוצגו ב-Mobile World Congress (MWC). הדגמה בדוכן Arm הדגישה את יכולתו של המודל להבין שילובים מגוונים של קלטים חזותיים וטקסטואליים. לאחר מכן הגיב המודל בסיכום תמציתי של תוכן התמונה. תהליך זה כולו בוצע במעבד ה-Arm של סמארטפונים, והציג את העוצמה והיעילות של הפתרון. סמארטפונים אלה נבנו על מערכת ה-Dimensity 9400 הניידת של MediaTek המופעלת על ידי Arm, כולל סדרת vivo X200.
צעד משמעותי קדימה בחוויית המשתמש
השילוב של KleidiAI של Arm עם מסגרת MNN עבור מודל Qwen2-VL-2B-Instruct של Alibaba מייצג קפיצת מדרגה משמעותית בחוויית המשתמש עבור עומסי עבודה של AI רב-מודאליים. התקדמות זו מספקת חוויות משופרות אלה ישירות בקצה, והכל מופעל על ידי מעבד ה-Arm. יכולות אלה זמינות בקלות במכשירים ניידים, כאשר יישומים מובילים הפונים ללקוחות כבר ממנפים את היתרונות של KleidiAI.
עתיד הבינה המלאכותית הרב-מודאלית במכשירי קצה
במבט קדימה, מיטובים חלקים של KleidiAI עבור עומסי עבודה של AI ימשיכו להעצים מיליוני מפתחים. הם יוכלו ליצור חוויות רב-מודאליות מתוחכמות יותר ויותר במכשירי קצה. חדשנות מתמשכת זו תסלול את הדרך לגל הבא של מחשוב חכם, ותסמן צעד משמעותי קדימה בהתפתחות המתמשכת של הבינה המלאכותית.
ציטוטים מהנהגת Alibaba
‘אנו שמחים לראות את שיתוף הפעולה בין מודל השפה הגדול Qwen של Alibaba Cloud, Arm KleidiAI ו-MNN. שילוב מסגרת ההסקה במכשיר של MNN עם Arm KleidiAI שיפר משמעותית את ההשהיה ויעילות האנרגיה של Qwen. שותפות זו מאמתת את הפוטנציאל של LLMs במכשירים ניידים ומשפרת את חוויית המשתמש ב-AI. אנו מצפים להמשך המאמצים בקידום מחשוב AI במכשיר.’ - דונג שו, מנכ’ל Tongyi Large Model Business, Alibaba Cloud.
‘השילוב הטכני בין מסגרת ההסקה MNN לבין Arm KleidiAI מסמן פריצת דרך גדולה בהאצה במכשיר. עם מיטוב משותף של הארכיטקטורה, שיפרנו מאוד את יעילות ההסקה במכשיר של Tongyi LLM, וגישרנו על הפער בין כוח מחשוב נייד מוגבל לבין יכולות AI מתקדמות. הישג זה מדגיש את המומחיות הטכנית שלנו ואת שיתוף הפעולה בין התעשיות. אנו מצפים להמשיך בשותפות זו כדי לשפר את המערכת האקולוגית של המחשוב במכשיר, ולספק חוויות AI חלקות ויעילות יותר בנייד.’ - שיאוטאנג ג’יאנג, ראש MNN, קבוצת Taobao ו-Tmall, Alibaba.
התעמקות בהיבטים הטכניים
כדי להעריך באופן מלא את המשמעות של שיתוף פעולה זה, כדאי לבחון כמה מהפרטים הטכניים הבסיסיים.
תפקידה של MNN
פילוסופיית העיצוב של MNN מתמקדת ביעילות ובניידות. היא משיגה זאת באמצעות מספר תכונות עיקריות:
- ארכיטקטורה קלת משקל: MNN מתוכננת להיות בעלת טביעת רגל קטנה, תוך מזעור דרישות האחסון והזיכרון במכשירי קצה.
- פעולות ממוטבות: המסגרת משלבת פעולות מתמטיות ממוטבות במיוחד המותאמות במיוחד למעבדי Arm, תוך מיקסום הביצועים.
- תאימות חוצת פלטפורמות: MNN תומכת במגוון רחב של מערכות הפעלה ופלטפורמות חומרה, מה שהופך אותה לבחירה רב-תכליתית עבור מפתחים.
תרומת KleidiAI
KleidiAI משלימה את החוזקות של MNN על ידי מתן סט של שגרות מיוחדות שמאיצות עוד יותר את הסקת ה-AI. שגרות אלו ממנפות את הניסיון הרב של Arm בארכיטקטורת CPU כדי לפתוח שיפורי ביצועים שיהיה קשה להשיג אחרת. היבטים מרכזיים בתרומתה של KleidiAI כוללים:
- גרעינים ממוטבים במיוחד: KleidiAI מספקת גרעינים ממוטבים במיוחד עבור פעולות AI נפוצות, כגון כפל מטריצות וקונבולוציה. גרעינים אלה מכוונים בקפידה כדי לנצל את התכונות הספציפיות של מעבדי Arm.
- אינטגרציה אוטומטית: השילוב החלק של KleidiAI במסגרות AI פופולריות פירושו שמפתחים אינם צריכים לשלב ידנית את המיטובים הללו. יתרונות הביצועים מיושמים באופן אוטומטי, מה שמפשט את תהליך הפיתוח.
- שיפור מתמיד: Arm מחויבת לעדכן ולשפר ללא הרף את KleidiAI, ולהבטיח שהיא תישאר בחזית טכנולוגיית האצת ה-AI.
Qwen2-VL-2B-Instruct: מודל רב-מודאלי רב עוצמה
מודל Qwen2-VL-2B-Instruct הוא עדות למומחיות של Alibaba במודלים של שפה גדולה ובבינה מלאכותית רב-מודאלית. תכונותיו העיקריות כוללות:
- כוונון הוראות: המודל מכוון במיוחד למעקב אחר הוראות, מה שהופך אותו למתאים במיוחד למגוון רחב של משימות.
- יכולות רב-מודאליות: הוא מצטיין בהבנה ובעיבוד של מידע חזותי וטקסטואלי כאחד, ומאפשר יישומים כמו כיתוב תמונות ותשובות לשאלות חזותיות.
- תמיכה רב-לשונית: המודל מתוכנן לעבוד עם מספר שפות, ולהרחיב את ישימותו על פני אזורים ובסיסי משתמשים שונים.
- מותאם למכשירי קצה: למרות יכולותיו העוצמתיות, המודל תוכנן בקפידה לפעול במסגרת מגבלות המשאבים של מכשירי קצה.
הרחבת היקף הבינה המלאכותית הרב-מודאלית
ההתקדמות הנדונה כאן אינה מוגבלת לסמארטפונים. ניתן ליישם את אותם עקרונות וטכנולוגיות על מגוון רחב של מכשירי קצה, כולל:
- מכשירי בית חכם: הפעלת עוזרים קוליים, זיהוי תמונות עבור מצלמות אבטחה ותכונות חכמות אחרות.
- מכשירים לבישים: הפעלת ניטור בריאות, מעקב אחר כושר ויישומי מציאות רבודה.
- IoT תעשייתי: הקלה על תחזוקה חזויה, בקרת איכות ואוטומציה במסגרות ייצור.
- רכב: שיפור מערכות סיוע לנהג, בידור בתא הנוסעים ויכולות נהיגה אוטונומיות.
היישומים הפוטנציאליים של AI רב-מודאלי בקצה הם עצומים וממשיכים להתרחב. ככל שהמודלים הופכים מתוחכמים יותר והחומרה הופכת לחזקה יותר, אנו יכולים לצפות לראות מקרי שימוש חדשניים ומשפיעים עוד יותר. שיתוף פעולה זה בין Arm ל-Alibaba הוא צעד משמעותי בכיוון זה, המביא את העוצמה של AI רב-מודאלי לקהל רחב יותר ומאפשר דור חדש של מכשירים חכמים. ההתמקדות ביעילות, ביצועים ונגישות למפתחים מבטיחה שלהתקדמות אלו תהיה השפעה רחבה ומתמשכת על עתיד הטכנולוגיה.