עידן תפיסת AI: עליבאבא חושפת מודל שרואה ומסיק

בינה מלאכותית (AI), במשך שנים, תקשרה ופעלה בעיקר בתחום הטקסט. מודלי שפה הרשימו ביכולתם לעבד, ליצור ולהבין שפה אנושית, וחוללו מהפכה באופן שבו אנו מתקשרים עם מידע וטכנולוגיה. עם זאת, העולם שבו אנו חיים אינו רק טקסטואלי; הוא מארג עשיר של גירויים חזותיים. מתוך הכרה בהיבט יסודי זה של המציאות, חזית פיתוח ה-AI מתקדמת במהירות לעבר מערכות שיכולות לא רק לקרוא אלא גם לראות ולפרש את העולם החזותי סביבן. כשהיא נכנסת בצעד בטוח לנוף המתפתח הזה, קונגלומרט הטכנולוגיה הסיני Alibaba הציג פיתוח חדש ומסקרן: QVQ-Max, מערכת AI שתוכננה עם יכולת הסקה חזותית. זה מסמן צעד משמעותי לעבר AI שמתקשר עם מידע באופן דומה לבני אדם – על ידי שילוב ראייה עם הבנה ומחשבה.

מעבר לטקסט: הבנת מהות ההסקה החזותית

המושג של הסקה חזותית בבינה מלאכותית מסמן סטייה מעיבוד מבוסס טקסט בלבד. מודלי שפה גדולים (LLMs) מסורתיים מצטיינים במשימות הכוללות שפה כתובה או מדוברת – סיכום מאמרים, תרגום שפות, כתיבת מיילים, או אפילו כתיבת קוד. עם זאת, אם תציגו להם תמונה, דיאגרמה או קטע וידאו, הבנתם נתקלת בקיר, אלא אם כן אומנו במיוחד לקלט רב-מודאלי. הם עשויים לזהות אובייקטים בתוך תמונה אם צוידו בראייה ממוחשבת בסיסית, אך לעתים קרובות הם מתקשים לתפוס את ההקשר, את היחסים בין אלמנטים, או את המשמעות הבסיסית המועברת חזותית.

הסקה חזותית שואפת לגשר על פער קריטי זה. היא כוללת ציוד AI לא רק ביכולת ‘לראות’ (זיהוי תמונות) אלא גם להבין את היחסים המרחביים, להסיק פעולות, להסיק הקשר ולבצע היקשים לוגיים המבוססים על קלט חזותי. דמיינו AI שלא רק מזהה ‘חתול’ ו’שטיח’ בתמונה אלא מבין את המושג ‘החתול על השטיח’. הרחיבו זאת עוד יותר: AI שיכול להסתכל על רצף תמונות המתארות מרכיבים ושלבי בישול ואז ליצור הוראות קוהרנטיות, או לנתח דיאגרמה הנדסית מורכבת כדי לאתר נקודות לחץ פוטנציאליות.

יכולת זו מקרבת את ה-AI לצורה הוליסטית יותר של אינטליגנציה, כזו המשקפת קוגניציה אנושית באופן הדוק יותר. אנו מעבדים מידע חזותי ללא הרף, משלבים אותו בצורה חלקה עם הידע ויכולות ההסקה שלנו כדי לנווט בעולם, לפתור בעיות ולתקשר ביעילות. AI שניחן בהסקה חזותית חזקה יכול לעסוק בספקטרום רחב הרבה יותר של מידע, ולפתוח אפשרויות חדשות לסיוע, ניתוח ואינטראקציה שהיו מוגבלות בעבר למדע בדיוני. זה מייצג את ההבדל בין AI שיכול לקרוא את מקרא המפה לבין AI שיכול לפרש את המפה עצמה כדי לספק הנחיות המבוססות על ציוני דרך חזותיים. QVQ-Max של Alibaba ממצב את עצמו כמתחרה בתחום מתוחכם זה, וטוען ליכולות המשתרעות להבנה ותהליכי חשיבה אמיתיים המופעלים על ידי נתונים חזותיים.

הכירו את QVQ-Max: הפריצה של Alibaba לראייה ומחשבה של AI

Alibaba מציגה את QVQ-Max לא רק כמזהה תמונות אלא כמודל הסקה חזותית מתוחכם. הטענה המרכזית היא שבוט AI זה מתעלה על זיהוי אובייקטים פשוט; הוא מנתח ומסיק באופן פעיל עם המידע הנאסף מתצלומים ותוכן וידאו. Alibaba מציעה ש-QVQ-Max תוכנן כדי לראות, להבין ולחשוב ביעילות על האלמנטים החזותיים המוצגים לו, ובכך לצמצם את הפער בין עיבוד AI מופשט, מבוסס טקסט, לבין המידע המוחשי והחזותי המהווה חלק ניכר מנתוני העולם האמיתי.

המכניקה מאחורי זה כוללת יכולות מתקדמות בניתוח סצנות חזותיות מורכבות וזיהוי אלמנטים מרכזיים ויחסי הגומלין ביניהם. זה לא רק עניין של תיוג אובייקטים אלא של הבנת הנרטיב או המבנה בתוך הקלט החזותי. Alibaba מדגישה את גמישות המודל, ומציעה מגוון רחב של יישומים פוטנציאליים הנובעים מיכולת הסקה חזותית ליבתית זו. יישומים אלה משתרעים על פני תחומים מגוונים, ומצביעים על האופי היסודי של טכנולוגיה זו. דוגמאות שצוינו כוללות סיוע בעיצוב איורים, אולי על ידי הבנת סגנונות חזותיים או יצירת קונספטים המבוססים על הנחיות תמונה; הקלה על יצירת תסריטי וידאו, אולי על ידי פירוש רצפים חזותיים או מצבי רוח; ועיסוק בתרחישי משחק תפקידים מתוחכמים שבהם ניתן לשלב הקשר חזותי.

ההבטחה של QVQ-Max טמונה בפוטנציאל שלו לשלב נתונים חזותיים ישירות בפתרון בעיות וביצוע משימות. תוך שמירה על העזרה של צ’אטבוטים מסורתיים של AI למשימות המושרשות בטקסט ונתונים בעבודה, בחינוך ובחיים האישיים, הממד החזותי שלו מוסיף שכבות של יכולת. הוא שואף להתמודד עם בעיות שבהן ההקשר החזותי אינו רק משלים אלא חיוני.

יישומים מעשיים: היכן שהסקה חזותית עושה את ההבדל

המדד האמיתי של כל התקדמות טכנולוגית טמון בתועלת המעשית שלה. כיצד AI שיכול ‘לראות’ ו’להסיק’ מתורגם ליתרונות מוחשיים? Alibaba מציעה מספר תחומים משכנעים שבהם היכולת החזותית של QVQ-Max יכולה להיות טרנספורמטיבית.

שיפור זרימות עבודה מקצועיות

במקום העבודה, מידע חזותי נמצא בכל מקום. שקלו את ההשפעה הפוטנציאלית:

• ניתוח ויזואליזציה של נתונים: במקום רק לעבד טבלאות נתונים גולמיים, QVQ-Max יכול פוטנציאלית לנתח תרשימים וגרפים ישירות, לזהות מגמות, חריגות או תובנות מפתח המוצגות חזותית. זה יכול להאיץ באופן דרסטי ניתוח דוחות ומשימות בינה עסקית.
• פירוש דיאגרמות טכניות: מהנדסים, אדריכלים וטכנאים מסתמכים לעתים קרובות על דיאגרמות, שרטוטים או סכמות מורכבות. AI עם הסקה חזותית יכול לעזור לפרש מסמכים אלה, אולי לזהות רכיבים, לעקוב אחר חיבורים, או אפילו לסמן פגמים פוטנציאליים בעיצוב המבוססים על דפוסים חזותיים.
• סיוע בעיצוב ויצירה: עבור מעצבים גרפיים או מאיירים, המודל עשוי לנתח לוחות השראה או תמונות השראה כדי להציע פלטות צבעים, מבני פריסה או אלמנטים סגנוניים. הוא יכול פוטנציאלית אפילו ליצור טיוטות איורים המבוססות על תיאורים חזותיים או דימויים קיימים, ופועל כשותף יצירתי מתוחכם.
• יצירת מצגות: דמיינו שאתם מזינים ל-AI קבוצת תמונות הקשורות לפרויקט; הוא יכול פוטנציאלית לבנות מצגת, ליצור כיתובים רלוונטיים ולהבטיח עקביות חזותית, ובכך לייעל את תהליך היצירה.

מהפכה בחינוך ולמידה

תחום החינוך עשוי להרוויח משמעותית מ-AI שמבין מידע חזותי:

• פתרון בעיות STEM: היכולת לנתח דיאגרמות המלוות בעיות במתמטיקה ופיזיקה היא דוגמה מצוינת. QVQ-Max יכול פוטנציאלית לפרש צורות גיאומטריות, דיאגרמות כוח או סכמות מעגלים, ולקשר את הייצוג החזותי עם תיאור הבעיה הטקסטואלי כדי להציע הדרכה צעד אחר צעד או הסברים. זה מציע נתיב להבנת מושגים שהם חזותיים מטבעם.
• הוראה פרטית בנושאים חזותיים: נושאים כמו ביולוגיה (מבנים תאיים, אנטומיה), כימיה (מודלים מולקולריים), גיאוגרפיה (מפות, תצורות גיאולוגיות) ותולדות האמנות מסתמכים במידה רבה על הבנה חזותית. AI עם הסקה חזותית יכול לשמש כמורה אינטראקטיבי, להסביר מושגים המבוססים על תמונות, לבחון תלמידים על זיהוי חזותי, או לספק הקשר ליצירות אמנות היסטוריות.
• חומרי למידה אינטראקטיביים: יוצרי תוכן חינוכי יכולים למנף טכנולוגיה כזו לבניית מודולי למידה דינמיים ומגיבים יותר שבהם תלמידים מתקשרים עם אלמנטים חזותיים, וה-AI מספק משוב המבוסס על הבנתו את הוויזואליה.

פישוט החיים האישיים והתחביבים

מעבר לעבודה ולימודים, AI עם הסקה חזותית מציע אפשרויות מסקרנות למשימות יומיומיות ופנאי:

• הדרכה קולינרית: הדוגמה של הדרכת משתמש בבישול המבוססת על תמונות מתכון מדגישה זאת. ה-AI לא רק יקרא את השלבים; הוא יכול פוטנציאלית לנתח תמונות של התקדמות המשתמש, להשוות אותן לתוצאה הצפויה בתמונות המתכון, ולהציע עצות מתקנות (“נראה שהרוטב שלך צריך להסמיך יותר בהשוואה לתמונה הזו”).
• סיוע ב-DIY ותיקונים: נתקעתם בהרכבת רהיטים או בתיקון מכשיר? כיוון המצלמה לאזור הבעיה או לדיאגרמה במדריך ההוראות יכול לאפשר ל-AI לזהות חלקים חזותית, להבין את שלב ההרכבה ולספק הדרכה ממוקדת.
• זיהוי טבע: זיהוי צמחים, חרקים או ציפורים מתצלומים יכול להפוך למתוחכם יותר, כאשר ה-AI עשוי לספק מידע מפורט המבוסס לא רק על זיהוי אלא על הקשר חזותי (למשל, זיהוי צמח וציון סימני מחלה הנראים בתמונה).
• משחק תפקידים משופר: שילוב אלמנטים חזותיים במשחקי תפקידים יכול ליצור חוויות סוחפות הרבה יותר. ה-AI יכול להגיב לתמונות המייצגות סצנות או דמויות, ולשזור אותן בנרטיב באופן דינמי.

הדרך קדימה: עידון והרחבת היכולות של QVQ-Max

Alibaba מודה ברצון ש-QVQ-Max, בצורתו הנוכחית, מייצג רק את האיטרציה הראשונית של חזונם ל-AI עם הסקה חזותית. הם ניסחו מפת דרכים ברורה לשיפורים עתידיים, תוך התמקדות בשלושה תחומים מרכזיים להעלאת התחכום והתועלת של המודל.

1. חיזוק דיוק זיהוי התמונות: הבסיס להסקה חזותית הוא תפיסה מדויקת. Alibaba מתכננת לשפר את יכולתו של QVQ-Max לפרש נכון את מה שהוא ‘רואה’. זה כרוך בשימוש בטכניקות עיגון (grounding). ב-AI, עיגון מתייחס בדרך כלל לחיבור סמלים מופשטים או ייצוגי שפה (כמו טקסט שנוצר על ידי המודל) לרפרנטים קונקרטיים מהעולם האמיתי – במקרה זה, הפרטים הספציפיים בתוך תמונה. על ידי אימות התצפיות החזותיות שלו מול נתוני התמונה הממשיים באופן קפדני יותר, המטרה היא להפחית שגיאות, פרשנויות שגויות ו’הזיות’ AI שיכולות להטריד מודלים גנרטיביים. חתירה זו להבנה חזותית נאמנה יותר היא חיונית להסקה אמינה.

2. התמודדות עם מורכבות ואינטראקציה: הדחף המרכזי השני הוא לאפשר למודל להתמודד עם משימות מורכבות יותר המתפתחות על פני מספר שלבים או כוללות תרחישי פתרון בעיות מורכבים. שאיפה זו משתרעת מעבר לניתוח פסיבי לאינטראקציה פעילה. המטרה המוזכרת – לאפשר ל-AI להפעיל טלפונים ומחשבים ואפילו לשחק משחקים – ראויה לציון במיוחד. משמעות הדבר היא התפתחות לעבר סוכני AI המסוגלים להבין ממשקי משתמש גרפיים (GUIs), לפרש משוב חזותי דינמי (כמו בסביבת משחק), ולבצע רצפי פעולות המבוססים על קלט חזותי. הצלחה כאן תייצג קפיצת מדרגה משמעותית לעבר עוזרי AI אוטונומיים ומסוגלים יותר שיכולים לתקשר עם העולם הדיגיטלי באופן חזותי, בדומה לבני אדם.

3. הרחבת מודאליות מעבר לטקסט: לבסוף, Alibaba מתכננת לדחוף את QVQ-Max מעבר להסתמכותו הנוכחית על אינטראקציות מבוססות טקסט בעיקר עבור הפלט שלו ואולי עידון הקלט. מפת הדרכים כוללת שילוב אימות כלים (tool verification) ויצירה חזותית (visual generation). אימות כלים יכול означать שה-AI מאשר חזותית שפעולה שהתבקשה מכלי תוכנה חיצוני או API הושלמה בהצלחה על ידי ניתוח שינויי מסך או תמונות פלט. יצירה חזותית מציעה מעבר למערכת קלט/פלט רב-מודאלית באמת שבה ה-AI יכול לא רק להבין תמונות אלא גם ליצור תוכן חזותי חדש המבוסס על ההסקה שלו והאינטראקציה המתמשכת. זה יכול לכלול יצירת דיאגרמות, שינוי תמונות בהתאם להוראות, או יצירת ייצוגים חזותיים של תהליך ההסקה שלו.

אג’נדה צופה פני עתיד זו מדגישה את הפוטנציאל ארוך הטווח הנחזה עבור AI עם הסקה חזותית – מערכות שהן לא רק תפיסתיות וחושבות אלא גם אינטראקטיביות יותר ויותר ומסוגלות לפעולות מורכבות, מרובות שלבים בתוך סביבות עשירות חזותית.

גישה לתודעה החזותית: התנסות עם QVQ-Max

לאלו המעוניינים לחקור את היכולות של מודל ההסקה החזותית החדש הזה ממקור ראשון, Alibaba הפכה את QVQ-Max לנגיש דרך ממשק הצ’אט הקיים שלה ל-AI. משתמשים יכולים לנווט לפלטפורמת chat.qwen.ai. בתוך הממשק, הממוקם בדרך כלל בפינה השמאלית העליונה, יש תפריט נפתח לבחירת מודלי AI שונים. על ידי בחירת האפשרות ‘הרחב מודלים נוספים’ (Expand more models), משתמשים יכולים למצוא ולבחור את QVQ-Max. ברגע שהמודל פעיל, האינטראקציה מתבצעת דרך תיבת הצ’אט הסטנדרטית, בתוספת החשובה של צירוף תוכן חזותי – תמונות או פוטנציאלית קטעי וידאו – כדי לפתוח את יכולות ההסקה הייחודיות שלו. התנסות עם קלטים חזותיים שונים היא המפתח להבנת ההיקף המעשי והמגבלות של כלי הסקה חזותית זה מהדור הראשון.