שיפור שימוש בכלי ע'י התאמת מודלי אמזון נובה

בעידן הטכנולוגי המתפתח במהירות, מודלים שפתיים גדולים (LLMs) הפכו לכלי רב עוצמה לעיבוד שפה טבעית. עם זאת, ההסתמכות שלהם על נתוני אימון סטטיים מגבילה את יכולתם להסתגל לתרחישים בעולם האמיתי. ככל שתעשיות דורשות יותר ויותר פתרונות AI המסוגלים לקבל החלטות מושכלות, השילוב של כלים חיצוניים וממשקי API הפך לחיוני. הדיוק שבו משתמשים בכלים אלה הוא חיוני לשיפור יכולות קבלת ההחלטות והיעילות התפעולית של סוכנים אוטונומיים, ובסופו של דבר סולל את הדרך לפיתוח זרימות עבודה סוכניות מתוחכמות.

מאמר זה מתעמק בהיבטים הטכניים של שימוש בכלי באמצעות מודלי אמזון נובה דרך אמזון בדרוק. יתר על כן, הוא בוחן שיטות שונות להתאמה אישית של מודלים אלה כדי להשיג דיוק רב יותר בשימוש בכלי.

הרחבת יכולות LLM עם שימוש בכלי

LLM הוכיחו מיומנות יוצאת דופן במגוון רחב של משימות שפה טבעית. עם זאת, הפוטנציאל האמיתי שלהם נפתח באמצעות שילוב חלק עם כלים חיצוניים כגון ממשקי API ומסגרות חישוביות. כלים אלה מעצימים LLM עם היכולת לגשת לנתונים בזמן אמת, לבצע חישובים ספציפיים לתחום ולאחזר מידע מדויק, ובכך לשפר את האמינות והגמישות שלהם.

שקול את השילוב של API מזג אוויר, המאפשר ל-LLM לספק תחזיות מזג אוויר מדויקות ועדכניות. באופן דומה, API של ויקיפדיה יכול לצייד LLM עם היכולת לגשת למאגר עצום של מידע, ולאפשר להם להגיב לשאילתות מורכבות בדיוק רב יותר. בהקשרים מדעיים, כלים כגון מחשבונים ומנועים סמליים יכולים לעזור ל-LLM להתגבר על אי דיוקים מספריים, ולהפוך אותם לאמינים יותר לחישובים מורכבים.

על ידי שילוב חלק עם כלים אלה, LLM מתפתחים למערכות חזקות ומודעות לתחום המסוגלות להתמודד עם משימות דינמיות ומיוחדות עם תועלת בעולם האמיתי.

מודלי אמזון נובה ואמזון בדרוק

מודלי אמזון נובה, שהוצגו ב-AWS re:Invent בדצמבר 2024, נועדו לספק תמורה יוצאת דופן למחיר. מודלים אלה מציעים ביצועים חדישים בבדיקות מפתח להבנת טקסט תוך שמירה על כדאיות. הסדרה כוללת שלושה סוגים:

• מיקרו: מודל טקסט בלבד המותאם לשימוש קצה, המציע ביצועים יעילים במיוחד.
• לייט: מודל מולטימודלי המשיג איזון בין גמישות לביצועים.
• פרו: מודל מולטימודלי בעל ביצועים גבוהים המיועד להתמודדות עם משימות מורכבות.

ניתן להשתמש במודלי אמזון נובה למגוון רחב של משימות, כולל יצירה ופיתוח של זרימות עבודה סוכניות. מודלים אלה מחזיקים ביכולת ליצור אינטראקציה עם כלים או שירותים חיצוניים באמצעות תהליך המכונה שימוש בכלי. ניתן לגשת לפונקציונליות זו דרך קונסולת אמזון בדרוק וממשקי API כגון Converse ו-Invoke.

בנוסף לשימוש במודלים שאומנו מראש, למפתחים יש אפשרות לכוונן את המודלים האלה עם נתונים מולטימודליים (פרו ולייט) או נתוני טקסט (פרו, לייט ומיקרו). גמישות זו מאפשרת למפתחים להשיג את רמות הדיוק, ההשהיה והכדאיות הרצויות. יתר על כן, מפתחים יכולים למנף את קונסולת אמזון בדרוק וממשקי API כדי לבצע כוונון עדין מותאם אישית בשירות עצמי וזיקוק של מודלים גדולים יותר לקטנים יותר.

סקירת פתרון

הפתרון כולל הכנת מערך נתונים מותאם אישית שתוכנן במיוחד לשימוש בכלי. לאחר מכן, מערך נתונים זה משמש להערכת הביצועים של מודלי אמזון נובה באמצעות אמזון בדרוק, תוך שימוש בממשקי ה-Converse ו-Invoke API. לאחר מכן, מודלי AmazonNova Micro ואמזון נובה לייט מכווננים באמצעות מערך הנתונים המוכן באמצעות אמזון בדרוק. עם השלמת תהליך הכוונון העדין, מודלים מותאמים אישית אלה מוערכים באמצעות תפוקה מסופקת.

כלים

שימוש בכלי ב-LLM כולל שני פעולות חיוניות: בחירת כלי וחילוץ או יצירת ארגומנטים. לדוגמה, שקול כלי שנועד לאחזר מידע על מזג אוויר עבור מיקום מסוים. כאשר מוצגת שאילתה כגון, “מה מזג האוויר בלונדון עכשיו?”, ה-LLM מעריך את הכלים הזמינים שלו כדי לקבוע אם קיים כלי מתאים. אם מזוהה כלי מתאים, המודל בוחר אותו ומחלץ את הארגומנטים הדרושים – במקרה זה, “לונדון” – כדי לבנות את קריאת הכלי.

כל כלי מוגדר בקפדנות עם מפרט פורמלי המתאר את הפונקציונליות המיועדת שלו, ארגומנטים חובה ואופציונליים וסוגי נתונים משויכים. הגדרות מדויקות אלה, המכונות tool config, מבטיחות שקריאות כלי מבוצעות כהלכה וניתוח ארגומנטים תואם לדרישות התפעוליות של הכלי. בהתאם לדרישה זו, מערך הנתונים המשמש בדוגמה זו מגדיר שמונה כלים נפרדים, שלכל אחד מהם ארגומנטים ותצורות משלו, כולם בנויים בפורמט JSON. שמונת הכלים המוגדרים הם כדלקמן:

• weather_api_call: כלי מותאם אישית המיועד לאחזור מידע על מזג אוויר.
• stat_pull: כלי מותאם אישית לזיהוי נתונים סטטיסטיים.
• text_to_sql: כלי מותאם אישית להמרת טקסט לשאילתות SQL.
• terminal: כלי לביצוע סקריפטים בסביבת טרמינל.
• wikipedia: כלי API של ויקיפדיה לחיפוש בדפי ויקיפדיה.
• duckduckgo_results_json: כלי חיפוש באינטרנט המשתמש ב-DuckDuckGo לביצוע חיפושים.
• youtube_search: כלי חיפוש API של YouTube לחיפוש רשימות וידאו.
• pubmed_search: כלי חיפוש PubMed לחיפוש תקצירים של PubMed.

מערך נתונים

מערך הנתונים המשמש בפתרון זה הוא מערך נתונים סינתטי לשימוש בכלי, שנוצר בעזרת מודל בסיס (FM) מאמזון בדרוק ולאחר מכן אושר ותוקן ידנית. מערך נתונים זה פותח עבור קבוצת שמונת הכלים שנדונו קודם לכן, במטרה ליצור אוסף מגוון של שאלות והפעלות כלי המאפשרות למודל אחר ללמוד מדוגמאות אלה ולהכליל להפעלות כלי שלא נראו.

כל ערך בתוך מערך הנתונים בנוי כאובייקט JSON, המכיל צמדי מפתח-ערך המגדירים את השאלה (שאילתת משתמש בשפה טבעית עבור המודל), כלי האמת הקרקעית הנדרש כדי לענות על שאילתת המשתמש, הארגומנטים שלו (מילון המכיל את הפרמטרים הנדרשים לביצוע הכלי) ואילוצים נוספים כגון order_matters: boolean, המציין אם סדר הארגומנטים הוא קריטי, ו-arg_pattern: optional, ביטוי רגולרי (regex) לאימות או עיצוב ארגומנטים. תוויות אמת קרקעיות אלה משמשות כדי לפקח על האימון של מודלי אמזון נובה שאומנו מראש, ולהתאים אותם לשימוש בכלי. תהליך זה, המכונה כוונון עדין בפיקוח, נחקר עוד בסעיפים הבאים.

קבוצת האימון כוללת 560 שאלות, בעוד שקבוצת הבדיקה מכילה 120 שאלות. קבוצת הבדיקה בנויה לכלול 15 שאלות לכל קטגוריית כלי, ובסך הכל 120 שאלות.

הכנת מערך הנתונים עבור אמזון נובה

כדי לנצל ביעילות מערך נתונים זה עם מודלי אמזון נובה, יש צורך לעצב את הנתונים בהתאם לתבנית צ’אט ספציפית. שימוש מקורי בכלי משלב שכבת תרגום המעצבת את הקלטים לפורמט המתאים לפני העברתם למודל. בפתרון זה, גישה לשימוש בכלי עשה זאת בעצמך מאומצת, תוך שימוש בתבנית הנחיה מותאמת אישית. באופן ספציפי, יש להוסיף את הנחיית המערכת, הודעת המשתמש המוטמעת עם תצורת הכלי ותווי האמת הקרקעית כהודעת העוזר.

העלאת מערך הנתונים לאמזון S3

שלב זה חיוני כדי לאפשר לאמזון בדרוק לגשת לנתוני האימון במהלך תהליך הכוונון העדין. ניתן להעלות את מערך הנתונים באמצעות קונסולת אמזון Simple Storage Service (Amazon S3) או באופן תוכנתי.

שימוש בכלי עם מודלי בסיס דרך ה-API של אמזון בדרוק

עם מערך נתוני השימוש בכלי שנוצר ועוצב כנדרש, ניתן להשתמש בו כדי לבדוק את מודלי אמזון נובה. ניתן להשתמש בממשקי ה-Converse ו-Invoke API לשימוש בכלי באמזון בדרוק. ה-Converse API מאפשר שיחות דינמיות ומודעות להקשר, ומאפשר למודלים לעסוק בדיאלוגים מרובי תורות, בעוד ה-Invoke API מאפשר למשתמשים לקרוא ולקיים אינטראקציה עם המודלים הבסיסיים בתוך אמזון בדרוק.

כדי להשתמש ב-Converse API, ההודעות, הנחיית המערכת (אם יש) ותצורת הכלי נשלחים ישירות ל-API.

כדי לנתח את הכלי והארגומנטים מתגובת ה-LLM, שקול את השאלה: “היי, מה הטמפרטורה בפריז עכשיו?”. הפלט ינותח כדי לזהות את הכלי והארגומנטים הדרושים כדי לענות על השאלה.

כוונון עדין של מודלי אמזון נובה לשיפור השימוש בכלי

כוונון עדין הוא שלב מכריע בהתאמת מודלים שפתיים שאומנו מראש כמו אמזון נובה למשימות ספציפיות. על ידי אימון המודל על מערך נתונים המותאם ליישום הרצוי, המודל יכול ללמוד לבצע את המשימה בדיוק ויעילות רבה יותר. בהקשר של שימוש בכלי, כוונון עדין יכול לשפר משמעותית את יכולתו של המודל לבחור את הכלי המתאים ולחלץ את הארגומנטים הנכונים.

התהליך של כוונון עדין כולל התאמת הפרמטרים הפנימיים של המודל כדי למזער את ההבדל בין התחזיות שלו לתוויות האמת הקרקעית במערך הנתונים לאימון. זה מושג בדרך כלל באמצעות תהליך איטרטיבי, שבו המודל נחשף שוב ושוב לנתוני האימון והפרמטרים שלו מותאמים בהתבסס על השגיאות שנצפו.

הכנת מערך הנתונים לכוונון עדין

יש לאצור בקפידה את מערך הנתונים לכוונון עדין כדי לשקף את סוגי השאלות והפעלות הכלי שהמודל צפוי לטפל בהם בתרחישים בעולם האמיתי. מערך הנתונים צריך לכלול מגוון רחב של דוגמאות, המכסות קטגוריות כלי ודפוסי ארגומנט שונים.

כל דוגמה במערך הנתונים צריכה לכלול שאלה, הכלי המתאים שיש לקרוא לו והארגומנטים הנדרשים לביצוע הכלי. יש לעצב את הארגומנטים בצורה מובנית, בדרך כלל כאובייקט JSON.

תהליך הכוונון העדין

ניתן לבצע את תהליך הכוונון העדין באמצעות קונסולת אמזון בדרוק או ממשקי API. התהליך כולל ציון המודל שיש לכוונן, את מערך הנתונים לכוונון עדין ואת פרמטרי האימון הרצויים.

פרמטרי האימון שולטים בהיבטים שונים של תהליך הכוונון העדין, כגון קצב הלמידה, גודל האצווה ומספר העידנים. קצב הלמידה קובע את גודל התאמות הפרמטרים שבוצעו במהלך כל איטרציה. גודל האצווה קובע את מספר הדוגמאות המעובדות בכל איטרציה. מספר העידנים קובע את מספר הפעמים שהמודל נחשף לכל מערך הנתונים לאימון.

הערכת המודל המכוונן

לאחר השלמת תהליך הכוונון העדין, חיוני להעריך את הביצועים של המודל המכוונן. ניתן לעשות זאת על ידי בדיקת המודל על מערך נתוני בדיקה נפרד שלא שימש במהלך תהליך הכוונון העדין.

מערך נתוני הבדיקה צריך להיות מייצג של סוגי השאלות והפעלות הכלי שהמודל צפוי לטפל בהם בתרחישים בעולם האמיתי. ניתן להעריך את הביצועים של המודל על ידי מדידת מדדים כגון דיוק, דיוק, זיכרון וציון F1.

יתרונות של התאמה אישית של מודלי אמזון נובה לשימוש בכלי

התאמה אישית של מודלי אמזון נובה לשימוש בכלי מציעה מספר יתרונות:

• דיוק משופר: כוונון עדין של המודל על מערך נתונים ספציפי למשימה יכול לשפר משמעותית את הדיוק של בחירת כלי וחילוץ ארגומנטים.
• יעילות מוגברת: מודלים מכווננים יכולים לעתים קרובות לבצע משימות שימוש בכלי ביעילות רבה יותר ממודלים שאומנו מראש.
• יכולת הסתגלות משופרת: כוונון עדין מאפשר למודל להסתגל לתחומים ותיקי שימוש ספציפיים.
• עלויות מופחתות: במקרים מסוימים, כוונון עדין יכול להפחית את משאבי החישוב הנדרשים לביצוע משימות שימוש בכלי.

מסקנה

התאמה אישית של מודלי אמזון נובה לשימוש בכלי היא טכניקה חשובה לשיפור הביצועים ויכולת ההסתגלות של LLM. על ידי כוונון עדין של המודל על מערך נתונים ספציפי למשימה, מפתחים יכולים לשפר משמעותית את הדיוק, היעילות ויכולת ההסתגלות של יישומי שימוש בכלי. ככל שתעשיות דורשות יותר ויותר פתרונות AI המסוגלים לקבל החלטות מושכלות, ההתאמה האישית של LLM לשימוש בכלי תהפוך חשובה יותר ויותר.