Nvidia חושפת את פלטפורמת NeMo לבניית סוכני AI
Nvidia השיקה רשמית את פלטפורמת NeMo, חבילה מקיפה של מיקרו-שירותים המתוכננת לייעל את הפיתוח של מערכות סוכני AI מתקדמות. פלטפורמה זו, שהוכרזה ביום רביעי, 23 באפריל, תומכת במגוון של מודלי שפה גדולים (LLMs) וממנפת מנגנון “גלגל נתונים”. גישה חדשנית זו מאפשרת לסוכני AI ללמוד באופן רציף מחוויות בעולם האמיתי, ולשפר את הביצועים וההסתגלות שלהם.
רכיבי הליבה של פלטפורמת NeMo
פלטפורמת NeMo היא מערכת אקולוגית של מיקרו-שירותים מחוברים זה לזה, שכל אחד מהם נועד לטפל בהיבטים ספציפיים של פיתוח סוכני AI. רכיבים אלה פועלים יחד כדי לספק למפתחים ערכת כלים חזקה ליצירת פתרונות AI מתוחכמים.
NeMo Customizer: האצת כוונון עדין של LLM
NeMo Customizer הוא מרכיב מפתח שנועד להאיץ את הכוונון העדין של מודלי שפה גדולים. מיקרו-שירות זה מפשט את תהליך התאמת LLMs למשימות או מערכי נתונים ספציפיים, ומאפשר למפתחים להשיג ביצועים מיטביים במאמץ מינימלי. על ידי ייעול תהליך הכוונון העדין, NeMo Customizer מצמצם את הזמן והמשאבים הנדרשים להתאמת LLMs ליישומים שונים. הוא מאפשר התאמה אישית של מודלים קיימים עם נתונים חדשים, תוך שמירה על ידע קודם ומניעת תופעות כמו ‘שכחת ידע’. הכלי מציע מגוון רחב של אפשרויות כוונון עדין, כולל כוונון עדין מלא, כוונון עדין יעיל בפרמטרים (PEFT), ושיטות מותאמות אישית.
NeMo Evaluator: פישוט הערכת מודל AI ותהליכי עבודה
NeMo Evaluator מספק גישה יעילה להערכת מודלים של AI ותהליכי עבודה המבוססים על מדדי השוואה מותאמים אישית וספציפיים לתעשייה. מיקרו-שירות זה מאפשר למפתחים להעריך במהירות את הביצועים של סוכני ה-AI שלהם, לזהות אזורים לשיפור ולהבטיח שהפתרונות שלהם עומדים בסטנדרטים הנדרשים. עם חמישה קריאות API בלבד, מפתחים יכולים לקבל תובנות חשובות לגבי האפקטיביות של מודלי ה-AI שלהם. NeMo Evaluator תומך במגוון רחב של מדדים, כולל דיוק, דיוק חוזר, רגישות ו-F1-score, ומאפשר למפתחים להתאים אישית את הערכותיהם לצרכים הספציפיים שלהם.
NeMo Guardrails: שיפור תאימות והגנה
NeMo Guardrails נועד לשפר את התאימות וההגנה של מערכות AI מבלי להשפיע באופן משמעותי על הביצועים. מיקרו-שירות זה מבטיח שסוכני AI מצייתים להנחיות אתיות ולדרישות רגולטוריות, ומצמצם את הסיכון לתוצאות לא מכוונות. על ידי הוספת חצי שנייה בלבד של השהיה, NeMo Guardrails יכול לשפר את הגנת התאימות עד פי 1.4. הוא עושה זאת על ידי ניטור רציף של הפלט של מודל ה-AI, זיהוי הפרות פוטנציאליות, ונקיטת פעולות מתקנות, כגון חסימת פלט, ניסוח מחדש של תגובות או העברת השיחה לסוכן אנושי.
NeMo Retriever: הקלה על אחזור ידע
NeMo Retriever מסייע לסוכני AI לגשת ולאחזר מידע מדויק ממסדי נתונים. מיקרו-שירות זה מאפשר לסוכני AI לאתר במהירות את הידע הנכון, ולשפר את יכולתם לענות על שאלות, לפתור בעיות ולקבל החלטות מושכלות. על ידי ייעול תהליך אחזור הידע, NeMo Retriever משפר את האפקטיביות הכוללת של סוכני AI. ה-Retriever תומך במגוון רחב של מקורות נתונים, כולל מסדי נתונים יחסיים, מסדי נתונים של גרפים ומאגרי מסמכים לא מובנים. הוא משתמש בטכניקות מתקדמות של אינדוקס וחיפוש כדי להבטיח שאילתות יטופלו במהירות ובדייקנות.
NeMo Curator: אימון מודלים של AI גנרטיבי מדויקים ביותר
NeMo Curator נועד לאמן מודלים של AI גנרטיבי מדויקים ביותר. מיקרו-שירות זה מספק למפתחים את הכלים והמשאבים הדרושים ליצירת סוכני AI שיכולים ליצור טקסט, תמונות וסוגים אחרים של תוכן מציאותיים ועקביים. על ידי אופטימיזציה של תהליך האימון, NeMo Curator מאפשר את הפיתוח של פתרונות AI גנרטיבי חדשניים. הוא מציע מגוון רחב של טכניקות אימון, כולל למידה בפיקוח, למידה ללא פיקוח ולמידת חיזוק, ומאפשר למפתחים לבחור את השיטה המתאימה ביותר לצרכים הספציפיים שלהם.
מנגנון גלגל הנתונים
גלגל הנתונים הוא קונספט מרכזי בפלטפורמת NeMo, שנועד לאפשר למידה ושיפור מתמשכים של מודלים של AI. מנגנון זה יוצר לולאת משוב חיובית שבה סוכני AI לומדים מהאינטראקציות שלהם עם הסביבה, והופכים לחכמים ויעילים יותר עם הזמן.
לולאת המשוב החיובית
גלגל הנתונים פועל באמצעות מחזור מתמשך של אינטראקציה, איסוף נתונים, הערכה ועידון. כאשר סוכני AI מקיימים אינטראקציה עם משתמשים והסביבה, הם מייצרים כמויות עצומות של נתונים, כולל רשומות דיאלוג ודפוסי שימוש. נתונים אלה מעובדים לאחר מכן על ידי NeMo Curator כדי לזהות תובנות ודפוסים רלוונטיים. NeMo Evaluator מעריך את הביצועים של סוכן ה-AI, ומזהה אזורים שבהם הוא מצטיין ואזורים שבהם הוא זקוק לשיפור. לבסוף, NeMo Customizer מכוונן את המודל בהתבסס על הערכה זו, ומשפר את הדיוק והאפקטיביות שלו.
התערבות אנושית מינימלית ואוטונומיה מרבית
גלגל הנתונים נועד לפעול עם התערבות אנושית מינימלית ואוטונומיה מרבית. זה מאפשר לסוכני AI ללמוד ולהשתפר ללא הרף ללא צורך בפיקוח מתמיד. על ידי אוטומציה של תהליך הלמידה, גלגל הנתונים מפחית את הנטל על המפתחים ומאפשר לסוכני AI להסתגל לתנאים משתנים ולצרכי משתמשים. הוא תומך בלמידה מקוונת (online learning) ואופליין (offline learning), ומאפשר למפתחים לבחור את הגישה המתאימה ביותר לצרכים הספציפיים שלהם. גלגל הנתונים גם משלב מנגנונים של הסתגלות לדומיין (domain adaptation), המאפשרים לסוכני AI לשמור על הביצועים שלהם כאשר הם נפרסים בסביבות חדשות ושונות.
שילוב ופריסה
פלטפורמת NeMo נועדה להיות משולבת ופריסה בקלות על פני תשתיות מחשוב שונות, כולל סביבות מקומיות וענן. גמישות זו מאפשרת לארגונים למנף את הפלטפורמה באופן המתאים ביותר לצרכים ולמשאבים שלהם.
פלטפורמת תוכנת Nvidia AI Enterprise
פלטפורמת NeMo פרוסה בפלטפורמת תוכנת Nvidia AI Enterprise, המספקת חבילה מקיפה של כלים ומשאבים לפיתוח ופריסה של יישומי AI. פלטפורמה זו מפשטת את תהליך ניהול והרחבת פתרונות AI, ומאפשרת לארגונים להתמקד בחדשנות ובערך עסקי. Nvidia AI Enterprise כוללת תמיכה מלאה בספריות מואצות GPU (GPU-accelerated libraries) ובכלי פיתוח, המאפשרים למפתחים למקסם את הביצועים של מודלי ה-AI שלהם. הפלטפורמה גם מספקת תכונות ניטור ובקרה, המאפשרות למפתחים לעקוב אחר הביצועים של יישומי ה-AI שלהם בזמן אמת.
ביצוע בתשתית מחשוב מואצת
ניתן להפעיל את NeMo בכל תשתית מחשוב מואצת, מה שמאפשר לארגונים למנף את העוצמה של GPUs וחומרה מיוחדת אחרת כדי לייעל את הביצועים של סוכני ה-AI שלהם. זה מבטיח שסוכני AI יכולים להתמודד עם משימות מורכבות ומערכי נתונים גדולים בקלות. Nvidia מציעה מגוון רחב של פתרונות מחשוב מואצים, כולל GPUs מסוג Tesla, A100 ו-H100, כמו גם מעבדי NVIDIA Grace CPU. פלטפורמת NeMo מותאמת לפעול בצורה מיטבית על גבי חומרה זו, ומספקת ביצועים ויעילות מקסימליים.
יישומים בעולם האמיתי
פלטפורמת NeMo נועדה לתמוך במגוון רחב של יישומים בתעשיות שונות. ארגונים גדולים עשויים לבנות מאות סוכני AI עם פונקציות שונות, כגון גילוי הונאה אוטומטי, עוזרי קניות, תחזוקת מכונות חזויה ובדיקת מסמכים. לדוגמה, בתחום הבריאות, ניתן להשתמש ב-NeMo לפיתוח סוכני AI שיכולים לסייע לרופאים באבחון מחלות, ביצירת תוכניות טיפול מותאמות אישית ולספק תמיכה לחולים. בתחום הפיננסי, ניתן להשתמש ב-NeMo לפיתוח סוכני AI שיכולים לזהות הונאה, לנהל סיכונים ולספק ייעוץ השקעות. בתחום הקמעונאות, ניתן להשתמש ב-NeMo לפיתוח סוכני AI שיכולים לסייע ללקוחות במציאת מוצרים, ביצוע הזמנות ולספק שירות לקוחות.
היישום של AT&T
AT&T שיתפה פעולה עם Arize ו-Quantiphi כדי למנף את NeMo לפיתוח סוכן AI מתקדם המסוגל לעבד כמעט 10,000 מסמכי ידע ארגוניים המתעדכנים מדי שבוע. על ידי שילוב של NeMo Customizer ו-Evaluator, AT&T כוונה עדינה את Mistral 7B כדי להשיג שירות לקוחות מותאם אישית, מניעת הונאה ואופטימיזציה של ביצועי רשת. יישום זה הביא לעלייה של 40% בדיוק התגובה הכולל של AI. זה ממחיש את הפוטנציאל של NeMo לשפר את היעילות והאפקטיביות של פעולות עסקיות באמצעות אוטומציה מונעת AI.
תמיכה ושילוב במודל קוד פתוח
מיקרו-שירותי NeMo תומכים במגוון של מודלי קוד פתוח פופולריים, כולל Llama, Microsoft Phi, Google Gemma, Mistral ו-Llama Nemotron Ultra. זה מאפשר למפתחים למנף את מודלי ה-AI הטובים ביותר הזמינים ולהתאים אותם אישית כדי לענות על הצרכים הספציפיים שלהם. על ידי תמיכה במגוון רחב של מודלים של קוד פתוח, NeMo מקלה על המפתחים להתחיל בפיתוח יישומי AI, ומפחיתה את המחסום לכניסה לתחום. התמיכה במודלים פופולריים מבטיחה גם ש-NeMo תישאר רלוונטית ויעילה ככל שהטכנולוגיה מתקדמת.
השילוב של Meta
Meta שילבה את NeMo על ידי הוספת מחברים ל-Llamastack. שילוב זה מאפשר למפתחים לשלב בצורה חלקה את היכולות של NeMo בתהליכי העבודה הקיימים שלהם של AI. השילוב של Meta מדגיש את הפוטנציאל של NeMo להפוך לפלטפורמה סטנדרטית בתעשייה לפיתוח יישומי AI. על ידי שילוב עם כלים וטכנולוגיות פופולריות אחרות, NeMo מקלה על המפתחים לבנות ולפרוס פתרונות AI חדשניים.
שילוב ספקי תוכנת AI
ספקי תוכנת AI כגון Cloudera, Datadog, Dataiku, DataRobot, DataStax, SuperAnnotate ו-Weights & Biases שילבו את NeMo בפלטפורמות שלהם. שילוב נרחב זה הופך את NeMo לנגיש למגוון רחב של מפתחים וארגונים. זה מצביע על הכרה גוברת בפוטנציאל של NeMo ככלי חזק לפיתוח יישומי AI, והשילוב הרחב מבטיח שלמפתחים יש גישה ל-NeMo בכלים שהם כבר משתמשים בהם. שילוב זה גם תורם לאקוסיסטם בריא ומשגשג של כלי AI, ומקדם חדשנות ושיתוף פעולה בתעשייה.