اجزای اصلی پلتفرم NeMo
پلتفرم NeMo اکوسیستمی از ریزسرویس‌های متصل به هم است که هر یک برای رسیدگی به جنبه‌های خاصی از توسعه عامل هوش مصنوعی طراحی شده‌اند. این مؤلفه‌ها در هماهنگی با یکدیگر کار می‌کنند تا یک جعبه ابزار قوی برای ایجاد راه‌حل‌های پیچیده هوش مصنوعی در اختیار توسعه‌دهندگان قرار دهند.
NeMo Customizer: تسریع تنظیم دقیق LLM
NeMo Customizer یک مؤلفه کلیدی است که برای تسریع تنظیم دقیق مدل‌های زبان بزرگ طراحی شده است. این ریزسرویس فرایند سفارشی‌سازی LLMها را برای وظایف یا مجموعه‌داده‌های خاص ساده می‌کند و به توسعه‌دهندگان امکان می‌دهد با حداقل تلاش به عملکرد مطلوب دست یابند. NeMo Customizer با ساده‌سازی فرایند تنظیم دقیق، زمان و منابع مورد نیاز برای انطباق LLMها با برنامه‌های مختلف را کاهش می‌دهد.
NeMo Evaluator: ساده‌سازی ارزیابی مدل و گردش کار هوش مصنوعی
NeMo Evaluator یک رویکرد ساده برای ارزیابی مدل‌ها و گردش‌های کاری هوش مصنوعی بر اساس معیار‌های سفارشی‌شده و خاص صنعت ارائه می‌دهد. این ریزسرویس به توسعه‌دهندگان امکان می‌دهد تا به سرعت عملکرد عوامل هوش مصنوعی خود را ارزیابی کنند، زمینه‌های بهبود را شناسایی کرده و اطمینان حاصل کنند که راه‌حل‌های آنها با استانداردهای مورد نیاز مطابقت دارند. توسعه‌دهندگان می‌توانند تنها با پنج فراخوانی API، بینش‌های ارزشمندی در مورد اثربخشی مدل‌های هوش مصنوعی خود به دست آورند.
NeMo Guardrails: افزایش انطباق و حفاظت
NeMo Guardrails برای افزایش انطباق و حفاظت از سیستم‌های هوش مصنوعی بدون تأثیر قابل توجه بر عملکرد طراحی شده است. این ریزسرویس تضمین می‌کند که عوامل هوش مصنوعی به دستورالعمل‌های اخلاقی و الزامات نظارتی پایبند هستند و خطر پیامدهای ناخواسته را کاهش می‌دهند. NeMo Guardrails می‌تواند با افزودن تنها نیم ثانیه تأخیر، حفاظت از انطباق را تا 1.4 برابر بهبود بخشد.
NeMo Retriever: تسهیل بازیابی دانش
NeMo Retriever به عوامل هوش مصنوعی در دسترسی و بازیابی اطلاعات دقیق از پایگاه‌های داده کمک می‌کند. این ریزسرویس عوامل هوش مصنوعی را قادر می‌سازد تا به سرعت دانش صحیح را پیدا کنند و توانایی آنها را برای پاسخ دادن به سؤالات، حل مشکلات و تصمیم‌گیری آگاهانه بهبود می‌بخشد. NeMo Retriever با ساده‌سازی فرایند بازیابی دانش، اثربخشی کلی عوامل هوش مصنوعی را افزایش می‌دهد.
NeMo Curator: آموزش مدل‌های هوش مصنوعی مولد بسیار دقیق
NeMo Curator برای آموزش مدل‌های هوش مصنوعی مولد بسیار دقیق طراحی شده است. این ریزسرویس ابزارها و منابع مورد نیاز را در اختیار توسعه‌دهندگان قرار می‌دهد تا عوامل هوش مصنوعی را ایجاد کنند که می‌توانند متن، تصاویر و انواع دیگر محتوا را به‌طور واقعی و منسجم تولید کنند. NeMo Curator با بهینه‌سازی فرایند آموزش، توسعه راه‌حل‌های پیشرفته هوش مصنوعی مولد را امکان‌پذیر می‌سازد.
سازوکار چرخ‌دنده داده
چرخ‌دنده داده یک مفهوم مرکزی در پلتفرم NeMo است که برای فعال کردن یادگیری و بهبود مستمر مدل‌های هوش مصنوعی طراحی شده است. این سازوکار یک حلقه بازخورد مثبت ایجاد می‌کند که در آن عوامل هوش مصنوعی از تعاملات خود با محیط یاد می‌گیرند و با گذشت زمان هوشمندتر و مؤثرتر می‌شوند.
حلقه بازخورد مثبت
چرخ‌دنده داده از طریق یک چرخه مداوم تعامل، جمع‌آوری داده‌ها، ارزیابی و پالایش عمل می‌کند. همانطور که عوامل هوش مصنوعی با کاربران و محیط تعامل می‌کنند، مقادیر زیادی داده از جمله سوابق گفتگو و الگوهای استفاده تولید می‌کنند. سپس این داده‌ها توسط NeMo Curator پردازش می‌شوند تا بینش‌ها و الگوهای مرتبط را شناسایی کنند. NeMo Evaluator عملکرد عامل هوش مصنوعی را ارزیابی می‌کند و زمینه‌هایی را که در آن برتری دارد و زمینه‌هایی را که نیاز به بهبود دارد، شناسایی می‌کند. در نهایت، NeMo Customizer مدل را بر اساس این ارزیابی تنظیم دقیق می‌کند و دقت و اثربخشی آن را افزایش می‌دهد.
حداقل مداخله انسانی و حداکثر خودمختاری
چرخ‌دنده داده به گونه‌ای طراحی شده است که با حداقل مداخله انسانی و حداکثر خودمختاری عمل کند. این امر به عوامل هوش مصنوعی اجازه می‌دهد تا به طور مداوم یاد بگیرند و بدون نیاز به نظارت مداوم بهبود یابند. چرخ‌دنده داده با خودکارسازی فرایند یادگیری، بار توسعه‌دهندگان را کاهش می‌دهد و عوامل هوش مصنوعی را قادر می‌سازد تا با شرایط متغیر و نیازهای کاربر سازگار شوند.
ادغام و استقرار
پلتفرم NeMo به گونه‌ای طراحی شده است که به راحتی در زیرساخت‌های محاسباتی مختلف، از جمله محیط‌های محلی و ابری، ادغام و مستقر شود. این انعطاف‌پذیری به سازمان‌ها امکان می‌دهد تا از این پلتفرم به شکلی استفاده کنند که به بهترین وجه متناسب با نیازها و منابع آنها باشد.
پلتفرم نرم‌افزار سازمانی Nvidia AI
پلتفرم NeMo بر روی پلتفرم نرم‌افزار سازمانی Nvidia AI مستقر شده است، که مجموعه جامعی از ابزارها و منابع را برای توسعه و استقرار برنامه‌های هوش مصنوعی فراهم می‌کند. این پلتفرم فرایند مدیریت و مقیاس‌بندی راه‌حل‌های هوش مصنوعی را ساده می‌کند و سازمان‌ها را قادر می‌سازد تا بر نوآوری و ارزش تجاری تمرکز کنند.
اجرا بر روی زیرساخت محاسباتی شتاب‌یافته
NeMo را می‌توان بر روی هر زیرساخت محاسباتی شتاب‌یافته اجرا کرد، که به سازمان‌ها امکان می‌دهد از قدرت GPUها و سایر سخت‌افزارهای تخصصی برای بهینه‌سازی عملکرد عوامل هوش مصنوعی خود استفاده کنند. این امر تضمین می‌کند که عوامل هوش مصنوعی می‌توانند به راحتی از پس وظایف پیچیده و مجموعه‌داده‌های بزرگ برآیند.
کاربردهای دنیای واقعی
پلتفرم NeMo برای پشتیبانی از طیف گسترده‌ای از برنامه‌ها در صنایع مختلف طراحی شده است. شرکت‌های بزرگ ممکن است صدها عامل هوش مصنوعی با عملکردهای مختلف، مانند تشخیص خودکار تقلب، دستیاران خرید، نگهداری پیش‌بینی‌کننده ماشین و بررسی اسناد ایجاد کنند.
پیاده‌سازی AT&T
AT&T با Arize و Quantiphi برای استفاده از NeMo برای توسعه یک عامل هوش مصنوعی پیشرفته که قادر به پردازش تقریباً 10000 سند دانش سازمانی است که به صورت هفتگی به روز می‌شوند، همکاری کرده است. AT&T با ترکیب NeMo Customizer و Evaluator، Mistral 7B را برای دستیابی به خدمات مشتری شخصی، جلوگیری از تقلب و بهینه‌سازی عملکرد شبکه تنظیم دقیق کرده است. این پیاده‌سازی منجر به افزایش 40 درصدی در دقت کلی پاسخ هوش مصنوعی شده است.
پشتیبانی و ادغام مدل متن‌باز
ریزسرویس‌های NeMo از انواع مدل‌های متن‌باز محبوب، از جمله Llama، Microsoft Phi، Google Gemma، Mistral و Llama Nemotron Ultra پشتیبانی می‌کنند. این امر به توسعه‌دهندگان امکان می‌دهد تا از بهترین مدل‌های هوش مصنوعی موجود استفاده کرده و آنها را برای برآورده کردن نیازهای خاص خود سفارشی کنند.
ادغام Meta
Meta با افزودن اتصال‌دهنده‌ها به Llamastack، NeMo را ادغام کرده است. این ادغام به توسعه‌دهندگان امکان می‌دهد تا به طور یکپارچه قابلیت‌های NeMo را در گردش‌های کاری هوش مصنوعی موجود خود بگنجانند.
ادغام ارائه‌دهنده نرم‌افزار هوش مصنوعی
ارائه‌دهندگان نرم‌افزار هوش مصنوعی مانند Cloudera، Datadog، Dataiku، DataRobot، DataStax، SuperAnnotate و Weights & Biases، NeMo را در پلتفرم‌های خود ادغام کرده‌اند. این ادغام گسترده NeMo را برای طیف گسترده‌ای از توسعه‌دهندگان و سازمان‌ها در دسترس قرار می‌دهد.