چالش واقعی: ساخت برنامه‌های هوش مصنوعی سازمانی

چالش واقعی: ساخت برنامه‌های هوش مصنوعی سازمانی

در حالی که منابع بی‌شماری هر ساله صرف آموزش مدل‌های زبانی بزرگ (LLM) می‌شود، یک مانع مهم همچنان باقی است: ادغام موثر این مدل‌ها در برنامه‌های کاربردی و مفید.

توهم تنظیم دقیق

تنظیم دقیق (Fine-tuning) و تولید افزوده بازیابی (RAG) به طور کلی روش‌های تثبیت‌شده‌ای برای افزایش دانش و قابلیت‌های مدل‌های هوش مصنوعی از پیش آموزش‌دیده در نظر گرفته می‌شوند. با این حال، مدیرعامل Aleph Alpha، جوناس آندرولیس، اشاره می‌کند که واقعیت پیچیده‌تر است.

او توضیح داد: “یک سال پیش، این باور گسترده وجود داشت که تنظیم دقیق یک راه حل جادویی است. اگر یک سیستم هوش مصنوعی آنطور که مطلوب بود عمل نمی‌کرد، پاسخ به سادگی تنظیم دقیق بود. اینقدرها هم ساده نیست.”

در حالی که تنظیم دقیق می‌تواند سبک یا رفتار یک مدل را تغییر دهد، اما موثرترین رویکرد برای آموزش اطلاعات جدید نیست. این انتظار که تنظیم دقیق به تنهایی می‌تواند تمام مسائل مربوط به کاربرد هوش مصنوعی را حل کند، یک تصور غلط است.

RAG: یک رویکرد جایگزین

RAG یک رویکرد جایگزین را با عملکردی شبیه به یک کتابدار ارائه می‌دهد که اطلاعات را از یک بایگانی خارجی بازیابی می‌کند. این رویکرد امکان به‌روزرسانی و تغییر اطلاعات در پایگاه داده را بدون آموزش مجدد یا تنظیم دقیق مدل فراهم می‌کند. علاوه بر این، نتایج تولید شده را می‌توان برای دقت استناد و ممیزی کرد.

آندرولیس تاکید کرد: “دانش خاص همیشه باید مستند شود و در پارامترهای LLM ذخیره نشود.”

در حالی که RAG مزایای متعددی را ارائه می‌دهد، موفقیت آن به مستندسازی مناسب فرآیندهای کلیدی، رویه‌ها و دانش سازمانی در قالبی که مدل بتواند درک کند، بستگی دارد. متاسفانه، این اغلب اینطور نیست.

حتی زمانی که مستندات وجود دارد، شرکت‌ها ممکن است با مشکلاتی مواجه شوند اگر اسناد یا فرآیندها به داده‌های خارج از توزیع (out-of-distribution data) متکی باشند - داده‌هایی که به طور قابل توجهی با داده‌های مورد استفاده برای آموزش مدل پایه متفاوت هستند. به عنوان مثال، مدلی که صرفاً بر روی مجموعه‌داده‌های انگلیسی آموزش داده شده است، با مستندات آلمانی، به ویژه اگر حاوی فرمول‌های علمی باشد، مشکل خواهد داشت. در بسیاری از موارد، مدل ممکن است اصلاً قادر به تفسیر داده‌ها نباشد.

بنابراین، آندرولیس پیشنهاد می‌کند که ترکیبی از تنظیم دقیق و RAG معمولاً برای دستیابی به نتایج معنادار ضروری است. این رویکرد ترکیبی از نقاط قوت هر دو روش برای غلبه بر محدودیت‌های فردی آنها استفاده می‌کند.

پر کردن شکاف

هدف Aleph Alpha این است که با پرداختن به چالش‌هایی که مانع از توسعه هوش مصنوعی مستقل خود توسط شرکت‌ها و ملت‌ها می‌شود، خود را به عنوان یک DeepMind اروپایی متمایز کند.

هوش مصنوعی مستقل به مدل‌هایی اطلاق می‌شود که با استفاده از مجموعه‌داده‌های داخلی یک کشور بر روی سخت‌افزاری که در داخل مرزهای آن ساخته یا مستقر شده است، آموزش داده یا تنظیم دقیق شده‌اند. این رویکرد امنیت، حریم خصوصی و کنترل داده‌ها را تضمین می‌کند که برای بسیاری از سازمان‌ها و دولت‌ها حیاتی است.

آندرولیس اظهار داشت: “ما تلاش می‌کنیم سیستم عامل، پایه و اساس برای شرکت‌ها و دولت‌ها باشیم تا استراتژی هوش مصنوعی مستقل خود را بسازند. هدف ما نوآوری در جایی است که لازم است، در حالی که در صورت امکان از فناوری‌های متن باز و پیشرفته نیز استفاده می‌کنیم.”

در حالی که این گاهی اوقات شامل آموزش مدل‌ها می‌شود، مانند Pharia-1-LLM Aleph، آندرولیس تاکید می‌کند که آنها سعی نمی‌کنند مدل‌های موجود مانند Llama یا DeepSeek را تکرار کنند. تمرکز آنها بر ایجاد راه حل‌های منحصر به فردی است که به چالش‌های خاص می‌پردازند.

آندرولیس گفت: “من همیشه تحقیقات خود را به سمت تمرکز بر چیزهای معنادار متفاوت هدایت می‌کنم، نه فقط کپی کردن کاری که همه انجام می‌دهند، زیرا آن از قبل وجود دارد. ما نیازی به ساخت Llama یا DeepSeek دیگری نداریم زیرا آنها از قبل وجود دارند.”

در عوض، Aleph Alpha بر ساخت چارچوب‌هایی تمرکز دارد که پذیرش این فناوری‌ها را ساده و تسریع می‌کند. یک مثال اخیر، معماری آموزشی بدون توکن‌ساز یا “T-Free” آنها است که هدف آن تنظیم دقیق مدل‌هایی است که می‌توانند داده‌های خارج از توزیع را به طور موثرتری درک کنند.

رویکردهای سنتی مبتنی بر توکن‌ساز اغلب به مقادیر زیادی داده‌های خارج از توزیع برای تنظیم دقیق موثر یک مدل نیاز دارند. این از نظر محاسباتی پرهزینه است و فرض می‌کند که داده‌های کافی در دسترس است.

معماری T-Free Aleph Alpha با حذف توکن‌ساز این مشکل را دور می‌زند. آزمایش‌های اولیه بر روی Pharia LLM آنها در زبان فنلاندی نشان داد که در مقایسه با رویکردهای مبتنی بر توکن‌ساز، 70 درصد کاهش در هزینه آموزش و ردپای کربن وجود دارد. این رویکرد نوآورانه تنظیم دقیق را در دسترس‌تر و پایدارتر می‌کند.

Aleph Alpha همچنین ابزارهایی را برای رفع شکاف‌های موجود در دانش مستند شده توسعه داده است که می‌تواند منجر به نتایج نادرست یا غیرمفید شود.

به عنوان مثال، اگر دو قرارداد مرتبط با یک سوال انطباق با یکدیگر مغایرت داشته باشند، آندرولیس توضیح داد: “سیستم می‌تواند به انسان نزدیک شود و بگوید، ‘من یک اختلاف پیدا کردم… آیا می‌توانید بازخورد ارائه دهید که آیا این یک تعارض واقعی است؟’”

اطلاعات جمع‌آوری شده از طریق این چارچوب، به نام Pharia Catch، می‌تواند به پایگاه دانش برنامه بازگردانده شود یا برای تنظیم دقیق مدل‌های موثرتر استفاده شود. این حلقه بازخورد دقت و قابلیت اطمینان سیستم هوش مصنوعی را در طول زمان بهبود می‌بخشد.

به گفته آندرولیس، این ابزارها شرکایی مانند PwC، Deloitte، Capgemini و Supra را جذب کرده‌اند که با مشتریان نهایی برای پیاده‌سازی فناوری Aleph Alpha همکاری می‌کنند. این مشارکت‌ها ارزش و کاربردی بودن راه حل‌های Aleph Alpha را در برنامه‌های کاربردی دنیای واقعی نشان می‌دهد.

عامل سخت افزار

نرم افزار و داده ها تنها چالش های پیش روی پذیرندگان هوش مصنوعی مستقل نیستند. سخت افزار یکی دیگر از ملاحظات مهم است.

شرکت‌ها و ملت‌های مختلف ممکن است الزامات خاصی برای اجرا بر روی سخت‌افزار توسعه‌یافته داخلی داشته باشند یا به سادگی تعیین کنند که حجم کاری در کجا می‌تواند اجرا شود. این محدودیت‌ها می‌تواند به طور قابل توجهی بر انتخاب سخت افزار و زیرساخت تأثیر بگذارد.

این بدان معناست که آندرولیس و تیمش باید از طیف گسترده‌ای از گزینه‌های سخت افزاری پشتیبانی کنند. Aleph Alpha گروهی التقاطی از شرکای سخت افزاری، از جمله AMD، Graphcore و Cerebras را جذب کرده است.

ماه گذشته، Aleph Alpha از مشارکت با AMD برای استفاده از شتاب‌دهنده‌های سری MI300 خود خبر داد. این همکاری از سخت افزار پیشرفته AMD برای تسریع آموزش و استنتاج هوش مصنوعی استفاده خواهد کرد.

آندرولیس همچنین بر همکاری با Graphcore، که توسط Softbank خریداری شده است، و Cerebras، که شتاب‌دهنده‌های مقیاس ویفر CS-3 آن برای آموزش مدل‌های هوش مصنوعی برای نیروهای مسلح آلمان استفاده می‌شود، تاکید کرد. این مشارکت‌ها تعهد Aleph Alpha به همکاری با ارائه دهندگان سخت افزار متنوع برای رفع نیازهای خاص مشتریان خود را نشان می‌دهد.

علیرغم این همکاری‌ها، آندرولیس اصرار دارد که هدف Aleph Alpha تبدیل شدن به یک سرویس مدیریت شده یا ارائه دهنده ابر نیست. او اظهار داشت: “ما هرگز ارائه دهنده ابر نخواهیم شد. من می‌خواهم مشتریانم آزاد باشند و بدون اینکه قفل شوند.” این تعهد به آزادی و انعطاف پذیری مشتری، Aleph Alpha را از بسیاری از شرکت‌های هوش مصنوعی دیگر متمایز می‌کند.

مسیر پیش رو: افزایش پیچیدگی

آندرولیس با نگاهی به آینده، پیش‌بینی می‌کند که ساخت برنامه‌های هوش مصنوعی با تغییر صنعت از چت‌بات‌ها به سیستم‌های هوش مصنوعی عامل‌محور که قادر به حل مسائل پیچیده‌تر هستند، پیچیده‌تر خواهد شد.

هوش مصنوعی عامل‌محور در سال گذشته توجه قابل توجهی را به خود جلب کرده است، به طوری که سازندگان مدل، توسعه دهندگان نرم افزار و فروشندگان سخت افزار سیستم‌هایی را وعده می‌دهند که می‌توانند فرآیندهای چند مرحله‌ای را به صورت ناهمزمان تکمیل کنند. نمونه‌های اولیه شامل Operator OpenAI و API استفاده از رایانه Anthropic است. این سیستم‌های هوش مصنوعی عامل‌محور نشان دهنده پیشرفت قابل توجهی در قابلیت‌های هوش مصنوعی هستند.

او گفت: “سال گذشته، ما عمدتاً بر روی وظایف ساده‌ای مانند خلاصه‌سازی اسناد یا کمک به نوشتن تمرکز کردیم. اکنون، با چیزهایی که در نگاه اول حتی به نظر نمی‌رسد مشکلات genAI باشند، جایی که تجربه کاربر یک چت‌بات نیست، هیجان‌انگیزتر می‌شود.” این تغییر به سمت برنامه‌های هوش مصنوعی پیچیده‌تر و یکپارچه‌تر، چالش‌ها و فرصت‌های جدیدی را برای صنعت ایجاد می‌کند.

چالش‌های کلیدی در ساخت برنامه‌های هوش مصنوعی سازمانی:

• پر کردن شکاف بین آموزش مدل و ادغام برنامه: ترجمه موثر قابلیت‌های LLM به برنامه‌های کاربردی عملی همچنان یک مانع مهم است.
• غلبه بر محدودیت‌های تنظیم دقیق: تنظیم دقیق به تنهایی اغلب برای آموزش اطلاعات جدید به مدل‌های هوش مصنوعی یا تطبیق آنها با وظایف خاص کافی نیست.
• تضمین کیفیت و دسترسی به داده‌ها: RAG به داده‌های مستند شده و به راحتی در دسترس متکی است که اغلب در بسیاری از سازمان‌ها وجود ندارد.
• رسیدگی به داده‌های خارج از توزیع: مدل‌های هوش مصنوعی باید بتوانند داده‌هایی را که با داده‌هایی که روی آنها آموزش داده شده‌اند متفاوت است، مدیریت کنند، که نیاز به تکنیک‌های تخصصی دارد.
• رسیدگی به محدودیت‌های سخت افزاری: شرکت‌ها و ملت‌های مختلف الزامات سخت افزاری متفاوتی دارند که باید در نظر گرفته شود.
• حفظ حریم خصوصی و امنیت داده‌ها: هوش مصنوعی مستقل مستلزم اطمینان از پردازش و ذخیره ایمن داده‌ها در داخل مرزهای یک کشور است.
• توسعه سیستم‌های هوش مصنوعی عامل‌محور: ساخت برنامه‌های هوش مصنوعی که می‌توانند فرآیندهای پیچیده چند مرحله‌ای را به صورت ناهمزمان انجام دهند، یک حوزه چالش برانگیز اما امیدوارکننده تحقیقات است.

فرصت‌های کلیدی در ساخت برنامه‌های هوش مصنوعی سازمانی:

• توسعه راه حل‌های نوآورانه هوش مصنوعی: چالش‌های موجود در ساخت برنامه‌های هوش مصنوعی سازمانی فرصت‌هایی را برای توسعه راه حل‌های نوآورانه که به نیازهای خاص می‌پردازند، ایجاد می‌کند.
• استفاده از فناوری‌های متن باز: فناوری‌های متن باز می‌توانند به کاهش هزینه‌ها و تسریع توسعه برنامه‌های هوش مصنوعی کمک کنند.
• همکاری با شرکای سخت افزاری: همکاری با شرکای سخت افزاری می‌تواند به اطمینان از بهینه سازی برنامه‌های هوش مصنوعی برای پلتفرم‌های سخت افزاری خاص کمک کند.
• ایجاد قابلیت‌های هوش مصنوعی مستقل: هوش مصنوعی مستقل می‌تواند کنترل بیشتری بر داده‌ها و زیرساخت هوش مصنوعی خود به ملت‌ها و سازمان‌ها ارائه دهد.
• تغییر صنایع با هوش مصنوعی: هوش مصنوعی این پتانسیل را دارد که صنایع را با خودکارسازی وظایف، بهبود تصمیم گیری و ایجاد محصولات و خدمات جدید متحول کند.

آینده برنامه‌های هوش مصنوعی سازمانی:

آینده برنامه‌های هوش مصنوعی سازمانی احتمالاً با موارد زیر مشخص می‌شود:

• افزایش پیچیدگی: برنامه‌های هوش مصنوعی پیچیده‌تر و یکپارچه‌تر خواهند شد و نیاز به تخصص و ابزارهای تخصصی دارند.
• تمرکز بیشتر بر کیفیت داده‌ها: کیفیت داده‌ها با تکیه برنامه‌های هوش مصنوعی بر داده‌های دقیق و قابل اعتماد، اهمیت بیشتری پیدا می‌کند.
• تاکید بیشتر بر امنیت و حریم خصوصی: امنیت و حریم خصوصی با رسیدگی برنامه‌های هوش مصنوعی به داده‌های حساس، از اهمیت بالایی برخوردار خواهد بود.
• پذیرش گسترده‌تر هوش مصنوعی عامل‌محور: سیستم‌های هوش مصنوعی عامل‌محور با تلاش سازمان‌ها برای خودکارسازی وظایف پیچیده، رایج‌تر می‌شوند.
• نوآوری مداوم: زمینه هوش مصنوعی به سرعت به تکامل خود ادامه می‌دهد و منجر به پیشرفت‌ها و فرصت‌های جدید می‌شود.

سازمان‌ها با پرداختن به چالش‌ها و استقبال از فرصت‌ها، می‌توانند از قدرت هوش مصنوعی برای متحول کردن کسب و کار خود و ایجاد آینده‌ای بهتر استفاده کنند.