एंटरप्राइज एआई एप्लिकेशन बनाना

फाइन-ट्यूनिंग का भ्रम

फाइन-ट्यूनिंग और रिट्रीवल ऑगमेंटेड जेनरेशन (RAG) को आम तौर पर पूर्व-प्रशिक्षित AI मॉडल के ज्ञान और क्षमताओं को बढ़ाने के लिए अच्छी तरह से स्थापित तरीकों के रूप में माना जाता है। हालांकि, एलेफ अल्फा के सीईओ जोनास एंड्रुलिस बताते हैं कि वास्तविकता अधिक जटिल है।

उन्होंने समझाया, “एक साल पहले, एक व्यापक धारणा थी कि फाइन-ट्यूनिंग एक जादुई समाधान था। अगर कोई AI सिस्टम वांछित प्रदर्शन नहीं करता था, तो इसका जवाब बस फाइन-ट्यूनिंग था। यह इतना आसान नहीं है।”

हालांकि फाइन-ट्यूनिंग एक मॉडल की शैली या व्यवहार को संशोधित कर सकता है, यह नई जानकारी सिखाने के लिए सबसे प्रभावी तरीका नहीं है। यह उम्मीद कि फाइन-ट्यूनिंग अकेले सभी AI एप्लिकेशन मुद्दों को हल कर सकता है, एक गलत धारणा है।

RAG: एक वैकल्पिक दृष्टिकोण

RAG एक लाइब्रेरियन की तरह काम करके एक विकल्प प्रदान करता है जो बाहरी संग्रह से जानकारी प्राप्त करता है। यह दृष्टिकोण मॉडल को फिर से प्रशिक्षित या फाइन-ट्यून किए बिना डेटाबेस के भीतर जानकारी को अपडेट और बदलने की अनुमति देता है। इसके अतिरिक्त, उत्पन्न परिणामों को सटीकता के लिए उद्धृत और ऑडिट किया जा सकता है।

एंड्रुलिस ने जोर देकर कहा, “विशिष्ट ज्ञान को हमेशा प्रलेखित किया जाना चाहिए और LLM के मापदंडों के भीतर संग्रहीत नहीं किया जाना चाहिए।”

जबकि RAG कई लाभ प्रदान करता है, इसकी सफलता प्रमुख प्रक्रियाओं, कार्यविधियों और संस्थागत ज्ञान के उचित प्रलेखन पर निर्भर करती है, जिसे मॉडल समझ सके। दुर्भाग्य से, अक्सर ऐसा नहीं होता है।

यहां तक कि जब प्रलेखन मौजूद होता है, तब भी उद्यमों को समस्याओं का सामना करना पड़ सकता है यदि दस्तावेज़ या प्रक्रियाएं आउट-ऑफ-डिस्ट्रीब्यूशन डेटा पर निर्भर करती हैं - डेटा जो बेस मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए डेटा से काफी भिन्न होता है। उदाहरण के लिए, केवल अंग्रेजी डेटासेट पर प्रशिक्षित एक मॉडल जर्मन प्रलेखन के साथ संघर्ष करेगा, खासकर अगर इसमें वैज्ञानिक सूत्र शामिल हों। कई मामलों में, मॉडल डेटा की व्याख्या करने में बिल्कुल भी सक्षम नहीं हो सकता है।

इसलिए, एंड्रुलिस सुझाव देते हैं कि सार्थक परिणाम प्राप्त करने के लिए आमतौर पर फाइन-ट्यूनिंग और RAG का संयोजन आवश्यक होता है। यह हाइब्रिड दृष्टिकोण अपनी व्यक्तिगत सीमाओं को दूर करने के लिए दोनों तरीकों की ताकत का लाभ उठाता है।

विभाजन को पाटना

एलेफ अल्फा का लक्ष्य खुद को एक यूरोपीय डीपमाइंड के रूप में अलग करना है, जो उन चुनौतियों से निपटता है जो उद्यमों और राष्ट्रों को अपने स्वयं के संप्रभु AI विकसित करने से रोकती हैं।

संप्रभु AI उन मॉडलों को संदर्भित करता है जिन्हें किसी राष्ट्र के आंतरिक डेटासेट का उपयोग करके प्रशिक्षित या फाइन-ट्यून किया जाता है, जो उसकी सीमाओं के भीतर निर्मित या तैनात हार्डवेयर पर होते हैं। यह दृष्टिकोण डेटा गोपनीयता, सुरक्षा और नियंत्रण सुनिश्चित करता है, जो कई संगठनों और सरकारों के लिए महत्वपूर्ण हैं।

एंड्रुलिस ने कहा, “हम ऑपरेटिंग सिस्टम बनने का प्रयास करते हैं, उद्यमों और सरकारों के लिए अपनी संप्रभु AI रणनीति बनाने की नींव।” “हम जहां आवश्यक हो वहां नवाचार करने का लक्ष्य रखते हैं, साथ ही जहां संभव हो वहां ओपन सोर्स और अत्याधुनिक तकनीकों का लाभ उठाते हैं।”

हालांकि इसमें कभी-कभी एलेफ के फारिया-1-एलएलएम जैसे मॉडलों को प्रशिक्षित करना शामिल होता है, एंड्रुलिस जोर देकर कहते हैं कि वे लामा या डीपसीक जैसे मौजूदा मॉडलों को दोहराने की कोशिश नहीं कर रहे हैं। उनका ध्यान विशिष्ट चुनौतियों का समाधान करने वाले अद्वितीय समाधान बनाने पर है।

एंड्रुलिस ने कहा, “मैं हमेशा अपने शोध को सार्थक रूप से अलग-अलग चीजों पर ध्यान केंद्रित करने के लिए निर्देशित करता हूं, न कि केवल वही कॉपी करने के लिए जो हर कोई कर रहा है, क्योंकि वह पहले से ही मौजूद है।” “हमें एक और लामा या डीपसीक बनाने की आवश्यकता नहीं है क्योंकि वे पहले से ही मौजूद हैं।”

इसके बजाय, एलेफ अल्फा उन ढांचों के निर्माण पर ध्यान केंद्रित करता है जो इन तकनीकों को अपनाने को सरल और सुव्यवस्थित करते हैं। एक हालिया उदाहरण उनका नया टोकनाइज़र-मुक्त, या “टी-फ्री,” प्रशिक्षण आर्किटेक्चर है, जिसका उद्देश्य उन मॉडलों को फाइन-ट्यून करना है जो आउट-ऑफ-डिस्ट्रीब्यूशन डेटा को अधिक कुशलता से समझ सकते हैं।

पारंपरिक टोकनाइज़र-आधारित दृष्टिकोणों को अक्सर एक मॉडल को प्रभावी ढंग से फाइन-ट्यून करने के लिए बड़ी मात्रा में आउट-ऑफ-डिस्ट्रीब्यूशन डेटा की आवश्यकता होती है। यह कम्प्यूटेशनल रूप से महंगा है और मानता है कि पर्याप्त डेटा उपलब्ध है।

एलेफ अल्फा का टी-फ्री आर्किटेक्चर टोकनाइज़र को समाप्त करके इस मुद्दे को दरकिनार कर देता है। फिनिश भाषा में उनके फारिया एलएलएम पर शुरुआती परीक्षण से टोकनाइज़र-आधारित दृष्टिकोणों की तुलना में प्रशिक्षण लागत और कार्बन फुटप्रिंट में 70 प्रतिशत की कमी आई है। यह अभिनव दृष्टिकोण फाइन-ट्यूनिंग को अधिक सुलभ और टिकाऊ बनाता है।

एलेफ अल्फा ने प्रलेखित ज्ञान में अंतराल को दूर करने के लिए उपकरण भी विकसित किए हैं जो गलत या अनुपयोगी निष्कर्षों का कारण बन सकते हैं।

उदाहरण के लिए, यदि अनुपालन प्रश्न के लिए प्रासंगिक दो अनुबंध एक-दूसरे का खंडन करते हैं, “सिस्टम मानव से संपर्क कर सकता है और कह सकता है, ‘मुझे एक विसंगति मिली … क्या आप कृपया प्रतिक्रिया दे सकते हैं कि क्या यह एक वास्तविक संघर्ष है?’” एंड्रुलिस ने समझाया।

फारिया कैच नामक इस ढांचे के माध्यम से एकत्र की गई जानकारी को एप्लिकेशन के ज्ञान आधार में वापस फीड किया जा सकता है या अधिक प्रभावी मॉडलों को फाइन-ट्यून करने के लिए उपयोग किया जा सकता है। यह फीडबैक लूप समय के साथ AI सिस्टम की सटीकता और विश्वसनीयता में सुधार करता है।

एंड्रुलिस के अनुसार, इन उपकरणों ने पीडब्ल्यूसी, डेलॉइट, कैपजेमिनी और सुप्रा जैसे भागीदारों को आकर्षित किया है, जो एलेफ अल्फा की तकनीक को लागू करने के लिए अंतिम ग्राहकों के साथ काम करते हैं। ये साझेदारियां वास्तविक दुनिया के अनुप्रयोगों में एलेफ अल्फा के समाधानों के मूल्य और व्यावहारिकता को प्रदर्शित करती हैं।

हार्डवेयर फैक्टर

सॉफ्टवेयर और डेटा संप्रभु AI अपनाने वालों के सामने एकमात्र चुनौतियां नहीं हैं। हार्डवेयर एक और महत्वपूर्ण विचार है।

विभिन्न उद्यमों और राष्ट्रों की घरेलू रूप से विकसित हार्डवेयर पर चलने की विशिष्ट आवश्यकताएं हो सकती हैं या वे केवल यह निर्धारित कर सकते हैं कि वर्कलोड कहां चल सकते हैं। ये बाधाएं हार्डवेयर और बुनियादी ढांचे की पसंद को महत्वपूर्ण रूप से प्रभावित कर सकती हैं।

इसका मतलब है कि एंड्रुलिस और उनकी टीम को हार्डवेयर विकल्पों की एक विस्तृत श्रृंखला का समर्थन करना चाहिए। एलेफ अल्फा ने एएमडी, ग्राफकोर और सेरेब्रास सहित हार्डवेयर भागीदारों के एक उदार समूह को आकर्षित किया है।

पिछले महीने, एलेफ अल्फा ने अपने MI300-श्रृंखला त्वरक का उपयोग करने के लिए एएमडी के साथ साझेदारी की घोषणा की। यह सहयोग AI प्रशिक्षण और अनुमान को तेज करने के लिए एएमडी के उन्नत हार्डवेयर का लाभ उठाएगा।

एंड्रुलिस ने सॉफ्टबैंक द्वारा अधिग्रहित ग्राफकोर और सेरेब्रास के साथ सहयोग पर भी प्रकाश डाला, जिनके सीएस -3 वेफर-स्केल त्वरक का उपयोग जर्मन सशस्त्र बलों के लिए AI मॉडल को प्रशिक्षित करने के लिए किया जाता है। ये साझेदारियां अपने ग्राहकों की विशिष्ट आवश्यकताओं को पूरा करने के लिए विविध हार्डवेयर प्रदाताओं के साथ काम करने के लिए एलेफ अल्फा की प्रतिबद्धता को प्रदर्शित करती हैं।

इन सहयोगों के बावजूद, एंड्रुलिस जोर देकर कहते हैं कि एलेफ अल्फा का लक्ष्य एक प्रबंधित सेवा या क्लाउड प्रदाता बनना नहीं है। उन्होंने कहा, “हम कभी भी क्लाउड प्रदाता नहीं बनेंगे।” “मैं चाहता हूं कि मेरे ग्राहक स्वतंत्र हों और बिना बंद किए।” ग्राहक स्वतंत्रता और लचीलेपन के प्रति यह प्रतिबद्धता एलेफ अल्फा को कई अन्य AI कंपनियों से अलग करती है।

आगे का रास्ता: बढ़ती जटिलता

आगे देखते हुए, एंड्रुलिस का अनुमान है कि AI एप्लिकेशन बनाना अधिक जटिल हो जाएगा क्योंकि उद्योग चैटबॉट से एजेंटिक AI सिस्टम में स्थानांतरित हो जाएगा जो अधिक परिष्कृत समस्या-समाधान में सक्षम हैं।

एजेंटिक AI ने पिछले एक साल में महत्वपूर्ण ध्यान आकर्षित किया है, मॉडल बिल्डरों, सॉफ्टवेयर डेवलपर्स और हार्डवेयर विक्रेताओं ने ऐसे सिस्टम का वादा किया है जो बहु-चरणीय प्रक्रियाओं को अतुल्यकालिक रूप से पूरा कर सकते हैं। शुरुआती उदाहरणों में ओपनएआई का ऑपरेटर और एंथ्रोपिक का कंप्यूटर उपयोग एपीआई शामिल है। ये एजेंटिक AI सिस्टम AI क्षमताओं में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करते हैं।

उन्होंने कहा, “पिछले साल, हमने मुख्य रूप से दस्तावेज़ सारांश या लेखन सहायता जैसे सीधे कार्यों पर ध्यान केंद्रित किया था।” “अब, यह उन चीजों के साथ अधिक रोमांचक हो रहा है, जो पहली नज़र में, जेनआई समस्याएं भी नहीं लगती हैं, जहां उपयोगकर्ता अनुभव चैटबॉट नहीं है।” अधिक जटिल और एकीकृत AI अनुप्रयोगों की ओर यह बदलाव उद्योग के लिए नई चुनौतियां और अवसर प्रस्तुत करता है।

एंटरप्राइज AI एप्लिकेशन बनाने में प्रमुख चुनौतियाँ:

• मॉडल प्रशिक्षण और एप्लिकेशन एकीकरण के बीच अंतर को पाटना: LLM की क्षमताओं को व्यावहारिक अनुप्रयोगों में प्रभावी ढंग से अनुवादित करना एक महत्वपूर्ण बाधा बनी हुई है।
• फाइन-ट्यूनिंग की सीमाओं पर काबू पाना: AI मॉडल को नई जानकारी सिखाने या उन्हें विशिष्ट कार्यों के लिए अनुकूलित करने के लिए अकेले फाइन-ट्यूनिंग अक्सर अपर्याप्त होती है।
• डेटा की गुणवत्ता और पहुंच सुनिश्चित करना: RAG अच्छी तरह से प्रलेखित और आसानी से सुलभ डेटा पर निर्भर करता है, जो अक्सर कई संगठनों में कमी होती है।
• आउट-ऑफ-डिस्ट्रीब्यूशन डेटा को संभालना: AI मॉडल को उस डेटा को संभालने में सक्षम होना चाहिए जो उस डेटा से भिन्न होता है जिस पर उन्हें प्रशिक्षित किया गया था, जिसके लिए विशेष तकनीकों की आवश्यकता होती है।
• हार्डवेयर बाधाओं को संबोधित करना: विभिन्न उद्यमों और राष्ट्रों में अलग-अलग हार्डवेयर आवश्यकताएं होती हैं जिन पर विचार किया जाना चाहिए।
• डेटा गोपनीयता और सुरक्षा बनाए रखना: संप्रभु AI को यह सुनिश्चित करने की आवश्यकता है कि डेटा को किसी राष्ट्र की सीमाओं के भीतर सुरक्षित रूप से संसाधित और संग्रहीत किया जाए।
• एजेंटिक AI सिस्टम विकसित करना: AI एप्लिकेशन बनाना जो जटिल बहु-चरणीय प्रक्रियाओं को अतुल्यकालिक रूप से निष्पादित कर सकते हैं, अनुसंधान का एक चुनौतीपूर्ण लेकिन आशाजनक क्षेत्र है।

एंटरप्राइज AI एप्लिकेशन बनाने में प्रमुख अवसर:

• अभिनव AI समाधान विकसित करना: एंटरप्राइज AI एप्लिकेशन बनाने में चुनौतियाँ विशिष्ट आवश्यकताओं को पूरा करने वाले अभिनव समाधान विकसित करने के अवसर पैदा करती हैं।
• ओपन सोर्स तकनीकों का लाभ उठाना: ओपन सोर्स प्रौद्योगिकियां लागत कम करने और AI अनुप्रयोगों के विकास में तेजी लाने में मदद कर सकती हैं।
• हार्डवेयर भागीदारों के साथ सहयोग करना: हार्डवेयर भागीदारों के साथ सहयोग करने से यह सुनिश्चित करने में मदद मिल सकती है कि AI एप्लिकेशन विशिष्ट हार्डवेयर प्लेटफार्मों के लिए अनुकूलित हैं।
• संप्रभु AI क्षमताएं बनाना: संप्रभु AI राष्ट्रों और संगठनों को उनके डेटा और AI बुनियादी ढांचे पर अधिक नियंत्रण प्रदान कर सकता है।
• AI के साथ उद्योगों को बदलना: AI में कार्यों को स्वचालित करके, निर्णय लेने में सुधार करके और नए उत्पादों और सेवाओं का निर्माण करके उद्योगों को बदलने की क्षमता है।

एंटरप्राइज AI एप्लिकेशन का भविष्य:

एंटरप्राइज AI एप्लिकेशन के भविष्य की विशेषता होने की संभावना है:

• बढ़ी हुई जटिलता: AI एप्लिकेशन अधिक जटिल और एकीकृत हो जाएंगे, जिसके लिए विशेष विशेषज्ञता और उपकरणों की आवश्यकता होगी।
• डेटा गुणवत्ता पर अधिक ध्यान: डेटा गुणवत्ता तेजी से महत्वपूर्ण हो जाएगी क्योंकि AI एप्लिकेशन सटीक और विश्वसनीय डेटा पर निर्भर करते हैं।
• सुरक्षा और गोपनीयता पर अधिक जोर: सुरक्षा और गोपनीयता सर्वोपरि होगी क्योंकि AI एप्लिकेशन संवेदनशील डेटा को संभालते हैं।
• एजेंटिक AI का व्यापक रूप से अपनाना: एजेंटिक AI सिस्टम अधिक प्रचलित हो जाएंगे क्योंकि संगठन जटिल कार्यों को स्वचालित करना चाहते हैं।
• निरंतर नवाचार: AI का क्षेत्र तेजी से विकसित होता रहेगा, जिससे नई सफलताएं और अवसर मिलेंगे।

चुनौतियों का समाधान करके और अवसरों को गले लगाकर, संगठन अपने व्यवसायों को बदलने और एक बेहतर भविष्य बनाने के लिए AI की शक्ति का उपयोग कर सकते हैं।