जनरेटिव AI: ऊँची कीमतें बनाम कम लागत वाले मॉडल

कृत्रिम बुद्धिमत्ता (Artificial intelligence) की दुनिया वर्तमान में गहरे विरोधाभासों का मंच है। एक तरफ, विशाल तकनीकी कंपनियों में भारी मात्रा में धन लगाया जा रहा है, जो अभूतपूर्व संज्ञानात्मक शक्ति की आकांक्षाओं को हवा दे रहा है और एक आसन्न निवेश बुलबुले (investment bubble) के बारे में बहस छेड़ रहा है। अरबों डॉलर का मूल्यांकन आम होता जा रहा है, जिसमें फंडिंग राउंड के खगोलीय आंकड़ों तक पहुंचने की फुसफुसाहट है। फिर भी, एक शांत, समानांतर मंच पर, अकादमिक हलकों और ओपन-सोर्स समुदायों के भीतर एक क्रांति पनप रही है। यहां, शोधकर्ता उल्लेखनीय सरलता का प्रदर्शन कर रहे हैं, अरबों से नहीं, बल्कि कभी-कभी मात्र जेब खर्च से सक्षम जनरेटिव AI मॉडल तैयार कर रहे हैं, जो कृत्रिम बुद्धिमत्ता की सर्वोच्चता की दौड़ में ‘बड़ा हमेशा बेहतर होता है’ की प्रचलित धारणा को मौलिक रूप से चुनौती दे रहे हैं।

यह विचलन तेजी से स्पष्ट होता जा रहा है। OpenAI पर विचार करें, जो ChatGPT के पीछे की शक्ति है, कथित तौर पर आगे निवेश की मांग कर रहा है जो इसके मूल्यांकन को चौंका देने वाले $300 बिलियन तक पहुंचा सकता है। इस तरह के आंकड़े, तेजी से बढ़ते राजस्व के अनुमानों के साथ, बेलगाम आशावाद और घातीय वृद्धि की तस्वीर पेश करते हैं। हालांकि, साथ ही, सावधानी के झटके इस AI उत्साह की नींव हिला रहे हैं। तथाकथित ‘Magnificent 7’ प्रौद्योगिकी स्टॉक, जो लंबे समय से बाजार के प्रिय थे, मुख्य रूप से उनकी AI क्षमता के कारण, महत्वपूर्ण अंडरपरफॉर्मेंस की अवधि का अनुभव कर चुके हैं, जो बताता है कि निवेशकों की चिंता बढ़ रही है। यह बेचैनी अनुभवी उद्योग के दिग्गजों, जैसे Alibaba के सह-संस्थापक Joe Tsai की चेतावनियों से बढ़ जाती है, जिन्होंने हाल ही में विशेष रूप से अमेरिकी बाजार में एक संभावित AI बुलबुले के बनने के चिंताजनक संकेतों की ओर इशारा किया। आवश्यक निवेश का विशाल पैमाना, विशेष रूप से इन जटिल मॉडलों को शक्ति प्रदान करने वाले विशाल डेटा केंद्रों (data centers) के लिए, गहन जांच के दायरे में आ रहा है। क्या मौजूदा खर्च का स्तर टिकाऊ है, या वे निकट-अवधि की वास्तविकताओं से कटे हुए एक तर्कहीन उत्साह का संकेत हैं?

AI बुलबुले का मंडराता खतरा

AI बुलबुले के बारे में चिंताएं केवल अमूर्त वित्तीय चिंताएं नहीं हैं; वे स्वयं AI विकास की गति और दिशा के बारे में गहरे सवालों को दर्शाती हैं। कथा मुख्य रूप से कुछ प्रमुख खिलाड़ियों द्वारा हावी रही है जो लगातार बड़े Large Language Models (LLMs) बनाने के लिए अरबों का निवेश कर रहे हैं। इसने एक ऐसा माहौल बनाया है जहां बाजार का नेतृत्व सबसे गहरी जेब और सबसे व्यापक कंप्यूटिंग बुनियादी ढांचे पर आधारित प्रतीत होता है।

• मूल्यांकन का चक्कर (Valuation Vertigo): OpenAI का संभावित $300 बिलियन मूल्यांकन, जबकि कुछ निवेशकों से अत्यधिक विश्वास को दर्शाता है, संदेह भी पैदा करता है। क्या यह आंकड़ा मौजूदा क्षमताओं और राजस्व धाराओं द्वारा उचित है, या यह भविष्य के, शायद अनिश्चित, सफलताओं की ओर भारी रूप से भारित है? पिछले तकनीकी उछाल और गिरावट, जैसे डॉट-कॉम युग, के साथ ऐतिहासिक समानताएं अनिवार्य रूप से सामने आती हैं, जो सावधानी बरतने का संकेत देती हैं।
• बुनियादी ढांचे के निवेश की जांच (Infrastructure Investment Scrutiny): AI-विशिष्ट डेटा केंद्रों और विशेष हार्डवेयर, जैसे हाई-एंड GPUs, में अरबों डॉलर का निवेश भारी पूंजीगत व्यय का प्रतिनिधित्व करता है। Joe Tsai की चेतावनी इस तरह के बड़े अग्रिम निवेशों से जुड़े जोखिम पर प्रकाश डालती है, खासकर अगर मुद्रीकरण का मार्ग अपेक्षा से अधिक लंबा या अधिक जटिल साबित होता है। इन निवेशों की दक्षता और रिटर्न महत्वपूर्ण चर्चा बिंदु बन रहे हैं।
• बाजार संकेत (Market Signals): AI में भारी निवेश करने वाली तकनीकी दिग्गजों का उतार-चढ़ाव वाला प्रदर्शन बाजार के संदेह की डिग्री का सुझाव देता है। जबकि दीर्घकालिक क्षमता एक मजबूत आकर्षण बनी हुई है, अल्पकालिक अस्थिरता इंगित करती है कि निवेशक सक्रिय रूप से जोखिम का पुनर्मूल्यांकन कर रहे हैं और वर्तमान विकास पथों की स्थिरता पर सवाल उठा रहे हैं। AI स्पेस में आगामी IPOs के भाग्य पर, जैसे कि AI चिप विशेषज्ञ CoreWeave से प्रत्याशित पेशकश, बाजार की भावना के बैरोमीटर के रूप में बारीकी से नजर रखी जा रही है। क्या यह उत्साह को फिर से जगाएगा या अंतर्निहित घबराहट की पुष्टि करेगा?
• भू-राजनीतिक आयाम (Geopolitical Dimensions): AI दौड़ में महत्वपूर्ण भू-राजनीतिक पहलू भी हैं, खासकर अमेरिका और चीन के बीच। अमेरिका में भारी खर्च आंशिक रूप से प्रतिस्पर्धात्मक बढ़त बनाए रखने की इच्छा से प्रेरित है। इसने जटिल नीतिगत बहसें छेड़ दी हैं, जिसमें चीन की प्रगति को संभावित रूप से धीमा करने के लिए उन्नत सेमीकंडक्टर प्रौद्योगिकी पर सख्त निर्यात नियंत्रण की मांग शामिल है। इसके विपरीत, वेंचर कैपिटल चीनी AI स्टार्टअप्स में प्रवाहित हो रहा है, जो एक वैश्विक प्रतिस्पर्धा का संकेत देता है जहां तकनीकी कौशल और आर्थिक रणनीति कसकर जुड़ी हुई हैं।

यह उच्च-दांव, उच्च-खर्च वाला वातावरण विघटनकारी नवाचारों के लिए मंच तैयार करता है जो स्थापित व्यवस्था को चुनौती देते हैं। काफी सस्ते विकल्पों का उद्भव इस बात का पुनर्मूल्यांकन करने के लिए मजबूर करता है कि क्या क्रूर बल गणना (brute force computation) और बड़े पैमाने पर आगे बढ़ने का एकमात्र रास्ता है।

DeepSeek का विघटनकारी दावा और इसके प्रभाव

भारी खर्च और बढ़ती चिंता के इस परिदृश्य में DeepSeek, एक चीन-आधारित इकाई, ने कदम रखा जिसने एक चौंकाने वाला दावा किया: इसने अपने R1 जनरेटिव AI लार्ज लैंग्वेज मॉडल को मात्र $6 मिलियन में विकसित किया था। यह आंकड़ा, पश्चिमी समकक्षों द्वारा अनुमानित अरबों डॉलर के निवेश से कई गुना कम, तुरंत उद्योग में हलचल मचा दी।

जबकि $6 मिलियन की गणना के बारे में संदेह बना हुआ है - यह सवाल करते हुए कि कौन सी लागतें शामिल थीं और कौन सी बाहर रखी गईं - घोषणा का प्रभाव निर्विवाद था। इसने एक शक्तिशाली उत्प्रेरक के रूप में कार्य किया, बाजार के नेताओं द्वारा नियोजित लागत संरचनाओं और विकास पद्धतियों की महत्वपूर्ण जांच के लिए मजबूर किया। यदि वास्तव में एक यथोचित सक्षम मॉडल अरबों के बजाय लाखों में बनाया जा सकता है, तो इसका मौजूदा दृष्टिकोणों की दक्षता के बारे में क्या निहितार्थ था?

• कथा को चुनौती देना (Challenging the Narrative): DeepSeek का दावा, सटीक हो या न हो, इस प्रचलित कथा को छेद दिया कि अत्याधुनिक AI विकास केवल असीमित संसाधनों वाली खरबों डॉलर की कंपनियों का डोमेन था। इसने अधिक लोकतंत्रीकृत विकास परिदृश्य की संभावना पेश की।
• जांच को बढ़ावा देना (Fueling Scrutiny): इसने Microsoft-समर्थित OpenAI जैसी कंपनियों द्वारा बड़े पैमाने पर व्यय पर पहले से ही पड़ रही जांच को तेज कर दिया। निवेशक, विश्लेषक और प्रतिस्पर्धी इन पूंजी-गहन परियोजनाओं के लिए संसाधन आवंटन और निवेश पर रिटर्न के बारे में कठिन प्रश्न पूछने लगे।
• भू-राजनीतिक प्रतिध्वनि (Geopolitical Resonance): यह दावा अमेरिका-चीन तकनीकी प्रतिद्वंद्विता के संदर्भ में भी प्रतिध्वनित हुआ। इसने सुझाव दिया कि AI क्षमता के लिए वैकल्पिक, संभावित रूप से अधिक संसाधन-कुशल रास्ते मौजूद हो सकते हैं, जिससे तकनीकी नेतृत्व और रणनीतिक प्रतिस्पर्धा के बारे में चर्चाओं में जटिलता की एक और परत जुड़ गई। इसने चिप प्रतिबंध जैसी नीतियों पर और बहस छेड़ दी, साथ ही वेंचर कैपिटलिस्टों को चीन में उभरते खिलाड़ियों पर बारीकी से नजर डालने के लिए प्रोत्साहित किया जिनके पास लीनर डेवलपमेंट मॉडल हो सकते हैं।

संदेह के बावजूद, DeepSeek R1 की रिलीज़, विशेष रूप से इसके साथ आने वाले खुले अनुसंधान घटकों ने महत्वपूर्ण अंतर्दृष्टि प्रदान की जो दूसरों को प्रेरित करेगी। यह केवल दावा की गई लागत नहीं थी, बल्कि संभावित कार्यप्रणाली थी, जिसने कहीं और जिज्ञासा और नवाचार को जन्म दिया, विशेष रूप से बहुत अलग वित्तीय बाधाओं के तहत काम करने वाली अकादमिक प्रयोगशालाओं में।

अल्ट्रा-लीन AI का उदय: एक विश्वविद्यालय क्रांति

जबकि कॉर्पोरेट दिग्गज अरबों डॉलर के बजट और बाजार के दबावों से जूझ रहे थे, अकादमियों के हॉल में एक अलग तरह की AI क्रांति चुपचाप आकार ले रही थी। शोधकर्ता, तत्काल व्यावसायीकरण की मांगों से मुक्त लेकिन धन से गंभीर रूप से सीमित, उन्नत AI के पीछे के सिद्धांतों को दोहराने के तरीके तलाशने लगे, यदि सरासर पैमाने पर नहीं, तो न्यूनतम संसाधनों का उपयोग करके। कैलिफोर्निया विश्वविद्यालय, बर्कले (University of California, Berkeley) से एक प्रमुख उदाहरण सामने आया।

बर्कले की एक टीम, हाल की प्रगति से उत्साहित लेकिन उद्योग प्रयोगशालाओं की विशाल पूंजी की कमी के कारण, TinyZero नामक एक परियोजना पर काम शुरू किया। उनका लक्ष्य दुस्साहसी था: क्या वे परिष्कृत AI व्यवहारों का प्रदर्शन कर सकते हैं, विशेष रूप से उस तरह की तर्क क्षमता जो मॉडल को उत्तर देने से पहले ‘सोचने’ की अनुमति देती है, एक काफी कम पैमाने के मॉडल और बजट का उपयोग करके? उत्तर एक शानदार हाँ साबित हुआ। उन्होंने OpenAI और DeepSeek दोनों द्वारा खोजे गए तर्क प्रतिमान के मुख्य पहलुओं को आश्चर्यजनक रूप से कम लागत - लगभग $30 - पर सफलतापूर्वक पुन: प्रस्तुत किया।

यह GPT-4 के सीधे प्रतियोगी का निर्माण करके हासिल नहीं किया गया था, बल्कि मॉडल और कार्य दोनों की जटिलता को चतुराई से कम करके किया गया था।

• $30 का प्रयोग (The $30 Experiment): यह आंकड़ा मुख्य रूप से आवश्यक प्रशिक्षण समय के लिए सार्वजनिक क्लाउड प्लेटफ़ॉर्म पर दो Nvidia H200 GPUs किराए पर लेने की लागत का प्रतिनिधित्व करता है। इसने बड़े पैमाने पर अग्रिम हार्डवेयर निवेश के बिना अत्याधुनिक अनुसंधान के लिए मौजूदा क्लाउड बुनियादी ढांचे का लाभ उठाने की क्षमता का प्रदर्शन किया।
• मॉडल स्केलिंग (Model Scaling): TinyZero परियोजना ने एक ‘3B’ मॉडल का उपयोग किया, जो लगभग तीन बिलियन पैरामीटर्स को संदर्भित करता है। यह सबसे बड़े LLMs की तुलना में काफी छोटा है, जो सैकड़ों अरबों या खरबों पैरामीटर्स का दावा कर सकते हैं। मुख्य अंतर्दृष्टि यह थी कि यदि कार्य को उचित रूप से डिज़ाइन किया गया हो तो छोटे मॉडलों में भी जटिल व्यवहार उभर सकते हैं।
• दिग्गजों और चैलेंजर्स से प्रेरणा (Inspiration from Giants and Challengers): TinyZero परियोजना के नेता Jiayi Pan ने उल्लेख किया कि OpenAI से सफलताएं, विशेष रूप से प्रतिक्रिया देने से पहले अधिक समय बिताने वाले मॉडल के आसपास की अवधारणाएं, एक प्रमुख प्रेरणा थीं। हालांकि, यह DeepSeek R1 का खुला शोध था जिसने इस बेहतर तर्क क्षमता को कैसे प्राप्त किया जाए, इसके लिए एक संभावित खाका प्रदान किया, भले ही DeepSeek की रिपोर्ट की गई $6 मिलियन प्रशिक्षण लागत अभी भी विश्वविद्यालय टीम की पहुंच से बहुत दूर थी।

बर्कले टीम ने परिकल्पना की कि मॉडल के आकार और उस समस्या की जटिलता दोनों को कम करके जिसे उसे हल करने की आवश्यकता थी, वे अभी भी वांछित ‘उभरते तर्क व्यवहार’ (emergent reasoning behavior) का निरीक्षण कर सकते हैं। यह न्यूनीकरणवादी दृष्टिकोण लागत को नाटकीय रूप से कम करने की कुंजी थी, जबकि अभी भी मूल्यवान वैज्ञानिक अवलोकन को सक्षम कर रहा था।

‘अहा मोमेंट’ को डिकोड करना: बजट पर तर्क

TinyZero परियोजना, और इसी तरह की कम लागत वाली पहलों की मुख्य उपलब्धि, यह प्रदर्शित करने में निहित है कि शोधकर्ता अक्सर जिसे ‘अहा मोमेंट’ (Aha moment) कहते हैं - वह बिंदु जहां एक AI मॉडल केवल पैटर्न मिलान या संग्रहीत जानकारी को पुनः प्राप्त करने के बजाय वास्तविक तर्क और समस्या-समाधान क्षमताओं का प्रदर्शन करना शुरू कर देता है। यह उभरता हुआ व्यवहार सबसे बड़े मॉडलों के डेवलपर्स के लिए भी एक प्रमुख लक्ष्य है।

अपनी परिकल्पना का परीक्षण करने और इस व्यवहार को छोटे पैमाने पर प्राप्त करने के लिए, बर्कले टीम ने एक विशिष्ट, बाधित कार्य नियोजित किया: ‘Countdown’ नामक एक गणित का खेल।

• Countdown गेम (The Countdown Game): इस खेल में AI को दिए गए शुरुआती नंबरों और बुनियादी अंकगणितीय परिचालनों (जोड़, घटाव, गुणा, भाग) का उपयोग करके एक लक्ष्य संख्या तक पहुंचने की आवश्यकता होती है। महत्वपूर्ण रूप से, Countdown में सफलता पूर्व-मौजूदा गणितीय ज्ञान की विशाल मात्रा को याद करने की तुलना में रणनीतिक तर्क और योजना - विभिन्न संयोजनों और संचालन के अनुक्रमों की खोज - पर अधिक निर्भर करती है।
• खेल के माध्यम से सीखना (Learning Through Play): प्रारंभ में, TinyZero मॉडल ने खेल को यादृच्छिक रूप से अपनाया, लगभग बेतरतीब ढंग से संयोजनों की कोशिश की। हालांकि, सुदृढीकरण सीखने (reinforcement learning) (परीक्षण और त्रुटि और पुरस्कारों से सीखना) की प्रक्रिया के माध्यम से, इसने पैटर्न और रणनीतियों को समझना शुरू कर दिया। इसने अपने दृष्टिकोण को समायोजित करना, अक्षम रास्तों को छोड़ना और सही समाधानों पर अधिक तेज़ी से अभिसरण करना सीखा। इसने अनिवार्य रूप से खेल के परिभाषित नियमों के भीतर कैसे तर्क करना सीखा।
• स्व-सत्यापन उभरता है (Self-Verification Emerges): महत्वपूर्ण रूप से, प्रशिक्षित मॉडल ने स्व-सत्यापन (self-verification) के संकेत दिखाना शुरू कर दिया - अपने स्वयं के मध्यवर्ती चरणों और संभावित समाधानों का मूल्यांकन यह निर्धारित करने के लिए कि क्या वे लक्ष्य संख्या की ओर ले जा रहे थे। आंतरिक रूप से मूल्यांकन करने और पाठ्यक्रम को सही करने की यह क्षमता अधिक उन्नत तर्क की पहचान है।

जैसा कि Jiayi Pan ने समझाया, ‘हम दिखाते हैं कि 3B जितने छोटे मॉडल के साथ, यह सरल समस्याओं के बारे में तर्क करना सीख सकता है और स्व-सत्यापन करना और बेहतर समाधान खोजना सीख सकता है।’ इसने प्रदर्शित किया कि तर्क और ‘अहा मोमेंट’ के अंतर्निहित मौलिक तंत्र, जो पहले मुख्य रूप से विशाल, महंगे मॉडलों से जुड़े थे, को अत्यधिक संसाधन-विवश वातावरण में दोहराया और अध्ययन किया जा सकता है। TinyZero की सफलता ने साबित कर दिया कि सीमांत AI अवधारणाएं केवल तकनीकी दिग्गजों का डोमेन नहीं थीं, बल्कि सीमित बजट वाले शोधकर्ताओं, इंजीनियरों और यहां तक कि शौकीनों के लिए भी सुलभ बनाई जा सकती थीं, जिससे AI अन्वेषण के लिए अधिक समावेशी पारिस्थितिकी तंत्र को बढ़ावा मिला। टीम के अपने निष्कर्षों को खुले तौर पर साझा करने का निर्णय, विशेष रूप से GitHub जैसे प्लेटफार्मों के माध्यम से, दूसरों को प्रयोगों को दोहराने और कुछ पिज्जा की लागत से कम में इस ‘अहा मोमेंट’ का प्रत्यक्ष अनुभव करने की अनुमति दी।

स्टैनफोर्ड मैदान में शामिल: कम लागत वाले सीखने का सत्यापन

TinyZero द्वारा बनाई गई लहरें अकादमिक AI समुदाय में तेजी से फैलीं। स्टैनफोर्ड विश्वविद्यालय (Stanford University) के शोधकर्ता, जो पहले से ही इसी तरह की अवधारणाओं की खोज कर रहे थे और यहां तक कि पहले Countdown गेम को एक शोध कार्य के रूप में पेश कर चुके थे, ने बर्कले टीम के काम को अत्यधिक प्रासंगिक और मान्य पाया।

Kanishk Gandhi के नेतृत्व में, स्टैनफोर्ड टीम एक संबंधित, मौलिक प्रश्न में तल्लीन थी: क्यों कुछ LLMs प्रशिक्षण के दौरान अपनी तर्क क्षमताओं में नाटकीय, लगभग अचानक सुधार प्रदर्शित करते हैं, जबकि अन्य स्थिर लगते हैं? क्षमता में इन छलांगों को चलाने वाले अंतर्निहित तंत्रों को समझना अधिक प्रभावी और विश्वसनीय AI बनाने के लिए महत्वपूर्ण है।

• साझा आधार पर निर्माण (Building on Shared Ground): Gandhi ने TinyZero के मूल्य को स्वीकार किया, यह कहते हुए कि यह ‘महान’ था क्योंकि इसने सफलतापूर्वक Countdown कार्य का उपयोग किया जिसका उनकी अपनी टीम अध्ययन कर रही थी। इस अभिसरण ने विभिन्न शोध समूहों में विचारों के तेजी से सत्यापन और पुनरावृत्ति की अनुमति दी।
• इंजीनियरिंग बाधाओं पर काबू पाना (Overcoming Engineering Hurdles): स्टैनफोर्ड शोधकर्ताओं ने यह भी बताया कि कैसे उनकी प्रगति पहले इंजीनियरिंग चुनौतियों से बाधित हुई थी। ओपन-सोर्स टूल की उपलब्धता इन बाधाओं को दूर करने में सहायक बनी।
• ओपन सोर्स टूल्स की शक्ति (The Power of Open Source Tools): विशेष रूप से, Gandhi ने Volcano Engine Reinforcement Learning सिस्टम (VERL), ByteDance (TikTok की मूल कंपनी) द्वारा विकसित एक ओपन-सोर्स प्रोजेक्ट को ‘हमारे प्रयोगों को चलाने के लिए आवश्यक’ के रूप में श्रेय दिया। VERL की क्षमताओं और स्टैनफोर्ड टीम की प्रयोगात्मक जरूरतों के बीच संरेखण ने उनके शोध चक्रों को काफी तेज कर दिया।

ओपन-सोर्स घटकों पर यह निर्भरता कम लागत वाले AI आंदोलन के एक महत्वपूर्ण पहलू को रेखांकित करती है। प्रगति अक्सर सहयोगात्मक रूप से बनाई जाती है, समुदाय के भीतर स्वतंत्र रूप से साझा किए गए उपकरणों और अंतर्दृष्टि का लाभ उठाते हुए। Gandhi ने आगे कहा कि LLM तर्क और बुद्धिमत्ता को समझने में प्रमुख वैज्ञानिक सफलताएं जरूरी नहीं कि केवल बड़े, अच्छी तरह से वित्त पोषित औद्योगिक प्रयोगशालाओं से ही उत्पन्न हों। उन्होंने तर्क दिया कि ‘वर्तमान LLMs की वैज्ञानिक समझ गायब है, यहां तक कि बड़ी प्रयोगशालाओं के भीतर भी,’ ‘DIY AI, ओपन सोर्स और अकादमिया’ से योगदान के लिए महत्वपूर्ण जगह छोड़ रही है। ये छोटी, अधिक चुस्त परियोजनाएं विशिष्ट घटनाओं की गहराई से खोज कर सकती हैं, जिससे पूरे क्षेत्र को लाभ पहुंचाने वाली अंतर्दृष्टि उत्पन्न होती है।

अनसंग हीरो: ओपन सोर्स फाउंडेशन

TinyZero जैसी परियोजनाओं की उल्लेखनीय उपलब्धियां, जो दसियों डॉलर में परिष्कृत AI व्यवहारों का प्रदर्शन करती हैं, एक महत्वपूर्ण, अक्सर कम सराहे जाने वाले तत्व पर बहुत अधिक निर्भर करती हैं: ओपन-सोर्स और ओपन-वेट AI मॉडल और टूल का विशाल पारिस्थितिकी तंत्र। जबकि किसी विशिष्ट प्रयोग की सीमांत लागत कम हो सकती है, यह उन नींवों पर बनता है जो अक्सर लाखों, यदि अरबों नहीं, डॉलर के पूर्व निवेश का प्रतिनिधित्व करते हैं।

Nina Singer, AI कंसल्टेंसी OneSix में एक वरिष्ठ लीड मशीन लर्निंग वैज्ञानिक, ने महत्वपूर्ण संदर्भ प्रदान किया। उन्होंने बताया कि TinyZero की $30 प्रशिक्षण लागत, जबकि बर्कले टीम द्वारा किए गए विशिष्ट कार्य के लिए सटीक है, उन मूलभूत मॉडलों की प्रारंभिक विकास लागत का हिसाब नहीं रखती है जिनका उसने उपयोग किया था।

• दिग्गजों के कंधों पर निर्माण (Building on Giants’ Shoulders): TinyZero केप्रशिक्षण ने न केवल ByteDance के VERL सिस्टम का लाभ उठाया, बल्कि Alibaba Cloud के Qwen, एक ओपन-सोर्स्ड LLM का भी लाभ उठाया। Alibaba ने अपने ‘वेट्स’ (सीखे हुए पैरामीटर जो मॉडल की क्षमताओं को परिभाषित करते हैं) को जनता के लिए जारी करने से पहले Qwen को विकसित करने में पर्याप्त संसाधन - संभवतः लाखों - का निवेश किया।
• ओपन वेट्स का मूल्य (The Value of Open Weights): Singer ने जोर देकर कहा कि यह TinyZero की आलोचना नहीं है, बल्कि ओपन-वेट मॉडल के अपार मूल्य और महत्व पर प्रकाश डालता है। मॉडल पैरामीटर जारी करके, भले ही पूरा डेटासेट और प्रशिक्षण आर्किटेक्चर मालिकाना बना रहे, Alibaba जैसी कंपनियां शोधकर्ताओं और छोटी संस्थाओं को उनके काम पर निर्माण करने, प्रयोग करने और नवाचार करने में सक्षम बनाती हैं, बिना खरोंच से महंगी प्रारंभिक प्रशिक्षण प्रक्रिया को दोहराने की आवश्यकता के।
• फाइन-ट्यूनिंग का लोकतंत्रीकरण (Democratizing Fine-Tuning): यह खुला दृष्टिकोण ‘फाइन-ट्यूनिंग’ (fine-tuning) के एक उभरते हुए क्षेत्र को बढ़ावा देता है, जहां छोटे AI मॉडल विशिष्ट कार्यों के लिए अनुकूलित या विशेषीकृत होते हैं। जैसा कि Singer ने उल्लेख किया, ये फाइन-ट्यून किए गए मॉडल अक्सर अपने निर्दिष्ट उद्देश्य के लिए ‘आकार और लागत के एक अंश पर बहुत बड़े मॉडल को टक्कर दे सकते हैं’। उदाहरण प्रचुर मात्रा में हैं, जैसे कि Sky-T1, जो उपयोगकर्ताओं को लगभग $450 में एक उन्नत मॉडल के अपने संस्करण को प्रशिक्षित करने की क्षमता प्रदान करता है, या Alibaba का Qwen स्वयं, जो $6 जितनी कम लागत में फाइन-ट्यूनिंग को सक्षम करता है।

खुली नींवों पर यह निर्भरता एक गतिशील पारिस्थितिकी तंत्र बनाती है जहां नवाचार कई स्तरों पर हो सकता है। बड़े संगठन शक्तिशाली आधार मॉडल बनाने में भारी निवेश करते हैं, जबकि एक व्यापक समुदाय इन परिसंपत्तियों का लाभ उठाकर नए अनुप्रयोगों का पता लगाता है, अनुसंधान करता है, और कहीं अधिक किफायती रूप से विशेष समाधान विकसित करता है। यह सहजीवी संबंध क्षेत्र में तीव्र प्रगति और लोकतंत्रीकरण को चला रहा है।

‘बड़ा बेहतर है’ प्रतिमान को चुनौती देना

TinyZero जैसी परियोजनाओं से उभरती सफलता की कहानियां और प्रभावी, कम लागत वाली फाइन-ट्यूनिंग की व्यापक प्रवृत्ति उद्योग के लंबे समय से चले आ रहे विश्वास को एक महत्वपूर्ण चुनौती दे रही है कि AI में प्रगति केवल पैमाने का एक कार्य है - अधिक डेटा, अधिक पैरामीटर, अधिक कंप्यूटिंग शक्ति।

सबसे गहरे निहितार्थों में से एक, जैसा कि Nina Singer द्वारा उजागर किया गया है, यह है कि डेटा गुणवत्ता और कार्य-विशिष्ट प्रशिक्षण अक्सर सरासर मॉडल आकार से अधिक महत्वपूर्ण हो सकते हैं। TinyZero प्रयोग ने प्रदर्शित किया कि एक अपेक्षाकृत छोटा मॉडल (3 बिलियन पैरामीटर) भी स्व-सुधार और पुनरावृत्ति सुधार जैसे जटिल व्यवहार सीख सकता है जब एक अच्छी तरह से परिभाषित कार्य पर प्रभावी ढंग से प्रशिक्षित किया जाता है।

• पैमाने पर घटते रिटर्न? (Diminishing Returns on Scale?): यह खोज सीधे इस धारणा पर सवाल उठाती है कि केवल OpenAI की GPT श्रृंखला या Anthropic के Claude जैसे विशाल मॉडल, अपने सैकड़ों अरबों या खरबों मापदंडों के साथ, इस तरह के परिष्कृत सीखने में सक्षम हैं। Singer ने सुझाव दिया, ‘यह परियोजना बताती है कि हम पहले ही उस सीमा को पार कर चुके होंगे जहां अतिरिक्त पैरामीटर घटते रिटर्न प्रदान करते हैं - कम से कम कुछ कार्यों के लिए।’ जबकि बड़े मॉडल सामान्यता और ज्ञान की चौड़ाई में लाभ बनाए रख सकते हैं, विशिष्ट अनुप्रयोगों के लिए, हाइपर-स्केल्ड मॉडल लागत और कम्प्यूटेशनल आवश्यकताओं दोनों के संदर्भ में ओवरकिल का प्रतिनिधित्व कर सकते हैं।
• दक्षता और विशिष्टता की ओर बदलाव (Shift Towards Efficiency and Specificity): AI परिदृश्य एक सूक्ष्म लेकिन महत्वपूर्ण बदलाव से गुजर रहा हो सकता है। लगातार बड़े मूलभूत मॉडल बनाने पर विशेष ध्यान देने के बजाय, दक्षता, पहुंच और लक्षित बुद्धिमत्ता पर ध्यान बढ़ रहा है। विशिष्ट डोमेन या कार्यों के लिए छोटे, अत्यधिक अनुकूलित मॉडल बनाना एक व्यवहार्य और आर्थिक रूप से आकर्षक विकल्प साबित हो रहा है।
• बंद मॉडलों पर दबाव (Pressure on Closed Models): ओपन-वेट मॉडल और कम लागत वाली फाइन-ट्यूनिंग तकनीकों की बढ़ती क्षमता और उपलब्धता उन कंपनियों पर प्रतिस्पर्धी दबाव डालती है जो मुख्य रूप से प्रतिबंधित APIs (Application Programming Interfaces) के माध्यम से अपनी AI क्षमताओं की पेशकश करती हैं। जैसा कि Singer ने उल्लेख किया, OpenAI और Anthropic जैसी कंपनियों को अपने बंद पारिस्थितिकी तंत्र के मूल्य प्रस्ताव को तेजी से सही ठहराने की आवश्यकता हो सकती है, खासकर ‘जैसे-जैसे खुले विकल्प विशिष्ट डोमेन में उनकी क्षमताओं से मेल खाने या उससे अधिक होने लगते हैं।’

इसका मतलब जरूरी नहीं कि बड़े मूलभूत मॉडलों का अंत हो, जो संभवतः महत्वपूर्ण शुरुआती बिंदु के रूप में काम करना जारी रखेंगे। हालांकि, यह एक ऐसे भविष्य का सुझाव देता है जहां AI पारिस्थितिकी तंत्र कहीं अधिक विविध है, जिसमें विशाल सामान्यवादी मॉडल और विशिष्ट आवश्यकताओं के लिए तैयार किए गए छोटे, विशेषीकृत और अत्यधिक कुशल मॉडलों का प्रसार शामिल है।

लोकतंत्रीकरण की लहर: अधिक लोगों के लिए AI?

सुलभ क्लाउड कंप्यूटिंग, शक्तिशाली ओपन-सोर्स टूल और छोटे, फाइन-ट्यून किए गए मॉडलों की सिद्ध प्रभावशीलता का संगम AI परिदृश्य में लोकतंत्रीकरण की लहर को बढ़ावा दे रहा है। जो कभी अरबों डॉलर के बजट वाले कुलीन अनुसंधान प्रयोगशालाओं और तकनीकी निगमों का अनन्य डोमेन था, वह अभिनेताओं की एक विस्तृत श्रृंखला के लिए तेजी से सुलभ होता जा रहा है।

व्यक्ति, अकादमिक शोधकर्ता, स्टार्टअप और छोटी कंपनियां पा रही हैं कि वे निषेधात्मक बुनियादी ढांचे के निवेश की आवश्यकता के बिना उन्नत AI अवधारणाओं और विकास के साथ सार्थक रूप से जुड़ सकते हैं।

• प्रवेश बाधाओं को कम करना (Lowering Barriers to Entry): सैकड़ों या यहां तक कि दसियों डॉलर में एक सक्षम मॉडल को फाइन-ट्यून करने की क्षमता, ओपन-वेट नींव पर निर्माण, प्रयोग और अनुप्रयोग विकास के लिए प्रवेश बाधा को नाटकीय रूप से कम करती है।
• नवाचार को बढ़ावा देना (Fostering Innovation): यह पहुंच प्रतिभा के एक व्यापक पूल को क्षेत्र में योगदान करने के लिए प्रोत्साहित करती है। शोधकर्ता नए विचारों का अधिक आसानी से परीक्षण कर सकते हैं, उद्यमी अधिक किफायती रूप से आला AI समाधान विकसित कर सकते हैं, और शौकीन अत्याधुनिक तकनीक का प्रत्यक्ष अन्वेषण कर सकते हैं।
• समुदाय-संचालित सुधार (Community-Driven Improvement): ओपन-वेट मॉडल को बेहतर बनाने और विशेषीकृत करने में समुदाय-संचालित प्रयासों की सफलता सहयोगात्मक विकास की शक्ति को प्रदर्शित करती है। यह सामूहिक बुद्धिमत्ता कभी-कभी विशिष्ट कार्यों के लिए अधिक बंद कॉर्पोरेट वातावरण के भीतर पुनरावृत्ति चक्रों को पीछे छोड़ सकती है।
• एक हाइब्रिड भविष्य? (A Hybrid Future?): संभावित प्रक्षेपवक्र एक हाइब्रिड पारिस्थितिकी तंत्र की ओर इशारा करता है। विशाल मूलभूत मॉडल AI क्षमता की पूर्ण सीमाओं को आगे बढ़ाना जारी रखेंगे, जो प्लेटफार्मों के रूप में काम करेंगे। साथ ही, एक विविध समुदाय द्वारा फाइन-ट्यून किए गए विशेषीकृत मॉडलों का एक जीवंत पारिस्थितिकी तंत्र, विशिष्ट अनुप्रयोगों और उद्योगों में नवाचार को बढ़ावा देगा।

यह लोकतंत्रीकरण महत्वपूर्ण निवेश की आवश्यकता को समाप्त नहीं करता है, खासकर मूलभूत मॉडलों की अगली पीढ़ी बनाने में। हालांकि, यह नवाचार और प्रतिस्पर्धा की गतिशीलता को मौलिक रूप से बदल देता है। बजट पर उल्लेखनीय परिणाम प्राप्त करने की क्षमता, जैसा कि TinyZero परियोजना और व्यापक फाइन-ट्यूनिंग आंदोलन द्वारा उदाहरण दिया गया है, कृत्रिम बुद्धिमत्ता विकास के लिए अधिक सुलभ, कुशल और संभावित रूप से अधिक विविध भविष्य की ओर एक बदलाव का संकेत देती है। तर्क का ‘अहा मोमेंट’ अब केवल सिलिकॉन किलों तक ही सीमित नहीं है; यह रात के खाने की लागत से कम में सुलभ अनुभव बन रहा है, रचनात्मकता को जगा रहा है और जमीन से संभव की सीमाओं को आगे बढ़ा रहा है।