एंथ्रोपिक का क्लॉड पोकेमोन क्यों नहीं हरा पाया

AGI का वादा

कृत्रिम बुद्धिमत्ता (AI) के तेजी से बढ़ते क्षेत्र में, “आर्टिफ़िशियल जनरल इंटेलिजेंस” (AGI) की अवधारणा एक लुभावना विचार बन गई है। उद्योग के दिग्गज तेजी से सुझाव दे रहे हैं कि हम वर्चुअल एजेंट बनाने के करीब हैं जो विभिन्न संज्ञानात्मक कार्यों में मानव समझ और प्रदर्शन से मेल खाने, या उससे भी आगे निकलने में सक्षम हैं। इस प्रत्याशा ने तकनीकी कंपनियों के बीच एक दौड़ को बढ़ावा दिया है, प्रत्येक इस अभूतपूर्व उपलब्धि को प्राप्त करने वाली पहली कंपनी बनने का प्रयास कर रही है।

OpenAI, AI क्षेत्र का एक प्रमुख खिलाड़ी, सूक्ष्म रूप से एक “PhD-स्तर” AI एजेंट के आसन्न आगमन का संकेत दे रहा है। उनका सुझाव है कि यह एजेंट स्वायत्त रूप से काम कर सकता है, “उच्च-आय वाले ज्ञान कार्यकर्ता” के स्तर पर प्रदर्शन कर सकता है। एलोन मस्क, हमेशा महत्वाकांक्षी उद्यमी, ने और भी साहसिक भविष्यवाणियां की हैं, यह कहते हुए कि 2025 के अंत तक हमारे पास AI “किसी भी एक इंसान से अधिक स्मार्ट” होने की संभावना है। डारियो अमोदेई, एंथ्रोपिक के CEO, एक अन्य प्रमुख AI कंपनी, थोड़ी अधिक रूढ़िवादी समयरेखा प्रदान करते हैं, लेकिन एक समान दृष्टिकोण साझा करते हैं, यह सुझाव देते हुए कि AI 2027 के अंत तक “लगभग हर चीज में मनुष्यों से बेहतर” हो सकता है।

एंथ्रोपिक का ‘क्लॉड प्लेज़ पोकेमोन’ प्रयोग

महत्वाकांक्षी भविष्यवाणियों की इस पृष्ठभूमि के बीच, एंथ्रोपिक ने पिछले महीने अपना “क्लॉड प्लेज़ पोकेमोन” प्रयोग पेश किया। इस परियोजना को, अनुमानित AGI भविष्य की ओर एक कदम के रूप में प्रस्तुत किया गया, “AI प्रणालियों की झलक” के रूप में वर्णित किया गया था जो “बढ़ती हुई क्षमता के साथ चुनौतियों का सामना करती हैं, न केवल प्रशिक्षण के माध्यम से बल्कि सामान्यीकृत तर्क के साथ।” एंथ्रोपिक ने इस बात पर प्रकाश डालते हुए महत्वपूर्ण ध्यान आकर्षित किया कि कैसे क्लॉड 3.7 सॉनेट की “बेहतर तर्क क्षमताओं” ने कंपनी के नवीनतम मॉडल को क्लासिक गेम बॉय RPG, पोकेमॉन में प्रगति करने में सक्षम बनाया, जिस तरह से “पुराने मॉडलों को प्राप्त करने की बहुत कम उम्मीद थी।”

कंपनी ने जोर देकर कहा कि क्लॉड 3.7 सॉनेट की “विस्तारित सोच” ने नए मॉडल को “आगे की योजना बनाने, अपने उद्देश्यों को याद रखने और प्रारंभिक रणनीतियाँ विफल होने पर अनुकूलन करने” की अनुमति दी।” ये, एंथ्रोपिक ने तर्क दिया, “पिक्सेलयुक्त जिम लीडर्स से लड़ने के लिए महत्वपूर्ण कौशल हैं। और, हम मानते हैं, वास्तविक दुनिया की समस्याओं को हल करने में भी।” निहितार्थ स्पष्ट था: पोकेमॉन में क्लॉड की प्रगति सिर्फ एक खेल नहीं थी; यह जटिल, वास्तविक दुनिया की चुनौतियों से निपटने के लिए AI की बढ़ती क्षमता का प्रदर्शन था।

वास्तविकता की जाँच: क्लॉड का संघर्ष

हालांकि, क्लॉड के पोकेमॉन प्रदर्शन के आसपास का प्रारंभिक उत्साह वास्तविकता की एक खुराक से कम हो गया है। जबकि क्लॉड 3.7 सॉनेट ने निस्संदेह अपने पूर्ववर्तियों से बेहतर प्रदर्शन किया, इसने खेल पर महारत हासिल नहीं की है। ट्विच पर हजारों दर्शकों ने क्लॉड के चल रहे संघर्षों को देखा है, इसकी लगातार गलतियों और अक्षमताओं को देखते हुए।

चालों के बीच विस्तारित “सोच” के ठहराव के बावजूद - जिसके दौरान दर्शक सिस्टम की नकली तर्क प्रक्रिया का निरीक्षण कर सकते हैं - क्लॉड अक्सर खुद को पाता है:

• पूर्ण किए गए कस्बों का पुन: दौरा: AI अक्सर उन क्षेत्रों में लौटता है जिनकी वह पहले ही खोज कर चुका है, बिना किसी उद्देश्य के।
• अंधे कोनों में फंसना: क्लॉड अक्सर नक्शे के कोनों में विस्तारित अवधि के लिए फंस जाता है, बाहर निकलने का रास्ता खोजने में असमर्थ।
• बार-बार अनुपयोगी NPC के साथ बातचीत करना: AI को बार-बार एक ही गैर-खिलाड़ी पात्रों के साथ निरर्थक बातचीत करते हुए देखा गया है।

मानव-स्तर से कम इन-गेम प्रदर्शन के ये उदाहरण कुछ लोगों द्वारा परिकल्पित अति-बुद्धिमत्ता से बहुत दूर की तस्वीर पेश करते हैं। बच्चों के लिए डिज़ाइन किए गए गेम के साथ क्लॉड को संघर्ष करते हुए देखना, यह कल्पना करना मुश्किल हो जाता है कि हम कंप्यूटर इंटेलिजेंस के एक नए युग की शुरुआत देख रहे हैं।

मानव-स्तर से कम प्रदर्शन से सबक

अपनी कमियों के बावजूद, क्लॉड का पोकेमॉन प्रदर्शन का वर्तमान स्तर सामान्यीकृत, मानव-स्तर की कृत्रिम बुद्धिमत्ता की चल रही खोज में मूल्यवान अंतर्दृष्टि प्रदान करता है। यहां तक कि इसके संघर्ष भी महत्वपूर्ण सबक रखते हैं जो भविष्य के विकास प्रयासों को सूचित कर सकते हैं।

एक तरह से, यह उल्लेखनीय है कि क्लॉड पोकेमॉन खेल सकता है। गो और डोटा 2 जैसे खेलों के लिए AI सिस्टम विकसित करते समय, इंजीनियर आमतौर पर अपने एल्गोरिदम को खेल के नियमों और रणनीतियों का व्यापक ज्ञान प्रदान करते हैं, साथ ही उनके सीखने का मार्गदर्शन करने के लिए एक इनाम फ़ंक्शन भी प्रदान करते हैं। इसके विपरीत, डेविड हर्शे, क्लॉड प्लेज़ पोकेमोन परियोजना के पीछे के डेवलपर, ने एक असंशोधित, सामान्यीकृत क्लॉड मॉडल के साथ शुरुआत की, जिसे विशेष रूप से पोकेमॉन गेम खेलने के लिए प्रशिक्षित या ट्यून नहीं किया गया था।

हर्शे ने Ars को समझाया, “यह विशुद्ध रूप से विभिन्न अन्य चीजें हैं जो [क्लॉड] दुनिया के बारे में समझता है, जिसका उपयोग वीडियो गेम की ओर इशारा करने के लिए किया जा रहा है।” उन्होंने कहा, “तो इसमें एक पोकेमोन की भावना है। यदि आप claude.ai पर जाते हैं और पोकेमोन के बारे में पूछते हैं, तो यह जानता है कि पोकेमोन क्या है, जो उसने पढ़ा है उसके आधार पर… यदि आप पूछते हैं, तो यह आपको बताएगा कि आठ जिम बैज हैं, यह आपको बताएगा कि पहला ब्रॉक है… यह व्यापक संरचना को जानता है।”

दृश्य व्याख्या की चुनौतियाँ

गेम स्टेट की जानकारी के लिए प्रमुख गेम बॉय RAM एड्रेस की निगरानी के अलावा, क्लॉड गेम के दृश्य आउटपुट की व्याख्या उसी तरह करता है जैसे एक मानव खिलाड़ी करेगा। हालांकि, AI इमेज प्रोसेसिंग में हालिया प्रगति के बावजूद, क्लॉड अभी भी गेम बॉय स्क्रीनशॉट की कम-रिज़ॉल्यूशन, पिक्सेलयुक्त दुनिया की व्याख्या उसी सटीकता के साथ करने के लिए संघर्ष करता है जैसे एक मानव।

हर्शे ने स्वीकार किया, “क्लॉड अभी भी स्क्रीन पर क्या है, यह समझने में विशेष रूप से अच्छा नहीं है।” “आप इसे हर समय दीवारों में चलने का प्रयास करते हुए देखेंगे।”

हर्शे को संदेह है कि क्लॉड के प्रशिक्षण डेटा में गेम बॉय स्क्रीन के समान छवियों के विस्तृत पाठ्य विवरण की कमी है। इसका मतलब है कि, कुछ हद तक विरोधाभासी रूप से, क्लॉड वास्तव में अधिक यथार्थवादी इमेजरी के साथ बेहतर प्रदर्शन कर सकता है।

हर्शे ने कहा, “यह मनुष्यों के बारे में उन अजीब चीजों में से एक है कि हम लोगों के इन आठ-बाय-आठ पिक्सेल ब्लॉब्स पर तिरछी नज़र डाल सकते हैं और कह सकते हैं, ‘यह नीले बालों वाली लड़की है।’” “मुझे लगता है कि लोगों में हमारी वास्तविक दुनिया से मैप करने और समझने और उस तरह की ग्रोकिंग करने की क्षमता है… इसलिए मैं ईमानदारी से थोड़ा हैरान हूं कि क्लॉड स्क्रीन पर एक व्यक्ति को देखने में सक्षम होने में उतना ही अच्छा है जितना कि यह है।”

अलग-अलग ताकतें, अलग-अलग कमजोरियाँ

यहां तक कि सही दृश्य व्याख्या के साथ, हर्शे का मानना है कि क्लॉड अभी भी 2D नेविगेशन चुनौतियों के साथ संघर्ष करेगा जो मनुष्यों के लिए तुच्छ हैं। उन्होंने कहा, “मेरे लिए यह समझना काफी आसान है कि [एक इन-गेम] इमारत एक इमारत है और मैं एक इमारत से नहीं चल सकता।” “और यह [कुछ] है जिसे समझना क्लॉड के लिए काफी चुनौतीपूर्ण है… यह मज़ेदार है क्योंकि यह सिर्फ अलग-अलग तरीकों से स्मार्ट है, आप जानते हैं?”

हर्शे के अनुसार, क्लॉड जहां उत्कृष्टता प्राप्त करता है, वह खेल के अधिक पाठ-आधारित पहलुओं में है। लड़ाई के दौरान, क्लॉड आसानी से नोटिस करता है जब खेल इंगित करता है कि एक इलेक्ट्रिक-टाइप पोकेमोन का हमला रॉक-टाइप प्रतिद्वंद्वी के खिलाफ “बहुत प्रभावी नहीं” है। फिर यह भविष्य के संदर्भ के लिए इस जानकारी को अपने विशाल लिखित ज्ञान आधार में संग्रहीत करता है। क्लॉड पोकेमोन को पकड़ने और प्रबंधित करने की दीर्घकालिक योजनाओं में इन रणनीतियों का विस्तार करते हुए, कई ज्ञान के टुकड़ों को परिष्कृत युद्ध रणनीतियों में भी एकीकृत कर सकता है।

क्लॉड तब भी आश्चर्यजनक “बुद्धिमत्ता” प्रदर्शित करता है जब खेल का पाठ जानबूझकर भ्रामक या अधूरा होता है। हर्शे ने एक शुरुआती-गेम कार्य का हवाला दिया जहां खिलाड़ी को प्रोफेसर ओक को बगल में खोजने के लिए कहा जाता है, केवल यह पता लगाने के लिए कि वह वहां नहीं है। हर्शे ने कहा, “5 साल के बच्चे के रूप में, यह मेरे लिए बहुत भ्रमित करने वाला था।” “लेकिन क्लॉड वास्तव में आमतौर पर गतियों के उसी सेट से गुजरता है जहां वह माँ से बात करता है, प्रयोगशाला में जाता है, [ओक] नहीं पाता है, कहता है, ‘मुझे कुछ पता लगाने की जरूरत है’… यह उस तरह से गतियों से गुजरने के लिए पर्याप्त परिष्कृत है जिस तरह से [मनुष्य] वास्तव में इसे सीखने वाले हैं।”

हर्शे ने समझाया कि मानव-स्तर के खेल की तुलना में ये विपरीत ताकतें और कमजोरियां, AI अनुसंधान और क्षमताओं की समग्र स्थिति को दर्शाती हैं। “मुझे लगता है कि यह इन मॉडलों के बारे में एक सार्वभौमिक बात है… हमने इसका पाठ पक्ष पहले बनाया, और पाठ पक्ष निश्चित रूप से… अधिक शक्तिशाली है। ये मॉडल छवियों के बारे में कैसे तर्क कर सकते हैं, यह बेहतर हो रहा है, लेकिन मुझे लगता है कि यह एक सभ्य बिट पीछे है।”

स्मृति की सीमाएँ

दृश्य और पाठ्य व्याख्या के साथ चुनौतियों से परे, हर्शे ने स्वीकार किया कि क्लॉड जो कुछ सीखा है उसे “याद रखने” के लिए संघर्ष करता है। वर्तमान मॉडल में 200,000 टोकन की “संदर्भ विंडो” है, जो किसी भी समय इसकी “मेमोरी” में संग्रहीत संबंधपरक जानकारी की मात्रा को सीमित करती है। जब सिस्टम का विस्तारित ज्ञान आधार इस विंडो को भरता है, तो क्लॉड एक विस्तृत सारांश प्रक्रिया से गुजरता है, विस्तृत नोट्स को छोटे सारांशों में संघनित करता है जो अनिवार्य रूप से कुछ बारीक विवरण खो देते हैं।

यह क्लॉड को “बहुत लंबे समय तक चीजों का ट्रैक रखने में मुश्किल समय और वास्तव में यह समझने में एक महान भावना पैदा कर सकता है कि उसने अब तक क्या प्रयास किया है,” हर्शे ने कहा। “आप निश्चित रूप से इसे कभी-कभी कुछ ऐसा हटाते हुए देखेंगे जो इसे नहीं करना चाहिए था। कुछ भी जो आपके ज्ञान आधार में नहीं है या आपके सारांश में नहीं है, वह चला जाएगा, इसलिए आपको यह सोचना होगा कि आप वहां क्या रखना चाहते हैं।”

गलत जानकारी के खतरे

महत्वपूर्ण जानकारी को भूलने से अधिक समस्याग्रस्त क्लॉड की अपने ज्ञान आधार में अनजाने में गलत जानकारी डालने की प्रवृत्ति है। एक साजिश सिद्धांतकार की तरह एक त्रुटिपूर्ण आधार पर एक विश्वदृष्टि का निर्माण करते हुए, क्लॉड यह पहचानने में उल्लेखनीय रूप से धीमा हो सकता है कि उसके स्व-लिखित ज्ञान आधार में एक त्रुटि उसके पोकेमॉन खेल को कैसे भटका रही है।

हर्शे ने कहा, “अतीत में लिखी गई चीजें, यह उस पर काफी आँख बंद करके भरोसा करता है।” “मैंने इसे बहुत आश्वस्त होते देखा है कि इसे [इन-गेम लोकेशन] विरिडियन फ़ॉरेस्ट का निकास कुछ विशिष्ट निर्देशांकों पर मिला है, और फिर यह उन निर्देशांकों के आसपास एक छोटे से छोटे वर्ग की खोज में घंटों और घंटों बिताता है जो गलत हैं, कुछ और करने के बजाय। यह तय करने में बहुत लंबा समय लगता है कि यह एक ‘विफलता’ थी।”

इन चुनौतियों के बावजूद, हर्शे ने कहा कि क्लॉड 3.7 सॉनेट पहले के मॉडलों की तुलना में “अपनी मान्यताओं पर सवाल उठाने, नई रणनीतियों की कोशिश करने और विभिन्न रणनीतियों के लंबे क्षितिज पर नज़र रखने में काफी बेहतर है [यह देखने के लिए] कि वे काम करते हैं या नहीं।” जबकि नया मॉडल अभी भी “वास्तव में लंबे समय तक संघर्ष करता है” उन्हीं कार्यों को फिर से आज़माता है, यह अंततः “यह समझने की भावना प्राप्त करता है कि क्या हो रहा है और उसने पहले क्या करने की कोशिश की है, और यह कई बार वास्तविक प्रगति में ठोकर खाता है,” हर्शे ने कहा।

आगे का रास्ता

हर्शे ने कहा, कई पुनरावृत्तियों में क्लॉड प्लेज़ पोकेमॉन का अवलोकन करने के सबसे आकर्षक पहलुओं में से एक यह देखना है कि सिस्टम की प्रगति और रणनीति रन के बीच काफी भिन्न हो सकती है। कभी-कभी, क्लॉड “विभिन्न रास्तों को आज़माने के बारे में विस्तृत नोट्स रखकर” “वास्तव में एक सुसंगत रणनीति बनाने में सक्षम” होने का प्रदर्शन करता है, उन्होंने समझाया। लेकिन “अधिकांश समय यह नहीं करता है… अधिकांश समय, यह दीवार में भटक जाता है क्योंकि यह आश्वस्त है कि यह निकास देखता है।”

हर्शे के अनुसार, क्लॉड के वर्तमान संस्करण की प्रमुख सीमाओं में से एक यह है कि “जब यह उस अच्छी रणनीति को प्राप्त करता है, तो मुझे नहीं लगता कि यह जरूरी है कि एक रणनीति [यह] के साथ आई है, वह दूसरी से बेहतर है।” और उन्होंने स्वीकार किया कि यह हल करने के लिए एक तुच्छ समस्या नहीं है।

फिर भी, हर्शे गेम बॉय स्क्रीनशॉट की मॉडल की समझ को बढ़ाकर क्लॉड के पोकेमॉन खेल को बेहतर बनाने के लिए “कम-लटकने वाले फल” देखता है। उन्होंने कहा, “मुझे लगता है कि एक मौका है कि यह गेम को हरा सकता है अगर इसमें स्क्रीन पर क्या है, इसकी सही समझ हो,” यह सुझाव देते हुए कि ऐसा मॉडल “मानव से थोड़ा कम” प्रदर्शन करेगा।

हर्शे ने कहा, भविष्य के क्लॉड मॉडल के लिए संदर्भ विंडो का विस्तार करने से वे “लंबे समय के फ्रेम पर तर्क करने और चीजों को लंबे समय तक अधिक सुसंगत रूप से संभालने में सक्षम होंगे।” उन्होंने कहा कि भविष्य के मॉडल “याद रखने में थोड़ा बेहतर होने, प्रगति करने के लिए क्या प्रयास करने की आवश्यकता है, इसके एक सुसंगत सेट का ट्रैक रखने” में सुधार करेंगे।

जबकि AI मॉडल में आसन्न सुधारों की संभावना निर्विवाद है, क्लॉड का वर्तमान पोकेमॉन प्रदर्शन यह सुझाव नहीं देता है कि यह मानव-स्तर, पूरी तरह से सामान्यीकृत कृत्रिम बुद्धिमत्ता के युग की शुरुआत करने के कगार पर है। हर्शे ने स्वीकार किया कि क्लॉड 3.7 सॉनेट को माउंट मून पर 80 घंटे तक फंसे हुए देखना यह “एक ऐसे मॉडल की तरह लग सकता है जो नहीं जानता कि यह क्या कर रहा है।”

हालांकि, हर्शे क्लॉड के नए तर्क मॉडल द्वारा प्रदर्शित जागरूकता की सामयिक झलकियों से प्रभावित हैं, यह देखते हुए कि यह कभी-कभी “यह बताएगा कि यह नहीं जानता कि यह क्या कर रहा है और जानता है कि इसे कुछ अलग करने की आवश्यकता है। और ‘बिल्कुल नहीं कर सकता’ और ‘तरह से कर सकता है’ के बीच का अंतर मेरे लिए इन AI चीजों के लिए काफी बड़ा है,” उन्होंने जारी रखा। “आप जानते हैं, जब कोई चीज कुछ कर सकती है तो इसका मतलब आमतौर पर होता है कि हम इसे वास्तव में, वास्तव में अच्छी तरह से करने में सक्षम होने के काफी करीब हैं।”