ग्रोक ३ च्या बेंचमार्कवर वाद

वादावर एक जवळून नजर

कृत्रिम बुद्धिमत्ता (AI) लॅब स्वतःला AI बेंचमार्क आणि या बेंचमार्कना जगासमोर सादर करण्याच्या पद्धतीवरून वादात अडकलेले पाहतात. अलीकडे, ओपनएआय (OpenAI) मधील एका कर्मचाऱ्याने एलोन मस्कच्या (Elon Musk) AI उपक्रम, xAI वर आरोप केला. आरोप असा होता की xAI ने त्यांच्या नवीनतम AI मॉडेल, ग्रोक 3 (Grok 3) साठी दिशाभूल करणारे बेंचमार्क निकाल सादर केले. यामुळे वाद सुरू झाला, xAI चे सह-संस्थापक, इगोर बाबुश्किन (Igor Babushkin) यांनी कंपनीच्या बाजूचा जोरदार बचाव केला.

परिस्थितीचे सत्य, बहुतेक वेळा, अधिक सूक्ष्म असते.

एका ब्लॉग पोस्टमध्ये, xAI ने AIME 2025 वर ग्रोक 3 ची कामगिरी दर्शवणारा आलेख प्रदर्शित केला. हे अलीकडील गणिताच्या परीक्षेतून घेतलेल्या कठीण गणिताच्या प्रश्नांचा संच आहे. काही तज्ञांनी AIME ला AI बेंचमार्क म्हणून वैध ठरवण्यावर शंका व्यक्त केली आहे, तरीही मॉडेलची गणितीय क्षमता तपासण्यासाठी हे आणि चाचणीच्या जुन्या आवृत्त्या सामान्यतः वापरले जातात.

xAI चा आलेख डीकोडिंग

xAI द्वारे सादर केलेल्या आलेखात ग्रोक 3 च्या दोन आवृत्त्या दर्शविल्या गेल्या - ग्रोक 3 रिझनिंग बीटा (Grok 3 Reasoning Beta) आणि ग्रोक 3 मिनी रिझनिंग (Grok 3 mini Reasoning) – जे AIME 2025 वर ओपनएआयच्या टॉप-परफॉर्मिंग मॉडेल, o3-मिनी-हाय (o3-mini-high) पेक्षा वरचढ दिसत होते. तथापि, ओपनएआय कर्मचाऱ्यांनी सोशल मीडियावर त्वरित प्रतिक्रिया दिली, त्यांनी एक मोठी चूक निदर्शनास आणली: xAI च्या आलेखात o3-मिनी-हायचा “cons@64” वरील AIME 2025 स्कोअर समाविष्ट नव्हता.

“cons@64” म्हणजे काय? हे “consensus@64” चे संक्षिप्त रूप आहे, ही एक पद्धत आहे जी मॉडेलला बेंचमार्कमधील प्रत्येक समस्येचे निराकरण करण्यासाठी 64 प्रयत्न देते. सर्वात जास्त वेळा तयार केलेली उत्तरे अंतिम उत्तरे म्हणून निवडली जातात. अपेक्षेप्रमाणे, cons@64 मॉडेलचे बेंचमार्क स्कोअर लक्षणीयरीत्या वाढवते. तुलना आलेखातून ते वगळल्याने एक मॉडेल दुसर्‍यापेक्षा वरचढ असल्याचा भ्रम निर्माण होऊ शकतो, प्रत्यक्षात तसे नसते.

“जगातील सर्वात हुशार AI” असल्याचा दावा

जेव्हा AIME 2025 स्कोअर “@1” वर विचारात घेतले जातात - जे मॉडेलने बेंचमार्कवर मिळवलेले पहिले स्कोअर दर्शवतात - तेव्हा ग्रोक 3 रिझनिंग बीटा आणि ग्रोक 3 मिनी रिझनिंग दोन्ही o3-मिनी-हायच्या स्कोअरपेक्षा कमी पडतात. शिवाय, ग्रोक 3 रिझनिंग बीटा ओपनएआयच्या o1 मॉडेलपेक्षा সামান্য मागे आहे, जे “मध्यम” कम्प्युटिंगवर सेट केलेले आहे. असे असूनही, xAI ग्रोक 3 ला “जगातील सर्वात हुशार AI” म्हणून सक्रियपणे प्रमोट करत आहे.

बाबुश्किनने सोशल मीडियावर सांगितले की ओपनएआयने भूतकाळात असेच दिशाभूल करणारे बेंचमार्क चार्ट प्रकाशित केले होते. तथापि, ते चार्ट ओपनएआयच्या स्वतःच्या मॉडेल्सच्या कामगिरीची तुलना करण्यासाठी वापरले गेले. वादातील एका अधिक निष्पक्ष निरीक्षकाने अधिक “अचूक” आलेख तयार केला, ज्यामध्ये जवळपास प्रत्येक मॉडेलची cons@64 वरील कामगिरी दर्शविली गेली.

गहाळ मेट्रिक: कम्प्यूटेशनल खर्च

AI संशोधक नॅथन लॅम्बर्ट (Nathan Lambert) यांनी एक महत्त्वाचा मुद्दा अधोरेखित केला: सर्वात महत्त्वाचे मेट्रिक अजूनही रहस्य आहे. हे म्हणजे प्रत्येक मॉडेलने त्यांचा सर्वोत्तम स्कोअर मिळवण्यासाठी लागलेला कम्प्यूटेशनल (आणि आर्थिक) खर्च. हे बहुतेक AI बेंचमार्कसह एक मूलभूत समस्या अधोरेखित करते - ते मॉडेलच्या मर्यादा किंवा त्याची क्षमता याबद्दल फार कमी माहिती देतात.

ग्रोक 3 च्या बेंचमार्कवरील वाद AI समुदायातील एक व्यापक समस्या दर्शवतो: AI मॉडेल्सचे मूल्यांकन आणि तुलना कशी केली जाते यात अधिक पारदर्शकता आणि मानकीकरणाची गरज आहे.

AI बेंचमार्किंगमध्ये अधिक खोलवर जाणे

xAI ने ग्रोक 3 च्या कामगिरीच्या सादरीकरणाबद्दलच्या वादामुळे AI बेंचमार्किंगच्या स्वरूपाबद्दल अनेक महत्त्वाचे प्रश्न निर्माण होतात. चांगला बेंचमार्क कशाला म्हणायचे? चुकीचा अर्थ टाळण्यासाठी निकाल कसे सादर करावे? आणि AI मॉडेल्सची क्षमता तपासण्यासाठी केवळ बेंचमार्क स्कोअरवर अवलंबून राहण्याच्या मर्यादा काय आहेत?

बेंचमार्कचा उद्देश:

बेंचमार्क, सैद्धांतिकदृष्ट्या, विशिष्ट कार्यांवर विविध AI मॉडेल्सच्या कामगिरीचे मोजमाप आणि तुलना करण्याचा एक प्रमाणित मार्ग म्हणून काम करतात. ते एक सामान्य मापदंड प्रदान करतात, ज्यामुळे संशोधक आणि विकासकांना प्रगतीचा मागोवा घेता येतो, सामर्थ्य आणि कमकुवतता ओळखता येतात आणि शेवटी नवीनता वाढवता येते. तथापि, बेंचमार्कची प्रभावीता अनेक घटकांवर अवलंबून असते:

• प्रासंगिकता: बेंचमार्क वास्तविक-जगातील कार्ये आणि आव्हाने अचूकपणे प्रतिबिंबित करतो का?
• सर्वसमावेशकता: बेंचमार्क AI मॉडेलच्या हेतूसाठी संबंधित असलेल्या विस्तृत क्षमतांचा समावेश करतो का?
• वस्तुनिष्ठता: बेंचमार्कची रचना आणि अंमलबजावणी अशा प्रकारे केली आहे की ज्यामुळे पक्षपात कमी होईल आणि निष्पक्ष तुलना होईल?
• पुनरुत्पादनक्षमता: बेंचमार्कचे निकाल स्वतंत्र संशोधकांद्वारे सातत्याने पुन्हा तयार केले जाऊ शकतात का?

AI बेंचमार्किंगची आव्हाने:

त्यांच्या हेतू असूनही, AI बेंचमार्क अनेकदा आव्हानांनी भरलेले असतात:

• ओव्हरफिटिंग: मॉडेल्सना विशिष्ट बेंचमार्कवर उत्कृष्ट कामगिरी करण्यासाठी विशेषतः प्रशिक्षित केले जाऊ शकते, परंतु त्यांना खरी बुद्धिमत्ता किंवा सामान्य क्षमता मिळेलच असे नाही. “ओव्हरफिटिंग” म्हणून ओळखल्या जाणार्‍या या घटनेमुळे फुगवलेले स्कोअर मिळू शकतात जे वास्तविक-जगातील कामगिरी दर्शवत नाहीत.
• मानकीकरणाचा अभाव: विविध बेंचमार्कचा प्रसार, प्रत्येकाची स्वतःची कार्यपद्धती आणि स्कोअरिंग प्रणाली, मॉडेल्स आणि संशोधन लॅबमधील निकालांची तुलना करणे कठीण करते.
• सिस्टमचा गैरवापर: xAI वादावरून दिसून येते की, कंपन्यांना त्यांच्या स्वतःच्या मॉडेल्सच्या बाजूने बेंचमार्कचे निकाल निवडकपणे सादर करण्याचा मोह असतो, ज्यामुळे लोकांची दिशाभूल होऊ शकते आणि वस्तुनिष्ठ मूल्यांकनास अडथळा येऊ शकतो.
• मर्यादित कार्यक्षेत्र: बेंचमार्क अनेकदा विशिष्ट, चांगल्या-परिभाषित कार्यांवर लक्ष केंद्रित करतात, मानवी बुद्धिमत्तेची संपूर्ण जटिलता आणि बारकावे समजून घेण्यात अयशस्वी ठरतात. ते सर्जनशीलता, सामान्य ज्ञान किंवा नवीन परिस्थितीशी जुळवून घेण्याची क्षमता यासारख्या पैलूंचे पुरेसे मूल्यांकन करू शकत नाहीत.

पारदर्शकता आणि सर्वांगीण मूल्यांकनाची गरज

ग्रोक 3 ची घटना अधिक पारदर्शकतेची आणि AI मॉडेल्सचे मूल्यांकन करण्यासाठी अधिक समग्र दृष्टिकोनाची गरज अधोरेखित करते. केवळ एका बेंचमार्क स्कोअरवर, विशेषत: पूर्ण संदर्भाशिवाय सादर केलेल्या स्कोअरवर अवलंबून राहणे अत्यंत दिशाभूल करणारे असू शकते.

बेंचमार्कच्या पलीकडे जाणे:

बेंचमार्क एक उपयुक्त साधन असले तरी, ते AI मॉडेलच्या क्षमतांचे एकमेव निर्धारक नसावे. अधिक व्यापक मूल्यांकनाने खालील गोष्टी विचारात घेतल्या पाहिजेत:

• वास्तविक-जगातील कामगिरी: मॉडेल व्यावहारिक अनुप्रयोग आणि परिस्थितीत कसे कार्य करते?
• गुणात्मक विश्लेषण: मॉडेलच्या आउटपुटचे तज्ञांकडून मूल्यांकन, सुसंगतता, सर्जनशीलता आणि तर्क क्षमता यासारख्या घटकांचे मूल्यांकन करणे.
• नैतिक विचार: मॉडेलमध्ये पक्षपात आहे का किंवा ते हानिकारक सामग्री तयार करते का?
• स्पष्टीकरणक्षमता: मॉडेलची निर्णय घेण्याची प्रक्रिया समजली जाऊ शकते का आणि त्याचा अर्थ लावला जाऊ शकतो का?
• मजबुती: मॉडेल गोंधळलेले किंवा अनपेक्षित इनपुट किती चांगल्या प्रकारे हाताळते?

पारदर्शकतेला प्रोत्साहन:

AI लॅबने त्यांच्या बेंचमार्किंग पद्धतींमध्ये अधिक पारदर्शकतेसाठी प्रयत्न केले पाहिजेत. यामध्ये खालील गोष्टींचा समावेश आहे:

• कार्यपद्धती स्पष्टपणे परिभाषित करणे: बेंचमार्क सेटअपबद्दल तपशीलवार माहिती प्रदान करणे, ज्यामध्ये वापरलेला विशिष्ट डेटासेट, मूल्यांकन मेट्रिक्स आणि कोणत्याही प्रीप्रोसेसिंग स्टेप्सचा समावेश आहे.
• संपूर्ण निकाल अहवाल: विविध कॉन्फिगरेशन किंवा पद्धती (जसे cons@64) वापरून मिळवलेले स्कोअरसह सर्व संबंधित स्कोअर सादर करणे.
• कम्प्यूटेशनल खर्च उघड करणे: अहवाल दिलेले निकाल मिळवण्यासाठी लागणारे कम्प्यूटेशनल संसाधने उघड करणे.
• बेंचमार्क ओपन-सोर्स करणे: स्वतंत्र पडताळणी आणि तुलना सुलभ करण्यासाठी बेंचमार्क डेटासेट आणि मूल्यांकन साधने सार्वजनिकपणे उपलब्ध करणे.

कृत्रिम बुद्धिमत्तेचा शोध हे एक जटिल आणि वेगाने विकसित होणारे क्षेत्र आहे. बेंचमार्क, अपूर्ण असले तरी, प्रगती मोजण्यात भूमिका बजावतात. तथापि, त्यांच्या मर्यादा ओळखणे आणि AI मॉडेल्सचे मूल्यांकन करण्यासाठी अधिक सूक्ष्म आणि पारदर्शक दृष्टिकोन स्वीकारणे महत्त्वाचे आहे. अंतिम ध्येय AI प्रणाली विकसित करणे असले पाहिजे जे केवळ शक्तिशाली नसून विश्वासार्ह, नैतिक आणि समाजासाठी फायदेशीर देखील असतील. केवळ उच्च बेंचमार्क स्कोअरचा पाठपुरावा करण्याऐवजी, खऱ्या अर्थाने समजून घेणारी आणि अर्थपूर्ण मार्गाने जगाशी संवाद साधणारी AI तयार करण्यावर लक्ष केंद्रित केले पाहिजे.