ओपन सोर्सचा विजय: RISC-V आणि AI एकत्र
डीपसीकच्या लोकप्रियतेमुळे AI उद्योगात मोठी वाढ झाली आहे. RISC-V ओपन-सोर्स इंस्ट्रक्शन सेट आर्किटेक्चर AI क्षेत्रात वेगाने प्रगती करत आहे. अलीबाबाच्या DAMO अकॅडमीने डीपसीक-R1 मॉडेल तयार केले आहे.
Tag: AIGC
रोकिडचे AR चष्मे: चीनच्या भविष्यातील उद्योगातील AI ची झलक
रोकिड, चीनमधील एक AR उपकरण निर्माता, आपल्या AI-सक्षम चष्म्यांसह प्रगती करत आहे. हे चष्मे केवळ भविष्यातील संकल्पना नाहीत, तर AI ला व्यावहारिक, वास्तविक-जगातील अनुप्रयोगांसाठी वेअरेबल तंत्रज्ञानामध्ये कसे एकत्रित केले जाऊ शकते याचे एक ठोस उदाहरण आहे.
सोप्रा स्टिरिया आणि मिस्ट्रल एआयची AI साठी भागीदारी
सोप्रा स्टिरिया आणि मिस्ट्रल एआय यांनी युरोपीय कंपन्यांसाठी अत्याधुनिक, सार्वभौम जनरेटिव्ह एआय सोल्युशन्स देण्यासाठी धोरणात्मक भागीदारी केली आहे.
मूनशॉट एआयचे म्यूऑन मूनलाइट
मूनशॉट एआयच्या संशोधकांनी म्यूऑन आणि मूनलाइट सादर केले आहेत, जे मोठ्या भाषिक मॉडेल्सना कार्यक्षम प्रशिक्षण तंत्रांनी ऑप्टिमाइझ करतात. यामुळे प्रशिक्षण अधिक सुलभ होते.
किमी ओपन सोर्स मूनलाइट
मूनशॉट एआयच्या किमीने 'मूनलाइट' सादर केले आहे, जे 30 अब्ज आणि 160 अब्ज पॅरामीटर्स असलेले एक हायब्रीड तज्ञ मॉडेल आहे. म्यूऑन आर्किटेक्चरवर आधारित, हे मॉडेल 57 ट्रिलियन टोकन्स वापरून उत्कृष्ट कार्यप्रदर्शन साधते आणि फ्लोटिंग-पॉइंट ऑपरेशन्स (FLOPs) कमी करते.
बायचुआन-एम1 वैद्यकीय भाषा मॉडेल
बायचुआन-एम1 हे वैद्यकीय क्षेत्रासाठी खास तयार केलेले एक मोठे भाषिक मॉडेल आहे जे 20 ट्रिलियन टोकन्सवर प्रशिक्षित आहे आणि वैद्यकीय क्षमता वाढवण्यावर लक्ष केंद्रित करते.
जागतिक इतिहासाच्या अचूकतेसाठी AI मॉडेलचा संघर्ष: अभ्यास दर्शवतो
कृत्रिम बुद्धिमत्ता (AI) प्रणाली जागतिक इतिहासाच्या ज्ञानामध्ये कमी पडत असल्याचे एका अभ्यासात उघड झाले आहे. OpenAI चे GPT-4, Meta चे Llama आणि Google चे Gemini सारखे प्रगत मॉडेल ऐतिहासिक प्रश्नांची उत्तरे देताना 46% वेळाच अचूक ठरले. AI च्या ऐतिहासिक ज्ञानातील त्रुटी शिक्षण, धोरण आणि सांस्कृतिक जतन यांसारख्या क्षेत्रांवर परिणाम करतात. डेटासेटमधील त्रुटी आणि ऐतिहासिक संदर्भाचा अभाव ही यामागची कारणे आहेत. AI प्रणाली अधिक अचूक करण्यासाठी, डेटासेट सुधारणे, मानवी तज्ञांचा सहभाग आणि गंभीर विचार करणे आवश्यक आहे.
डिफ्यूजन मॉडेल अनुमान स्केलिंग नवीन प्रतिमान
डिफ्यूजन मॉडेलमध्ये अनुमान वेळेनुसार स्केलिंग करणे प्रभावी आहे, कारण जास्त संगणकीय संसाधने वापरल्याने उच्च गुणवत्तेचे नमुने मिळतात. हे तंत्रज्ञान विविध ॲप्लिकेशन्ससाठी वापरले जाऊ शकते. या संशोधनात, उत्तम ध्वनी शोधणे आणि नमुना मार्गांमध्ये सुधारणा करणे यावर लक्ष केंद्रित केले आहे, ज्यामुळे मॉडेलची कार्यक्षमता वाढते. लहान मॉडेलवर स्केलिंग करणे मोठ्या मॉडेलपेक्षा अधिक प्रभावी असू शकते.
नवीन लक्ष यंत्रणा केव्ही कॅशमध्ये घट
मोठ्या भाषेतील मॉडेल्सच्या वाढत्या वापरामुळे आणि अनुमानमधील नवीन प्रतिमानांच्या उदयास मोठ्या प्रमाणावर कार्यक्षम अनुमानचे आव्हान समोर आले आहे. पारंपरिक लक्ष यंत्रणेमध्ये की-व्हॅल्यू (केव्ही) कॅश एक महत्त्वपूर्ण अडथळा आहे, जी बॅच आकार आणि क्रम लांबीनुसार रेषीयपणे विस्तारते, ज्यामुळे एलएलएमचे स्केलिंग आणि विस्तार थांबवणारी 'मेमरी हॉग' बनते. मल्टी-मॅट्रिक्स फॅक्टरायझेशन अटेंशन (एमएफए) आणि त्याचे प्रकार एमएफए-की-रियूज (एमएफए-केआर) हे तंत्रज्ञान भाषेतील मॉडेल अनुमानाची किंमत लक्षणीयरित्या कमी करतात आणि कार्यक्षमता सुधारतात. एमएफए आणि एमएफए-केआर केवळ एमएलए पेक्षा जास्त कार्यक्षम नाहीत, तर ते पारंपरिक एमएचए कार्यक्षमतेशी जुळतात आणि केव्ही कॅशेचा वापर 93.7% पर्यंत कमी करतात. एमएफए साधेपणा, सुलभ पुनरुत्पादन, हायपरपॅरामीटर्ससाठी कमी संवेदनशीलता आणि विविध स्थिती-एम्बेडिंग पद्धतींशी सुसंगतता यासाठी डिझाइन केलेले आहे.
इव्होल्यूशनरीस्केलचे ESM3: प्रोटीन संशोधनात एक मोठी झेप
इव्होल्यूशनरीस्केलने ESM3 नावाचे एक नवीन जैविक मॉडेल सादर केले आहे, जे 98 अब्ज पॅरामीटर्ससह जगातील सर्वात मोठे मॉडेल आहे. हे मॉडेल प्रथिने समजून घेण्यासाठी आणि हाताळण्यासाठी एक महत्त्वाचे पाऊल आहे. ESM3 प्रथिने त्रिमितीय रचना आणि कार्य एका अक्षरांच्या मालिकेत रूपांतरित करते. यामुळे, ते एकाच वेळी प्रथिन क्रम, रचना आणि कार्य प्रक्रिया करू शकते. ESM3 उत्क्रांतीचे 5 ट्रिलियन वर्षांचे अनुकरण करण्यास सक्षम आहे. अलीकडेच, ESM3 API विनामूल्य उपलब्ध करण्यात आले आहे, ज्यामुळे जगभरातील शास्त्रज्ञांना प्रथिने भाकीत करण्यात मदत होईल. या उपक्रमाचे ट्युरिंग अवॉर्ड विजेते यान लेकुन यांनी कौतुक केले आहे. ESM3 हे केवळ एक मॉडेल नाही, तर ते अणु स्तरावर प्रथिने समजून घेण्यासाठी आणि तयार करण्यासाठी एक महत्त्वाचे यश आहे, ज्यामुळे वैद्यकीय क्षेत्रात मोठा बदल घडू शकतो. ESM3 ने 1x10^24 FLOPS पेक्षा जास्त संगणकीय शक्ती आणि 98 अब्ज पॅरामीटर्स वापरून प्रशिक्षण घेतले आहे. हे मॉडेल प्रथिने क्रम, रचना आणि कार्य एकाच वेळी हाताळू शकते. ESM3 नवीन प्रथिने तयार करण्यासाठी आणि प्लास्टिक कचरा कमी करण्यासाठी उपयुक्त आहे. ESM3 ने esmGFP नावाचे नवीन ग्रीन फ्लोरोसेंट प्रोटीन तयार केले आहे, जे नैसर्गिक GFP प्रमाणेच तेजस्वी आहे.