मेटाचा लामा: फक्त भाषा मॉडेल नाही

लामाची उत्क्रांती: स्थितीला आव्हान

जेव्हा लामा पहिल्यांदा उदयास आला, तेव्हा त्याने टेक जायंट्सच्या मोठ्या, क्लोज्ड-सोर्स LLMs च्या वर्चस्वाला आव्हान दिले. Meta AI ने लहान, अधिक सामान्यीकृत मॉडेल्सवर लक्ष केंद्रित करण्याची रणनीती स्वीकारली. मूळ कल्पना अशी होती की या लहान मॉडेल्सना, मोठ्या संख्येने टोकन्सवर प्रशिक्षित केल्यामुळे, विशेष कार्यांसाठी पुन्हा प्रशिक्षित करणे आणि फाइन-ट्यून करणे सोपे आणि अधिक किफायतशीर होईल. हा दृष्टिकोन मोठ्या, संसाधन-केंद्रित मॉडेल्स तयार करण्याच्या प्रवृत्तीच्या अगदी विरुद्ध होता.

तथापि, लामाचे ‘ओपन-सोर्स’ स्वरूप वादाचा विषय आहे. Meta Llama लायसन्समध्ये व्यावसायिक आणि स्वीकार्य वापरावर विशिष्ट निर्बंध समाविष्ट आहेत. हे निर्बंध न्याय्य असले तरी, ते Open Source Initiative च्या ओपन सोर्सच्या कठोर व्याख्येशी विसंगत आहेत. यामुळे लामा खरोखर ओपन सोर्स म्हणून पात्र आहे की नाही याबद्दल सतत चर्चा होत आहे.

कायदेशीर आव्हाने: कॉपीराइट चिंता

लामाचा विकास कायदेशीर अडथळ्यांशिवाय झालेला नाही. 2023 मध्ये, Meta ला दोन क्लास-ॲक्शन खटल्यांचा सामना करावा लागला ज्यामध्ये लेखकांनी आरोप केला की त्यांची कॉपीराइट केलेली पुस्तके लामाला प्रशिक्षित करण्यासाठी परवानगीशिवाय वापरली गेली. हे खटले मोठ्या भाषा मॉडेलसाठी वापरल्या जाणार्‍या प्रशिक्षण डेटाच्या आसपासच्या जटिल कॉपीराइट समस्यांवर प्रकाश टाकतात. आतापर्यंत, न्यायालये लेखकांच्या दाव्यांशी फारशी सहानुभूती दर्शवत नाहीत.

विस्तारित क्षमता: लामाचे वाढणारे मॉडेल कुटुंब

2023 च्या उत्तरार्धापासून, Meta AI ने लामा कुटुंबाचा लक्षणीय विस्तार केला आहे. मॉडेल्स आता केवळ मजकूर-आधारित संवादांपुरते मर्यादित नाहीत. सध्याच्या लामा इकोसिस्टममध्ये मजकूर आणि व्हिज्युअल इनपुट दोन्हीवर प्रक्रिया करण्यास सक्षम मल्टी-मॉडल मॉडेल्स तसेच कोड इंटरप्रिटेशन आणि टूल इंटिग्रेशनसाठी डिझाइन केलेले मॉडेल्स समाविष्ट आहेत. याव्यतिरिक्त, Meta ने संभाव्य धोके आणि हल्ले ओळखण्यासाठी आणि कमी करण्यासाठी Llama Guard म्हणून ओळखले जाणारे सुरक्षा घटक सादर केले आहेत, हे ‘Llama Stack’ नावाच्या संपूर्ण फ्रेमवर्कचा भाग म्हणून डिझाइन केलेले आहेत.

लामा कुटुंबातील काही प्रमुख मॉडेल्सवर एक सखोल दृष्टीक्षेप (Meta AI च्या मॉडेल कार्डमधून संक्षिप्त):

Llama Guard 1: संवादांचे संरक्षण

Llama Guard 1 हे Llama 2 वर आधारित 7-अब्ज पॅरामीटर मॉडेल आहे. हे इनपुट-आउटपुट सेफगार्ड म्हणून काम करते, वापरकर्त्याच्या प्रॉम्प्ट (प्रॉम्प्ट वर्गीकरण) आणि LLM प्रतिसाद (प्रतिसाद वर्गीकरण) मधील सामग्रीचे वर्गीकरण करते. हे मॉडेल लामा-आधारित प्रणालींसह सुरक्षित आणि अधिक जबाबदार संवाद सुनिश्चित करण्यात मदत करते.

Llama Guard संभाव्य हानीचे वर्गीकरण करण्यासाठी सहा-स्तरीय वर्गीकरण वापरते:

• हिंसा आणि द्वेष: व्यक्ती किंवा गटांविरुद्ध हिंसा किंवा द्वेष वाढवणारी सामग्री.
• लैंगिक सामग्री: लैंगिक दृष्ट्या स्पष्ट सामग्री किंवा मुलांचे शोषण, गैरवर्तन किंवा धोका निर्माण करणारी सामग्री.
• बंदुका आणि बेकायदेशीर शस्त्रे: बंदुक आणि इतर शस्त्रांची बेकायदेशीर विक्री, वापर किंवा फेरफार संबंधित सामग्री.
• नियंत्रित पदार्थ: ड्रग्स, अल्कोहोल किंवा तंबाखूच्या बेकायदेशीर वापरास किंवा विक्रीस प्रोत्साहन देणारी सामग्री.
• आत्महत्या आणि स्व-हानी: आत्महत्या किंवा स्व-हानीसाठी प्रोत्साहन देणारी किंवा सूचना देणारी सामग्री.
• गुन्हेगारी नियोजन: बेकायदेशीर क्रियाकलापांना सुलभ करणारी किंवा योजना आखणारी सामग्री.

Code Llama 70B: कोडिंग पराक्रमाची त्रयी

Code Llama 70B ने लामाच्या कोडिंग क्षमतांमध्ये महत्त्वपूर्ण विस्तार दर्शविला. हे मॉडेल तीन भिन्न प्रकारांमध्ये उपलब्ध आहे:

• Code Llama: सामान्य कोड संश्लेषण आणि आकलनासाठी डिझाइन केलेले बेस मॉडेल. ते कोड तयार करू शकते, कोड कार्यक्षमता स्पष्ट करू शकते आणि डीबगिंगमध्ये मदत करू शकते.
• Code Llama – Python: Python प्रोग्रामिंगसाठी तयार केलेले एक विशेष मॉडेल. हे मॉडेल Python कोड तयार करण्यासाठी आणि समजून घेण्यासाठी ऑप्टिमाइझ केलेले आहे, ज्यामुळे ते Python डेव्हलपरसाठी एक मौल्यवान साधन बनते.
• Code Llama – Instruct: सूचनांचे पालन करण्यावर आणि सुरक्षित उपयोजन सुनिश्चित करण्यावर लक्ष केंद्रित केलेले एक प्रकार. हे मॉडेल विशिष्ट मार्गदर्शक तत्त्वे आणि सुरक्षा प्रोटोकॉलचे पालन करणारा कोड तयार करण्यासाठी विशेषतः उपयुक्त आहे.

तिन्ही प्रकार 7 अब्ज, 13 अब्ज, 34 अब्ज आणि 70 अब्ज पॅरामीटर्समध्ये उपलब्ध आहेत. Code Llama आणि त्याचे प्रकार प्रामुख्याने इंग्रजी आणि संबंधित प्रोग्रामिंग भाषांमध्ये व्यावसायिक आणि संशोधन वापरासाठी डिझाइन केलेले आहेत. Code Llama मध्ये मजबूत कोडिंग क्षमता असल्याचा पुरेसा पुरावा आहे.

Llama Guard 2: वर्धित सुरक्षा वर्गीकरण

Llama Guard 2 त्याच्या पूर्ववर्तीच्या पायावर आधारित आहे, वर्धित सुरक्षा वर्गीकरण क्षमता प्रदान करते. Llama 3 वर आधारित हे 8-अब्ज पॅरामीटर मॉडेल, 11 श्रेणींमध्ये सुरक्षा लेबलेचा अंदाज लावण्यासाठी प्रशिक्षित केले आहे, जे MLCommons च्या धोक्यांच्या वर्गीकरणाशी जुळते.

Llama Guard 2 द्वारे समाविष्ट केलेल्या धोक्याच्या श्रेणींमध्ये हे समाविष्ट आहे:

• S1: हिंसक गुन्हे: हिंसक गुन्हेगारी कृत्यांशी संबंधित सामग्री.
• S2: अहिंसक गुन्हे: अहिंसक गुन्हेगारी अपराधांशी संबंधित सामग्री.
• S3: लैंगिक-संबंधित गुन्हे: लैंगिक अपराधांशी संबंधित सामग्री.
• S4: बाल लैंगिक शोषण: मुलांचे लैंगिक शोषण, गैरवर्तन किंवा धोका निर्माण करणारी सामग्री.
• S5: विशेष सल्ला: विशेष क्षेत्रातील (उदा., वैद्यकीय, कायदेशीर, आर्थिक) अपात्र किंवा दिशाभूल करणारा सल्ला.
• S6: गोपनीयता: गोपनीयतेचे उल्लंघन करणारी किंवा संमतीशिवाय वैयक्तिक माहिती उघड करणारी सामग्री.
• S7: बौद्धिक संपदा: बौद्धिक संपदा अधिकारांचे उल्लंघन करणारी सामग्री.
• S8: নির্বিচার शस्त्रे: मोठ्या प्रमाणावर आणि নির্বিচারपणे नुकसान करणारी शस्त्रे संबंधित सामग्री.
• S9: द्वेष: व्यक्ती किंवा गटांबद्दल द्वेष किंवा पूर्वग्रह व्यक्त करणारी सामग्री.
• S10: आत्महत्या आणि स्व-हानी: आत्महत्या किंवा स्व-हानीसाठी प्रोत्साहन देणारी किंवा सूचना देणारी सामग्री.
• S11: लैंगिक सामग्री: लैंगिक दृष्ट्या स्पष्ट सामग्री.

Meta Llama 3: संवादातील बहुमुखी प्रतिभा

Meta Llama 3 दोन आकारात ऑफर केले जाते, 8 अब्ज आणि 70 अब्ज पॅरामीटर्स, प्री-ट्रेन्ड आणि इंस्ट्रक्शन-ट्यून केलेले प्रकार. इंस्ट्रक्शन-ट्यून केलेले मॉडेल विशेषतः संवाद-आधारित ऍप्लिकेशन्ससाठी ऑप्टिमाइझ केलेले आहेत, ज्यामुळे ते चॅटबॉट्स आणि संभाषणात्मक AI प्रणालींसाठी योग्य आहेत.

Prompt Guard: दुर्भावनायुक्त इनपुटपासून बचाव

Prompt Guard हे एक क्लासिफायर मॉडेल आहे जे दुर्भावनायुक्त प्रॉम्प्ट शोधण्यासाठी डिझाइन केलेले आहे, ज्यामध्ये जेलब्रेक (सुरक्षा निर्बंधांना बायपास करण्याचे प्रयत्न) आणि प्रॉम्प्ट इंजेक्शन (क्राफ्टेड इनपुटद्वारे मॉडेलच्या आउटपुटमध्ये फेरफार करण्याचे प्रयत्न) समाविष्ट आहेत. Meta AI चांगल्या कार्यक्षमतेसाठी ऍप्लिकेशन-विशिष्ट डेटासह Prompt Guard ला फाइन-ट्यून करण्याची शिफारस करते.

Llama Guard च्या विपरीत, Prompt Guard ला विशिष्ट प्रॉम्प्ट संरचनेची आवश्यकता नाही. हे स्ट्रिंग इनपुटवर कार्य करते, त्याचे सुरक्षित किंवा असुरक्षित (दोन वेगवेगळ्या तीव्रतेच्या स्तरांवर) असे वर्गीकरण करते. हे एक BERT मॉडेल आहे जे केवळ लेबले आउटपुट करते.

Llama Guard 3: मल्टी-मॉडल आणि बहुभाषिक सुरक्षा

Llama Guard 3 तीन आवृत्त्यांमध्ये उपलब्ध आहे: Llama Guard 3 1B, Llama Guard 3 8B, आणि Llama Guard 3 11B-Vision. पहिले दोन केवळ मजकूर मॉडेल आहेत, तर तिसरे Llama 3.2 11B-Vision मॉडेलची दृष्टी आकलन क्षमता समाविष्ट करते. सर्व आवृत्त्या बहुभाषिक (केवळ मजकूर-आधारित प्रॉम्प्टसाठी) आहेत आणि MLCommons कंसोर्टियमद्वारे परिभाषित केलेल्या धोक्याच्या श्रेणींचे पालन करतात.

Llama Guard 3 8B चा वापर श्रेणी S14, कोड इंटरप्रिटर गैरवापरासाठी देखील केला जाऊ शकतो. हे लक्षात घेणे महत्त्वाचे आहे की Llama Guard 3 1B मॉडेल या विशिष्ट श्रेणीसाठी ऑप्टिमाइझ केलेले नाही.

Llama Guard 2 च्या धोक्याच्या श्रेणींचा विस्तार:

• S1: हिंसक गुन्हे
• S2: अहिंसक गुन्हे
• S3: लैंगिक-संबंधित गुन्हे
• S4: बाल लैंगिक शोषण
• S5: बदनामी
• S6: विशेष सल्ला
• S7: गोपनीयता
• S8: बौद्धिक संपदा
• S9: নির্বিচার शस्त्रे
• S10: द्वेष
• S11: आत्महत्या आणि स्व-हानी
• S12: लैंगिक सामग्री
• S13: निवडणुका
• S14: कोड इंटरप्रिटर गैरवापर

Meta Llama 3.1: बहुभाषिक जनरेटिव्ह मॉडेल्स

Meta Llama 3.1 कलेक्शनमध्ये बहुभाषिक मोठ्या भाषा मॉडेलचा समावेश आहे, ज्यामध्ये 8 अब्ज, 70 अब्ज आणि 405 अब्ज पॅरामीटर आकारांमध्ये प्री-ट्रेन्ड आणि इंस्ट्रक्शन-ट्यून केलेले जनरेटिव्ह मॉडेल्स (मजकूर इनपुट, मजकूर आउटपुट) समाविष्ट आहेत.

समर्थित भाषांमध्ये हे समाविष्ट आहे: इंग्रजी, जर्मन, फ्रेंच, इटालियन, पोर्तुगीज, हिंदी, स्पॅनिश आणि थाई.

Meta Llama 3.2: वर्धित संवाद क्षमता

Llama 3.2 कलेक्शनमध्ये बहुभाषिक मोठ्या भाषा मॉडेल्स आहेत, ज्यामध्ये 1 अब्ज आणि 3 अब्ज पॅरामीटर आकारांमध्ये प्री-ट्रेन्ड आणि इंस्ट्रक्शन-ट्यून केलेले जनरेटिव्ह मॉडेल्स (मजकूर इनपुट, मजकूर आउटपुट) समाविष्ट आहेत. या मॉडेल्सची क्वांटाइज्ड आवृत्त्या देखील उपलब्ध आहेत. Llama 3.2 इंस्ट्रक्शन-ट्यून केलेले टेक्स्ट-ओन्ली मॉडेल बहुभाषिक संवादासाठी ऑप्टिमाइझ केलेले आहेत, एजंटिव्ह रिट्रीव्हल आणि सारांश यासारख्या कार्यांमध्ये उत्कृष्टआहेत. 1B आणि 3B मॉडेल Llama 3.1 पेक्षा लहान, कमी शक्तिशाली डेरिव्हेटिव्ह आहेत.

अधिकृतपणे समर्थित भाषा: इंग्रजी, जर्मन, फ्रेंच, इटालियन, पोर्तुगीज, हिंदी, स्पॅनिश आणि थाई. तथापि, Llama 3.2 ला या आठ भाषांव्यतिरिक्त विस्तृत भाषांवर प्रशिक्षित केले गेले आहे.

Llama 3.2-Vision: प्रतिमा तर्क आणि आकलन

Llama 3.2-Vision कलेक्शन मल्टी-मॉडल मोठ्या भाषा मॉडेल सादर करते. हे मॉडेल प्रतिमा तर्क, 11 अब्ज आणि 90 अब्ज पॅरामीटर आकारात (मजकूर आणि प्रतिमा इनपुट, मजकूर आउटपुट) साठी प्री-ट्रेन्ड आणि इंस्ट्रक्शन-ट्यून केलेले आहेत. इंस्ट्रक्शन-ट्यून केलेले मॉडेल व्हिज्युअल रेकग्निशन, इमेज रिझनिंग, कॅप्शनिंग आणि प्रतिमांबद्दलच्या सामान्य प्रश्नांची उत्तरे देण्यासाठी ऑप्टिमाइझ केलेले आहेत.

केवळ मजकूर-आधारित कार्यांसाठी, अधिकृतपणे समर्थित भाषा इंग्रजी, जर्मन, फ्रेंच, इटालियन, पोर्तुगीज, हिंदी, स्पॅनिश आणि थाई आहेत. Llama 3.2 ला भाषांच्या विस्तृत संचावर प्रशिक्षित केले गेले आहे, परंतु प्रतिमा+मजकूर ऍप्लिकेशन्ससाठी, इंग्रजी ही एकमेव समर्थित भाषा आहे.

Meta Llama 3.3: एक शक्तिशाली 70B मॉडेल

Meta Llama 3.3 बहुभाषिक मोठे भाषा मॉडेल हे 70 अब्ज पॅरामीटर्स (मजकूर इनपुट, मजकूर आउटपुट) असलेले प्री-ट्रेन्ड आणि इंस्ट्रक्शन-ट्यून केलेले जनरेटिव्ह मॉडेल आहे.

समर्थित भाषा: इंग्रजी, जर्मन, फ्रेंच, इटालियन, पोर्तुगीज, हिंदी, स्पॅनिश आणि थाई.

हे समजून घेणे महत्त्वाचे आहे की Llama 3.2 सह मोठ्या भाषा मॉडेल, आयसोलेटेड डिप्लॉयमेंटसाठी हेतू केलेले नाहीत. ते योग्य सुरक्षा गार्डरेल्ससह सर्वसमावेशक AI प्रणालीमध्ये एकत्रित केले पाहिजेत. डेव्हलपर्सनी सिस्टम सेफगार्ड्स लागू करणे अपेक्षित आहे, विशेषत: एजंटिव्ह सिस्टम तयार करताना.

Llama 3.3, Llama 3.2 टेक्स्ट-ओन्ली मॉडेल्स आणि Llama 3.1 मध्ये खालील साधनांसाठी बिल्ट-इन सपोर्ट समाविष्ट आहे:

• Brave Search: वेब शोध करण्यासाठी एक टूल कॉल.
• Wolfram Alpha: जटिल गणितीय गणना करण्यासाठी एक टूल कॉल.
• Code Interpreter: मॉडेलला Python कोड आउटपुट करण्यास सक्षम करणारे एक टूल कॉल.

टीप: Llama 3.2 व्हिजन मॉडेल मजकूर+प्रतिमा इनपुटसह टूल कॉलिंगला समर्थन देत नाहीत.

The Llama Stack: एक युनिफाइड फ्रेमवर्क

लामा मॉडेल्सची निव्वळ संख्या प्रचंड असू शकते. निवड आणि एकत्रीकरण प्रक्रिया सुलभ करण्यासाठी, Meta Llama Stack ऑफर करते. हे फ्रेमवर्क लामा मॉडेल्सवर जोर देते परंतु संबंधित क्षमतांसाठी ॲडॉप्टर देखील प्रदान करते, जसे की रिट्रीव्हल-ऑगमेंटेड जनरेशन (RAG) साठी वेक्टर डेटाबेस.

Llama Stack सध्या Python, Swift, Node, आणि Kotlin मधील SDK चे समर्थन करते. हे विविध वितरण ऑफर करते, यासह:

• स्थानिक वितरण (Ollama वापरून): स्थानिक विकास आणि चाचणीसाठी.
• ऑन-डिव्हाइस वितरण (iOS आणि Android): मोबाइल डिव्हाइसवर लामा मॉडेल तैनात करण्यासाठी.
• GPU साठी वितरण: जलद प्रक्रियेसाठी GPU च्या सामर्थ्याचा लाभ घेण्यासाठी.
• रिमोट-होस्टेड वितरण (Together आणि Fireworks): क्लाउड-आधारित सेवांद्वारे लामा मॉडेलमध्ये प्रवेश करण्यासाठी.

Llama Stack मागील मूळ संकल्पना डेव्हलपर्सना स्थानिक पातळीवर ऍप्लिकेशन्स तयार करण्यास आणि नंतर उत्पादन वातावरणात सहजपणे संक्रमण करण्यास सक्षम करणे आहे. हे रिमोट Llama Stack विरुद्ध स्थानिक विकासासाठी एक परस्परसंवादी Llama Stack Playground देखील प्रदान करते.

लामा मॉडेल चालवणे: बहुमुखी उपयोजन पर्याय

लामा मॉडेल Linux, Windows, macOS आणि क्लाउडसह विविध प्लॅटफॉर्मवर तैनात केले जाऊ शकतात. क्वांटाइज्ड लामा मॉडेल, जसे की Llama 3.2 आणि Llama 3.2-Vision, आधुनिक हार्डवेअरवर, अगदी M4 Pro MacBook Pro सारख्या लॅपटॉपवर Ollama सारखी साधने वापरून प्रभावीपणे चालू शकतात.

Meta लामा मॉडेल तैनात करण्यासाठी आणि वापरण्यासाठी सर्वसमावेशक मार्गदर्शक प्रदान करते. याव्यतिरिक्त, LangChain आणि LlamaIndex सारख्या लोकप्रिय फ्रेमवर्कसाठी एकत्रीकरण मार्गदर्शक उपलब्ध आहेत.

सारांश, लामा फक्त एक साधे भाषा मॉडेल न राहता, आता ते सुरक्षा वैशिष्ट्ये, कोड जनरेशन आणि अनेक भाषांसाठी समर्थनासह एक मल्टी-मॉडल AI फ्रेमवर्क बनले आहे. Meta ची प्रणाली त्याला अनेक ठिकाणी तैनात करण्याची परवानगी देते, परंतु प्रशिक्षण डेटासह कायदेशीर समस्या आणि लामा ओपन सोर्स आहे की नाही याबद्दल वाद सुरूच आहेत.