Microsoft ने Azure AI Foundry वर Phi-3 च्या प्रकाशनानंतर लहान भाषा मॉडेल्सची (SLMs) श्रेणी सादर केल्यानंतर एका वर्षाने, Microsoft ने त्यांची पुढील पिढीची मॉडेल्स Phi-4-reasoning, Phi-4-reasoning-plus आणि Phi-4-mini-reasoning अनावरण केले आहेत. ही नविनता SLMs साठी एक महत्त्वाचा टप्पा आहे, जी कॉम्पॅक्ट आणि कार्यक्षम AI सह काय साध्य करता येते हे नव्याने परिभाषित करते.
Phi-Reasoning मॉडेलचा उदय
नवीन Phi-reasoning मॉडेल हे जटिल कार्यांसाठी अनुमान-वेळेचे स्केलिंग वापरण्यासाठी तयार केले आहेत, ज्यामध्ये बहु-चरण विघटन आणि आंतरिक प्रतिबिंबाची आवश्यकता असते. ही मॉडेल गणितीय तर्कामध्ये असाधारण क्षमता दर्शवतात, ज्यामुळे ते जटिल आणि बहुआयामी कार्ये हाताळणाऱ्या एजंट-सारख्या ऍप्लिकेशन्ससाठी आधार बनतात. ऐतिहासिकदृष्ट्या, अशा क्षमता केवळ लक्षणीयरीत्या मोठ्या मॉडेल्ससाठीच होत्या. Phi-reasoning मॉडेल SLMs ची एक नवीन श्रेणी सादर करतात जी आकार आणि कार्यक्षमतेमध्ये संतुलन साधण्यासाठी डिस्टिलेशन, रीइन्फोर्समेंट लर्निंग आणि उच्च-गुणवत्तेच्या डेटाचा वापर करतात. त्यांच्या कॉम्पॅक्ट आकारामुळे ते कमी-विलंब वातावरणासाठी योग्य आहेत, तर त्यांची मजबूत तर्क क्षमता मोठ्या मॉडेल्सशी स्पर्धा करतात. कार्यक्षमतेचे आणि क्षमतेचे हे मिश्रण संसाधनांवर मर्यादा असलेल्या उपकरणांना देखील प्रभावीपणे जटिल तर्क कार्ये पार पाडण्यास अनुमती देते.
Phi-4-Reasoning आणि Phi-4-Reasoning-Plus: एक सखोल अभ्यास
Phi-4-Reasoning: ओपन-वेट रिझनिंग मॉडेल
Phi-4-reasoning हे 14 अब्ज पॅरामीटर्स असलेले एक ओपन-वेट रिझनिंग मॉडेल आहे. हे जटिल तर्क कार्यांमध्ये मोठ्या मॉडेल्सशी स्पर्धा करण्यासाठी डिझाइन केलेले आहे. या मॉडेलला OpenAI च्या o3-mini मधून घेतलेल्या काळजीपूर्वक क्युरेट केलेल्या रिझनिंग उदाहरणांवर Phi-4 च्या सुपरवाईज्ड फाइन-ट्यूनिंगद्वारे प्रशिक्षित केले गेले. Phi-4-reasoning तपशीलवार रिझनिंग साखळ्या तयार करते, जे अनुमानाच्या दरम्यान अतिरिक्त संगणकीय वेळेचा प्रभावीपणे वापर करते. हे यश हे दर्शवते की अचूक डेटा क्युरेशन आणि उच्च-गुणवत्तेचे सिंथेटिक डेटासेट लहान मॉडेल्सना त्यांच्या मोठ्या समकक्षांशी स्पर्धा करण्यास कसे सक्षम करतात.
Phi-4-Reasoning-Plus: रीइन्फोर्समेंट लर्निंगसह तर्कात वाढ
Phi-4-reasoning च्या क्षमतेवर आधारित, Phi-4-reasoning-plus अनुमानाच्या दरम्यान अतिरिक्त संगणकीय वेळेचा उपयोग करण्यासाठी रीइन्फोर्समेंट लर्निंगसह अधिक प्रशिक्षण घेते. हे Phi-4-reasoning पेक्षा 1.5 पट जास्त टोकन प्रक्रिया करते, परिणामी अचूकता वाढते.
कार्यप्रदर्शन बेंचमार्क
त्यांच्या लक्षणीय लहान आकार असूनही, Phi-4-reasoning आणि Phi-4-reasoning-plus दोन्ही OpenAI चे o1-mini आणि DeepSeek-R1-Distill-Llama-70B यांना गणितीय तर्क आणि PhD- स्तरावरील वैज्ञानिक चौकशीसह विविध बेंचमार्कवर मागे टाकतात. विशेष म्हणजे, ते AIME 2025 चाचणीमध्ये संपूर्ण DeepSeek-R1 मॉडेलला (671 अब्ज पॅरामीटर्ससह) देखील मागे टाकतात, जी 2025 च्या USA गणित ऑलिम्पियाडसाठी पात्रता स्पर्धा आहे. दोन्ही मॉडेल्स Azure AI Foundry आणि Hugging Face वर सहज उपलब्ध आहेत.
Phi-4-Mini-Reasoning: मर्यादित वातावरणासाठी कॉम्पॅक्ट पॉवरहाउस
Phi-4-mini-reasoning विशेषतः कॉम्पॅक्ट रिझनिंग मॉडेलची मागणी पूर्ण करण्यासाठी डिझाइन केलेले आहे. हे ट्रान्सफॉर्मर-आधारित भाषा मॉडेल गणितीय तर्कासाठी ऑप्टिमाइझ केलेले आहे आणि अशा वातावरणात उच्च-गुणवत्तेची, चरण-दर-चरण समस्या सोडवण्याची क्षमता प्रदान करते जिथे संगणकीय शक्ती किंवा विलंब कमी असतो. Deepseek-R1 मॉडेलद्वारे व्युत्पन्न केलेल्या सिंथेटिक डेटाचा वापर करून हे प्रभावीपणे कार्यक्षमतेसह प्रगत तर्क क्षमता संतुलित करते. हे शैक्षणिक ऍप्लिकेशन्स, एम्बेडेड ट्युटरिंग सिस्टम आणि एज किंवा मोबाइल सिस्टमवर लाईटवेट उपयोजनांसाठी आदर्श आहे. मॉडेलला मध्यम शाळेपासून ते PhD- स्तरापर्यंतच्या विविध गणितीय समस्यांवर प्रशिक्षित केले जाते, ज्यामुळे विविध शैक्षणिक संदर्भांमध्ये त्याची अष्टपैलुत्व आणि प्रभावीता सुनिश्चित होते.
Phi ॲक्शनमध्ये: क्षितिजे विस्तारत आहेत
गेल्या वर्षभरात Phi च्या उत्क्रांतीने आकाराच्या तुलनेत गुणवत्तेच्या सीमा सतत ओलांडल्या आहेत, या कुटुंबात विविध गरजा पूर्ण करण्यासाठी तयार केलेल्या नवीन वैशिष्ट्यांचा समावेश आहे. ही मॉडेल्स विविध Windows 11 उपकरणांवर CPU आणि GPU दोन्हीवर स्थानिक पातळीवर चालवता येतात, ज्यामुळे वेगवेगळ्या हार्डवेअर कॉन्फिगरेशन असलेल्या वापरकर्त्यांना लवचिकता आणि उपलब्धता मिळते.
Copilot+ PCs सह एकत्रीकरण: AI-शक्तीवर आधारित संगणनाचा एक नवीन युग
Phi मॉडेल्स Copilot+ PCs चा एक अविभाज्य भाग आहेत, जे NPU- ऑप्टिमाइझ्ड Phi Silica प्रकाराचा लाभ घेतात. ऑपरेटिंग सिस्टमद्वारे व्यवस्थापित केलेले Phi चे हे अत्यंत कार्यक्षम आवृत्ती मेमरीमध्ये प्री-लोड करण्यासाठी डिझाइन केलेले आहे, जे जलद प्रतिसाद वेळा आणि ऊर्जा-कार्यक्षम टोकन थ्रूपुट प्रदान करते. हे PC वरील इतर ऍप्लिकेशन्ससह एकाच वेळी कार्यान्वित होण्यास सक्षम करते, मल्टीटास्किंग क्षमता आणि एकूण सिस्टम कार्यप्रदर्शन वाढवते.
वास्तविक जगातील ॲप्लिकेशन्स
Phi मॉडेल्सचा उपयोग Click to Do सारख्या मुख्य अनुभवांमध्ये आधीच केला जात आहे, जे सर्व ऑन-स्क्रीन सामग्रीसाठी बुद्धिमान मजकूर साधने प्रदान करते. ॲप्लिकेशन्समध्ये अखंड एकत्रीकरणासाठी ते डेव्हलपर API म्हणून देखील उपलब्ध आहेत. ही मॉडेल्स सध्या Outlook सारख्या विविध उत्पादकता ऍप्लिकेशन्समध्ये वापरली जात आहेत, जिथे ते ऑफलाइन Copilot सारांश वैशिष्ट्ये प्रदान करतात. Phi-4-reasoning आणि Phi-4-mini-reasoning मॉडेल्स Phi Silica साठी लो-बिट ऑप्टिमायझेशनचा लाभ घेतात आणि लवकरच Copilot+ PC NPUs वर चालवण्यासाठी उपलब्ध होतील.
Microsoft ची जबाबदार AI आणि सुरक्षिततेसाठी बांधिलकी
Microsoft मध्ये, जबाबदार AI हा एक मूलभूत सिद्धांत आहे जो Phi मॉडेल्ससह AI प्रणालींच्या विकास आणि उपयोजनाला मार्गदर्शन करतो. Phi मॉडेल्स Microsoft AI च्या तत्त्वांच्या अनुषंगाने विकसित केले आहेत: उत्तरदायित्व, पारदर्शकता, निष्पक्षता, विश्वासार्हता आणि सुरक्षितता, गोपनीयता आणि सुरक्षा आणि समावेशकता. मॉडेल्सचा Phi परिवार त्यांच्या जबाबदार आणि नैतिक वापराची खात्री करण्यासाठी सुपरवाईज्ड फाइन-ट्यूनिंग (SFT), डायरेक्ट प्रेफरन्स ऑप्टिमायझेशन (DPO) आणि ह्युमन फीडबॅक (RLHF) तंत्रांद्वारे रीइन्फोर्समेंट लर्निंगच्या संयोजनाचा उपयोग करून पोस्ट-ट्रेनिंग सुरक्षिततेसाठी एक मजबूत दृष्टीकोन वापरतो.
Phi मॉडेलचे तांत्रिक आधार: एक तपशीलवार तपासणी
Microsoft चे Phi मॉडेल लहान भाषा मॉडेलच्या क्षेत्रात एक महत्त्वपूर्ण प्रगती दर्शवतात, विशेषत: तुलनेने कमी पॅरामीटर्ससह जटिल तर्क कार्ये करण्याची त्यांची क्षमता. हा विभाग त्या तांत्रिक तपशीलांमध्ये सखोलपणे जातो जे या मॉडेल्सना इतके प्रभावी कार्यप्रदर्शन साध्य करण्यास सक्षम करतात.
आर्किटेक्चरल नवकल्पना
Phi मॉडेल ट्रान्सफॉर्मर आर्किटेक्चरवर आधारित आहेत, जे एक डीप लर्निंग मॉडेल आहे ज्याने नैसर्गिक भाषा प्रक्रियेत क्रांती घडवली आहे. ट्रान्सफॉर्मर टेक्स्टमधील लांब पल्ल्याच्या अवलंबित्व कॅप्चर करण्यासाठी उत्कृष्ट आहेत, ज्यामुळे मॉडेल्सना भाषेचा संदर्भ आणि सूक्ष्मता समजण्यास मदत होते.
ॲटेन्शन मेकॅनिझम: ट्रान्सफॉर्मर आर्किटेक्चरचा गाभा ॲटेन्शन मेकॅनिझम आहे, जो आउटपुट तयार करताना इनपुटच्या सर्वात संबंधित भागांवर लक्ष केंद्रित करण्यास मॉडेलला अनुमती देतो. हे तर्क कार्यांसाठी विशेषतः महत्वाचे आहे, जिथे मॉडेलला योग्य निष्कर्षावर पोहोचण्यासाठी महत्त्वपूर्ण माहिती आणि संबंध ओळखणे आवश्यक आहे.
स्केल्ड डॉट-प्रोडक्ट ॲटेन्शन: Phi मॉडेल स्केल्ड डॉट-प्रोडक्ट ॲटेन्शनचा वापर करतात, ॲटेन्शन मेकॅनिझमची एक सुधारित आवृत्ती ज्यामध्ये डॉट उत्पादनांना खूप मोठे होण्यापासून रोखण्यासाठी स्केलिंग घटक समाविष्ट आहे, ज्यामुळे प्रशिक्षणादरम्यान अस्थिरता येऊ शकते.
मल्टी-हेड ॲटेन्शन: इनपुटच्या विविध पैलू कॅप्चर करण्यासाठी, Phi मॉडेल मल्टी-हेड ॲटेन्शन वापरतात, जिथे अनेक ॲटेन्शन मेकॅनिझम समांतरपणे कार्य करतात. प्रत्येक हेड इनपुटच्या वेगवेगळ्या उपसंचांवर लक्ष केंद्रित करते, ज्यामुळे मॉडेलला अधिक जटिल प्रतिनिधित्व शिकण्यास मदत होते.
फीड-फॉरवर्ड नेटवर्क्स: ॲटेन्शन लेयर्सनंतर, ट्रान्सफॉर्मर आर्किटेक्चरमध्ये फीड-फॉरवर्ड नेटवर्क्स समाविष्ट असतात जे माहितीवर अधिक प्रक्रिया करतात. या नेटवर्कमध्ये न्यूरॉन्सचे अनेक स्तर असतात जे ॲटेन्शन आउटपुटमधून वैशिष्ट्ये काढायला शिकतात.
प्रशिक्षण पद्धती: एक बहुआयामी दृष्टीकोन
Phi मॉडेलच्या प्रशिक्षणात सुपरवाईज्ड फाइन-ट्यूनिंग, रीइन्फोर्समेंट लर्निंग आणि डेटा डिस्टिलेशन यांसारख्या तंत्रांचे संयोजन समाविष्ट आहे.
सुपरवाईज्ड फाइन-ट्यूनिंग (SFT): सुपरवाईज्ड फाइन-ट्यूनिंगमध्ये मॉडेलला लेबल केलेल्या डेटासेटवर प्रशिक्षित करणे समाविष्ट आहे, जिथे इनपुट एक प्रश्न किंवा समस्या आहे आणि आउटपुट हे योग्य उत्तर किंवा समाधान आहे. हे मॉडेलला विशिष्ट इनपुटला संबंधित आउटपुटशी जोडायला शिकण्यास मदत करते.
रीइन्फोर्समेंट लर्निंग (RL): रीइन्फोर्समेंट लर्निंग हे एक तंत्र आहे जिथे मॉडेल वातावरणाशी संवाद साधून आणि त्याच्या कृतींसाठी बक्षिसे किंवा दंड प्राप्त करून निर्णय घेणे शिकते. भाषा मॉडेलच्या संदर्भात, वातावरण नियमांचा किंवा मर्यादांचा संच असू शकतो आणि मॉडेलच्या प्रतिसादांच्या अचूकतेवर आधारित बक्षीस दिले जाऊ शकते.
डेटा डिस्टिलेशन: डेटा डिस्टिलेशन हे एक तंत्र आहे जिथे लहान मॉडेलला मोठ्या, अधिक जटिल मॉडेलच्या वर्तनाचे अनुकरण करण्यासाठी प्रशिक्षित केले जाते. हे लहान मॉडेलला कमी संसाधनांची आवश्यकता असताना मोठ्या मॉडेलच्या तुलनेत कार्यप्रदर्शन साध्य करण्यास अनुमती देते.
डेटा क्युरेशन: कार्यक्षमतेचा आधारस्तंभ
Phi मॉडेलचे कार्यप्रदर्शन प्रशिक्षणासाठी वापरल्या जाणाऱ्या डेटाच्या गुणवत्तेवर मोठ्या प्रमाणात अवलंबून असते. Microsoft ने उच्च-गुणवत्तेचे डेटासेट क्युरेट करण्यासाठी महत्त्वपूर्ण प्रयत्न केले आहेत जे विशेषतः तर्क कार्यांसाठी डिझाइन केलेले आहेत.
सिंथेटिक डेटा जनरेशन: उपलब्ध डेटा वाढवण्यासाठी, Microsoft ने सिंथेटिक डेटा व्युत्पन्न करण्यासाठी तंत्र विकसित केले आहेत जे वास्तविक-जगातील डेटाच्या वैशिष्ट्यांचे अनुकरण करतात. हे मॉडेल्सना मोठ्या आणि अधिक वैविध्यपूर्ण डेटासेटवर प्रशिक्षित करण्यास अनुमती देते, ज्यामुळे त्यांची सामान्यीकरण क्षमता सुधारते.
डेटा फिल्टरिंग: Microsoft प्रशिक्षण डेटासेटमधून अनावश्यक किंवा अप्रासंगिक डेटा काढून टाकण्यासाठी कठोर डेटा फिल्टरिंग तंत्रांचा वापर करते. हे सुनिश्चित करते की मॉडेल्सना स्वच्छ आणि अचूक डेटावर प्रशिक्षित केले जाते, ज्यामुळे चांगले कार्यप्रदर्शन मिळते.
डेटा ऑगमेंटेशन: विद्यमान डेटामध्ये रूपांतरण लागू करून प्रशिक्षण डेटासेटची विविधता वाढवण्यासाठी डेटा ऑगमेंटेशन तंत्रांचा वापर केला जातो. हे मॉडेलला इनपुटमधील बदलांसाठी अधिक मजबूत बनण्यास मदत करते.
ऑप्टिमायझेशन तंत्र: कार्यक्षमतेचे आणि अचूकतेचे संतुलन
Phi मॉडेल कार्यक्षमतेसाठी आणि अचूकतेसाठी ऑप्टिमाइझ केलेले आहेत, ज्यामुळे ते कार्यप्रदर्शन न गमावता संसाधन-मर्यादित उपकरणांवर चालण्यास सक्षम आहेत.
क्वांटायझेशन: क्वांटायझेशन हे एक तंत्र आहे जिथे मॉडेलच्या पॅरामीटर्सची अचूकता कमी केली जाते, ज्यामुळे मॉडेलचा मेमरी फूटप्रिंट आणि संगणकीय आवश्यकता कमी होतात.
प्रूनिंग: प्रूनिंग हे एक तंत्र आहे जिथे मॉडेलमधील कमी महत्वाचे कनेक्शन काढले जातात, ज्यामुळे मॉडेलचा आकार आणि जटिलता कमी होते.
नॉलेज डिस्टिलेशन: नॉलेज डिस्टिलेशनमध्ये मोठ्या, अधिक जटिल मॉडेलमधून लहान मॉडेलमध्ये ज्ञान हस्तांतरित करणे समाविष्ट आहे. हे लहान मॉडेलला कमी संसाधनांची आवश्यकता असताना मोठ्या मॉडेलच्या तुलनेत कार्यप्रदर्शन साध्य करण्यास अनुमती देते.
Phi Silica NPU: हार्डवेअर-सॉफ्टवेअर सिनर्जिस्टिक दृष्टीकोन
Microsoft चे Phi मॉडेल Phi Silica NPU (न्यूरल प्रोसेसिंग युनिट) सह घट्टपणे एकत्रित करण्यासाठी डिझाइन केलेले आहेत, जे एक विशेष हार्डवेअर प्रवेगक आहे जे डीप लर्निंग वर्कलोडसाठी ऑप्टिमाइझ केलेले आहे.
लो-बिट ऑप्टिमायझेशन: Phi Silica NPU लो-बिट ऑप्टिमायझेशनला सपोर्ट करते, जे मॉडेल्सना कमी अचूकतेसह चालवण्यास अनुमती देते, ज्यामुळे त्यांची मेमरी फूटप्रिंट आणि संगणकीय आवश्यकता आणखी कमी होते.
मेमरीमध्ये प्री-लोडिंग: Phi मॉडेल मेमरीमध्ये प्री-लोड करण्यासाठी डिझाइन केलेले आहेत, जे त्यांना त्वरित आणि कार्यक्षमतेने कार्यान्वित करण्यास अनुमती देते.
ऑपरेटिंग सिस्टम व्यवस्थापन: Phi Silica NPU ऑपरेटिंग सिस्टमद्वारे व्यवस्थापित केले जाते, जे वापरकर्त्याच्या अनुभवामध्ये अखंडपणे एकत्रित करण्यास अनुमती देते.
सारांश