திறந்த மூல மெராஜ்-மினியுடன் அரட்டை இடைமுகம்

கூறுகளைப் புரிந்துகொள்வது

செயல்படுத்தலுக்குள் நுழைவதற்கு முன், இந்த திட்டத்தில் உள்ள முக்கிய கூறுகள் மற்றும் அவற்றின் பங்குகளை ஆராய்வோம்.

Arcee’s Meraj-Mini மாதிரி

Meraj-Mini உடனடியாக கிடைக்கக்கூடிய மொழி மாதிரிகளில் ஒரு குறிப்பிடத்தக்க படியை குறிக்கிறது. Arcee ஆல் உருவாக்கப்பட்டது, இந்த மாதிரி குறிப்பாக அரபு மற்றும் ஆங்கிலம் இரண்டையும் கையாள பயிற்சி பெற்றது, இது எங்கள் இருமொழி அரட்டை உதவியாளருக்கு ஏற்றதாக அமைகிறது. இதன் திறந்த மூல தன்மை பரிசோதனை மற்றும் தனிப்பயனாக்கத்தை ஊக்குவிக்கிறது, டெவலப்பர்கள் இதை குறிப்பிட்ட தேவைகளுக்கு ஏற்ப மாற்ற அனுமதிக்கிறது. மாதிரியின் கட்டமைப்பு செயல்திறனுக்காக வடிவமைக்கப்பட்டுள்ளது, கூகிள் கோலாபின் T4 GPU போன்ற வள-கட்டுப்படுத்தப்பட்ட சூழல்களில் கூட திறம்பட இயங்க உதவுகிறது.

The Transformers Library

Hugging Face’s Transformers library முன் பயிற்சி பெற்ற மொழி மாதிரிகளுடன் பணிபுரிவதற்கான தரமாக மாறியுள்ளது. இது Meraj-Mini உட்பட பரந்த அளவிலான மாதிரிகளை ஏற்றுவதற்கும், நன்றாகச் சரிசெய்வதற்கும், பயன்படுத்துவதற்கும் ஒரு ஒருங்கிணைந்த மற்றும் பயனர் நட்பு இடைமுகத்தை வழங்குகிறது. எங்கள் திட்டத்தில், Meraj-Mini மாதிரி மற்றும் அதனுடன் தொடர்புடைய டோக்கனைசரை ஏற்ற Transformers ஐப் பயன்படுத்துகிறோம். டோக்கனைசர் உரை உள்ளீட்டை மாதிரி புரிந்துகொள்ளக்கூடிய ஒரு எண் வடிவமாக மாற்றுவதற்கும், நேர்மாறாகவும் மாற்றுவதற்கும் முக்கியமானது.

Accelerate and BitsAndBytes: Optimization for Efficiency

பெரிய மொழி மாதிரிகளை இயக்குவது கணக்கீட்டு ரீதியாக விலை உயர்ந்ததாக இருக்கும். Accelerate and BitsAndBytes இந்த சவாலை சமாளிக்க உதவும் இரண்டு நூலகங்கள்.

• Accelerate: Hugging Face இன் இந்த நூலகம், GPUகள் மற்றும் TPUகள் உள்ளிட்ட பல்வேறு வன்பொருள் உள்ளமைவுகளில் PyTorch மாதிரிகளை இயக்குவதை எளிதாக்குகிறது. இது விநியோகிக்கப்பட்ட பயிற்சி மற்றும் கலப்பு-துல்லிய பயிற்சியின் பல சிக்கல்களை தானாகவே கையாளுகிறது, இது எங்கள் கிடைக்கக்கூடிய வன்பொருளின் செயல்திறனை அதிகரிக்க அனுமதிக்கிறது.
• BitsAndBytes: இந்த நூலகம் குவாண்டமயமாக்கலுக்கான கருவிகளை வழங்குகிறது, இது மாதிரி எடைகளின் துல்லியத்தை குறைக்கும் ஒரு நுட்பமாகும் (எ.கா., 32-பிட் மிதக்கும்-புள்ளியில் இருந்து 8-பிட் முழு எண்களுக்கு). இது மாதிரியின் நினைவகத் தடத்தை கணிசமாகக் குறைக்கிறது மற்றும் கணக்கீட்டை துரிதப்படுத்துகிறது, இது குறைவான சக்திவாய்ந்த வன்பொருளில் பெரிய மாதிரிகளை இயக்க உதவுகிறது.

PyTorch: The Deep Learning Foundation

PyTorch என்பது பரவலாகப் பயன்படுத்தப்படும் திறந்த மூல இயந்திர கற்றல் கட்டமைப்பாகும், இது அதன் நெகிழ்வுத்தன்மை மற்றும் டைனமிக் கணக்கீட்டு வரைபடத்திற்கு பெயர் பெற்றது. இது Meraj-Mini மாதிரி உட்பட நரம்பியல் நெட்வொர்க்குகளை வரையறுப்பதற்கும், பயிற்சி செய்வதற்கும், வரிசைப்படுத்துவதற்கும் அடிப்படை உள்கட்டமைப்பை வழங்குகிறது. PyTorch’s உள்ளுணர்வு API மற்றும் விரிவான சமூக ஆதரவு ஆராய்ச்சி மற்றும் உற்பத்தி பயன்பாடுகளுக்கு பிரபலமான தேர்வாக அமைகிறது.

Gradio: Creating the User Interface

Gradio இயந்திர கற்றல் மாதிரிகளுக்கான ஊடாடும் வலை இடைமுகங்களை உருவாக்குவதற்கான ஒரு சக்திவாய்ந்த நூலகமாகும். பயனர்கள் தங்கள் கேள்விகளை அரபு அல்லது ஆங்கிலத்தில் தட்டச்சு செய்து Meraj-Mini மாதிரியிலிருந்து பதில்களைப் பெறக்கூடிய ஒரு பயனர் நட்பு அரட்டை இடைமுகத்தை எளிதாக உருவாக்க இது அனுமதிக்கிறது. Gradio வலை அபிவிருத்தியின் சிக்கல்களை கையாளுகிறது, இது எங்கள் அரட்டை உதவியாளரின் முக்கிய செயல்பாட்டில் கவனம் செலுத்த அனுமதிக்கிறது.

செயலாக்க படிகள்

இப்போது, எங்கள் இருமொழி அரட்டை உதவியாளரை உருவாக்குவதற்கான படிகளைப் பற்றிப் பார்ப்போம்.

சூழலை அமைத்தல்

முதலில், தேவையான நூலகங்களை நிறுவியுள்ளோமா என்பதை உறுதி செய்ய வேண்டும். கூகிள் கோலாப் நோட்புக்கிற்குள், அவற்றை நிறுவ pip ஐப் பயன்படுத்தலாம்: