Mellum: வேகமான, சிறிய மாதிரி

ஜெட் பிரைன்ஸ் உருவாக்கிய மெல்லம்: உங்கள் எடிட்டருக்கான வேகமான, சிறிய மாதிரி

ஒருங்கிணைந்த மேம்பாட்டுச் சூழல்களின் (IDEs) சாம்ராஜ்யம் நீண்ட காலமாக தானியங்கு நிரப்புதல் அம்சங்களின் சக்தி மற்றும் துல்லியத்தால் ஆதரிக்கப்படுகிறது. இருப்பினும், ஒரு புதிய போட்டியாளர் களத்தில் நுழைந்துள்ளார்: செயற்கை நுண்ணறிவு (AI). IDEகளில் AI ஒருங்கிணைப்பு பெருகிய முறையில் பரவலாகி வருகிறது, இது பாரம்பரிய கருவிகளை மறு மதிப்பீடு செய்ய தூண்டுகிறது. இந்த பழைய முறைகள் இன்னும் செயல்படுகின்றன, ஆனால் டெவலப்பர்கள் இப்போது எதிர்பார்க்கும் அதிநவீன உதவியை அவை வழங்காமல் போகலாம்.

இந்தக் கட்டுரை ஜெட் பிரைன்ஸ் எழுதிய வலைப்பதிவு இடுகையிலிருந்து மாற்றியமைக்கப்பட்டது, மேலும் கிளவுட் அடிப்படையிலான தானியங்கு நிரப்புதலின் அடிப்படையான மெல்லமின் பயிற்சி மற்றும் திறன்களைப் பற்றி விவரிக்கிறது. நிரலாளர்களுக்காக வடிவமைக்கப்பட்ட IDEகள் மற்றும் குறியீடு எடிட்டர்களுக்கு பெயர் பெற்ற ஜெட் பிரைன்ஸ், விரைவான மற்றும் திறமையான குறியீடு தானியங்கு நிரப்புதலை வழங்க மெல்லமை உருவாக்கியுள்ளது. மெல்லம் ஒரு உள்ளூர் சாதனத்தில் திறம்பட செயல்படும் வகையில் வடிவமைக்கப்பட்டுள்ளது, இது அதன் வகுப்பில் வேகமான மற்றும் மிகவும் சிறிய மாடல்களில் ஒன்றாக தனித்து நிற்கிறது. கருத்தியல் ரீதியாக ஒத்த திட்டம் மைக்ரோசாஃப்ட் ஃபை (Microsoft Phi) ஆகும்.

வெளிப்படையான சவால்களை எதிர்கொள்ளுதல்

AI மூலம் இயங்கும் தானியங்கு நிரப்புதலைத் தொடரும்போது ஜெட் பிரைன்ஸ் பொறியாளர்கள் பல முக்கியமான சவால்களை எதிர்கொண்டனர்:

• வேகம் மற்றும் செலவு: வழக்கமான சாட் மாடல்கள் அவற்றின் அதிக கணக்கீட்டு செலவுகள் மற்றும் மெதுவான மறுமொழி நேரங்கள் காரணமாக நடைமுறைக்கு ஒவ்வாததாக நிரூபிக்கப்பட்டன. இந்த மாடல்களுக்கு நிரப்புதல் (FIM) அல்லது டோக்கன் ஹீலிங் போன்ற குறியீடு சார்ந்த நுட்பங்களைப் பற்றிய விழிப்புணர்வும் இல்லை.
• வெளியீட்டு வடிவமைத்தல்: முதன்மை சாட் மாடல்கள் பெரும்பாலும் நிலையற்ற வடிவங்களில் தரவை உருவாக்குகின்றன, இது பதில்களைப் பிரித்தெடுப்பதையும், அவற்றை எடிட்டரில் தடையின்றி ஒருங்கிணைப்பதையும் கடினமாக்குகிறது.
• தரவு மூலம்: பயிற்சித் தரவின் தோற்றத்தை தீர்மானித்தல் மற்றும் சாத்தியமான பதிப்புரிமை மீறல் சிக்கல்களைத் தணித்தல் ஆகியவை ஒரு முக்கியமான தடையாக இருந்தது.

மெல்லம்: ஒரு கண்ணோட்டம்

ஜெட் பிரைன்ஸில் உள்ள மேம்பாட்டுக் குழு தங்கள் சொந்த மாதிரியை உருவாக்குவதே சிறந்த அணுகுமுறை என்பதை உணர்ந்தது. தரம், உய்த்துணர்தல் செலவுகள் மற்றும் தாமதம் ஆகியவற்றுக்கு இடையே சமநிலையை பேணும் ஒரு மாதிரியை வடிவமைப்பதே அவர்களின் குறிக்கோள். அதே நேரத்தில் தெளிவாக நிரூபிக்கப்பட்ட தரவுகளில் பயிற்சி அளிக்க வேண்டும். சுமார் 4 பில்லியன் அளவுருக்கள் கொண்ட ஒரு மாதிரி பரந்த அளவிலான காட்சிகள் மற்றும் பயனர்களுக்கு திறமையான தானியங்கு நிரப்புதல் திறன்களை வழங்கும் என்று ஆரம்ப ஆராய்ச்சி தெரிவித்தது. மேலும், குறியீட்டில் மட்டும் மாதிரியைப் பயிற்றுவிப்பதன் மூலம், பொருத்தமற்ற தரவு இல்லாமல் டோக்கன்களின் சிறப்பு சொற்களஞ்சியத்தை அவர்கள் நிறுவ முடியும்.

மெல்லம் மாதிரிக்கான பயிற்சி செயல்முறை மூன்று தனித்துவமான நிலைகளைக் கொண்டுள்ளது, ஒவ்வொன்றும் புதிய அறிவை பங்களித்து, உருவாக்கப்பட்ட குறியீட்டின் தரத்தை மேம்படுத்துகிறது. ஆரம்ப கட்டத்தில் தனிப்பட்ட கோப்புகளின் பெரிய தொகுப்பில் அடிப்படை முன் பயிற்சி அடங்கும். இரண்டாவது கட்டம் ஒரு சிறிய சிறப்பு எடுத்துக்காட்டுகள் மூலம் மாதிரியைச் செம்மைப்படுத்துவதைக் கொண்டுள்ளது. மூன்றாம் கட்டத்தில் AI பின்னூட்டத்துடன் கூடிய வலுவூட்டல் கற்றல் (RLAIF) மாதிரி IDE-குறிப்பிட்ட பண்புகளுக்கு ஏற்றவாறு மற்றும் தேவையற்ற வெளியீட்டை அகற்ற பயன்படுகிறது.

முன் பயிற்சி

சந்தேகத்திற்கு இடமான தரவு தோற்றம் தொடர்பான சாத்தியமான சிக்கல்களைத் தவிர்க்க, மாதிரி தரையிலிருந்து பயிற்றுவிக்கப்பட்டது, இதற்கு ஏராளமான மொழிகள், நிரலாக்க தொடரியல், வடிவங்கள் மற்றும் அடிப்படைக் கருத்துகள் பற்றிய விரிவான அறிமுகம் தேவைப்பட்டது.

தரவுத்தொகுப்பு

முன் பயிற்சியின் முக்கிய தரவு ஆதாரம் தி ஸ்டேக் (TheStack). இந்த தரவு சட்டப்பூர்வமாகவும் நடைமுறை ரீதியாகவும் நன்மை பயக்கும் என்பதை உறுதி செய்கிறது.

முன் பயிற்சி செயல்முறை

முன் பயிற்சியின் போது, தோராயமாக 3 டிரில்லியன் டோக்கன்களை அடைய தரவுத்தொகுப்பு பல முறை மாதிரி செய்யப்பட்டது. 8192 டோக்கன்களின் சூழல் சாளரம் பயன்படுத்தப்பட்டது, தரவுத்தொகுப்பு இந்த அளவின் துண்டுகளாகப் பிரிக்கப்பட்டது. நிரப்புதல் (FIM) மாற்றம் ஒவ்வொரு துண்டிலும் பாதி கோப்புகளுக்குப் பயன்படுத்தப்பட்டது, இது முந்தைய மற்றும் அடுத்தடுத்த குறியீடு இரண்டையும் கருத்தில் கொள்ள மாதிரியை ஊக்குவிக்கிறது. இந்த நுட்பம் உண்மையான குறியீடு உருவாக்கம் காட்சிகளை நெருக்கமாக பிரதிபலிக்கிறது.

முன் பயிற்சி கட்டம் எட்டு எச்100 கிராஃபிக்ஸ் கார்டுகளைக் கொண்ட பதினாறு முனைகளின் கிளஸ்டரில் நடத்தப்பட்டது. இந்த கட்டம் முடிக்க சுமார் 15 நாட்கள் ஆனது, இதன் விளைவாக 4 பில்லியன் அளவுருக்களைக் கொண்ட மெல்லம்-அடிப்படை மாதிரி கிடைத்தது.

முன் பயிற்சி என்பது பல நிரலாக்க மொழிகளைப் பற்றிய விரிவான அறிவுடன் பொது நோக்கத்திற்கான குறியீடு தானியங்கு நிரப்புதல் மாதிரியை உருவாக்குகிறது. இருப்பினும், இந்த கட்டத்தில், மாதிரி தோராயமாக தேர்ந்தெடுக்கப்பட்ட கோப்புப் பிரிவில் அடுத்த டோக்கனை கணிக்க மட்டுமே பயிற்றுவிக்கப்படுகிறது. கூடுதல் சூழல் இல்லாமல், மாதிரிக்கு குறியீடு அமைப்பு பற்றிய விழிப்புணர்வு இல்லை மேலும் எப்போது குறியீட்டை உருவாக்குவதை நிறுத்துவது என்பதை தீர்மானிக்க எந்த வழிமுறையும் இல்லை.

வரம்புகளை நிவர்த்தி செய்யவே நுணுக்கமான பயிற்சி நிலை வடிவமைக்கப்பட்டுள்ளது.

சூழல் சார்ந்த நுணுக்கப் பயிற்சி

மேம்படுத்தப்பட்ட நிரப்புதல்

முன் பயிற்சியைப் போலல்லாமல், குறியீடு துண்டுகள் கணிப்பதற்காக தோராயமாக தேர்ந்தெடுக்கப்படுகின்றன, நுணுக்கப் பயிற்சி இன்னும் அர்த்தமுள்ள வழியில் குறியீட்டைப் பிரிப்பதில் கவனம் செலுத்துகிறது, “காட்டுக்குள்” நிகழும் குறியீடு துண்டுகளைப் பிரித்தெடுக்க மாதிரிக்கு கற்பிக்கிறது.

சிறப்பு உதாரணங்கள்

நடைமுறையில், குறியீடு தானியங்கு நிரப்புதலுக்கு சுற்றியுள்ள கோப்புகள் மற்றும் பரந்த சூழல்களைப் புரிந்துகொள்வது அவசியம், இது முழு திட்டங்களையும் உள்ளடக்கியிருக்கலாம்.

தரவு முன் செயலாக்கத்திற்காக, நிறுவனம் கோட் எஞ்சின் (Code Engine) என்ற உள் திட்டத்தைத் தொடங்கியது: முழுமையான திட்ட அட்டவணையிடல் தேவையில்லாமல் சாதாரண கோப்புகளிலிருந்து நேரடியாக சூழலை உருவாக்க உருவாக்கப்பட்ட குறுக்கு-தளம் SDK மற்றும் கன்சோல் பயன்பாடுகளின் தொகுப்பு. இந்த SDK ஒரு உள் மேப் ரெடியூஸ் கிளஸ்டரில் பயன்படுத்தப்பட்டது மற்றும் ஆயிரக்கணக்கான பொது களஞ்சியங்களை செயலாக்க பயன்படுத்தப்பட்டது. இதன் மூலம் நியாயமான காலக்கெடுவில் பயிற்சிக்கு பல பயனுள்ள எடுத்துக்காட்டுகளை உருவாக்கியது.

சரியான வழிமுறைகளைக் கண்டுபிடிப்பதற்கு சில சோதனைகள் தேவைப்பட்டன.

குறிப்பிட்ட மொழிகளுக்கான இசைவு

சிறிய மாதிரிகள் குறிப்பிட்ட மொழிகளுக்கான சிறப்பம்சத்திலிருந்து பெரிதும் பயனடையலாம். அடிப்படை மாதிரி 80க்கும் மேற்பட்ட மொழிகளில் பயிற்றுவிக்கப்பட்டாலும், பெரும்பாலான பயனர்கள் பொதுவாக ஒன்று அல்லது இரண்டுடன் மட்டுமே வேலை செய்கிறார்கள். இதை நிவர்த்தி செய்ய, ஜெட் பிரைன்ஸ் பல சிறப்பு மாதிரிகளை உருவாக்கியது:

• mellum-all: ஜெட் பிரைன்ஸ் IDEகளில் கிடைக்கும் பெரும்பாலான மொழிகள் மற்றும் வட்டார மொழிகளை ஆதரிக்கிறது, ஆனால் சிறப்பு மாதிரிகளை விட தானியங்கு நிரப்புதல் தரம் குறைவாக உள்ளது.
• mellum-python: பைதான் மற்றும் ஜூபிட்டரில் நிபுணத்துவம் பெற்றது.
• mellum-kotlin: ஜாவா மற்றும் கோட்லினில் நிபுணத்துவம் பெற்றது.
• mellum-web: வலை தொழில்நுட்பங்களில் நிபுணத்துவம் பெற்றது.

இறுதி படி: RLAIF

இறுதியாக, கற்றல் இலக்குகள் பயனர் எதிர்பார்ப்புகளுடன் பொருந்தாத சந்தர்ப்பங்களில் தீர்வு காணப்பட வேண்டும். ஒரு கூடுதல் பயிற்சி கட்டமான RLAIF - AI பின்னூட்டத்துடன் கூடிய வலுவூட்டல் கற்றல், இதுபோன்ற சிக்கல்களைத் தீர்க்கப் பயன்படுகிறது.

பயனர் தொடர்புகளிலிருந்து மாதிரி கற்றுக்கொள்கிறது மற்றும் பயனர் விருப்பங்களை எவ்வாறு சிறப்பாக பிரதிபலிப்பது என்பதைப் புரிந்துகொள்கிறது.

இந்த அணுகுமுறை ஒட்டுமொத்த தர மதிப்பெண்ணை மேம்படுத்துவது மட்டுமல்லாமல் எரிச்சலூட்டும் உருவாக்கும் கலைப்பொருட்களின் எண்ணிக்கையையும் குறைக்கிறது.

மெல்லம் எவ்வளவு சிறந்தது?

இந்த மாதிரி அதன் அளவிற்கு விதிவிலக்காக சிறப்பாக செயல்படுகிறது. அது எவ்வாறு மதிப்பிடப்பட்டது என்பது இங்கே:

• முதலாவதாக, ‘ஜெட் பிரைன்ஸ் பிக் கோட்’ என்ற உள் அளவுகோலில் மாதிரி மதிப்பிடப்பட்டது.
• பின்னர் SAFIM போன்ற நன்கு அறியப்பட்ட பொது அளவுகோல்களில் சோதிக்கப்பட்டது.
• இறுதியாக, அம்சங்களுக்கான பயன்பாட்டு புள்ளிவிவரங்கள் சேகரிக்கப்பட்டன மேலும் பயனர் அளவீடுகள் கணக்கிடப்பட்டன.

ஆஃப்லைன் மதிப்பீடு

தரவைச் சேகரிப்பது ஒரு சிக்கலான பணி, ஆனால் நரம்பியல் நெட்வொர்க் முன்மொழியும் புதிய பரிந்துரையுடன் அசல் பரிந்துரையை ஒப்பிடும் ஒரு நல்ல மெட்ரிக் கூட இன்னும் சவாலானது. நாங்கள் ஒரு சிறிய ஆய்வை நடத்தினோம் மேலும் இறுதியில் இரண்டு முதன்மை அளவீடுகளின் கலவையில் குடியேறினோம்:

EM:

• சரியான பொருத்தம் ஒரு மிகவும் பிரபலமான யோசனை.
• குறைந்தபட்ச முன் செயலாக்கத்துடன், பூர்த்தி செய்யப்பட்ட முதல் வரிசை அசலின் முதல் வரிசையுடன் பொருந்தினால், கணிப்பு நல்லதாக கருதப்படுகிறது.

KK:

• இந்த மெட்ரிக் அதன் ஆசிரியர்களின் பெயரிடப்பட்டது.
• முன்மொழியப்பட்ட நிறைவு செய்யப்பட்ட வரிசைகளின் எண்ணிக்கையால் வகுக்கப்படும் அசல் வரிசைகளிலிருந்து முன்மொழியப்பட்ட வரிசைகளின் எண்ணிக்கை.

ஜெட் பிரைன்ஸ் பிக் கோட்

உள் ஜெட் பிரைன்ஸ் பிக் கோட் கருவியைப் பயன்படுத்தி பெறப்பட்ட ஒரு பெஞ்ச்மார்க் தரவுத்தொகுப்பிற்கு எதிராக மாதிரி மதிப்பிடப்பட்டது.

பொது அளவுகோல்களைச் சார்ந்து இருப்பதை விட எங்கள் தரவுத்தொகுப்பின் மீது முழு கட்டுப்பாட்டை வைத்திருப்பதன் மூலம், பல்வேறு கோடிங் பாணிகள் மற்றும் நடைமுறைகளுக்கான மாதிரி தரத்தை நம்பகத்தன்மையுடன் மதிப்பிட முடியும்.

எங்கள் ஜெட் பிரைன்ஸ் பிக் கோட் மதிப்பீட்டின் முடிவுகள் பிரபலமான மாதிரிகளுக்கு இணையாக தரத்தை காட்டுகின்றன, ஆனால் மெல்லம் சிறியது மற்றும் திறமையானது.

ஒற்றை வரி பரிந்துரைகளின் தரம் (EM மெட்ரிக்)

பொது அளவுகோல்கள்

மாதிரி உள் தரவுத்தொகுப்பில் மட்டுமல்லாமல், பல மொழி அளவுகோலான SAFIM (தொடரியல்-அறிந்த நிரப்புதல்) போன்ற பல்வேறு பொது அளவுகோல்களிலும் மதிப்பிடப்பட்டது.

ஆன்லைன் மதிப்பீடு

முக்கிய மெட்ரிக் பூர்த்தி செய்யப்பட்ட குறியீட்டின் விகிதம் (RoCC) என்று அழைக்கப்படுகிறது. இது எடிட்டரில் உள்ள மொத்த குறியீட்டு அளவிற்கான குறியீடு தானியங்கு நிரப்புதலைப் பயன்படுத்தி எழுதப்பட்ட குறியீட்டு எழுத்துகளின் விகிதமாக வரையறுக்கப்படுகிறது.

மற்றொரு முக்கியமான மெட்ரிக் ஏற்றுக்கொள்ளும் விகிதம் (AR) ஆகும், இது காட்டப்பட்ட அனைத்து பரிந்துரைகளின் எண்ணிக்கையால் வகுக்கப்படும் ஏற்றுக்கொள்ளப்பட்ட பரிந்துரைகளின் எண்ணிக்கையாக கணக்கிடப்படுகிறது.

இது ஒரு சிக்கலான பயணம், ஆனால் ஜெட் பிரைன்ஸ் வல்லுநர்கள் அதை கண்ணியத்துடன் முடித்தனர். இறுதியில், ஒரு பொதுவான மற்றும் பல சிறப்பு மாதிரிகள் பெறப்பட்டன, அவை ஜெட் பிரைன்ஸ் AI இயங்குதளம் மூலம் கிடைக்கின்றன. அவை இப்போது ஜெட் பிரைன்ஸ் AI உதவியாளரில் வெற்றிகரமாக வேலை செய்கின்றன.

அடுத்து என்ன?

• ஜெட் பிரைன்ஸ் பொறியாளர்கள் தற்போது வலை மேம்பாட்டு மொழிகளுக்கான மாதிரியில் வேலை செய்கிறார்கள். இது எதிர்காலத்தில் பொதுவில் கிடைக்கக்கூடும்.
• அளவுருக்களின் எண்ணிக்கை மற்றும் தரவின் பன்முகத்தன்மை இரண்டையும் ஒரே நேரத்தில் அதிகரிக்க திட்டங்கள் உள்ளன. கோடிங் செய்வதில் பல வெவ்வேறு பணிகள் உள்ளன - மெல்லம் அவற்றையும் செய்ய முடியும். சேவை செயல்திறன் இன்னும் ஒரு முக்கிய மெட்ரிக் ஆகும், எனவே மாதிரியின் விரிவாக்கம் நியாயமான வரம்புகளுக்குள் இருக்கும்.