OLMo 2 32B: திறந்தநிலை மொழி மாதிரி

AI உருவாக்கத்தில் செயல்திறனை மறுவரையறை செய்தல்

OLMo 2 32B இன் மிகவும் குறிப்பிடத்தக்க அம்சங்களில் ஒன்று அதன் விதிவிலக்கான செயல்திறன் ஆகும். Qwen2.5-32B போன்ற ஒப்பிடக்கூடிய மாடல்களுக்குத் தேவையான கணினி வளங்களில் மூன்றில் ஒரு பங்கை மட்டுமே பயன்படுத்தி, அதன் ஈர்க்கக்கூடிய செயல்திறனை அடைகிறது. வள மேம்படுத்தலில் இந்த முன்னேற்றம், OLMo 2 32B ஐ குறிப்பாக ஆராய்ச்சியாளர்கள் மற்றும் டெவலப்பர்களுக்கு கவர்ச்சிகரமானதாக ஆக்குகிறது, அவர்கள் வரையறுக்கப்பட்ட கணினி சக்தியுடன் செயல்படலாம், அதிநவீன AI தொழில்நுட்பத்திற்கான அணுகலை ஜனநாயகப்படுத்துகிறது.

தேர்ச்சிக்கான மூன்று-கட்ட பயணம்

OLMo 2 32B இன் வளர்ச்சியானது, கவனமாக வடிவமைக்கப்பட்ட மூன்று-கட்ட பயிற்சி அணுகுமுறையைப் பின்பற்றியது, ஒவ்வொரு கட்டமும் முந்தையதை அடிப்படையாகக் கொண்டு ஒரு வலுவான மற்றும் பல்துறை மொழி மாதிரியை உருவாக்குகிறது:

1. அடிப்படை மொழி கையகப்படுத்தல்: இந்த மாதிரி 3.9 டிரில்லியன் டோக்கன்களிலிருந்து மொழியின் அடிப்படை வடிவங்களையும் கட்டமைப்புகளையும் கற்றுக்கொண்டு, உரையின் பரந்த கடலில் மூழ்கி தனது பயணத்தைத் தொடங்கியது. இந்த ஆரம்ப கட்டம் அனைத்து அடுத்தடுத்த கற்றலுக்கும் அடித்தளம் அமைத்தது.

2. உயர்தர அறிவுடன் செம்மைப்படுத்துதல்: அடிப்படை மொழி புரிதலுக்கு அப்பால் நகர்ந்து, இந்த மாதிரி உயர்தர ஆவணங்கள் மற்றும் கல்வி உள்ளடக்கத்தின் தொகுக்கப்பட்ட தொகுப்பில் ஆராய்ந்தது. இந்த கட்டம் நுட்பமான, வேறுபட்ட உரையைப் புரிந்துகொள்ளும் மற்றும் உருவாக்கும் திறனை மேம்படுத்தியது.

3. வழிமுறைகளைப் பின்பற்றுவதில் தேர்ச்சி பெறுதல்: இறுதிக் கட்டம் Tulu 3.1 கட்டமைப்பைப் பயன்படுத்தியது, இது மேற்பார்வையிடப்பட்ட மற்றும் வலுவூட்டல் கற்றல் நுட்பங்களின் அதிநவீன கலவையாகும். இது OLMo 2 32B க்கு வழிமுறைகளைப் பின்பற்றும் கலையில் தேர்ச்சி பெற உதவியது, இது பயனர் தூண்டுதல்கள் மற்றும் வினவல்களுக்கு பதிலளிப்பதில் விதிவிலக்காக திறமையானதாக ஆக்குகிறது.

பயிற்சி செயல்முறையை ஒழுங்கமைத்தல்: OLMo-core தளம்

இந்த பல-நிலை பயிற்சி செயல்முறையின் சிக்கல்களை நிர்வகிக்க, Ai2 குழு OLMo-core ஐ உருவாக்கியது, இது பயிற்சி முன்னேற்றத்தைப் பாதுகாக்கும் அதே வேளையில் பல கணினிகளை திறம்பட ஒருங்கிணைக்க வடிவமைக்கப்பட்ட ஒரு புதிய மென்பொருள் தளமாகும். இந்த புதுமையான தளம் OLMo 2 32B இன் மென்மையான மற்றும் வெற்றிகரமான பயிற்சிக்கு முக்கிய பங்கு வகித்தது.

உண்மையான பயிற்சி Augusta AI இல் நடைபெற்றது, இது 160 இயந்திரங்களைக் கொண்ட ஒரு சக்திவாய்ந்த சூப்பர் கம்ப்யூட்டர் நெட்வொர்க் ஆகும், ஒவ்வொன்றும் அதிநவீன H100 GPU களுடன் பொருத்தப்பட்டுள்ளன. இந்த வலிமையான கணினி உள்கட்டமைப்பு, ஒரு GPU க்கு வினாடிக்கு 1,800 டோக்கன்களைத் தாண்டிய செயலாக்க வேகத்தை அடைய மாதிரியை இயக்கியது, இது வன்பொருள் மற்றும் பயிற்சி முறையின் செயல்திறனுக்கு ஒரு சான்றாகும்.

வெளிப்படைத்தன்மை: OLMo 2 32B இன் அடிக்கல்

பல AI திட்டங்கள் ‘திறந்த-மூல’ என்ற கருத்தை கோரினாலும், OLMo 2 32B உண்மையான வெளிப்படைத்தன்மைக்கான மூன்று அத்தியாவசிய அளவுகோல்களையும் பூர்த்தி செய்வதன் மூலம் தன்னை வேறுபடுத்திக் கொள்கிறது:

• பொதுவில் கிடைக்கும் மாதிரி குறியீடு: OLMo 2 32B ஐ அடிப்படையாகக் கொண்ட முழு கோட் பேஸும் இலவசமாக அணுகக்கூடியது, ஆராய்ச்சியாளர்கள் அதன் உள் செயல்பாடுகளை ஆராயவும் அதன் அடித்தளங்களை உருவாக்கவும் அனுமதிக்கிறது.
• வெளிப்படையாக அணுகக்கூடிய மாதிரி எடைகள்: மாதிரியின் எடைகள், அதன் நடத்தையை கட்டளையிடும் கற்றறிந்த அளவுருக்களைக் குறிக்கின்றன, அவை பொதுவில் கிடைக்கின்றன, இது மாதிரியைப் பிரதிபலிக்கவும் பயன்படுத்தவும் உதவுகிறது.
• முழுமையாக வெளிப்படையான பயிற்சி தரவு: Ai2 குழு முழுமையான Dolmino பயிற்சி தரவுத்தொகுப்பை வெளியிட்டுள்ளது, இது OLMo 2 32B இன் திறன்களை வடிவமைத்த தரவைப் பற்றிய முன்னோடியில்லாத நுண்ணறிவை வழங்குகிறது.

முழுமையான வெளிப்படைத்தன்மைக்கான இந்த அர்ப்பணிப்பு வெறும் சைகை மட்டுமல்ல; இது பரந்த AI சமூகத்தை மேம்படுத்தும் ஒரு அடிப்படைக் கொள்கையாகும்:

• முடிவுகளை மீண்டும் உருவாக்குதல்: ஆராய்ச்சியாளர்கள் OLMo 2 32B உடன் தொடர்புடைய கண்டுபிடிப்புகள் மற்றும் கூற்றுக்களை சுயாதீனமாக சரிபார்க்க முடியும்.
• ஆழமான பகுப்பாய்வை நடத்துதல்: குறியீடு, எடைகள் மற்றும் தரவுகளின் கிடைக்கும் தன்மை மாதிரியின் பலம், பலவீனங்கள் மற்றும் சாத்தியமான சார்புகளை முழுமையாக ஆராய அனுமதிக்கிறது.
• புதுமையை வளர்ப்பது: OLMo 2 32B இன் திறந்த தன்மை கூட்டு வளர்ச்சியை ஊக்குவிக்கிறது மற்றும் வழித்தோன்றல் படைப்புகளை உருவாக்குகிறது, இது துறையில் முன்னேற்றத்தின் வேகத்தை துரிதப்படுத்துகிறது.

Ai2 இன் நாதன் லாம்பர்ட் சொல்வது போல், ‘கொஞ்சம் முன்னேற்றத்துடன், ஒவ்வொருவரும் தங்கள் வகுப்பில் GPT 4 வகுப்பு மாதிரியைப் பெற முன் பயிற்சி, இடை பயிற்சி, பிந்தைய பயிற்சி, எது வேண்டுமானாலும் செய்யலாம். திறந்த மூல AI எவ்வாறு உண்மையான பயன்பாடுகளாக வளர முடியும் என்பதில் இது ஒரு பெரிய மாற்றமாகும்.’

வெளிப்படைத்தன்மையின் மரபை உருவாக்குதல்

OLMo 2 32B இன் வெளியீடு ஒரு தனிமைப்படுத்தப்பட்ட நிகழ்வு அல்ல; இது திறந்த மூல AI கொள்கைகளுக்கான தொடர்ச்சியான அர்ப்பணிப்பின் உச்சம். இது 2023 இல் Dolma உடன் Ai2 இன் முந்தைய பணியை உருவாக்குகிறது, இது திறந்த மூல AI பயிற்சிக்கான ஒரு முக்கியமான அடித்தளத்தை அமைத்தது.

வெளிப்படைத்தன்மைக்கான தங்கள் அர்ப்பணிப்பை மேலும் நிரூபிக்கும் வகையில், குழு பல்வேறு சோதனைச் சாவடிகளையும் கிடைக்கச் செய்துள்ளது, இது பயிற்சியின் வெவ்வேறு நிலைகளில் மொழி மாதிரியின் ஸ்னாப்ஷாட்களைக் குறிக்கிறது. இது ஆராய்ச்சியாளர்கள் காலப்போக்கில் மாதிரியின் திறன்களின் பரிணாமத்தை படிக்க அனுமதிக்கிறது. OLMo 2 இன் 7B மற்றும் 13B பதிப்புகளுடன் டிசம்பரில் வெளியிடப்பட்ட ஒரு விரிவான தொழில்நுட்பத் தாள், அடிப்படை கட்டமைப்பு மற்றும் பயிற்சி முறை பற்றிய ஆழமான நுண்ணறிவுகளை வழங்குகிறது.

இடைவெளியை மூடுதல்: திறந்த vs. மூடிய மூல AI

லாம்பர்ட்டின் பகுப்பாய்வின்படி, திறந்த மற்றும் மூடிய மூல AI அமைப்புகளுக்கு இடையிலான இடைவெளி சுமார் 18 மாதங்களாக குறைந்துள்ளது. OLMo 2 32B அடிப்படை பயிற்சியின் அடிப்படையில் கூகிளின் Gemma 3 27B உடன் பொருந்தினாலும், Gemma 3 நன்றாக ட்யூன் செய்த பிறகு வலுவான செயல்திறனைக் காட்டுகிறது. இந்த கவனிப்பு திறந்த மூல சமூகத்தில் எதிர்கால வளர்ச்சிக்கான ஒரு முக்கிய பகுதியை எடுத்துக்காட்டுகிறது: செயல்திறன் இடைவெளியை மேலும் குறைக்க பிந்தைய பயிற்சி முறைகளை மேம்படுத்துதல்.

முன்னால் உள்ள பாதை: எதிர்கால மேம்பாடுகள்

Ai2 குழு தனது முயற்சிகளில் ஓய்வெடுக்கவில்லை. OLMo 2 32B இன் திறன்களை மேலும் மேம்படுத்த அவர்கள் லட்சிய திட்டங்களைக் கொண்டுள்ளனர், இரண்டு முக்கிய பகுதிகளில் கவனம் செலுத்துகின்றனர்:

1. தருக்க ரீதியான காரணத்தை வலுப்படுத்துதல்: சிக்கலான தருக்க ரீதியான பகுத்தறிவு பணிகளைச் செய்யும் மாதிரியின் திறனை மேம்படுத்துவது முதன்மை நோக்கமாக இருக்கும்.
2. சூழல் புரிதலை விரிவுபடுத்துதல்: நீண்ட உரைகளைக் கையாளும் மாதிரியின் திறனை நீட்டிக்க குழு நோக்கமாகக் கொண்டுள்ளது, இது மேலும் விரிவான மற்றும் ஒத்திசைவான உள்ளடக்கத்தை செயலாக்கவும் உருவாக்கவும் உதவுகிறது.

OLMo 2 32B ஐ நேரடியாக அனுபவித்தல்

OLMo 2 32B இன் சக்தியை அனுபவிக்க ஆர்வமுள்ளவர்களுக்கு, Ai2 அதன் Chatbot Playground மூலம் அணுகலை வழங்குகிறது. இந்த ஊடாடும் தளம் பயனர்கள் மாதிரியுடன் நேரடியாக தொடர்பு கொள்ளவும் அதன் திறன்களை ஆராயவும் அனுமதிக்கிறது.

Tülu-3-405B பற்றிய குறிப்பு

Ai2 ஜனவரியில் பெரிய Tülu-3-405B மாதிரியையும் வெளியிட்டது என்பது குறிப்பிடத்தக்கது, இது செயல்திறனில் GPT-3.5 மற்றும் GPT-4o மினியை விட அதிகமாக உள்ளது. இருப்பினும், லாம்பர்ட் விளக்குவது போல், இந்த மாதிரி முழுமையாக திறந்த மூலமாகக் கருதப்படவில்லை, ஏனெனில் Ai2 அதன் முன் பயிற்சியில் ஈடுபடவில்லை. இந்த வேறுபாடு Ai2 இன் முழுமையான வெளிப்படைத்தன்மை மற்றும் உண்மையான திறந்த மூலமாக நியமிக்கப்பட்ட மாதிரிகளுக்கான முழுமையான மேம்பாட்டு செயல்முறையின் மீதான கட்டுப்பாட்டிற்கான அர்ப்பணிப்பை அடிக்கோடிட்டுக் காட்டுகிறது.

OLMo 2 32B இன் வளர்ச்சியும் வெளியீடும் AI இன் பரிணாம வளர்ச்சியில் ஒரு முக்கிய தருணத்தைக் குறிக்கிறது. முழுமையான வெளிப்படைத்தன்மையை ஏற்றுக்கொண்டு, செயல்திறனுக்கு முன்னுரிமை அளிப்பதன் மூலம், Ai2 ஒரு சக்திவாய்ந்த மொழி மாதிரியை உருவாக்கியது மட்டுமல்லாமல், திறந்த மூல AI மேம்பாட்டிற்கான ஒரு புதிய தரநிலையையும் அமைத்துள்ளது. இந்த அற்புதமான பணி புதுமையை துரிதப்படுத்தவும், அதிநவீன தொழில்நுட்பத்திற்கான அணுகலை ஜனநாயகப்படுத்தவும், மேலும் கூட்டு மற்றும் வெளிப்படையான AI சுற்றுச்சூழல் அமைப்பை வளர்க்கவும் உறுதியளிக்கிறது. திறந்த மூல AI இன் எதிர்காலம் பிரகாசமாக உள்ளது, மேலும் OLMo 2 32B வழிநடத்துகிறது.
திறந்த தன்மை, செயல்திறன் மற்றும் அணுகல்தன்மை ஆகிய கொள்கைகள் இந்த புதிய, அற்புதமான மொழி மாதிரியின் இதயத்தில் உள்ளன. AI மேம்பாட்டிற்கான தாக்கங்கள் ஆழமானவை, மேலும் ஆராய்ச்சியாளர்கள், டெவலப்பர்கள் மற்றும் ஒட்டுமொத்த சமூகத்திற்கும் சாத்தியமான நன்மைகள் மகத்தானவை.
கடுமையான, பல-நிலை பயிற்சி, முன்னோடி OLMo-core மென்பொருளுடன் இணைந்து, சக்திவாய்ந்ததாக மட்டுமல்லாமல், குறிப்பிடத்தக்க வகையில் திறமையான ஒரு மாதிரியை உருவாக்கியுள்ளது.
கோட்பேஸ், மாதிரி எடைகள் மற்றும் Dolmino பயிற்சி தரவுத்தொகுப்பு ஆகியவற்றின் கிடைக்கும் தன்மை, ஆய்வு, பிரதிபலிப்பு மற்றும் மேலும் கண்டுபிடிப்புகளுக்கான இணையற்ற வாய்ப்புகளை வழங்குகிறது. இது மிகவும் திறந்த, கூட்டு மற்றும் இறுதியில், மிகவும் பயனுள்ள AI நிலப்பரப்பை நோக்கிய ஒரு குறிப்பிடத்தக்க படியாகும்.
தருக்க ரீதியான பகுத்தறிவு மற்றும் சூழல் புரிதல் ஆகியவற்றில் கவனம் செலுத்தி, நடந்துகொண்டிருக்கும் வளர்ச்சிக்கான அர்ப்பணிப்பு, OLMo 2 32B ஒரு மைல்கல் மட்டுமல்ல, இந்த துறையில் இன்னும் பெரிய முன்னேற்றங்களுக்கான தொடக்கப் புள்ளி என்பதைக் குறிக்கிறது.
Chatbot Playground மூலம் மாதிரியுடன் தொடர்பு கொள்ள பயனர்களுக்கு வாய்ப்பு இந்த அற்புதமான தொழில்நுட்பத்தின் திறன்களை அனுபவிக்க ஒரு உறுதியான வழியை வழங்குகிறது.
OLMo 2 32B மற்றும் Tülu-3-405B ஆகியவற்றுக்கு இடையே செய்யப்பட்ட வேறுபாடு, Ai2 இன் உண்மையான திறந்த மூலக் கொள்கைகளுக்கான அசைக்க முடியாத அர்ப்பணிப்பை அடிக்கோடிட்டுக் காட்டுகிறது, இது முழுமையான வெளிப்படைத்தன்மை மற்றும் மேம்பாட்டு செயல்முறையின் மீதான கட்டுப்பாட்டை உறுதி செய்கிறது.
சாராம்சத்தில், OLMo 2 32B AI உலகில் ஒரு முன்னுதாரண மாற்றத்தைக் குறிக்கிறது, வெளிப்படைத்தன்மை, செயல்திறன் மற்றும் செயல்திறன் ஆகியவை கைகோர்த்துச் செல்ல முடியும் என்பதை நிரூபிக்கிறது. இது கூட்டு கண்டுபிடிப்பின் சக்திக்கு ஒரு சான்றாகும் மற்றும் AI தொழில்நுட்பம் அணுகக்கூடிய, வெளிப்படையான மற்றும் அனைவருக்கும் பயனளிக்கும் எதிர்காலத்திற்கான நம்பிக்கையின் கலங்கரை விளக்கமாகும். Ai2 குழுவின் அர்ப்பணிப்பு ஒரு விதிவிலக்கான மொழி மாதிரியை உருவாக்கியது மட்டுமல்லாமல், திறந்த மூல AI மேம்பாட்டின் ஒரு புதிய சகாப்தத்திற்கு வழி வகுத்துள்ளது, இது சந்தேகத்திற்கு இடமின்றி இந்த துறையை பல ஆண்டுகளாக ஊக்குவிக்கும் மற்றும் பாதிக்கும் ஒரு முன்னுதாரணத்தை அமைக்கிறது. பயிற்சிக்கான நுணுக்கமான அணுகுமுறை, புதுமையான மென்பொருள் தளம் மற்றும் வெளிப்படைத்தன்மைக்கான அசைக்க முடியாத அர்ப்பணிப்பு ஆகியவை இணைந்து உண்மையிலேயே குறிப்பிடத்தக்க சாதனையை உருவாக்குகின்றன. OLMo 2 32B ஒரு மொழி மாதிரியை விட அதிகம்; இது மிகவும் திறந்த, கூட்டு மற்றும் இறுதியில், செயற்கை நுண்ணறிவுக்கு மிகவும் ஜனநாயக எதிர்காலத்தின் சின்னமாகும். இது AI இன் சக்தி தேர்ந்தெடுக்கப்பட்ட சிலருக்கு மட்டும் அல்ல, அதற்கு பதிலாக சமூகத்தின் ஒட்டுமொத்த முன்னேற்றத்திற்காக பகிரப்பட்டு பயன்படுத்தப்படும் ஒரு எதிர்காலம். OLMo 2 32B இன் வெளியீடு கொண்டாட்டத்திற்கான ஒரு காரணம், செய்யப்பட்ட நம்பமுடியாத முன்னேற்றத்தை அங்கீகரிப்பதற்கான ஒரு தருணம், மேலும் வரவிருக்கும் இன்னும் பெரிய முன்னேற்றங்களை எதிர்பார்ப்புடன் எதிர்நோக்குவதற்கான நேரம். இது மனித புத்தி கூர்மைக்கு ஒரு சான்று, ஒத்துழைப்பின் சக்தியின் ஆர்ப்பாட்டம் மற்றும் தொழில்நுட்பம் மனிதகுலம் அனைவரையும் மேம்படுத்தும் மற்றும் பயனளிக்கும் எதிர்காலத்திற்கான நம்பிக்கையின் கலங்கரை விளக்கம். நுணுக்கமான வடிவமைப்பு, கடுமையான சோதனை மற்றும் நெறிமுறை கொள்கைகளுக்கான அசைக்க முடியாத அர்ப்பணிப்பு ஆகியவை இணைந்து OLMo 2 32B ஐ உண்மையிலேயே விதிவிலக்கான சாதனையாக ஆக்குகின்றன, இது சந்தேகத்திற்கு இடமின்றி செயற்கை நுண்ணறிவின் எதிர்காலத்தை பல ஆண்டுகளாக வடிவமைக்கும்.