ByteDance-ன் COMET வெளியீடு: Mixture of Experts செயல்திறனை புரட்சிகரமாக்குகிறது, பெரிய மொழி மாதிரி பயிற்சிக்கான செலவைக் குறைக்கிறது
ByteDance-ன் Doubao AI குழு, COMET என்ற புதுமையான ஓப்பன் சோர்ஸ் கட்டமைப்பை வெளியிட்டுள்ளது. இது Mixture of Experts (MoE) அணுகுமுறையை மேம்படுத்தி, பெரிய மொழி மாதிரி (LLM) பயிற்சியின் செயல்திறனை கணிசமாக அதிகரிப்பதோடு, செலவையும் குறைக்கிறது. இந்த அற்புதமான தொழில்நுட்பம், ஏற்கனவே ByteDance-ன் 10,000-க்கும் மேற்பட்ட GPU கிளஸ்டர்களில் செயல்பாட்டில் உள்ளது, இதன் விளைவாக மில்லியன் கணக்கான GPU கணிப்பு நேரத்தை மிச்சப்படுத்தியுள்ளது.
முன் எப்போதும் இல்லாத பயிற்சி வேகம் மற்றும் செலவு குறைப்பு
COMET, Computation-Communication Folding மற்றும் டைனமிக் GPU ரிசோர்ஸ் அலோகேஷன் ஆகியவற்றின் அதிநவீன கலவையை பயன்படுத்துகிறது. இந்த இரட்டை அணுகுமுறை MoE பயிற்சி செயல்திறனை குறிப்பிடத்தக்க புதிய உயரங்களுக்கு கொண்டு செல்கிறது, ஈர்க்கக்கூடிய 1.71x முன்னேற்றத்தை அடைகிறது மற்றும் ஒற்றை அடுக்குகளின் செயல்பாட்டை 1.96x காரணியால் துரிதப்படுத்துகிறது. மேலும், இந்த கட்டமைப்பு LLM பயிற்சி தொடர்பான செலவுகளில் கணிசமான 40% குறைப்பை அடைகிறது, இது AI பயிற்சியின் வேகமாக வளர்ந்து வரும் துறைக்கு அளவிடக்கூடிய மற்றும் குறிப்பிடத்தக்க செலவு குறைந்த தீர்வை வழங்குகிறது.
MoE கட்டமைப்புகளின் சவால்களை சமாளித்தல்
MoE கட்டமைப்புகள் முன்னணி தொழில்நுட்ப நிறுவனங்களிடையே கணிசமான கவனத்தை பெற்றுள்ளன. டிரில்லியன் கணக்கான அளவுருக்களை உள்ளடக்கிய மாடல்களை அளவிடுவதற்கான அவற்றின் திறன் - முன்பு கணக்கீட்டு ரீதியாக தடைசெய்யப்பட்டதாக கருதப்பட்டது - அவற்றின் கவர்ச்சிக்கு காரணம். இருப்பினும், அவற்றின் வாக்குறுதி இருந்தபோதிலும், விநியோகிக்கப்பட்ட பயிற்சி சூழல்களில் MoE மாதிரிகள் தொடர்பு மற்றும் கணக்கீட்டிற்கு இடையேயான ஒன்றுடன் ஒன்று தொடர்பான தொடர்ச்சியான சவால்களை எதிர்கொண்டன. இந்த ஒன்றுடன் ஒன்று ஒரு குறிப்பிடத்தக்க தடையை உருவாக்குகிறது, இது ஒட்டுமொத்த செயல்திறனை தடுக்கிறது.
இந்த முக்கியமான தடை GPU-க்களின் முழு பயன்பாட்டைக் கட்டுப்படுத்துகிறது, இது ஒட்டுமொத்த பயிற்சி செயல்திறனைக் குறைக்கிறது. COMET தொடர்பு சுமையை மேம்படுத்துவதன் மூலம் இந்த சிக்கலை நேரடியாக நிவர்த்தி செய்கிறது, இதன் மூலம் பெரிய அளவிலான MoE பயிற்சிக்கான மேம்பட்ட இணையான செயலாக்க திறன்களை எளிதாக்குகிறது.
ByteDance-ன் ஓப்பன் சோர்ஸ் AI நோக்கிய மூலோபாய மாற்றம் மற்றும் அதன் பரந்த தாக்கங்கள்
ByteDance AI துறையில் ஓப்பன் சோர்ஸ் கண்டுபிடிப்புகளுக்கான மூலோபாய உறுதிப்பாட்டை அதிகரித்து வருகிறது. COMET-ஐ பொதுமக்களுக்கு இலவசமாகக் கிடைக்கச் செய்வதன் மூலம், நிறுவனம் LLM பயிற்சியின் செயல்திறனை மேம்படுத்துவதை மட்டுமல்லாமல், MoE நுட்பங்களை பரவலாக ஏற்றுக்கொள்ளவும் ஊக்குவிக்கிறது. இந்த நடவடிக்கை ByteDance-ஐ AI ஆராய்ச்சி சமூகத்தில் ஒரு முக்கிய பங்களிப்பாளராக நிலைநிறுத்துகிறது, இது உலகெங்கிலும் உள்ள ஆராய்ச்சியாளர்களுக்கு ஒரு சக்திவாய்ந்த மற்றும் அளவிடக்கூடிய மேம்படுத்தல் கருவியை வழங்குகிறது.
COMET அறிமுகப்படுத்திய செயல்திறன் மேம்பாடுகள் AI வன்பொருள் சந்தையை கணிசமாக மாற்றியமைக்கும் ஆற்றலைக் கொண்டுள்ளன. உயர்நிலை GPU-க்கள் மீதான LLM-களின் சார்பைக் கணிசமாகக் குறைப்பதன் மூலம், இந்த தொழில்நுட்பம் Nvidia-வின் பிரீமியம் AI சிப்களுக்கான தேவையைக் குறைக்க வழிவகுக்கும், இது வன்பொருள் விநியோகச் சங்கிலியின் இயக்கவியலை மாற்றும்.
COMET மற்றும் UltraMem-ன் கூட்டு சக்தி: செலவு குறைப்பு இரட்டையர்கள்
தொடர்புடைய வளர்ச்சியில், ByteDance-ன் Doubao குழு UltraMem என்ற புதிய ஸ்பார்ஸ் மாடல் கட்டமைப்பையும் அறிமுகப்படுத்தியுள்ளது, இது அனுமான செலவுகளை வியத்தகு முறையில் குறைக்க வடிவமைக்கப்பட்டுள்ளது. UltraMem இந்த செலவுகளில் குறிப்பிடத்தக்க 83% குறைப்பை அடைகிறது.
COMET மற்றும் UltraMem-ன் ஒருங்கிணைந்த திறன்கள் AI செலவு குறைப்புக்கான சக்திவாய்ந்த மற்றும் கூட்டு மூலோபாயத்தை உருவாக்குகின்றன. ஒன்றாக, அவை செயல்திறனில் எந்த சமரசமும் இல்லாமல் கணக்கீட்டு செலவினங்களில் குறிப்பிடத்தக்க குறைப்பை வழங்குகின்றன, இது பெரிய அளவிலான AI வரிசைப்படுத்தல்களின் பொருளாதார நம்பகத்தன்மையில் ஒரு பெரிய முன்னேற்றத்தை குறிக்கிறது.
AI-ல் சமீபத்திய முன்னேற்றங்கள்: ஸ்டான்போர்ட் மற்றும் அலிபாபாவின் கூட்டு முன்னேற்றம்
AI ஆராய்ச்சித் துறை வேகமாக முன்னேறி வருகிறது. சமீபத்திய குறிப்பிடத்தக்க வளர்ச்சியில், புகழ்பெற்ற AI முன்னோடியான Fei-Fei Li தலைமையிலான ஸ்டான்போர்ட் பல்கலைக்கழகம் மற்றும் வாஷிங்டன் பல்கலைக்கழக ஆராய்ச்சியாளர்களின் கூட்டு முயற்சி ஒரு குறிப்பிடத்தக்க மைல்கல்லை எட்டியுள்ளது. அவர்கள் அலிபாபாவின் Qwen2.5-32B-Instruct ஓப்பன் சோர்ஸ் மாடலை வெறும் 26 நிமிடங்களில், வெறும் 16 H100 GPU-க்கள் கொண்ட கிளஸ்டரைப் பயன்படுத்தி வெற்றிகரமாக ஃபைன்-ட்யூன் செய்தனர்.
இதன் விளைவாக ஃபைன்-ட்யூன் செய்யப்பட்ட மாதிரி, OpenAI-ன் GPT-4o மற்றும் DeepSeek R1 போன்ற தொழில்துறையில் முன்னணியில் உள்ள மாடல்களுக்கு இணையான அனுமான திறன்களைக் காட்டுகிறது. இந்த சாதனை, ஒப்பீட்டளவில் குறைந்த கணக்கீட்டு வளங்களைக் கொண்டு கூட ஓப்பன் சோர்ஸ் AI முயற்சிகள் எவ்வாறு உயர் செயல்திறனை அடைய முடியும் என்பதற்கான ஒரு கட்டாய நிரூபணமாகும்.
MoE-ன் வளர்ந்து வரும் நிலப்பரப்பு மற்றும் AI செயல்திறனின் எதிர்காலம்
ByteDance-ன் ஓப்பன் சோர்ஸ் COMET கட்டமைப்பின் வெளியீடு MoE செயல்திறனின் முக்கியமான சுத்திகரிப்பு மற்றும் AI-ன் பரந்த பரிணாம வளர்ச்சிக்கு ஒரு குறிப்பிடத்தக்க பங்களிப்பைக் குறிக்கிறது. LLM-கள் சிக்கலான தன்மை மற்றும் அளவில் தொடர்ந்து முன்னேறும்போது, அளவிடுதல், செலவு-செயல்திறன் மற்றும் உயர் செயல்திறன் பயிற்சி ஆகியவற்றின் முக்கிய முன்னுரிமைகள் மிக முக்கியமானதாக இருக்கும்.
COMET பெரிய அளவிலான AI வரிசைப்படுத்தல்களை மேம்படுத்துவதில் ஒரு பெரிய முன்னேற்றத்தை எடுத்துக்காட்டுகிறது, AI மிகவும் அணுகக்கூடிய, திறமையான மற்றும் பொருளாதார ரீதியாக நிலையான எதிர்காலத்திற்கு வழி வகுக்கிறது.
COMET-ன் தொழில்நுட்ப கண்டுபிடிப்புகளை ஆழமாக ஆராய்தல்
COMET-ன் மாற்றும் திறனை முழுமையாகப் பாராட்ட, அதன் முக்கிய தொழில்நுட்ப கண்டுபிடிப்புகளை இன்னும் விரிவாக ஆராய்வது அவசியம். பயிற்சி செயல்திறன் மற்றும் செலவு குறைப்பில் இத்தகைய குறிப்பிடத்தக்க முன்னேற்றங்களை அடைவதற்கான கட்டமைப்பின் திறன், MoE கட்டமைப்புகளின் உள்ளார்ந்த சவால்களை நிவர்த்தி செய்வதற்கான அதன் அதிநவீன அணுகுமுறையிலிருந்து உருவாகிறது.
Computation-Communication Folding: ஒரு முன்னுதாரண மாற்றம்
COMET-ன் வெற்றியின் முக்கிய தூண்களில் ஒன்று Computation-Communication Folding-ன் செயலாக்கமாகும். இந்த நுட்பம் விநியோகிக்கப்பட்ட சூழல்களில் MoE மாதிரிகள் எவ்வாறு பயிற்றுவிக்கப்படுகின்றன என்பதில் ஒரு முன்னுதாரண மாற்றத்தை குறிக்கிறது. பாரம்பரிய அணுகுமுறைகள் பெரும்பாலும் ஒரு தொடர்ச்சியான தடையால் பாதிக்கப்படுகின்றன, அங்கு GPU-க்களுக்கு இடையேயான தொடர்பு கணக்கீடு முடியும் வரை காத்திருக்க வேண்டும், மற்றும் நேர்மாறாகவும். இது குறிப்பிடத்தக்க செயலற்ற நேரம் மற்றும் வளங்களின் குறைவான பயன்பாட்டிற்கு வழிவகுக்கிறது.
COMET, இருப்பினும், இந்த இரண்டு செயல்முறைகளையும் புத்திசாலித்தனமாக ஒன்றுடன் ஒன்று இணைக்கிறது. கணக்கீடு மற்றும் தொடர்பு படிகளை மூலோபாய ரீதியாக இடைநிறுத்துவதன் மூலம், இது GPU-க்களின் செயலற்ற நேரத்தை குறைக்கிறது, அவை தொடர்ந்து ஆக்கப்பூர்வமான வேலையில் ஈடுபடுவதை உறுதி செய்கிறது. இது பின்வரும் நுட்பங்களின் கலவையின் மூலம் அடையப்படுகிறது:
- Pipelined Execution: COMET பயிற்சி செயல்முறையை சிறிய, சுதந்திரமான நிலைகளாக உடைக்கிறது, அவை ஒரு பைப்லைன் முறையில் செயல்படுத்தப்படலாம். இது ஒரு நிலைக்கான தொடர்பு மற்றொரு நிலைக்கான கணக்கீட்டுடன் ஒரே நேரத்தில் நிகழ அனுமதிக்கிறது, இணையான தன்மையை அதிகரிக்கிறது.
- Optimized Data Transfer: கட்டமைப்பு தகவல்தொடர்புடன் தொடர்புடைய சுமையை குறைக்க மேம்பட்ட தரவு பரிமாற்ற உத்திகளைப் பயன்படுத்துகிறது. இதில் தரவு சுருக்கம் மற்றும் திறமையான ரூட்டிங் அல்காரிதம்கள் போன்ற நுட்பங்கள் அடங்கும்.
- Asynchronous Operations: COMET ஒத்திசைவற்ற தொடர்பு மற்றும் கணக்கீட்டு செயல்பாடுகளைப் பயன்படுத்துகிறது, மற்ற GPU-க்கள் தங்கள் பணிகளை முடிக்கும் வரை காத்திருக்காமல் GPU-க்கள் தங்கள் பணிகளைத் தொடர அனுமதிக்கிறது.
டைனமிக் GPU ரிசோர்ஸ் அலோகேஷன்: மாடலின் தேவைகளுக்கு ஏற்ப
COMET-ன் அணுகுமுறையின் இரண்டாவது முக்கியமான கூறு அதன் டைனமிக் GPU ரிசோர்ஸ் அலோகேஷன் பொறிமுறையாகும். பாரம்பரிய MoE பயிற்சி பெரும்பாலும் நிலையான ஒதுக்கீட்டை நம்பியுள்ளது, அங்கு ஒவ்வொரு GPU-க்கும் ஒரு நிலையான நிபுணர்கள் ஒதுக்கப்படுகிறார்கள். இது பணிச்சுமை விநியோகத்தில் ஏற்றத்தாழ்வுகளுக்கு வழிவகுக்கும், ஏனெனில் சில நிபுணர்கள் மற்றவர்களை விட கணக்கீட்டு ரீதியாக அதிக தேவை உள்ளவர்களாக இருக்கலாம்.
COMET, மாறாக, GPU-க்களுக்கான நிபுணர்களின் ஒதுக்கீட்டை அவற்றின் தற்போதைய பணிச்சுமை மற்றும் பயிற்சி செயல்முறையின் ஒட்டுமொத்த நிலையின் அடிப்படையில் மாறும் வகையில் சரிசெய்கிறது. இது கணக்கீட்டு சுமையின் மிகவும் சீரான விநியோகத்தை உறுதி செய்கிறது, இது மேம்பட்ட வள பயன்பாடு மற்றும் வேகமான பயிற்சி நேரங்களுக்கு வழிவகுக்கிறது. டைனமிக் அலோகேஷன் மூலம் அடையப்படுகிறது:
- Real-time Monitoring: COMET ஒவ்வொரு GPU-வின் செயல்திறனையும் ஒவ்வொரு நிபுணரின் கணக்கீட்டு தேவைகளையும் தொடர்ந்து கண்காணிக்கிறது.
- Adaptive Rebalancing: கண்காணிப்பு தரவின் அடிப்படையில், கட்டமைப்பு அவ்வப்போது GPU-க்களுக்கான நிபுணர்களின் ஒதுக்கீட்டை மறுசீரமைக்கிறது, உகந்த சுமை விநியோகத்தை உறுதி செய்கிறது.
- Intelligent Scheduling: COMET வெவ்வேறு நிபுணர்களுக்கிடையேயான சார்புகள் மற்றும் கிடைக்கக்கூடிய வளங்களை கணக்கில் எடுத்துக்கொண்டு, பணிகளை செயல்படுத்த மிகவும் திறமையான வரிசையை தீர்மானிக்க அறிவார்ந்த திட்டமிடல் அல்காரிதம்களைப் பயன்படுத்துகிறது.
AI சுற்றுச்சூழல் அமைப்பில் பரந்த தாக்கம்
COMET-ன் தாக்கங்கள் ByteDance-ன் உள் செயல்பாடுகளுக்கு அப்பால் நீட்டிக்கப்படுகின்றன. அதன் ஓப்பன் சோர்ஸ் தன்மை மற்றும் நிரூபிக்கப்பட்ட செயல்திறன் ஆகியவை பரந்த AI சுற்றுச்சூழல் அமைப்பில் ஆழமான தாக்கத்தை ஏற்படுத்தும்.
மேம்பட்ட AI பயிற்சிக்கான அணுகலை ஜனநாயகப்படுத்துதல்
COMET-ஐ இலவசமாகக் கிடைக்கச் செய்வதன் மூலம், ByteDance மேம்பட்ட AI பயிற்சி நுட்பங்களுக்கான அணுகலை ஜனநாயகப்படுத்துவதற்கு பங்களிக்கிறது. சிறிய ஆராய்ச்சி குழுக்கள் மற்றும் நிறுவனங்கள் தங்கள் சொந்த மேம்படுத்தல் கட்டமைப்புகளை உருவாக்க வளங்கள் இல்லாதவர்கள், இப்போது COMET-ஐப் பயன்படுத்தி பெரிய அளவிலான MoE மாடல்களை மிகவும் திறமையாகவும் செலவு குறைந்ததாகவும் பயிற்றுவிக்க முடியும்.
MoE கட்டமைப்புகளை ஏற்றுக்கொள்வதை துரிதப்படுத்துதல்
COMET வழங்கும் செயல்திறன் ஆதாயங்கள் தொழில்துறை முழுவதும் MoE கட்டமைப்புகளை ஏற்றுக்கொள்வதை துரிதப்படுத்தும். இந்த மாடல்களைப் பயிற்றுவிப்பதில் உள்ள சவால்கள் குறைக்கப்படுவதால், மேலும் நிறுவனங்கள் இன்னும் பெரிய மற்றும் சக்திவாய்ந்த AI அமைப்புகளை உருவாக்குவதற்கான அவற்றின் திறனை ஆராய ஊக்குவிக்கப்படும்.
AI வன்பொருள் மற்றும் மென்பொருளில் கண்டுபிடிப்புகளை வளர்ப்பது
AI வன்பொருள் சந்தையில் COMET-ன் தாக்கமும் குறிப்பிடத்தக்கது. உயர்நிலை GPU-க்கள் மீதான சார்பைக் குறைப்பதன் மூலம், இது AI பயிற்சிக்கான மிகவும் சிறப்பு வாய்ந்த மற்றும் செலவு குறைந்த தீர்வுகளை உருவாக்க வன்பொருள் உற்பத்தியாளர்களை ஊக்குவிக்கும். இது AI மென்பொருள் மற்றும் மேம்படுத்தல் நுட்பங்களில் மேலும் கண்டுபிடிப்புகளைத் தூண்டக்கூடும்.
ஒத்துழைப்பு மற்றும் அறிவு பகிர்வை ஊக்குவித்தல்
COMET-ன் ஓப்பன் சோர்ஸ் தன்மை AI சமூகத்திற்குள் ஒத்துழைப்பு மற்றும் அறிவு பகிர்வை வளர்க்கிறது. ஆராய்ச்சியாளர்கள் மற்றும் டெவலப்பர்கள் கட்டமைப்பிற்கு பங்களிக்க முடியும், அதன் திறன்களை மேலும் மேம்படுத்தலாம் மற்றும் வெவ்வேறு பயன்பாட்டு நிகழ்வுகளுக்கு ஏற்ப மாற்றலாம். AI துறையில் விரைவான முன்னேற்றத்தை இயக்குவதற்கு இந்த கூட்டு அணுகுமுறை அவசியம்.
COMET-ன் அறிமுகம் AI பயிற்சியின் பரிணாம வளர்ச்சியில் ஒரு குறிப்பிடத்தக்க மைல்கல்லைக் குறிக்கிறது. MoE கட்டமைப்புகளை மேம்படுத்துவதற்கான அதன் புதுமையான அணுகுமுறை, அதன் ஓப்பன் சோர்ஸ் கிடைக்கும் தன்மையுடன் இணைந்து, பெருகிய முறையில் சக்திவாய்ந்த மற்றும் திறமையான AI அமைப்புகளின் வளர்ச்சி மற்றும் வரிசைப்படுத்தலை துரிதப்படுத்தும் என்று உறுதியளிக்கிறது. AI நிலப்பரப்பு தொடர்ந்து உருவாகி வருவதால், COMET சாத்தியமானவற்றின் எல்லைகளைத் தள்ளுவதில் கண்டுபிடிப்பு மற்றும் ஒத்துழைப்பின் சக்திக்கு ஒரு சான்றாக நிற்கிறது.