DeepSeek-ன் சகாப்தத்துக்குப் பிறகு AI சிப்கள் மற்றும் உள்கட்டமைப்பை மறுபரிசீலனை செய்தல்
DeepSeek-ன் முன்னேற்றங்களால் எடுத்துக்காட்டப்படும் AI தொழில்நுட்பத்தில் புதுமையின் வேகமான வேகம், தேவையான கணினி சக்தியை வழங்க, தரவு மையங்கள், சிப்கள் மற்றும் அமைப்புகளை எவ்வாறு உருவாக்குகிறோம் என்பதைப் பற்றிய ஒரு அடிப்படை மறு மதிப்பீட்டை அவசியமாக்குகிறது. DeepSeek-ன் பொறியியல் கண்டுபிடிப்புகள் AI கணினி செலவுகளை கணிசமாகக் குறைத்துள்ளன, இது AI உள்கட்டமைப்பின் எதிர்காலம் பற்றிய ஒரு பரந்த விவாதத்தைத் தூண்டுகிறது.
DeepSeek AI தொழில்நுட்பத்தின் எல்லைகளை வியத்தகு முறையில் விரிவுபடுத்தாமல் இருக்கலாம், ஆனால் AI சந்தையில் அதன் செல்வாக்கு ஆழமானது. Mixture of Experts (MoE), Multi-Layer Attention (MLA), மற்றும் Multi-Token Prediction (MTP) போன்ற தொழில்நுட்பங்கள் DeepSeek உடன் முக்கியத்துவம் பெற்றுள்ளன. இந்த தொழில்நுட்பங்கள் அனைத்தும் DeepSeek-ஆல் கண்டுபிடிக்கப்படவில்லை என்றாலும், அவற்றின் வெற்றிகரமான செயல்படுத்தல் பரவலான தத்தெடுப்பைத் தூண்டியுள்ளது. MLA குறிப்பாக, எட்ஜ் சாதனங்கள் முதல் கிளவுட் கம்ப்யூட்டிங் வரை பல்வேறு தளங்களில் விவாதத்தின் மைய புள்ளியாக மாறியுள்ளது.
MLA மற்றும் அல்காரிதம் புதுமையின் சவால்
NextSilicon இன் CEO எலாட் ராஸ் சமீபத்தில் சுட்டிக்காட்டியதாவது, MLA நினைவக செயல்திறனை மேம்படுத்தினாலும், இது டெவலப்பர்களுக்கான பணியை அதிகரிக்கலாம் மற்றும் உற்பத்திச் சூழல்களில் AI பயன்பாட்டை சிக்கலாக்கலாம். GPU பயனர்கள் MLA க்காக ‘கை-குறியீடு’ தேர்வுமுறைக்கு ஈடுபட வேண்டியிருக்கலாம். இந்த உதாரணம் DeepSeek சகாப்தத்துக்குப் பிறகு AI சிப்கள் மற்றும் உள்கட்டமைப்பு கட்டமைப்புகளின் செயல்பாட்டை மறுபரிசீலனை செய்ய வேண்டிய தேவையை அடிக்கோடிட்டுக் காட்டுகிறது.
MLA இன் முக்கியத்துவத்தை புரிந்து கொள்ள, Large Language Models (LLMs) இன் அடிப்படைக் கருத்துகளைப் புரிந்துகொள்வது அவசியம். பயனர் உள்ளீடுகளுக்கு பதில்களை உருவாக்கும்போது, LLM கள் KV வெக்டர்களை பெரிதும் நம்பியுள்ளன - விசைகள் மற்றும் மதிப்புகள் - இது மாதிரியை தொடர்புடைய தரவுகளில் கவனம் செலுத்த உதவுகிறது. கவன வழிமுறைகளில், மாதிரி புதிய கோரிக்கைகளை விசைகளுடன் ஒப்பிட்டு மிகவும் பொருத்தமான உள்ளடக்கத்தைத் தீர்மானிக்கிறது.
எலாட் ராஸ் ஒரு புத்தகத்தின் ஒப்புமையை பயன்படுத்துகிறார், சாவி ‘ஒரு புத்தகத்தின் அத்தியாய தலைப்புகள் போன்றவை, ஒவ்வொரு பகுதியும் எதைப் பற்றியது என்பதைக் குறிக்கிறது, மதிப்பு அந்த தலைப்புகளின் கீழ் மேலும் விரிவான சுருக்கங்களாக உள்ளது. எனவே ஒரு பயனர் கோரிக்கையை வைக்கும்போது, பதிலைப் பெற உதவும் தேடல் சொல்லைக் கேட்கிறார். ‘இந்த கதைக்களத்தின் கீழ், எந்த அத்தியாயம் மிகவும் பொருத்தமானது?’ என்று கேட்கிறார்.
MLA இந்த அத்தியாய தலைப்புகள் (விசைகள்) மற்றும் சுருக்கங்களை (மதிப்புகள்) சுருக்குகிறது, பதில்களைக் கண்டுபிடிக்கும் செயல்முறையை விரைவுபடுத்துகிறது மற்றும் செயல்திறனை அதிகரிக்கிறது. இறுதியில், MLA DeepSeek நினைவக பயன்பாட்டை 5-13% குறைக்க உதவுகிறது. மேலும் விரிவான தகவல்களை DeepSeek-ன் அதிகாரப்பூர்வ ஆவணத்தில் காணலாம். மீடியா டெக்கின் டெவலப்பர் மாநாடு கூட அவர்களின் Dimensity மொபைல் சிப்களில் MLA க்கான ஆதரவைப் பற்றி விவாதித்தது, இது DeepSeek-ன் விரிவான செல்வாக்கை அடிக்கோடிட்டுக் காட்டுகிறது.
MLA போன்ற தொழில்நுட்பங்கள் AI யுகத்தில் பொதுவான அல்காரிதம் கண்டுபிடிப்புகளைக் குறிக்கின்றன. இருப்பினும், AI தொழில்நுட்ப வளர்ச்சியின் வேகமான வேகம் புதுமைகளின் நிலையான ஓட்டத்திற்கு வழிவகுக்கிறது, இது புதிய சவால்களை உருவாக்குகிறது, குறிப்பாக இந்த கண்டுபிடிப்புகள் குறிப்பிட்ட தளங்களுக்கு ஏற்றவாறு இருக்கும்போது. MLA விஷயத்தில், NVIDIA அல்லாத GPU பயனர்கள் தொழில்நுட்பத்தை மேம்படுத்த கூடுதல் கையேடு குறியீடாக்கம் தேவை.
DeepSeek-ன் தொழில்நுட்பங்கள் AI யுகத்தின் கண்டுபிடிப்பு மற்றும் மதிப்பை நிரூபிக்கின்றன, வன்பொருள் மற்றும் மென்பொருள் இந்த கண்டுபிடிப்புகளுக்கு ஏற்ப மாற வேண்டும். எலாட் ராஸ் கருத்துப்படி, இத்தகைய தழுவல் டெவலப்பர்கள் மற்றும் உற்பத்திச் சூழல்களுக்கான சிக்கலைக் குறைக்க வேண்டும். இல்லையெனில், ஒவ்வொரு கண்டுபிடிப்பின் விலையும் மிக அதிகமாகிவிடும்.
அப்போது கேள்வி என்னவென்றால்: ‘அடுத்த அல்காரிதம் கண்டுபிடிப்பு நன்றாக மொழிபெயர்க்கப்படாவிட்டால் என்ன நடக்கும், மேலும் ஏற்கனவே உள்ள கட்டமைப்புகளுக்கு எளிமையாக இல்லை?’
சிப் வடிவமைப்புக்கும் அல்காரிதம் புதுமைக்கும் இடையிலான மோதல்
கடந்த சில ஆண்டுகளில், AI சிப் உற்பத்தியாளர்கள் பெரிய AI சிப்களை வடிவமைக்க குறைந்தபட்சம் 1-2 ஆண்டுகள் ஆகும் என்று தொடர்ந்து தெரிவித்துள்ளனர். இதன் பொருள் சிப் வடிவமைப்பு ஒரு சிப் சந்தையில் வெளியாவதற்கு முன்பே தொடங்க வேண்டும். AI தொழில்நுட்பத்தில் விரைவான முன்னேற்றங்கள் இருப்பதால், AI சிப் வடிவமைப்பு தொலைநோக்கு பார்வையுடன் இருக்க வேண்டும். தற்போதைய தேவைகளில் மட்டும் கவனம் செலுத்துவதால் காலாவதியான AI சிப்கள் ஏற்படும், அவை சமீபத்திய பயன்பாட்டு கண்டுபிடிப்புகளுக்கு ஏற்றதாக இருக்க முடியாது.
AI பயன்பாட்டு அல்காரிதம் கண்டுபிடிப்பு இப்போது வாரந்தோறும் நடைபெறுகிறது. முந்தைய கட்டுரைகளில் குறிப்பிட்டுள்ளபடி, அதே திறன்களை அடைய AI மாடல்களுக்கு தேவையான கணினி சக்தி ஆண்டுதோறும் 4-10 மடங்கு குறைகிறது. GPT-3 க்கு ஒத்த தரத்தை அடையும் AI மாடல்களின் அனுமானச் செலவு கடந்த மூன்று ஆண்டுகளில் 1200 மடங்கு குறைந்துள்ளது. தற்போது, 2B அளவுருக்களைக் கொண்ட மாதிரிகள் நேற்று முன் தினம் 170B அளவுரு GPT-3 ஐப் போலவே அடைய முடியும். AI தொழில்நுட்ப ஸ்டேக்கின் மேல் அடுக்குகளில் இந்த விரைவான கண்டுபிடிப்பு பாரம்பரிய சிப் கட்டமைப்பு திட்டமிடல் மற்றும் வடிவமைப்பிற்கு குறிப்பிடத்தக்க சவால்களை அளிக்கிறது.
DeepSeek MLA போன்ற கண்டுபிடிப்புகளை தொழில் AI தொழில்நுட்பத்திற்கான விதிமுறையாக அங்கீகரிக்க வேண்டும் என்று எலாட் ராஸ் நம்புகிறார். ‘அடுத்த தலைமுறை கம்ப்யூட்டிங் இன்றைய பணிச்சுமைகளுக்கு மட்டுமல்ல, எதிர்கால முன்னேற்றங்களுக்கும் உகந்ததாக இருக்க வேண்டும்.’ இந்த முன்னோக்கு சிப் தொழிலுக்கு மட்டுமல்ல, AI தொழில்நுட்ப ஸ்டேக்கின் முழு நடுத்தர-கீழ்-நிலை உள்கட்டமைப்புக்கும் பொருந்தும்.
‘DeepSeek மற்றும் பிற கண்டுபிடிப்புகள் அல்காரிதம் புதுமையின் விரைவான முன்னேற்றத்தை நிரூபித்துள்ளன’ என்று எலாட் ராஸ் கூறினார். ‘புதிய நுண்ணறிவு மற்றும் கண்டுபிடிப்புகளை இயக்க ஆராய்ச்சியாளர்கள் மற்றும் தரவு விஞ்ஞானிகளுக்கு பல்துறை, மீள்தன்மை கருவிகள் தேவை. வாடிக்கையாளர்கள் இருக்கும் முடுக்கி தீர்வுகளை ‘டிராப்-இன் மாற்றுவதற்கு’ அனுமதிக்கும் அதே வேளையில், டெவலப்பர்கள் தங்கள் வேலையை வலியின்றி எடுத்துச் செல்ல உதவும் அறிவார்ந்த, மென்பொருள் வரையறுக்கப்பட்ட வன்பொருள் கணினி தளங்கள் சந்தைக்குத் தேவை.
இந்த சூழ்நிலையைச் சமாளிக்க, தொழில் மிகவும் அறிவார்ந்த, தகவமைக்கக்கூடிய மற்றும் நெகிழ்வான கணினி உள்கட்டமைப்பை வடிவமைக்க வேண்டும்.
நெகிழ்வுத்தன்மை மற்றும் செயல்திறன் பெரும்பாலும் முரண்பட்ட இலக்குகள். CPU கள் மிகவும் நெகிழ்வானவை, ஆனால் GPU களை விட கணிசமாக குறைவான இணையான கணினி செயல்திறன் உள்ளது. GPU கள், அவற்றின் நிரலாக்கத்துடன், அர்ப்பணிக்கப்பட்ட AI ASIC சிப்களை விட குறைவான செயல்திறன் கொண்டதாக இருக்கலாம்.
NVIDIA AI தரவு மைய ரேக்குகள் விரைவில் 600kW மின் நுகர்வுக்கு வரும் என்று எதிர்பார்க்கிறது என்று எலாட் ராஸ் குறிப்பிட்டார். சூழலுக்கு, நிலையான நிறுவன தரவு மையங்களில் 75% ஒரு ரேக்கிற்கு 15-20kW உச்ச மின் நுகர்வு மட்டுமே உள்ளது. AI இல் சாத்தியமான செயல்திறன் ஆதாயங்களைப் பொருட்படுத்தாமல், இது கணினி உள்கட்டமைப்பு அமைப்புகளை உருவாக்கும் தரவு மையங்களுக்கு ஒரு குறிப்பிடத்தக்க சவாலாக உள்ளது.
எலாட் ராஸ் பார்வையில், தற்போதைய GPU கள் மற்றும் AI முடுக்கிகள் AI மற்றும் உயர்-செயல்திறன் கம்ப்யூட்டிங் (HPC) இன் சாத்தியமான தேவைகளைப் பூர்த்தி செய்ய போதுமானதாக இல்லை. ‘கம்ப்யூட்டிங் திறனை எவ்வாறு மேம்படுத்துவது என்பதை நாம் அடிப்படையில் மறுபரிசீலனை செய்யாவிட்டால், தொழில் உடல் மற்றும் பொருளாதார வரம்புகளை அடையும் அபாயம் உள்ளது. இந்த சுவர் பக்க விளைவுகளையும் ஏற்படுத்தும், மேலும் அதிகமான நிறுவனங்களுக்கு AI மற்றும் HPC க்கான அணுகலைக் கட்டுப்படுத்துகிறது, அல்காரிதம்கள் அல்லது பாரம்பரிய GPU கட்டமைப்புகளில் முன்னேற்றங்கள் இருந்தபோதிலும் புதுமைகளைத் தடுக்கிறது.
அடுத்த தலைமுறை கம்ப்யூட்டிங் உள்கட்டமைப்புக்கான பரிந்துரைகள் மற்றும் தேவைகள்
இந்த அவதானிப்புகளின் அடிப்படையில், அடுத்த தலைமுறை கம்ப்யூட்டிங் உள்கட்டமைப்பை வரையறுக்க எலாட் ராஸ் ‘நான்கு தூண்களை’ முன்மொழிந்தார்:
(1) பிளக்-அண்ட்-பிளே மாற்றியமைத்தல்: ‘CPU இலிருந்து GPU க்கு இடம்பெயர்வு போன்ற சிக்கலான கட்டமைப்பு மாற்றங்களை முழுமையாக செயல்படுத்த பல தசாப்தங்கள் ஆகலாம் என்று வரலாறு காட்டுகிறது. எனவே, அடுத்த தலைமுறை கணினி கட்டமைப்புகள் சுமூகமான இடம்பெயர்வை ஆதரிக்க வேண்டும்.’ ‘பிளக்-அண்ட்-பிளே’ மாற்றியமைப்பதற்கு, புதிய கணினி கட்டமைப்புகள் x86 மற்றும் Arm சூழலியலில் இருந்து கற்றுக்கொள்ள வேண்டும் என்று எலாட் ராஸ் பரிந்துரைக்கிறார், பின்னோக்கி பொருந்தக்கூடிய தன்மை மூலம் பரந்த தத்தெடுப்பை அடைகிறது.
நவீன வடிவமைப்புகள் டெவலப்பர்கள் அதிக அளவு குறியீட்டை மீண்டும் எழுத வேண்டியது அல்லது குறிப்பிட்ட விற்பனையாளர்களிடம் சார்புகளை உருவாக்குவதையும் தவிர்க்க வேண்டும். ‘உதாரணமாக, MLA போன்ற வளர்ந்து வரும் தொழில்நுட்பங்களுக்கான ஆதரவு தரப்படுத்தப்பட வேண்டும், NVIDIA அல்லாத GPU களில் இருப்பதைப் போல கூடுதல் கையேடு சரிசெய்தல் தேவையில்லை. அடுத்த தலைமுறை அமைப்புகள் கையேடு குறியீடு மாற்றங்கள் அல்லது குறிப்பிடத்தக்க API சரிசெய்தல்கள் தேவையின்றி புதிய பணிச்சுமைகளைப் புரிந்து கொண்டு மேம்படுத்த வேண்டும்.’
(2) தகவமைக்கக்கூடிய, நிகழ்நேர செயல்திறன் தேர்வுமுறை: தொழில் நிலையான-செயல்பாடு முடுக்கிகளிலிருந்து விலகிச் செல்ல வேண்டும் என்று எலாட் ராஸ் நம்புகிறார். ‘நிகழ்நேரத்தில் தானாகவே மேம்படுத்தக்கூடிய அறிவார்ந்த, மென்பொருள் வரையறுக்கப்பட்ட வன்பொருள் அடித்தளங்களை தொழில் உருவாக்க வேண்டும்.’
‘பணிச்சுமைகளிலிருந்து தொடர்ந்து கற்றுக்கொள்வதன் மூலம், எதிர்கால அமைப்புகள் நிகழ்நேரத்தில் தங்களைத் தாங்களே சரிசெய்து, அதிகபட்ச பயன்பாடு மற்றும் நிலையான செயல்திறனை அதிகரிக்க முடியும், குறிப்பிட்ட பயன்பாட்டு பணிச்சுமை எதுவாக இருந்தாலும். இந்த மாறும் தகவமைப்பு, HPC உருவகப்படுத்துதல்கள், சிக்கலான AI மாதிரிகள் அல்லது வெக்டர் தரவுத்தள செயல்பாடுகளை இயக்குகிறதா என்பதைப் பொருட்படுத்தாமல், உள்கட்டமைப்பு நிஜ உலக சூழ்நிலைகளில் நிலையான செயல்திறனை வழங்க முடியும் என்பதாகும்.’
(3) அளவிடக்கூடிய செயல்திறன்: ‘வன்பொருள் மற்றும் மென்பொருளைப் பிரிப்பதன் மூலமும், அறிவார்ந்த நிகழ்நேர தேர்வுமுறையில் கவனம் செலுத்துவதன் மூலமும், எதிர்கால அமைப்புகள் அதிக பயன்பாட்டையும் ஒட்டுமொத்த ஆற்றல் நுகர்வையும் குறைக்க வேண்டும். இது உள்கட்டமைப்பை மிகவும் சிக்கனமானதாகவும், புதிய பணிச்சுமைகளின் வளர்ந்து வரும் தேவைகளைப் பூர்த்தி செய்ய அளவிடக்கூடியதாகவும் மாற்றும்.’
(4) எதிர்கால வடிவமைப்பு: இந்த புள்ளி AI உள்கட்டமைப்புக்கான தொலைநோக்கு தேவைக்கு ஒத்திருக்கிறது, குறிப்பாக சிப் வடிவமைப்பு. ‘இன்றைய அதிநவீன அல்காரிதம்கள் நாளை காலாவதியாகிவிடும்.’ ‘இது AI நரம்பியல் நெட்வொர்க்குகளாக இருந்தாலும் அல்லது டிரான்ஸ்பார்மர் அடிப்படையிலான LLM மாடல்களாக இருந்தாலும், அடுத்த தலைமுறை கணினி உள்கட்டமைப்பு தகவமைக்கக்கூடியதாக இருக்க வேண்டும், நிறுவனங்களின் தொழில்நுட்ப முதலீடுகள் பல ஆண்டுகளாக மீள்தன்மையுடன் இருப்பதை உறுதி செய்கிறது.’
இந்த பரிந்துரைகள் ஒப்பீட்டளவில் இலட்சியமான இன்னும் சிந்தனையைத் தூண்டும் முன்னோக்கை வழங்குகின்றன. AI மற்றும் HPC தொழில்நுட்பங்களின் எதிர்கால வளர்ச்சிக்கு இந்த வழிகாட்டும் முறை கருத்தில் கொள்ளப்பட வேண்டும், சில உள்ளார்ந்த முரண்பாடுகள் தொழில்துறையில் நீண்டகால சிக்கல்களாக இருந்தாலும் கூட. ‘AI, HPC மற்றும் பிற எதிர்கால கணினி மற்றும் தரவு-தீவிர பணிச்சுமைகளின் திறனை வெளிக்கொணர, உள்கட்டமைப்பை மறுபரிசீலனை செய்து புதுமை மற்றும் முன்னோடிகளை ஆதரிக்க மாறும் மற்றும் அறிவார்ந்த தீர்வுகளைத் தழுவ வேண்டும்.’