அலிபாபாவின் QwQ: ஒரு நெருக்கமான பார்வை
அலிபாபாவின் Qwen குழுவினர், QwQ என்ற தங்கள் புதிய படைப்பின் மூலம் களமிறங்கியுள்ளனர். இந்த மாடல், பெரிய மாடல்களின் செயல்திறனை எதிர்த்துப் போட்டியிடும் அதே வேளையில், ஆச்சரியப்படத்தக்க வகையில் சிறிய அளவிலான அமைப்பைப் பராமரிப்பதை நோக்கமாகக் கொண்டுள்ளது.
ஜாம்பவான்களுக்கு சவால்: ஒரு சிறிய போட்டியாளர்
QwQ, டீப்சீக் R1-இன் 671 பில்லியனுடன் ஒப்பிடுகையில் வெறும் 32 பில்லியன் அளவுருக்களைக் கொண்டிருந்தாலும், இது ஒரு ‘தர்க்கரீதியான’ மாதிரியாக நிலைநிறுத்தப்பட்டுள்ளது. அலிபாபா இந்த ஒப்பீட்டளவில் சிறிய மாதிரி குறிப்பிட்ட அளவுகோல்களில், குறிப்பாக கணிதம், கோடிங் மற்றும் ஃபங்ஷன்-காலிங் போன்ற பகுதிகளில் R1-ஐ விட சிறப்பாக செயல்பட முடியும் என்று வலியுறுத்துகிறது. இந்த லட்சிய கூற்று, QwQ-இன் உள் செயல்பாடுகள் மற்றும் உண்மையான உலக செயல்திறனை உன்னிப்பாகக் கவனிக்கத் தூண்டுகிறது.
வலுவூட்டல் கற்றல்: QwQ-வின் திறமைக்கான திறவுகோல்
டீப்சீக் R1 ஐப் போலவே, Qwen குழுவும் QwQ-வின் சிந்தனைத் தொடர் பகுத்தறியும் திறன்களைச் செம்மைப்படுத்த வலுவூட்டல் கற்றல் (RL) முறையைப் பயன்படுத்தியது. இந்த முறை சிக்கலான சிக்கல்களை படிப்படியாக பகுப்பாய்வு செய்து உடைக்கும் மாதிரியின் திறனை மேம்படுத்துகிறது. RL-இல் உள்ள பாரம்பரிய அணுகுமுறை சரியான பதில்களுக்கு மாதிரியை வெகுமதி அளிப்பதை உள்ளடக்குகிறது, இதனால் துல்லியமான பதில்களை வலுப்படுத்துகிறது.
இருப்பினும், Qwen குழு QwQ உடன் மிகவும் நுணுக்கமான அணுகுமுறையை மேற்கொண்டது. அவர்கள் துல்லிய சரிபார்ப்பு மற்றும் குறியீடு செயல்படுத்தும் சேவையகத்தை ஒருங்கிணைத்தனர். இந்த முக்கியமான சேர்த்தல் கணித ரீதியாக சரியான தீர்வுகள் மற்றும் செயல்பாட்டு குறியீட்டிற்கு மட்டுமே வெகுமதிகள் வழங்கப்படுவதை உறுதி செய்கிறது. இந்த கடுமையான சரிபார்ப்பு செயல்முறையை செயல்படுத்துவதன் மூலம், குழு அதிக அளவு துல்லியம் மற்றும் நம்பகத்தன்மையைக் காட்டும் ஒரு மாதிரியை வளர்ப்பதை நோக்கமாகக் கொண்டுள்ளது.
செயல்திறன் கூற்றுகள்: ஒரு உண்மைச் சரிபார்ப்பு
Qwen குழுவின் முயற்சிகள், அவர்கள் கூறுவது போல், அதன் எடை வகுப்பிற்கு மேலே கணிசமாக செயல்படும் ஒரு மாதிரியை உருவாக்கியுள்ளன. QwQ ஆனது மிகப் பெரிய மாடல்களுக்கு இணையாகவும், சில சமயங்களில் அதை விடவும் அதிக செயல்திறன் நிலைகளை அடைவதாக அவர்கள் வலியுறுத்துகின்றனர்.
இருப்பினும், AI அளவுகோல்களின் உலகம் சிக்கலானதாக இருக்கலாம். அறிக்கையிடப்பட்ட புள்ளிவிவரங்களைத் தாண்டி, இந்தக் கூற்றுகள் நடைமுறை, உண்மையான உலக சூழ்நிலைகளில் எவ்வாறு மொழிபெயர்க்கப்படுகின்றன என்பதை ஆராய்வது முக்கியம்.
நேரடி சோதனை: QwQ-வை அதன் வேகத்தில் இயக்குதல்
QwQ-வின் திறன்களை மதிப்பிடுவதற்கு, பலதரப்பட்ட களங்களை உள்ளடக்கிய தொடர்ச்சியான சோதனை தூண்டுதல்கள் வடிவமைக்கப்பட்டன. பொது அறிவு, இடஞ்சார்ந்த பகுத்தறிவு, சிக்கல் தீர்க்கும் திறன், கணிதம் மற்றும் மிகவும் மேம்பட்ட பெரிய மொழி மாதிரிகளுக்கு (LLMs) கூட சிரமங்களை ஏற்படுத்தும் பிற சவால்கள் இதில் அடங்கும்.
முழு மாதிரியின் கணிசமான நினைவக தேவைகள் காரணமாக, சோதனை இரண்டு உள்ளமைவுகளில் செயல்படுத்தப்பட்டது. முதலாவதாக, முழுமையான மாதிரி Hugging Face-இல் உள்ள QwQ டெமோவைப் பயன்படுத்தி மதிப்பீடு செய்யப்பட்டது. இது அதன் முழு திறனை மதிப்பிட அனுமதித்தது. இரண்டாவதாக, 4-பிட் குவாண்டைஸ் செய்யப்பட்ட பதிப்பு 24GB GPU-இல் (குறிப்பாக, Nvidia 3090 அல்லது AMD Radeon RX 7900XTX) சோதிக்கப்பட்டது. இந்த உள்ளமைவு, குவாண்டைசேஷன் மாதிரியின் துல்லியத்தில் ஏற்படுத்தும் தாக்கத்தை அளவிடுவதை நோக்கமாகக் கொண்டது, இது குறைவான சக்திவாய்ந்த வன்பொருள் கொண்ட பயனர்களுக்கு மிகவும் அணுகக்கூடியதாக அமைகிறது.
பொது அறிவு: தன்னை நிலைநிறுத்துதல்
பெரும்பாலான பொது அறிவு கேள்விகளுக்கு பதிலளிக்கும் விதமாக, QwQ டீப்சீக்கின் 671-பில்லியன்-அளவுரு R1 மற்றும் OpenAI-இன் o3-மினி போன்ற பிற பகுத்தறியும் மாடல்களுடன் ஒப்பிடக்கூடிய செயல்திறனைக் காட்டியது. மாதிரி பொதுவாக கேள்விக்கு பதிலளிப்பதற்கு முன் தனது எண்ணங்களை உருவாக்க சில வினாடிகள் எடுத்துக் கொண்டது. இந்த நடத்தை பகுத்தறியும் மாதிரிகளின் சிறப்பியல்பு ஆகும், இது உடனடி பதில்களை விட கவனமாக பரிசீலனைக்கு முன்னுரிமை அளிக்கிறது.
சிக்கலான தன்மையில் சிறந்து விளங்குதல்: தர்க்கம், குறியீட்டு முறை மற்றும் கணிதம்
தர்க்கம், குறியீட்டு முறை அல்லது கணிதம் சம்பந்தப்பட்ட மிகவும் சிக்கலான சவால்களைச் சமாளிப்பதில் QwQ தன்னை வேறுபடுத்திக் காட்டத் தொடங்குகிறது. அதன் பலங்களை முன்னிலைப்படுத்தவும், அது குறைவான பகுதிகளை நிவர்த்தி செய்யவும் இந்த பகுதிகளை ஆராய்வோம்.
இடஞ்சார்ந்த பகுத்தறிவு: பிரமையை வழிநடத்துதல்
QwQ-வை மதிப்பிடுவதற்கு, Homebrew Research-ஆல் அவர்களின் AlphaMaze திட்டத்தின் ஒரு பகுதியாக உருவாக்கப்பட்ட ஒப்பீட்டளவில் புதிய இடஞ்சார்ந்த-பகுத்தறிவு சோதனை பயன்படுத்தப்பட்டது.
உள்நாட்டில் ஹோஸ்ட் செய்யப்பட்ட QwQ நிகழ்வு மற்றும் முழு அளவு மாதிரி ஆகிய இரண்டும் இந்த புதிர்களை தொடர்ந்து வெற்றிகரமாக தீர்த்தன. இருப்பினும், ஒவ்வொரு ஓட்டமும் முடிக்க சில நிமிடங்கள் தேவைப்பட்டது. QwQ இடஞ்சார்ந்த பகுத்தறிவை திறம்பட கையாள முடியும் என்றாலும், அது வேகமானதாக இருக்க வேண்டிய அவசியமில்லை என்பதை இது குறிக்கிறது.
மாறாக, டீப்சீக்கின் R1 மற்றும் அதன் 32B டிஸ்டில் ஆகியவை வெவ்வேறு நடத்தைகளைக் காட்டின. இரண்டு மாடல்களும் முதல் பிரமையை வெற்றிகரமாக தீர்த்தன. இருப்பினும், R1 இரண்டாவது பிரமையில் சிரமப்பட்டது, அதே நேரத்தில் 32B டிஸ்டில் இரண்டாவது பிரமையில் 90% வெற்றி விகிதத்தை அடைந்தது. R1 மற்றும் டிஸ்டில் ஆகியவை தனித்துவமான அடிப்படை மாதிரிகளைப் பயன்படுத்துவதால், இந்த மாறுபாடு முற்றிலும் எதிர்பாராதது அல்ல.
இந்த குறிப்பிட்ட சோதனையில் டீப்சீக்கை விட QwQ சிறந்த செயல்திறனைக் காட்டியிருந்தாலும், 4-பிட் மாதிரியுடன் சில அசாதாரண நடத்தை காணப்பட்டது. ஆரம்பத்தில், சோதனையை முடிக்க கிட்டத்தட்ட இரண்டு மடங்கு அதிக ‘சிந்தனை’ டோக்கன்கள் தேவைப்பட்டன. இது ஆரம்பத்தில் குவாண்டைசேஷன் காரணமாக ஏற்படக்கூடிய இழப்புகளை பரிந்துரைத்தது. இருப்பினும், மேலதிக விசாரணையில், குவாண்டைஸ் செய்யப்பட்ட மாதிரி, அதன் ஆரம்ப நிலையில், உகந்த செயல்திறனை வெளிப்படுத்தியது தெரியவந்தது. ஹைபர்பாராமீட்டர்களை சரிசெய்து சோதனைகளை மீண்டும் இயக்குவது இந்த சிக்கலை தீர்த்தது, இது சரியான உள்ளமைவின் முக்கியத்துவத்தை நிரூபிக்கிறது.
ஒன்-ஷாட் கோடிங்: ஒரு சாத்தியமான பலம்
QwQ ‘ஒன்-ஷாட்’ குறியீடு உருவாக்கத்தில் அதன் திறனுக்காக கணிசமான கவனத்தை ஈர்த்துள்ளது - முதல் முயற்சியிலேயே பயன்படுத்தக்கூடிய குறியீட்டை உருவாக்கும் திறன். இந்த குறிப்பிட்ட பகுதி மாதிரியின் குறிப்பிடத்தக்க பலமாகத் தெரிகிறது.
pygame நூலகத்தைப் பயன்படுத்தி பைத்தானில் ஒப்பீட்டளவில் எளிமையான பல கேம்களை மீண்டும் உருவாக்கும் பணி மாதிரிக்கு வழங்கப்பட்டது. தேர்ந்தெடுக்கப்பட்ட கேம்கள் பாங், பிரேக்அவுட், ஆஸ்டிராய்ட்ஸ் மற்றும் ஃபிளாப்பி பேர்ட்.
QwQ பாங் மற்றும் பிரேக்அவுட்டை ஒப்பீட்டளவில் எளிதாகக் கையாண்டது. சில நிமிட செயலாக்கத்திற்குப் பிறகு, மாதிரி இரண்டு கேம்களின் வேலை செய்யும் பதிப்புகளை உருவாக்கியது.
இருப்பினும், ஆஸ்டிராய்ட்ஸை மீண்டும் உருவாக்கும் பணியை QwQ-க்கு வழங்கியபோது, அது சிரமங்களை எதிர்கொண்டது. உருவாக்கப்பட்ட குறியீடு இயங்கினாலும், கிராபிக்ஸ் மற்றும் கேம் மெக்கானிக்ஸ் அடிக்கடி சிதைந்து பிழைகள் நிறைந்ததாக இருந்தன. மாறாக, R1, அதன் முதல் முயற்சியில், கிளாசிக் ஆர்கேட் ஷூட்டரை உண்மையுடன் மீண்டும் உருவாக்கியது.
இந்த மாதிரிகளுக்கான பயிற்சி தரவை கருத்தில் கொள்வது முக்கியம். அவை வெளிப்படையாக கிடைக்கக்கூடிய மூல குறியீட்டின் பரந்த அளவை வெளிப்படுத்தியுள்ளன, இதில் கிளாசிக் கேம்களின் மறுஉருவாக்கங்களும் அடங்கும். மாதிரிகள் புதிதாக கேம் மெக்கானிக்ஸை சுயாதீனமாக உருவாக்குவதற்குப் பதிலாக கற்ற தகவலை நினைவுகூர்கிறதா என்ற கேள்வியை இது எழுப்புகிறது. இது இந்த பாரிய நியூரல் நெட்வொர்க்குகளின் அடிப்படை தன்மையை அடிக்கோடிட்டுக் காட்டுகிறது, அங்கு வெளிப்படையான நுண்ணறிவு பெரும்பாலும் விரிவான வடிவ அங்கீகாரத்திலிருந்து உருவாகிறது.
இந்த வரம்புகள் இருந்தபோதிலும், கிளாசிக் ஆர்கேட் கேம்களை மீண்டும் உருவாக்குவதில் QwQ-வின் செயல்திறன், குறிப்பாக அதன் அளவுரு எண்ணிக்கையை கருத்தில் கொண்டு, ஈர்க்கக்கூடியது. இது ஒவ்வொரு சோதனையிலும் R1-ஐப் பொருத்தவில்லை என்றாலும், இது குறிப்பிடத்தக்க அளவிலான திறனை நிரூபிக்கிறது. ஆட்டோமோட்டிவ் உலகில் அடிக்கடி பயன்படுத்தப்படும் ‘இடப்பெயர்ச்சிக்கு மாற்றீடு இல்லை’ என்ற சொற்றொடர் இங்கே பொருத்தமானதாக இருக்கலாம். அலிபாபா QwQ-வின் ‘மேக்ஸ்’ பதிப்பை ஏன் உருவாக்கி வருகிறது என்பதை இது விளக்கக்கூடும், இருப்பினும் இது விரைவில் நுகர்வோர் வன்பொருளில் இயங்க வாய்ப்பில்லை.
டீப்சீக்கின் அதே அளவுள்ள R1 Qwen 2.5 32B டிஸ்டில் உடன் ஒப்பிடும்போது, அலிபாபாவின் வலுவூட்டல் கற்றல் பைப்லைனில் குறியீடு செயல்படுத்தும் சேவையகத்தை ஒருங்கிணைக்கும் முடிவு, புரோகிராமிங் தொடர்பான சவால்களில் ஒரு நன்மையை அளித்திருக்கலாம்.
கணிதம்: ஒரு எச்சரிக்கையுடன் கூடிய திறன்
வரலாற்று ரீதியாக, LLMகள் கணிதத்தில் சிரமப்படுகின்றன, இது அவற்றின் மொழி-மையப்படுத்தப்பட்ட பயிற்சியின் விளைவாகும். புதிய மாதிரிகள் முன்னேற்றங்களைக் காட்டியிருந்தாலும், QwQ இன்னும் சவால்களை எதிர்கொள்கிறது, இருப்பினும் ஒருவர் எதிர்பார்க்கும் காரணங்களுக்காக அவசியமில்லை.
R1-க்கு முன்பு முன்வைக்கப்பட்ட அனைத்து கணித சிக்கல்களையும் QwQ வெற்றிகரமாக தீர்த்தது. QwQ அடிப்படை எண்கணிதம் மற்றும் சில இயற்கணிதத்தையும் கையாள முடியும் என்பதை இது குறிக்கிறது. இருப்பினும், சிக்கல் அதன் செயல்திறனில் உள்ளது. கால்குலேட்டர்கள் மற்றும் நேரடி கணக்கீடு உடனடியாகவும் கணிசமாக வேகமாகவும் இருக்கும்போது கணித கணக்கீடுகளுக்கு LLM-ஐ ஈடுபடுத்துவது எதிர்மறையானதாகத் தெரிகிறது.
உதாரணமாக, 7*43 போன்ற ஒரு எளிய சமன்பாட்டைத் தீர்க்க QwQ-க்கு 1,000-க்கும் மேற்பட்ட டோக்கன்களை உருவாக்க வேண்டியிருந்தது, இது RTX 3090 Ti-இல் சுமார் 23 வினாடிகள் எடுத்தது. இது ஒரு பாக்கெட் கால்குலேட்டரில் ஒரு நொடியில் முடிக்கக்கூடிய ஒரு பணியாகும்.
பெரிய கணக்கீடுகளுடன் செயல்திறன் குறைபாடு இன்னும் அதிகமாகிறது. பெரும்பாலான பகுத்தறிதல் அல்லாத மாதிரிகளின் திறன்களுக்கு அப்பாற்பட்ட பெருக்கல் சிக்கலான 3394*35979-ஐ தீர்க்க, QwQ-வின் உள்ளூர் நிகழ்வு மூன்று நிமிடங்கள் மற்றும் 5,000-க்கும் மேற்பட்ட டோக்கன்களை எடுத்தது.
ஹைபர்பாராமீட்டர் பிழைத்திருத்தத்திற்கு முன், அதே சமன்பாட்டிற்கு அதிர்ச்சியூட்டும் ஒன்பது நிமிடங்கள் மற்றும் கிட்டத்தட்ட 12,000 டோக்கன்கள் தேவைப்பட்டன.
இங்கே முக்கிய அம்சம் என்னவென்றால், ஒரு மாதிரி சரியான பதிலை நோக்கிச் செல்லக்கூடியதாக இருந்தாலும், அது வேலைக்கு உகந்த கருவி என்று அர்த்தமல்ல. QwQ-க்கு பைதான் கால்குலேட்டருக்கான அணுகலை வழங்குவது மிகவும் நடைமுறை அணுகுமுறையாக இருக்கும். இது மாதிரியின் பலங்களை மேம்படுத்துகிறது, அதே நேரத்தில் கணக்கீட்டு ரீதியாக தீவிரமான பணிகளை மிகவும் பொருத்தமான கருவிக்கு மாற்றுகிறது.
கருவி மூலம் அதே 3394*35979 சமன்பாட்டை தீர்க்கும் பணியை வழங்கியபோது, QwQ-வின் பதில் நேரம் எட்டு வினாடிகளாக குறைந்தது, ஏனெனில் கால்குலேட்டர் அதிக வேலையை கையாண்டது.
‘காத்திரு’ என்பதன் பரவல்: சிந்தனை செயல்முறையின் ஒரு பார்வை
QwQ-வின் ‘எண்ணங்களை’ ஆராய்வது, குறிப்பாக சிக்கலான பணிகள் அல்லது சொல் சிக்கல்களின் போது, ‘காத்திரு’ என்ற வார்த்தையின் அடிக்கடி நிகழ்வதைக் வெளிப்படுத்துகிறது. இது மாற்று விளைவுகளுக்கு எதிராக தனது வேலையை சரிபார்க்கும் மாதிரியின் உள் செயல்முறையை பிரதிபலிக்கிறது.
இந்த நடத்தை பகுத்தறியும் மாதிரிகளில் பொதுவானது என்றாலும், QwQ தனது ‘சிந்தனை’ செயல்பாட்டின் போது சரியான பதிலை புரிந்து கொண்டதை நிரூபித்த பிறகும் தவறான பதிலை உருவாக்கும்போது இது குறிப்பாக ஏமாற்றமளிக்கும்.
இந்த சிக்கல் சோதனையின் போது அடிக்கடி ஏற்பட்டது. மிகவும் விளக்கமான எடுத்துக்காட்டுகளில் ஒன்று ஆட்டோஜென் AI-இன் கிளாசிக் ஓநாய், ஆடு மற்றும் முட்டைக்கோஸ் சிக்கலின் தழுவல் ஆகும். இந்த புதிர் ஒரு போக்குவரத்து உகப்பாக்க சவாலை ஒரு திருப்பத்துடன் முன்வைக்கிறது:
தீர்வு தூண்டுதலுக்குள் உட்பொதிக்கப்பட்டுள்ளது: மூன்று பாதுகாப்பான பெட்டிகளுடன், விவசாயி அனைத்து பொருட்களையும் ஒரே பயணத்தில் கொண்டு செல்ல முடியும். இருப்பினும், புதிரின் கிளாசிக் பதிப்போடு ஒத்திருப்பதால், மாதிரிகள் பெரும்பாலும் பெட்டிகளை கவனிக்காமல் விடுகின்றன.
சோதனையில், QwQ இந்த புதிரை சரியாக தீர்க்க தொடர்ந்து தவறியது. அதன் சிந்தனை செயல்முறையை ஆராய்ந்ததில், அது மூன்று பெட்டிகளையும் கவனிக்கவில்லை என்பது தெரியவந்தது. உண்மையில், அது அவற்றை ஒப்புக்கொண்டது, ஆனால் அவை மிகவும் எளிமையானவை என்று நிராகரித்தது:
‘காத்திருங்கள், விவசாயி மூவரையும் ஒரே பயணத்தில் அழைத்துச் செல்ல முடிந்தால், அவர் அதைச் செய்து முடித்துவிடலாம். ஆனால் அது சிக்கலை அற்பமாக்கும், அது சாத்தியமில்லை. எனவே ஒருவேளை பெட்டிகள் தனித்தனியாக இருக்கலாம், ஆனால் படகில் விவசாயியுடன் இரண்டு பொருட்களை மட்டுமே கொண்டு செல்ல முடியும்?’
சோதனை கிளவுட்டில் உள்ள முழு மாதிரியிலோ அல்லது உள்ளூரிலோ இயக்கப்பட்டாலும், QwQ இதை தொடர்ந்து தீர்க்க சிரமப்பட்டது. இது அதன் பகுத்தறியும் திறன்களில் ஒரு சாத்தியமான வரம்பை எடுத்துக்காட்டுகிறது, அங்கு அது சிக்கலின் தடைகளை அதிகமாக சிந்திக்கலாம் அல்லது தவறாகப் புரிந்து கொள்ளலாம்.
ஹைபர்பாராமீட்டர் உணர்திறன்: ஒரு நுட்பமான சமநிலை
மற்ற மாடல்களுடன் ஒப்பிடும்போது, QwQ அதன் உள்ளமைவுக்கு அதிக உணர்திறனைக் காட்டியது. ஆரம்பத்தில், அலிபாபா குறிப்பிட்ட மாதிரி அளவுருக்களை பரிந்துரைத்தது:
- வெப்பநிலை: 0.6
- TopP: 0.95
- TopK: 20 மற்றும் 40 க்கு இடையில்
பின்னர், இந்த பரிந்துரைகள் பின்வருவனவற்றை உள்ளடக்கியதாக புதுப்பிக்கப்பட்டன:
- MinP: 0
- இருப்பு அபராதம்: 0 மற்றும் 2 க்கு இடையில்
Llama.cpp-இன் மாதிரி அளவுருக்களைக் கையாளுவதில் உள்ள ஒரு வெளிப்படையான பிழை காரணமாக (Llama.cpp மாடல்களில் அனுமானத்தை இயக்குவதற்குப் பயன்படுத்தப்படுகிறது), மீண்டும் மீண்டும் அபராதத்தை 1-க்கு அமைப்பதன் மூலம் முடக்க வேண்டியது அவசியமாக இருந்தது.
முன்னர் குறிப்பிட்டபடி, இந்த உள்ளமைவு சிக்கல்களை நிவர்த்தி செய்வது ஒரு குறிப்பிடத்தக்க முன்னேற்றத்திற்கு வழிவகுத்தது, பதிலுக்கு வர தேவையான ‘சிந்திக்கும்’ டோக்கன்களின் எண்ணிக்கையை பாதியாகக் குறைத்தது. இருப்பினும், இந்த பிழை Llama.cpp அனுமான இயந்திரத்தில் இயங்கும் போது மாதிரியின் GGUF-குவாண்டைஸ் செய்யப்பட்ட பதிப்புகளுக்கு குறிப்பிட்டதாகத் தெரிகிறது, இது Ollama மற்றும் LM Studio போன்ற பிரபலமான பயன்பாடுகளால் பயன்படுத்தப்படுகிறது.
Llama.cpp-ஐப் பயன்படுத்த திட்டமிடும் பயனர்களுக்கு, மாதிரி வரிசையை சரிசெய்வதற்கான Unsloth-இன் வழிகாட்டியைப் பார்ப்பது மிகவும் பரிந்துரைக்கப்படுகிறது.
QwQ உடன் தொடங்குதல்: ஒரு நடைமுறை வழிகாட்டி
QwQ உடன் பரிசோதனை செய்ய ஆர்வமுள்ளவர்களுக்கு, Ollama-வில் அதை அமைப்பது ஒப்பீட்டளவில் நேரடியானது. இருப்பினும், இதற்கு கணிசமான அளவு vRAM கொண்ட GPU தேவை என்பதை கவனத்தில் கொள்ள வேண்டும். மாதிரி நடைமுறை பயன்பாட்டிற்கு போதுமான பெரிய சூழல் சாளரத்துடன் 24GB 3090 Ti-இல் வெற்றிகரமாக இயக்கப்பட்டது.
CPU மற்றும் சிஸ்டம் நினைவகத்தில் மாதிரியை இயக்குவது தொழில்நுட்ப ரீதியாக சாத்தியம் என்றாலும், உயர்நிலை பணிநிலையம் அல்லது சேவையகத்தைப் பயன்படுத்தாவிட்டால் இது மிகவும் மெதுவான பதில் நேரங்களுக்கு வழிவகுக்கும்.
முன்நிபந்தனைகள்:
- 4-பிட் குவாண்டைசேஷனில் நடுத்தர அளவிலான LLM-களை இயக்கக்கூடிய ஒரு இயந்திரம். குறைந்தபட்சம் 24GB vRAM கொண்ட இணக்கமான GPU பரிந்துரைக்கப்படுகிறது. ஆதரிக்கப்படும் கார்டுகளின் பட்டியலை இங்கே காணலாம்.
- Apple Silicon Mac-களுக்கு, குறைந்தபட்சம் 32GB நினைவகம் பரிந்துரைக்கப்படுகிறது.
இந்த வழிகாட்டி லினக்ஸ்-உலக கட்டளை-வரி இடைமுகம் மற்றும் Ollama உடன் அடிப்படை பரிச்சயத்தை கருதுகிறது.
Ollama-வை நிறுவுதல்
Ollama என்பது ஒரு பிரபலமான மாதிரி ரன்னர் ஆகும், இது நுகர்வோர் வன்பொருளில் LLM-களை பதிவிறக்கம் செய்து சேவை செய்யும் செயல்முறையை எளிதாக்குகிறது. Windows அல்லது macOS பயனர்களுக்கு, ollama.com இலிருந்து வேறு எந்த பயன்பாட்டையும் போல பதிவிறக்கி நிறுவவும்.
லினக்ஸ் பயனர்களுக்கு, Ollama நிறுவலுக்கு வசதியான ஒரு-லைனரை வழங்குகிறது: