சாதன AI: பத்திரிகை பணிகளுக்கான ஆய்வு

செயற்கை நுண்ணறிவின் (AI) கவர்ச்சி நாளுக்கு நாள் அதிகரித்து வருகிறது, இது பல்வேறு தொழில்களில் செயல்திறனையும் மாற்றத்தையும் உறுதியளிக்கிறது. குறிப்பாக, சக்திவாய்ந்த AIமாதிரிகளை தனிப்பட்ட கணினிகளில் நேரடியாக இயக்குவது, கிளவுட் சார்புநிலை, சந்தா கட்டணங்கள் மற்றும் தரவு தனியுரிமை கவலைகளைத் தவிர்ப்பது ஒரு கவர்ச்சிகரமான வாய்ப்பாகும். Google, Meta, மற்றும் Mistral AI போன்ற ஜாம்பவான்கள் அதிநவீன பெரிய மொழி மாதிரிகளை (LLMs) இலவசமாக பதிவிறக்கம் செய்யக் கிடைக்கச் செய்துள்ளனர். ஆனால் இந்த அணுகல் நடைமுறைப் பயன்பாட்டிற்கு வழிவகுக்கிறதா? டெஸ்க்டாப் அல்லது லேப்டாப்பின் சிலிக்கானில் அடைக்கப்பட்ட இந்த டிஜிட்டல் மனங்கள், பத்திரிகை எழுத்து போன்ற சிக்கலான பணிப்பாய்வுகளை உண்மையிலேயே மேம்படுத்த முடியுமா? இந்தக் கணக்கு அந்த கேள்விக்கு துல்லியமாக பதிலளிக்க வடிவமைக்கப்பட்ட ஒரு விரிவான சோதனையை விவரிக்கிறது.

களத்தை அமைத்தல்: உள்ளூர் AI சோதனை

பல மாதங்களாக, உள்ளூர் வன்பொருளில் முழுமையாக இயங்கும் பல்வேறு இலவசமாக பதிவிறக்கம் செய்யக்கூடிய LLM-களின் நிஜ உலக செயல்திறனை மதிப்பிடுவதற்கு ஒரு பிரத்யேக முயற்சி மேற்கொள்ளப்பட்டது. ஆய்வுக்கு உட்படுத்தப்பட்ட மாதிரிகளின் பட்டியல் வேறுபட்டிருந்தது, இது திறந்த மூல AI-யின் வேகமாக வளர்ந்து வரும் நிலப்பரப்பைப் பிரதிபலிக்கிறது:

• Google Gemma (குறிப்பாக பதிப்பு 3)
• Meta Llama (பதிப்பு 3.3)
• Anthropic Claude (பதிப்பு 3.7 Sonnet – பொதுவாக கிளவுட் அடிப்படையிலானது என்றாலும், அதன் சேர்க்கை பரந்த சோதனையைக் குறிக்கிறது)
• Mistral AI-யிலிருந்து பல மறு செய்கைகள் (Mistral, Mistral Small 3.1, Mistral Nemo, மற்றும் Mixtral உட்பட)
• IBM Granite (பதிப்பு 3.2)
• Alibaba Qwen (பதிப்பு 2.5)
• DeepSeek R1 (Qwen அல்லது Llama-வின் வடிகட்டப்பட்ட பதிப்புகளின் மீது அடிக்கடி பயன்படுத்தப்படும் ஒரு பகுத்தறிவு அடுக்கு)

முக்கிய நோக்கம் லட்சியமானது ஆனால் நடைமுறைக்குரியது: இந்த உள்ளூரில் இயங்கும் AI-கள் மூல நேர்காணல் பிரதிகளை மெருகூட்டப்பட்ட, வெளியிடக்கூடிய கட்டுரைகளாக மாற்ற முடியுமா என்பதைத் தீர்மானிப்பது. இது தொழில்நுட்ப சாத்தியக்கூறை மதிப்பிடுவதை மட்டும் உள்ளடக்கவில்லை – வன்பொருள் சுமையைக் கையாள முடியுமா? – ஆனால் தரமான வெளியீட்டையும் மதிப்பிட்டது – இதன் விளைவாக வரும் உரை பயன்படுத்தக்கூடியதா? ஒரு முழுமையான தானியங்கு, வெளியிடத் தயாரான கட்டுரையை அடைவது கடினம் என்பதை முன்பே கூறுவது முக்கியம். முதன்மை குறிக்கோள், இந்த குறிப்பிட்ட, கோரும் பயன்பாட்டு வழக்கின் மூலம் தற்போதைய சாதனத்தில் உள்ள AI-யின் உண்மையான திறன்கள் மற்றும் வரம்புகளைப் புரிந்துகொள்வதை நோக்கி நகர்ந்தது.

தேர்ந்தெடுக்கப்பட்ட முறை ஒரு கணிசமான ப்ராம்ப்ட்டை மையமாகக் கொண்டது. இதில் தோராயமாக 1,500 டோக்கன்கள் (சுமார் 6,000 எழுத்துக்கள் அல்லது இரண்டு முழு பக்க உரை) அடங்கும், இது விரும்பிய கட்டுரை அமைப்பு, நடை மற்றும் தொனியை நுணுக்கமாக கோடிட்டுக் காட்டுகிறது. இந்த அறிவுறுத்தல் தொகுப்பில் நேர்காணல் பிரதியும் சேர்க்கப்பட்டது, இது ஒரு வழக்கமான 45 நிமிட உரையாடலுக்கு சராசரியாக 11,000 டோக்கன்கள் ஆகும். இந்த ஒருங்கிணைந்த உள்ளீட்டின் அளவு (பெரும்பாலும் 12,500 டோக்கன்களைத் தாண்டியது) பொதுவாக பல ஆன்லைன் AI தளங்களின் இலவச பயன்பாட்டு வரம்புகளை மீறுகிறது. இந்த கட்டுப்பாடு உள்ளூர் வரிசைப்படுத்தலை ஆராய்வதற்கான காரணத்தை அடிக்கோடிட்டுக் காட்டியது, அங்கு செயலாக்கம் உள்ளீட்டு அளவைப் பொருட்படுத்தாமல் இலவசமாக உள்ளது, இது இயந்திரத்தின் திறன்களால் மட்டுமே வரையறுக்கப்படுகிறது.

இந்த சோதனைகளைச் செயல்படுத்துவதில் LM Studio-வைப் பயன்படுத்துவது அடங்கும், இது உள்ளூரில் இயங்கும் LLM-களுடன் தொடர்புகொள்வதற்கான பயனர் நட்பு சாட்போட் போன்ற இடைமுகத்தை வழங்கும் ஒரு பிரபலமான சமூக மென்பொருளாகும். LM Studio பல்வேறு மாதிரி பதிப்புகளைப் பதிவிறக்குவதற்கான செயல்பாடுகளை வசதியாக ஒருங்கிணைக்கிறது, இருப்பினும் இந்த இலவசமாகக் கிடைக்கும் மாதிரிகளுக்கான முதன்மை ஆதாரம் Hugging Face களஞ்சியமாக உள்ளது, இது AI சமூகத்திற்கான ஒரு மைய மையமாகும்.

தொழில்நுட்ப சிக்கல்களைக் கடந்து செல்லுதல்: வன்பொருள், நினைவகம் மற்றும் மாதிரி அளவு

உள்ளூர் AI செயலாக்கத்திற்கான பயணம் மென்பொருள் மற்றும் வன்பொருளுக்கு இடையிலான ஒரு சிக்கலான தொடர்புகளை விரைவாக வெளிப்படுத்தியது. AI-யின் வெளியீட்டின் தரம் மற்றும் வேகம் சோதனை இயந்திரத்தில் கிடைக்கும் வளங்களுடன் நெருக்கமாகப் பிணைக்கப்பட்டுள்ளது – இது ஒரு Apple Silicon M1 Max சிஸ்டம்-ஆன்-சிப் (SoC) மற்றும் தாராளமான 64 GB RAM கொண்ட ஒரு Mac ஆகும். முக்கியமாக, இந்த கட்டமைப்பு Unified Memory Architecture (UMA)-ஐக் கொண்டுள்ளது, இது 48 GB RAM-ஐ செயலி கோர்கள் (CPU), கிராபிக்ஸ் கோர்கள் (GPU – வெக்டர் முடுக்கத்திற்குப் பயன்படுத்தப்படுகிறது), மற்றும் நியூரல் பிராசசிங் யூனிட் கோர்கள் (NPU – மேட்ரிக்ஸ் முடுக்கத்திற்குப் பயன்படுத்தப்படுகிறது) ஆகியவற்றுக்கு இடையில் மாறும் வகையில் பகிர அனுமதிக்கிறது.

பல முக்கிய தொழில்நுட்ப காரணிகள் தீர்க்கமானவையாக வெளிப்பட்டன:

1. மாதிரி அளவுருக்கள் (Model Parameters): LLM-கள் பெரும்பாலும் அவற்றின் அளவுருக்களின் எண்ணிக்கையால் (பில்லியன்கள், பொதுவாக) அளவிடப்படுகின்றன. பெரிய மாதிரிகள் பொதுவாக அதிக அறிவையும் நுணுக்கத்தையும் கொண்டுள்ளன. இருப்பினும், அவற்றுக்கு கணிசமாக அதிக நினைவகம் தேவைப்படுகிறது.
2. குவாண்டைசேஷன் (Quantization): இது மாதிரியின் அளவுருக்களைச் சேமிக்கப் பயன்படுத்தப்படும் துல்லியத்தைக் குறிக்கிறது (எ.கா., 8-பிட், 4-பிட், 3-பிட்). குறைந்த பிட் துல்லியம் நினைவகத் தடத்தை வெகுவாகக் குறைக்கிறது மற்றும் செயலாக்க வேகத்தை அதிகரிக்கிறது, ஆனால் பெரும்பாலும் துல்லியம் மற்றும் வெளியீட்டுத் தரத்தின் இழப்பில் (பிழைகள், திரும்பத் திரும்பச் சொல்லுதல் அல்லது அர்த்தமற்ற மொழியை அறிமுகப்படுத்துதல்).
3. சூழல் சாளரம் (Context Window): இது AI ஒரே நேரத்தில் கருத்தில் கொள்ளக்கூடிய அதிகபட்ச தகவல்களின் அளவை (ப்ராம்ப்ட் + உள்ளீட்டுத் தரவு) வரையறுக்கிறது, இது டோக்கன்களில் அளவிடப்படுகிறது. தேவைப்படும் சாளர அளவு பணியால் கட்டளையிடப்படுகிறது; இந்த விஷயத்தில், பெரிய ப்ராம்ப்ட் மற்றும் டிரான்ஸ்கிரிப்ட் ஒரு கணிசமான சாளரத்தை அவசியமாக்கியது.
4. கிடைக்கும் RAM: நினைவகத்தின் அளவு எந்த மாதிரிகள் (மற்றும் எந்த குவாண்டைசேஷன் மட்டத்தில்) திறம்பட ஏற்றப்பட்டு இயக்கப்படலாம் என்பதை நேரடியாகக் கட்டுப்படுத்துகிறது.

மதிப்பீட்டு நேரத்தில் சோதனை இயந்திரத்தில் தரம் மற்றும் சாத்தியக்கூறுகளின் சிறந்த சமநிலையை வழங்கிய இனிமையான புள்ளி, Google-இன் Gemma மாதிரியை 27 பில்லியன் அளவுருக்களுடன், 8 பிட்களுக்கு குவாண்டைஸ் செய்யப்பட்டது (‘27B Q8_0’ பதிப்பு) பயன்படுத்தி அடையப்பட்டது. இந்த கட்டமைப்பு 32,000-டோக்கன் சூழல் சாளரத்திற்குள் செயல்பட்டது, தோராயமாக 15,000-டோக்கன் உள்ளீட்டை (வழிமுறைகள் + டிரான்ஸ்கிரிப்ட்) வசதியாகக் கையாண்டது. இது குறிப்பிட்ட Mac வன்பொருளில், 48 GB பகிரப்பட்ட நினைவகத்தைப் பயன்படுத்தி இயங்கியது.

இந்த உகந்த நிலைமைகளின் கீழ், செயலாக்க வேகம் வினாடிக்கு 6.82 டோக்கன்கள் என அளவிடப்பட்டது. செயல்படும் போது, இது உடனடி என்பதிலிருந்து வெகு தொலைவில் உள்ளது. வெளியீட்டுத் தரத்தை தியாகம் செய்யாமல் வேக மேம்பாடுகள் முதன்மையாக வேகமான வன்பொருளைச் சார்ந்துள்ளது – குறிப்பாக, அதிக கடிகார வேகங்கள் (GHz) அல்லது அதிக எண்ணிக்கையிலான செயலாக்க கோர்கள் (CPU, GPU, NPU) கொண்ட SoC-கள்.

கணிசமாக அதிக அளவுருக்களைக் கொண்ட மாதிரிகளை (எ.கா., 32 பில்லியன், 70 பில்லியன்) ஏற்ற முயற்சிப்பது விரைவாக நினைவக வரம்பைத் தாக்கியது. இந்த பெரிய மாதிரிகள் முழுமையாக ஏற்றத் தவறிவிட்டன அல்லது கடுமையாக துண்டிக்கப்பட்ட, பயன்படுத்த முடியாத வெளியீட்டை (முழு கட்டுரைக்கு பதிலாக ஒரு பத்தி போன்றவை) உருவாக்கின. மாறாக, குறைவான அளவுருக்களைக் கொண்ட மாதிரிகளைப் பயன்படுத்துவது, நினைவகத்தை விடுவித்தாலும், எழுதும் தரத்தில் குறிப்பிடத்தக்க சரிவை ஏற்படுத்தியது, இது திரும்பத் திரும்பச் சொல்லுதல் மற்றும் மோசமாக வெளிப்படுத்தப்பட்ட யோசனைகளால் வகைப்படுத்தப்பட்டது. இதேபோல், அதிக ஆக்கிரோஷமான குவாண்டைசேஷனைப் பயன்படுத்துவது (அளவுருக்களை 3, 4, 5, அல்லது 6 பிட்களுக்குக் குறைப்பது) வேகத்தை அதிகரித்தது, ஆனால் வெளியீட்டை கடுமையாகக் குறைத்தது, இலக்கணத் தவறுகள் மற்றும் புனையப்பட்ட சொற்களை அறிமுகப்படுத்தியது.

உள்ளீட்டுத் தரவுகளால் தீர்மானிக்கப்படும் தேவையான சூழல் சாளரத்தின் அளவு, பணிக்கு அடிப்படையில் பேச்சுவார்த்தைக்குட்பட்டது அல்ல. உள்ளீட்டுத் தரவு ஒரு சாளரத்தைக் கோரினால், அது தேர்ந்தெடுக்கப்பட்ட மாதிரி அளவு மற்றும் குவாண்டைசேஷனுடன் இணைந்து, கிடைக்கும் RAM-ஐ விட அதிகமாக இருந்தால், ஒரே வழி ஒரு சிறிய மாதிரியைத் தேர்ந்தெடுப்பதுதான், இது நினைவக வரம்புகளுக்குள் இருக்க இறுதி முடிவின் சாத்தியமான தரத்தை தவிர்க்க முடியாமல் சமரசம் செய்கிறது.

தரத்திற்கான தேடல்: கட்டமைப்பு பொருளை சந்திக்கும் போது (அல்லது அதன் பற்றாக்குறை)

உள்ளூரில் இயங்கும் AI பயன்படுத்தக்கூடிய கட்டுரைகளை உருவாக்குவதில் வெற்றி பெற்றதா? ஆம் மற்றும் இல்லை. உருவாக்கப்பட்ட உரைகள் பெரும்பாலும் வியக்கத்தக்க வகையில் நல்ல கட்டமைப்பைக் காட்டின. அவை பொதுவாக கோரப்பட்ட வடிவமைப்பைப் பின்பற்றின, இதில் இடம்பெற்றவை:

• ஒரு புலப்படும் கோணம் அல்லது கவனம்.
• கருப்பொருள் பிரிவுகள் மூலம் ஒரு ஒத்திசைவான ஓட்டம்.
• டிரான்ஸ்கிரிப்டிலிருந்து பொருத்தமான இடங்களில் மேற்கோள்கள்.
• ஈர்க்கும் தலைப்புகள் மற்றும் முடிவு வாக்கியங்கள்.

இருப்பினும், DeepSeek R1 போன்ற மேம்பட்ட பகுத்தறிவிற்காக பிரத்யேகமாக வடிவமைக்கப்பட்டவை உட்பட, சோதிக்கப்பட்ட அனைத்து LLM-களிலும் ஒரு முக்கியமான குறைபாடு தொடர்ந்து வெளிப்பட்டது: நேர்காணலுக்குள் உள்ள தகவல்களின் பொருத்தத்தை சரியாகக் கண்டறிந்து முன்னுரிமை அளிக்க இயலாமை. AI மாதிரிகள் தொடர்ந்து உரையாடலின் மையக்கருத்தைத் தவறவிட்டன, இரண்டாம் நிலை புள்ளிகள் அல்லது தொடர்புடைய விவரங்களில் கவனம் செலுத்தின.

இதன் விளைவாக பெரும்பாலும் இலக்கண ரீதியாக சரியான மற்றும் நன்கு ஒழுங்கமைக்கப்பட்ட கட்டுரைகள் கிடைத்தன, ஆனால் அவை இறுதியில் மேலோட்டமானவை மற்றும் சுவாரஸ்யமற்றவை. சில சந்தர்ப்பங்களில், AI வெளிப்படையானதைக் கூறுவதற்கு குறிப்பிடத்தக்க, நன்கு வாதிடப்பட்ட பத்திகளை அர்ப்பணிக்கும் – எடுத்துக்காட்டாக, நேர்காணல் செய்யப்பட்ட நிறுவனம் போட்டியாளர்களுடன் ஒரு சந்தையில் செயல்படுகிறது என்பதை நீளமாக விவரிப்பது. இது மொழியியல் திறமைக்கும் (ஒத்திசைவான வாக்கியங்களை உருவாக்குதல்) உண்மையான புரிதலுக்கும் (முக்கியத்துவம் மற்றும் சூழலைப் புரிந்துகொள்வது) இடையிலான இடைவெளியை எடுத்துக்காட்டியது.

மேலும், ஸ்டைலிஸ்டிக் வெளியீடு மாதிரிகளுக்கு இடையில் கணிசமாக வேறுபட்டது:

• Meta-வின் Llama 3.x: சோதனையின் போது, பெரும்பாலும் சிக்கலான மற்றும் பாகுபடுத்த கடினமான வாக்கியங்களை உருவாக்கியது.
• Mistral Models & Gemma: ஒரு ‘மார்க்கெட்டிங் பேச்சு’ பாணியை நோக்கிய போக்கைக் காட்டியது, மிகைப்படுத்தப்பட்ட உரிச்சொற்கள் மற்றும் நேர்மறையான கட்டமைப்பைப் பயன்படுத்தியது, ஆனால் உறுதியான பொருள் மற்றும் குறிப்பிட்ட விவரங்கள் இல்லை.
• Alibaba-வின் Qwen: வியக்கத்தக்க வகையில், சோதனை அமைப்பின் வரம்புகளுக்குள், இந்த சீன மாதிரி பிரெஞ்சு மொழியில் (அசல் மதிப்பீட்டுக் குழுவின் மொழி) மிகவும் அழகியல் ரீதியாக மகிழ்ச்சிகரமான சில உரைநடைகளை உருவாக்கியது.
• Mixtral 8x7B: ஆரம்பத்தில், இந்த ‘நிபுணர்களின் கலவை’ மாதிரி (எட்டு சிறிய, சிறப்பு வாய்ந்த 7-பில்லியன் அளவுரு மாதிரிகளை இணைத்தல்) நம்பிக்கையை அளித்தது. இருப்பினும், அதை 48 GB நினைவகக் கட்டுப்பாட்டிற்குள் பொருத்துவதற்கு ஆக்கிரோஷமான 3-பிட் குவாண்டைசேஷன் தேவைப்பட்டது, இது குறிப்பிடத்தக்க தொடரியல் பிழைகளுக்கு வழிவகுத்தது. ஒரு 4-பிட் குவாண்டைஸ் செய்யப்பட்ட பதிப்பு (‘Q4_K_M’) ஆரம்பத்தில் ஒரு சிறந்த சமரசத்தை வழங்கியது, ஆனால் LM Studio மென்பொருளுக்கான அடுத்தடுத்த புதுப்பிப்புகள் அதன் நினைவகத் தடத்தை அதிகரித்தன, இதனால் இந்த உள்ளமைவும் துண்டிக்கப்பட்ட முடிவுகளை உருவாக்கியது.
• Mistral Small 3.1: 8-பிட் குவாண்டைசேஷனில் 24 பில்லியன் அளவுருக்களைக் கொண்ட மிகச் சமீபத்திய மாதிரி ஒரு வலுவான போட்டியாளராக உருவெடுத்தது. அதன் வெளியீட்டுத் தரம் 27B Gemma மாதிரியை நெருங்கியது, மேலும் இது வினாடிக்கு 8.65 டோக்கன்களில் செயலாக்கம் செய்து, ஒரு சிறிய வேக நன்மையை வழங்கியது.

இந்த மாறுபாடு ஒரு LLM-ஐத் தேர்ந்தெடுப்பது அளவு அல்லது வேகத்தைப் பற்றியது மட்டுமல்ல என்பதை அடிக்கோடிட்டுக் காட்டுகிறது; அடிப்படை பயிற்சித் தரவு மற்றும் கட்டமைப்பு அதன் எழுதும் பாணி மற்றும் சாத்தியமான சார்புகளை கணிசமாகப் பாதிக்கின்றன.

வன்பொருள் கட்டமைப்பு: உள்ளூர் AI-யின் பாடப்படாத ஹீரோ

சோதனைகள் ஒரு முக்கியமான, பெரும்பாலும் கவனிக்கப்படாத காரணியின் மீது வெளிச்சம் போட்டன: அடிப்படை வன்பொருள் கட்டமைப்பு, குறிப்பாக நினைவகம் எவ்வாறு அணுகப்படுகிறது என்பது. Apple Silicon Mac-இல் காணப்பட்ட உயர்ந்த செயல்திறன் RAM-இன் அளவு காரணமாக மட்டுமல்ல, அதன் Unified Memory Architecture (UMA)-ஐயும் சார்ந்துள்ளது.

ஒரு UMA அமைப்பில், CPU, GPU, மற்றும் NPU கோர்கள் அனைத்தும் ஒரே இயற்பியல் RAM குளத்தைப் பகிர்ந்து கொள்கின்றன மற்றும் ஒரே நேரத்தில் ஒரே நினைவக முகவரிகளில் தரவை அணுக முடியும். இது வெவ்வேறு செயலிகளுக்கு (எ.கா., CPU-க்கான கணினி RAM மற்றும் ஒரு தனித்துவமான கிராபிக்ஸ் அட்டைக்கான பிரத்யேக VRAM) பிரத்யேகமாக ஒதுக்கப்பட்ட தனித்தனி நினைவகக் குளங்களுக்கு இடையில் தரவை நகலெடுக்கும் தேவையை நீக்குகிறது.

LLM-களுக்கு இது ஏன் மிகவும் முக்கியமானது?

• செயல்திறன்: LLM செயலாக்கம் வெவ்வேறு வகையான கோர்களில் தீவிர கணக்கீட்டை உள்ளடக்கியது. UMA தடையற்ற தரவுப் பகிர்வை அனுமதிக்கிறது, தரவு நகலெடுத்தல் மற்றும் பரிமாற்றத்துடன் தொடர்புடைய தாமதம் மற்றும் மேல்நிலையைக் குறைக்கிறது.
• நினைவகப் பயன்பாடு: UMA இல்லாத கணினிகளில் (ஒரு தனித்துவமான GPU கொண்ட ஒரு வழக்கமான PC போன்றவை), அதே தரவு பிரதான கணினி RAM (CPU-க்கு) மற்றும் GPU-வின் VRAM இரண்டிலும் ஏற்றப்பட வேண்டியிருக்கலாம். இது LLM-க்கு பயன்படுத்தக்கூடிய நினைவகத்தை திறம்பட குறைக்கிறது.

நடைமுறைத் தாக்கம் குறிப்பிடத்தக்கது. சோதனை Mac 48 GB பகிரப்பட்ட UMA RAM-ஐப் பயன்படுத்தி 27-பில்லியன் அளவுரு, 8-பிட் குவாண்டைஸ் செய்யப்பட்ட மாதிரியை வசதியாக இயக்க முடிந்தாலும், UMA இல்லாத PC-யில் இதேபோன்ற செயல்திறனை அடைய கணிசமாக அதிக மொத்த RAM தேவைப்படலாம். எடுத்துக்காட்டாக, CPU-க்கு 24 GB மற்றும் GPU-க்கு 24 GB எனப் பிரிக்கப்பட்ட 48 GB மொத்த RAM கொண்ட ஒரு PC, நினைவகப் பகிர்வு மற்றும் தரவு நகலெடுத்தல் மேல்நிலை காரணமாக, மிகச் சிறிய 13-பில்லியன் அளவுரு மாதிரியை மட்டுமே திறம்பட இயக்க முடியும்.

இந்த கட்டமைப்பு நன்மை Apple Silicon சிப்களுடன் கூடிய Mac-கள் உள்ளூர் AI இடத்தில் பெற்ற ஆரம்ப முன்னணியை விளக்குகிறது. இதைஉணர்ந்து, AMD போன்ற போட்டியாளர்கள் தங்கள் Ryzen AI Max SoC வரம்பை (2025 இன் தொடக்கத்தில் எதிர்பார்க்கப்படுகிறது) அறிவித்தனர், இது இதேபோன்ற ஒருங்கிணைந்த நினைவக அணுகுமுறையை இணைக்க வடிவமைக்கப்பட்டுள்ளது. இந்த சோதனைகளின் போது, Intel-இன் Core Ultra SoC-கள், CPU, GPU, மற்றும் NPU-ஐ ஒருங்கிணைத்தாலும், அனைத்து கோர் வகைகளிலும் ஒரே அளவிலான முழுமையாக ஒருங்கிணைக்கப்பட்ட நினைவக அணுகலைக் கொண்டிருக்கவில்லை. இந்த வன்பொருள் வேறுபாடு பெரிய, அதிக திறன் கொண்ட LLM-களை உள்ளூரில் இயக்க தீவிரமாக இருப்பவர்களுக்கு ஒரு முக்கியமான கருத்தாகும்.

ப்ராம்ப்ட் இன்ஜினியரிங்-கின் சிக்கலான நடனம்

ஒரு நேர்காணலை ஒரு கட்டுரையாக மாற்றுவது போன்ற ஒரு சிக்கலான பணியைச் செய்ய AI-ஐப் பெறுவதற்கு சக்திவாய்ந்த வன்பொருள் மற்றும் திறமையான மாதிரியை விட அதிகம் தேவைப்படுகிறது; அதற்கு அதிநவீன அறிவுறுத்தல் தேவைப்படுகிறது – ப்ராம்ப்ட் இன்ஜினியரிங்-கின் கலை மற்றும் அறிவியல். AI-க்கு வழிகாட்டிய ஆரம்ப 1,500-டோக்கன் ப்ராம்ப்ட்டை உருவாக்குவது ஒரு குறிப்பிடத்தக்க முயற்சியாகும்.

ஒரு பயனுள்ள தொடக்கப் புள்ளி தலைகீழ் பொறியியலை உள்ளடக்கியது: AI-க்கு ஒரு முடிக்கப்பட்ட, மனிதனால் எழுதப்பட்ட கட்டுரையையும் அதன் தொடர்புடைய டிரான்ஸ்கிரிப்டையும் கொடுத்து, அந்த முடிவை அடைய என்ன ப்ராம்ப்ட் கொடுக்கப்பட்டிருக்க வேண்டும் என்று கேட்பது. பல வேறுபட்ட எடுத்துக்காட்டுகளில் AI-யின் பரிந்துரைகளை பகுப்பாய்வு செய்வது அறிவுறுத்தல் தொகுப்பிற்கான அத்தியாவசிய கூறுகளை அடையாளம் காண உதவியது.

இருப்பினும், AI-உருவாக்கிய ப்ராம்ப்ட் பரிந்துரைகள் தொடர்ந்து மிகவும் சுருக்கமாகவும், ஒரு விரிவான கட்டுரையை உருவாக்குவதற்கு வழிகாட்டத் தேவையான விவரங்கள் இல்லாமலும் இருந்தன. உண்மையான வேலை இந்த ஆரம்ப AI-வழங்கிய தடங்களை எடுத்து அவற்றை விரிவுபடுத்துவதிலும், பத்திரிகை கட்டமைப்பு, தொனி, நடை மற்றும் நெறிமுறைக் கருத்தாய்வுகள் பற்றிய ஆழமான கள அறிவை உட்பொதிப்பதிலும் அடங்கியிருந்தது.

பல உள்ளுணர்வுக்கு மாறான பாடங்கள் வெளிப்பட்டன:

• நேர்த்தியை விட தெளிவு: வியக்கத்தக்க வகையில், ப்ராம்ப்ட்டை மிகவும் இயல்பான, சரளமான பாணியில் எழுதுவது பெரும்பாலும் AI-யின் புரிதலைக் குறைத்தது. மாதிரிகள் தெளிவின்மையுடன், குறிப்பாக பிரதிப்பெயர்களுடன் (‘அவர்,’ ‘அது,’ ‘இது’) போராடின. மிகவும் பயனுள்ள அணுகுமுறை, இயந்திரத் துல்லியத்திற்காக மனித வாசிப்புத்திறனைத் தியாகம் செய்வதை உள்ளடக்கியது, எந்தவொரு சாத்தியமான தவறான விளக்கத்தையும் தவிர்க்க பாடங்களை வெளிப்படையாக மீண்டும் கூறுவது (‘கட்டுரை வேண்டும்…’, ‘கட்டுரையின் தொனி இருக்க வேண்டும்…’, ‘கட்டுரையின் அறிமுகம் தேவை…’)
• படைப்பாற்றலின் மழுப்பலான தன்மை: நெகிழ்வுத்தன்மையை அனுமதிக்கும் நோக்கில் கவனமாக ப்ராம்ப்ட் வடிவமைக்கப்பட்ட போதிலும், AI-உருவாக்கிய கட்டுரைகள் தொடர்ந்து ஒரு ‘குடும்ப ஒற்றுமையைப்’ பகிர்ந்து கொண்டன. மனித படைப்பாற்றல் மற்றும் ஸ்டைலிஸ்டிக் மாறுபாட்டின் அகலத்தை ஒரே ப்ராம்ப்ட்டிற்குள் அல்லது பல போட்டியிடும் ப்ராம்ப்ட்களுக்குள் கூட பிடிப்பது விதிவிலக்காக கடினமாக நிரூபிக்கப்பட்டது. உண்மையான பன்முகத்தன்மைக்கு ப்ராம்ப்ட் மாற்றங்களை விட அடிப்படை மாற்றங்கள் தேவைப்படுவதாகத் தோன்றியது.

ப்ராம்ப்ட் இன்ஜினியரிங் என்பது ஒரு முறை செய்யும் பணி அல்ல, மாறாக சுத்திகரிப்பு, சோதனை மற்றும் குறிப்பிட்ட வணிக தர்க்கம் மற்றும் ஸ்டைலிஸ்டிக் நுணுக்கங்களை இணைக்கும் ஒரு தொடர்ச்சியான செயல்முறையாகும். இதற்கு தொழில்நுட்ப புரிதல் மற்றும் ஆழமான பொருள் நிபுணத்துவத்தின் கலவை தேவைப்படுகிறது.

பணிச்சுமை மாற்றம்: AI முரண்பாட்டை அவிழ்த்தல்

சோதனைகள் இறுதியில் ஒரு முக்கியமான உணர்தலுக்கு வழிவகுத்தன, இது AI முரண்பாடு என அழைக்கப்படுகிறது: அதன் தற்போதைய நிலையில், AI சில பயனர் பணிச்சுமையை (கட்டுரை வரைவை எழுதுதல்) குறைக்க, பயனர் பெரும்பாலும் அதிக பூர்வாங்க வேலைகளை முதலீடு செய்ய வேண்டியுள்ளது.

மூல நேர்காணல் டிரான்ஸ்கிரிப்டிற்குள் பொருத்தத்தை நம்பகத்தன்மையுடன் அளவிட AI-யின் இயலாமை முக்கிய பிரச்சினையாக இருந்தது. ஒரு பொருத்தமான கட்டுரையைத் தயாரிக்க, முழு டிரான்ஸ்கிரிப்டையும் வெறுமனே ஊட்டுவது போதுமானதாக இல்லை. ஒரு அவசியமான இடைநிலை படி வெளிப்பட்டது: டிரான்ஸ்கிரிப்டை கைமுறையாக முன் செயலாக்கம் செய்தல். இதில் அடங்குபவை:

1. பொருத்தமற்ற பேச்சு, திசைதிருப்பல்கள் மற்றும் மிகைப்படுத்தல்களை நீக்குதல்.
2. AI-யின் புரிதலுக்கு வழிகாட்ட சூழல் குறிப்புகளைச் சேர்ப்பது (இறுதிக் கட்டுரைக்கு இல்லாவிட்டாலும்).
3. முக்கியப் பகுதிகளை கவனமாகத் தேர்ந்தெடுத்து, ஒருவேளை மறுவரிசைப்படுத்துதல்.

இந்த டிரான்ஸ்கிரிப்ட் ‘கண்காணிப்புக்கு’ குறிப்பிடத்தக்க மனித நேரமும் தீர்ப்பும் தேவைப்படுகிறது. AI ஒரு முதல் வரைவை உருவாக்குவதன் மூலம் சேமிக்கப்பட்ட நேரம், அதன் உள்ளீட்டுத் தரவை நுணுக்கமாகத் தயாரிக்கும் புதிய பணியால் திறம்பட ஈடுசெய்யப்பட்டது அல்லது அதிகமாகக் கூட இருந்தது. பணிச்சுமை மறைந்துவிடவில்லை; அது வெறுமனே நேரடி எழுத்திலிருந்து தரவுத் தயாரிப்பு மற்றும் ப்ராம்ப்ட் சுத்திகரிப்புக்கு மாறியது.

மேலும், விரிவான 1,500-டோக்கன் ப்ராம்ப்ட் ஒரு வகை கட்டுரைக்கு (எ.கா., ஒரு தயாரிப்பு வெளியீடு பற்றிய நேர்காணல்) மிகவும் குறிப்பிட்டதாக இருந்தது. ஒரு பத்திரிகையாளர் தினசரி தயாரிக்கும் பல்வேறு வகையான கட்டுரை வடிவங்களை – ஸ்டார்ட்அப் சுயவிவரங்கள், மூலோபாய பகுப்பாய்வுகள், நிகழ்வு கவரேஜ், பல-மூல விசாரணைகள் – உள்ளடக்குவதற்கு, ஒவ்வொரு பயன்பாட்டு வழக்கிற்கும் ஒரு தனி, சமமாக விரிவான ப்ராம்ப்ட்டை உருவாக்கி, சோதித்து, பராமரிக்க வேண்டும். இது ஒரு கணிசமான முன்பணம் மற்றும் தொடர்ச்சியான பொறியியல் முதலீட்டைக் குறிக்கிறது.

இன்னும் மோசமாக, ஆறு மாதங்களுக்கும் மேலாக நீடித்த இந்த விரிவான சோதனைகள், மேற்பரப்பை மட்டுமே கீறின. அவை எளிமையான சூழ்நிலையில் கவனம் செலுத்தின: ஒரு ஒற்றை நேர்காணலில் இருந்து ஒரு கட்டுரையை உருவாக்குதல், பெரும்பாலும் பத்திரிகையாளர் சந்திப்புகள் போன்ற கட்டுப்படுத்தப்பட்ட அமைப்புகளில் நடத்தப்பட்டது, அங்கு நேர்காணல் செய்பவரின் கருத்துக்கள் ஏற்கனவே ஓரளவு கட்டமைக்கப்பட்டுள்ளன. பல நேர்காணல்களிலிருந்து தகவல்களைத் தொகுத்தல், பின்னணி ஆராய்ச்சியை இணைத்தல் அல்லது குறைவான கட்டமைக்கப்பட்ட உரையாடல்களைக் கையாளுதல் போன்ற மிகவும் சிக்கலான, ஆனால் பொதுவான பணிகள், அடிப்படை வழக்கிற்கு கூட தேவைப்படும் நேர முதலீடு காரணமாக ஆராயப்படாமல் இருந்தன.

எனவே, LLM-களை உள்ளூரில் இயக்குவது தொழில்நுட்ப ரீதியாக சாத்தியமானது மற்றும் செலவு மற்றும் தரவு தனியுரிமை அடிப்படையில் நன்மைகளை வழங்கினாலும், பத்திரிகை போன்ற சிக்கலான அறிவுப் பணிகளுக்கு இது உடனடியாக நேரத்தையோ முயற்சியையோ சேமிக்கிறது என்ற கருத்து, இந்த விசாரணையின் அடிப்படையில், தற்போது மாயையானது. தேவைப்படும் முயற்சி வெறுமனே மாறுகிறது, தரவுத் தயாரிப்பு மற்றும் மிகவும் குறிப்பிட்ட ப்ராம்ப்ட் இன்ஜினியரிங் ஆகியவற்றிற்கு மேல்நோக்கி நகர்கிறது. இந்த குறிப்பிட்ட சவால்களில் – பொருத்தத்தை அறிதல், விரிவான முன் செயலாக்கம் தேவைப்படுதல் – உள்ளூரில் இயங்கும் AI, கட்டண ஆன்லைன் சேவைகளுடன் ஒப்பிடத்தக்க வகையில் செயல்பட்டது, இவை வரிசைப்படுத்தல் முறையைப் பொருட்படுத்தாமல், தற்போதைய தலைமுறை LLM-களின் அடிப்படை வரம்புகள் என்று பரிந்துரைக்கிறது. அத்தகைய களங்களில் உண்மையிலேயே தடையற்ற AI உதவிக்கான பாதை சிக்கலானது மற்றும் AI திறன்கள் மற்றும் அவற்றுடன் நாம் தொடர்பு கொள்ளும் முறைகள் இரண்டிலும் மேலும் பரிணாம வளர்ச்சியைக் கோருகிறது.