AI-யின் கவர்ச்சி மறுக்க முடியாதது. ChatGPT, Google’s Gemini, மற்றும் வரவிருக்கும் Apple Intelligence ஆகியவை முன் எப்போதும் இல்லாத திறன்களை வழங்குகின்றன, ஆனால் அவை முக்கியமான சார்புநிலையைப் பகிர்ந்து கொள்கின்றன: நிலையான இணைய இணைப்பு. தனியுரிமைக்கு முன்னுரிமை அளிக்கும் நபர்களுக்கு, மேம்படுத்தப்பட்ட செயல்திறனைத் தேடுபவர்களுக்கு அல்லது அவர்களின் AI தொடர்புகளைத் தனிப்பயனாக்க விரும்புபவர்களுக்கு, DeepSeek, Google’s Gemma அல்லது Meta’s Llama போன்ற பெரிய மொழி மாதிரிகளை (LLM) அவர்களின் Mac-இல் நேரடியாக இயக்குவது ஒரு கட்டாய மாற்றீட்டை வழங்குகிறது.
LLM-களை உள்நாட்டில் இயக்குவது கடினமானதாகத் தோன்றலாம், ஆனால் பொருத்தமான கருவிகள் மூலம், இது ஆச்சரியப்படும் விதமாக அணுகக்கூடியது. இந்த வழிகாட்டி உங்கள் Mac-இல் DeepSeek மற்றும் பிற முக்கிய LLM-களை உள்நாட்டில் இயக்குவதற்கான செயல்முறையை தெளிவுபடுத்துகிறது, இதற்கு குறைந்தபட்ச தொழில்நுட்ப நிபுணத்துவம் தேவைப்படுகிறது.
உள்ளூர் LLM செயலாக்கத்தின் நன்மைகள்
மேம்படுத்தப்பட்ட தனியுரிமை மற்றும் பாதுகாப்பு
உள்ளூர் LLM செயலாக்கத்தின் மிக முக்கியமான நன்மை என்னவென்றால், அது வழங்கும் மேம்படுத்தப்பட்ட தனியுரிமை மற்றும் பாதுகாப்பு. வெளிப்புற சேவையகங்களிலிருந்து சுயாதீனமாக செயல்படுவதன் மூலம், உங்கள் தரவின் மீது முழு கட்டுப்பாட்டைப் பெறுவீர்கள், முக்கியமான தகவல்கள் உங்கள் பாதுகாப்பான சூழலுக்குள் இருப்பதை உறுதி செய்கிறீர்கள். ரகசியமான அல்லது தனியுரிம தரவைக் கையாளும் போது இது மிகவும் முக்கியமானது.
சிறந்த செயல்திறன் மற்றும் செலவு திறன்
உள்ளூர் LLM செயலாக்கம் கிளவுட் அடிப்படையிலான செயலாக்கத்துடன் தொடர்புடைய தாமதத்தை நீக்குவதன் மூலம் செயல்திறன் நன்மைகளை வழங்குகிறது. இது வேகமான பதில் நேரங்கள் மற்றும் மிகவும் தடையற்ற பயனர் அனுபவமாக மொழிபெயர்க்கப்படுகிறது. மேலும், இது கிளவுட் அடிப்படையிலான LLM சேவைகளுடன் தொடர்புடைய தொடர்ச்சியான API கட்டணங்களைத் தவிர்க்கிறது, இதன் விளைவாக காலப்போக்கில் குறிப்பிடத்தக்க செலவு சேமிப்பு ஏற்படுகிறது.
வடிவமைக்கப்பட்ட AI அனுபவங்கள்
உள்ளூரில் LLM-களை இயக்குவது தனியுரிம தரவுகளுடன் அவற்றைப் பயிற்றுவிக்க உதவுகிறது, அவற்றின் பதில்களை உங்கள் குறிப்பிட்ட தேவைகளுக்கு ஏற்ப துல்லியமாக சீரமைக்கிறது. இந்த தனிப்பயனாக்கம் AI பயன்பாட்டின் புதிய நிலையைத் திறக்கிறது, இது உங்கள் தனிப்பட்ட தேவைகளுக்கு ஏற்ப அதிக சிறப்புடைய AI தீர்வுகளை உருவாக்க உங்களை அனுமதிக்கிறது. வேலை தொடர்பான பணிகளுக்கு DeepSeek அல்லது பிற LLM-களைப் பயன்படுத்த விரும்பும் நிபுணர்களுக்கு, இந்த அணுகுமுறை உற்பத்தித்திறனையும் செயல்திறனையும் கணிசமாக அதிகரிக்கும்.
டெவலப்பர்களுக்கு அதிகாரம் அளித்தல்
டெவலப்பர்களுக்கு, உள்ளூர் LLM செயலாக்கம் சோதனை மற்றும் ஆய்வுக்கான சாண்ட்பாக்ஸ் சூழலை வழங்குகிறது. LLM-களை உள்நாட்டில் இயக்குவதன் மூலம், டெவலப்பர்கள் அவற்றின் திறன்களைப் பற்றிய ஆழமான புரிதலைப் பெறலாம் மற்றும் அவற்றை அவர்களின் பணிப்பாய்வுகளில் ஒருங்கிணைப்பதற்கான புதுமையான வழிகளைக் கண்டறியலாம். தேவையான தொழில்நுட்ப நிபுணத்துவத்துடன், டெவலப்பர்கள் இந்த AI மாதிரிகளை ஏஜென்டிக் கருவிகளைக் கட்டமைக்கவும், பணிகளை தானியக்கமாக்கவும் மற்றும் செயல்முறைகளை ஒழுங்குபடுத்தவும் முடியும்.
Mac-இல் உள்ளூர் LLM செயலாக்கத்திற்கான குறைந்தபட்ச தேவைகள்
பிரபலமான நம்பிக்கைக்கு மாறாக, LLM-களை உள்நாட்டில் இயக்க ஏராளமான ரேம் பொருத்தப்பட்ட உயர்நிலை Mac தேவையில்லை. குறைந்தபட்சம் 16GB சிஸ்டம் நினைவகம் கொண்ட எந்த Apple சிலிகான்-இயங்கும் Mac-கிலும் உள்நாட்டில் LLM-ஐ இயக்குவது சாத்தியமாகும். 8GB நினைவகம் தொழில்நுட்ப ரீதியாக போதுமானதாக இருந்தாலும், கணினி செயல்திறன் குறிப்பிடத்தக்க வகையில் பாதிக்கப்படும்.
LLM-கள் பல்வேறு உள்ளமைவுகளில் கிடைக்கின்றன என்பதைப் புரிந்துகொள்வது அவசியம், ஒவ்வொன்றும் வெவ்வேறு எண்ணிக்கையிலான அளவுருக்களைக் கொண்டுள்ளன. LLM-க்கு அதிக அளவுருக்கள் இருந்தால், அது மிகவும் சிக்கலானதாகவும் புத்திசாலியாகவும் இருக்கும். இருப்பினும், AI மாதிரி திறம்பட இயங்க அதிக சேமிப்பு இடம் மற்றும் கணினி வளங்கள் தேவைப்படும் என்றும் இது அர்த்தப்படுத்துகிறது. எடுத்துக்காட்டாக, Meta’s Llama 70 பில்லியன் அளவுருக்கள் கொண்ட ஒன்று உட்பட பல வகைகளில் வழங்கப்படுகிறது. இந்த மாதிரியை இயக்க, உங்களுக்கு 40GB-க்கும் அதிகமான இலவச சேமிப்பகம் மற்றும் 48GB-க்கும் அதிகமான சிஸ்டம் நினைவகம் கொண்ட Mac தேவைப்படும்.
சிறந்த செயல்திறனுக்காக, 7 பில்லியன் அல்லது 8 பில்லியன் அளவுருக்கள் கொண்ட DeepSeek போன்ற LLM-ஐ இயக்கவும். இது 16GB சிஸ்டம் நினைவகம் கொண்ட Mac-இல் சீராக இயங்க வேண்டும். உங்களிடம் இன்னும் சக்திவாய்ந்த Mac இருந்தால், உங்கள் குறிப்பிட்ட தேவைகளுக்கு ஏற்ற மாதிரிகளுடன் நீங்கள் பரிசோதனை செய்யலாம்.
LLM-ஐத் தேர்ந்தெடுக்கும்போது, உங்கள் நோக்கம் என்ன என்பதைப் பரிசீலிப்பது அவசியம். சில LLM-கள் நியாயமான பணிகளில் சிறந்து விளங்குகின்றன, மற்றவை குறியீட்டு வினவல்களுக்கு மிகவும் பொருத்தமானவை. சில STEM தொடர்பான உரையாடல்களுக்கு உகந்ததாக உள்ளன, மற்றவை பல திருப்ப உரையாடல்கள் மற்றும் நீண்ட சூழல் ஒருமைப்பாட்டிற்காக வடிவமைக்கப்பட்டுள்ளன.
LM ஸ்டுடியோ: உள்ளூர் LLM செயலாக்கத்திற்கான பயனர் நட்பு தீர்வு
DeepSeek மற்றும் Llama போன்ற LLM-களை அவர்களின் Mac-இல் உள்நாட்டில் இயக்க அணுகக்கூடிய வழியைத் தேடுபவர்களுக்கு, LM ஸ்டுடியோ ஒரு சிறந்த தொடக்க புள்ளியாகும். இந்த மென்பொருள் தனிப்பட்ட பயன்பாட்டிற்காக இலவசமாகக் கிடைக்கிறது.
LM ஸ்டுடியோவில் தொடங்குவதற்கான படிப்படியான வழிகாட்டி இங்கே:
LM ஸ்டுடியோவைப் பதிவிறக்கி நிறுவவும்: LM ஸ்டுடியோவை அதன் அதிகாரப்பூர்வ வலைத்தளத்திலிருந்து பதிவிறக்கம் செய்து உங்கள் Mac-இல் நிறுவவும். நிறுவியதும், பயன்பாட்டைத் தொடங்கவும்.
மாடல் தேர்வு:
- DeepSeek-ஐ உள்நாட்டில் இயக்குவதே உங்கள் முதன்மை குறிக்கோளாக இருந்தால், நீங்கள் உள்ளீட்டு செயல்முறையை முடித்து மாதிரியைப் பதிவிறக்கலாம்.
- மாற்றாக, நீங்கள் உள்ளீட்டு செயல்முறையைத் தவிர்த்து, நீங்கள் பதிவிறக்கம் செய்து நிறுவ விரும்பும் LLM-ஐ நேரடியாகத் தேடலாம். இதைச் செய்ய, LM ஸ்டுடியோவின் மேற்புறத்தில் உள்ள தேடல் பட்டனை கிளிக் செய்யவும், இது “ஏற்ற மாதிரி ஒன்றைத் தேர்ந்தெடுக்கவும்” என்று உங்களைத் தூண்டுகிறது.
- LM ஸ்டுடியோவின் கீழ் வலது மூலையில் உள்ள அமைப்புகள் கியரைக் கிளிக் செய்வதன் மூலம் கிடைக்கும் LLM-களின் பட்டியலை நீங்கள் உலாவலாம். தோன்றும் சாளரத்தில், இடதுபுறத்தில் “மாடல் தேடல்” தாவலைத் தேர்ந்தெடுக்கவும். Command + Shift + M விசைப்பலகை குறுக்குவழியைப் பயன்படுத்தி இந்த சாளரத்தை நேரடியாக அணுகலாம்.
மாடல் பதிவிறக்கம்:
- மாடல் தேடல் சாளரத்தில், பதிவிறக்கம் செய்யக் கிடைக்கும் AI மாடல்களின் விரிவான பட்டியலைக் காண்பீர்கள்.
- வலதுபுறத்தில் உள்ள சாளரம் ஒவ்வொரு மாடலைப் பற்றியும் சுருக்கமான விளக்கம் மற்றும் அதன் டோக்கன் வரம்பு உட்பட விரிவான தகவல்களை வழங்குகிறது.
- நீங்கள் பயன்படுத்த விரும்பும் LLM-ஐத் தேர்ந்தெடுக்கவும், அதாவது DeepSeek, Meta’s Llama, Qwen அல்லது phi-4.
- பதிவிறக்க செயல்முறையைத் தொடங்க கீழ் வலது மூலையில் உள்ள “பதிவிறக்கு” பொத்தானைக் கிளிக் செய்யவும்.
- நீங்கள் பல LLM-களைப் பதிவிறக்க முடியும் என்பதை நினைவில் கொள்ளவும், LM ஸ்டுடியோ ஒரே நேரத்தில் ஒரு மாதிரியை மட்டுமே ஏற்றவும் இயக்கவும் முடியும்.
உங்கள் பதிவிறக்கம் செய்யப்பட்ட LLM-ஐப் பயன்படுத்துதல்
LLM பதிவிறக்கம் முடிந்ததும், LM ஸ்டுடியோவின் மிஷன் கண்ட்ரோல் சாளரத்தை மூடவும். பின்னர், மேல் தேடல் பட்டனை கிளிக் செய்து, சமீபத்தில் பதிவிறக்கம் செய்யப்பட்ட LLM-ஐ ஏற்றவும்.
AI மாதிரியை ஏற்றும்போது, அதன் சூழல் நீளம் மற்றும் CPU த்ரெட் பூல் அளவு உட்பட பல்வேறு அமைப்புகளை உள்ளமைக்க LM ஸ்டுடியோ உங்களை அனுமதிக்கிறது. இந்த அமைப்புகளைப் பற்றி உங்களுக்குத் தெரியாவிட்டால், அவற்றை அவற்றின் இயல்புநிலை மதிப்புகளில் விடலாம்.
கேள்விகளைக் கேட்பதன் மூலமோ அல்லது பல்வேறு பணிகளுக்குப் பயன்படுத்துவதன் மூலமோ நீங்கள் இப்போது LLM உடன் தொடர்பு கொள்ளத் தொடங்கலாம்.
எல்எம் ஸ்டுடியோ ஒரு LLM உடன் பல தனி சாட்களை பராமரிக்க உங்களை அனுமதிக்கிறது. புதிய உரையாடலைத் தொடங்க, மேல் உள்ள கருவிப்பட்டியில் உள்ள “+” ஐகானைக் கிளிக் செய்க. நீங்கள் ஒரே நேரத்தில் பல திட்டங்களுக்கு LLM-ஐப் பயன்படுத்தினால் இந்த அம்சம் மிகவும் பயனுள்ளதாக இருக்கும். உங்கள் சாட்களை ஒழுங்கமைக்க கோப்புறைகளையும் உருவாக்கலாம்.
கணினி வளங்களை நிர்வகித்தல்
AI மாடல் அதிகப்படியான கணினி வளங்களைப் பயன்படுத்துவதைப் பற்றி நீங்கள் கவலைப்பட்டால், LM ஸ்டுடியோவின் அமைப்புகளை இதைத் தணிக்க சரிசெய்யலாம்.
Command + , விசைப்பலகை குறுக்குவழியைப் பயன்படுத்தி LM ஸ்டுடியோவின் அமைப்புகளை அணுகவும். பின்னர், “மாடல் ஏற்றுதல் பாதுகாப்பு” அமைப்பு “கண்டிப்பானது” என்று அமைக்கப்பட்டிருப்பதை உறுதிப்படுத்தவும். இந்த அமைப்பு LLM உங்கள் Mac-ஐ ஓவர்லோட் செய்வதைத் தடுக்கும்.
LM ஸ்டுடியோ மற்றும் பதிவிறக்கம் செய்யப்பட்ட LLM ஆகியவற்றின் வள பயன்பாட்டை கீழ் கருவிப்பட்டியில் நீங்கள் கண்காணிக்கலாம். CPU அல்லது நினைவக பயன்பாடு அதிகமாக இருந்தால், வள நுகர்வு குறைக்க குறைந்த அளவுரு எண்ணிக்கையைக் கொண்ட AI மாடலுக்கு மாறவும்.
செயல்திறன் பரிசீலனைகள்
உள்ளூரில் இயங்கும் LLM-களின் செயல்திறன் Mac-இன் வன்பொருள் விவரக்குறிப்புகள், LLM-இன் அளவு மற்றும் செய்யப்படும் பணியின் சிக்கலான தன்மை உள்ளிட்ட பல காரணிகளைப் பொறுத்து மாறுபடும்.
பழைய Apple சிலிகான் Macகள் கூட LLM-களை சீராக இயக்க முடியும் என்றாலும், அதிக கணினி நினைவகம் மற்றும் சக்திவாய்ந்த செயலிகளுடன் கூடிய புதிய Macகள் பொதுவாக சிறந்த செயல்திறனை வழங்கும்.
சேமிப்பக மேலாண்மை
உங்கள் Mac-இன் சேமிப்பகம் விரைவாக நிரம்பாமல் தடுக்க, நீங்கள் பரிசோதனை செய்து முடித்த பிறகு, தேவையற்ற LLM-களை நீக்குவது அவசியம். LLM-கள் மிகவும் பெரியதாக இருக்கலாம், எனவே பல மாதிரிகளைப் பதிவிறக்குவது சேமிப்பக இடத்தின் குறிப்பிடத்தக்க அளவை விரைவாக நுகரலாம்.
LM ஸ்டுடியோவுக்கு அப்பால்: பிற விருப்பங்களை ஆராய்தல்
LM ஸ்டுடியோ LLM-களை உள்நாட்டில் இயக்க ஒரு வசதியான மற்றும் பயனர் நட்பு வழியை வழங்கும் அதே வேளையில், இது மட்டுமே கிடைக்கக்கூடிய விருப்பம் அல்ல. llama.cpp போன்ற பிற கருவிகள் மற்றும் கட்டமைப்புகள், மேலும் மேம்பட்ட அம்சங்கள் மற்றும் தனிப்பயனாக்குதல் விருப்பங்களை வழங்குகின்றன. இருப்பினும், இந்த விருப்பங்களை அமைத்து பயன்படுத்த அதிக தொழில்நுட்ப நிபுணத்துவம் பொதுவாக தேவைப்படுகிறது.
உள்ளூர் AI-இன் எதிர்காலம்
உள்ளூரில் LLM-களை இயக்கும் திறன் நாம் AI உடன் தொடர்பு கொள்ளும் விதத்தில் புரட்சியை ஏற்படுத்தும். LLM-கள் மிகவும் திறமையானதாகவும் அணுகக்கூடியதாகவும் இருப்பதால், அதிக தனியுரிமை, கட்டுப்பாடு மற்றும் தனிப்பயனாக்கம் மூலம் பயனர்களுக்கு அதிகாரம் அளிக்கும் உள்ளூர் AI பயன்பாடுகள் பெருகும் என்று எதிர்பார்க்கலாம்.
நீங்கள் தனியுரிமை உணர்வுள்ள நபராக இருந்தாலும், AI உடன் பரிசோதனை செய்ய விரும்பும் டெவலப்பராக இருந்தாலும் அல்லது உங்கள் உற்பத்தித்திறனை அதிகரிக்க விரும்பும் நிபுணராக இருந்தாலும், உங்கள் Mac-இல் LLM-களை உள்நாட்டில் இயக்குவது சாத்தியக்கூறுகளின் உலகத்தைத் திறக்கிறது.