அறிவு ஒருங்கிணைப்புக்கான ஒரு புதிய கட்டமைப்பு
மைக்ரோசாப்டின் ஆராய்ச்சிப் பிரிவு, பெரிய மொழி மாதிரிகளில் (LLMs) வெளிப்புற அறிவை ஒருங்கிணைப்பதற்கான ஒரு அற்புதமான முறையை உருவாக்கியுள்ளது. Knowledge Base-Augmented Language Models (KBLaM) என்று அழைக்கப்படும் இந்த புதுமையான அமைப்பு, “பிளக் அண்ட் ப்ளே” தத்துவத்தைப் பின்பற்றுகிறது, முன் இருக்கும் மாதிரிகளை மாற்ற வேண்டிய அவசியத்தை நீக்குகிறது. இது வழக்கமான நுட்பங்களிலிருந்து ஒரு குறிப்பிடத்தக்க மாற்றமாகும், இது அறிவை மேம்படுத்துவதற்கான மிகவும் நெறிப்படுத்தப்பட்ட மற்றும் திறமையான அணுகுமுறையை வழங்குகிறது.
பாரம்பரிய முறைகளிலிருந்து விலகல்
தற்போதைய வழிமுறைகளான, Retrieval-Augmented Generation (RAG) மற்றும் In-Context Learning, பொதுவாக வெளிப்புற தகவல்களை அணுகவும் இணைக்கவும் தனித்தனி மீட்டெடுப்பு வழிமுறைகளை நம்பியுள்ளன. மாறாக, KBLaM இந்த வெளிப்புற அமைப்புகளைத் தவிர்க்கிறது. இது அறிவை வெக்டர் ஜோடிகளாக மாற்றி, மைக்ரோசாப்ட் “செவ்வக கவனம்” என்று அழைக்கும் ஒரு புதுமையான நுட்பத்தின் மூலம் மாதிரியின் முக்கிய கட்டமைப்பில் அவற்றை নির্বிঘ்தமாக இணைக்கிறது.
மாதிரியின் உள்ளேயே அறிவை நேரடியாக ஒருங்கிணைப்பது, வெளிப்புற மீட்டெடுப்பு செயல்முறைகளைத் தவிர்ப்பது, குறிப்பிடத்தக்க வகையில் வேகமான மற்றும் திறமையான பதில்களுக்கு வழிவகுக்கிறது. வெளிப்புற தரவுத்தளங்களை வினவ வேண்டியதன் காரணமாக தாமதம் மற்றும் கணக்கீட்டுச் சுமை ஆகியவற்றால் பாதிக்கப்படும் பாரம்பரிய அமைப்புகளை விட இது ஒரு முக்கிய நன்மை.
இருபடி அளவிடுதல் சிக்கலைத் தீர்ப்பது
தற்போதுள்ள RAG அமைப்புகள் பெரும்பாலும் இருபடி அளவிடுதல் சிக்கலால் பாதிக்கப்படுகின்றன, இது அவற்றின் சுய-கவன பொறிமுறையின் உள்ளார்ந்த விளைவாகும். இந்த பொறிமுறையானது ஒவ்வொரு டோக்கனும் மற்ற டோக்கனுடன் தொடர்பு கொள்ள வேண்டும், உள்ளீட்டு அளவு அதிகரிக்கும்போது கணக்கீட்டு தேவைகளில் அதிவேக அதிகரிப்புக்கு வழிவகுக்கிறது.
விளக்குவதற்கு, ஒரு அறிவுத் தளத்திலிருந்து 1,000 டோக்கன்கள் சூழலில் அறிமுகப்படுத்தப்படும் ஒரு காட்சியை கவனியுங்கள். மாதிரி பின்னர் ஒரு மில்லியன் டோக்கன் ஜோடிகளை செயலாக்க வேண்டிய கட்டாயத்தில் உள்ளது. டோக்கன்களின் எண்ணிக்கை 10,000 ஆக அதிகரித்தால், கணக்கீட்டு சுமை 100 மில்லியன் தொடர்புகளாக வெடிக்கும். இந்த இருபடி அளவிடுதல் விரைவில் ஒரு தடையாக மாறுகிறது, பெரிய அறிவுத் தளங்களைக் கொண்ட RAG அமைப்புகளின் நடைமுறை பயன்பாட்டினை கட்டுப்படுத்துகிறது.
செவ்வக கவனத்தின் திறன்
KBLaM இந்த கணக்கீட்டு சிக்கலை நேர்த்தியாக தவிர்க்கிறது. அதன் புதுமையான “செவ்வக கவன” பொறிமுறையானது பயனரின் உள்ளீட்டை அனைத்து அறிவு டோக்கன்களையும் அணுக அனுமதிக்கிறது, ஆனால் முக்கியமாக, இந்த அறிவு டோக்கன்கள் ஒன்றுக்கொன்று அல்லது உள்ளீட்டுடன் தொடர்பு கொள்ளாது. இந்த மூலோபாய வடிவமைப்பு தேர்வு அளவிடுதலுக்கு ஆழமான தாக்கங்களைக் கொண்டுள்ளது.
அறிவுத் தளம் விரிவடையும்போது, தேவையான கணக்கீட்டு சக்தி நேர்கோட்டில் மட்டுமே அதிகரிக்கிறது, இது பாரம்பரிய முறைகளின் இருபடி அளவிடுதலுக்கு முற்றிலும் மாறுபட்டது. KBLaM-க்கு பின்னால் உள்ள ஆராய்ச்சியாளர்கள், ஒரு GPU ஆனது 10,000 க்கும் மேற்பட்ட அறிவுத் தொகுதிகளை (knowledge triples) வசதியாக கையாள முடியும் என்று கூறுகின்றனர், இது தோராயமாக 200,000 டோக்கன்களாகும். இது அறிவு ஒருங்கிணைப்பின் செயல்திறனில் ஒரு குறிப்பிடத்தக்க முன்னேற்றத்தைக் குறிக்கிறது.
நம்பிக்கைக்குரிய பரிசோதனை முடிவுகள்
KBLaM-இன் ஆரம்ப சோதனைகள் ஊக்கமளிக்கும் முடிவுகளை அளித்துள்ளன. சுமார் 200 அறிவுப் பொருட்களை உள்ளடக்கிய சோதனைகளில், KBLaM வழக்கமான மாதிரிகளுடன் ஒப்பிடும்போது மாயத்தோற்றங்களை (hallucinations) – தவறான அல்லது அர்த்தமற்ற தகவல்களை உருவாக்குதல் – தணிக்கும் சிறந்த திறனை நிரூபித்தது.
மேலும், KBLaM போதுமான தகவல் இல்லாத கேள்விகளுக்கு பதிலளிப்பதைத் தவிர்ப்பதற்கான அதிக விருப்பத்தை வெளிப்படுத்தியது. இந்த “அறிவாற்றல் பணிவு” (epistemic humility) LLM-களில் விரும்பத்தக்க ஒரு பண்பு, ஏனெனில் இது துல்லியம் மற்றும் நம்பகத்தன்மையை ஊக்குவிக்கிறது.
KBLaM-இன் மற்றொரு குறிப்பிடத்தக்க நன்மை அதன் மேம்பட்ட வெளிப்படைத்தன்மை. In-context learning போலல்லாமல், KBLaM குறிப்பிட்ட அறிவு கூறுகளை தொடர்புடைய டோக்கன்களுடன் எளிதாக இணைக்க முடியும், இது மாதிரியின் பகுத்தறிவு செயல்முறைக்கு அதிக நுண்ணறிவை வழங்குகிறது.
திறந்த மூல கிடைக்கும் தன்மை மற்றும் எதிர்கால திசைகள்
KBLaM-ஐ ஆதரிக்கும் குறியீடு மற்றும் தரவுத்தொகுப்புகள் கிட்ஹப்பில் (GitHub) பொதுவில் கிடைக்கின்றன, இது சமூகத்திற்குள் ஒத்துழைப்பு மற்றும் மேலதிக ஆராய்ச்சியை வளர்க்கிறது. இந்த அமைப்பு Meta-வின் Llama 3 மற்றும் மைக்ரோசாப்டின் சொந்த Phi-3 உள்ளிட்ட பல பரவலாகப் பயன்படுத்தப்படும் மாடல்களுடன் இணக்கமாக வடிவமைக்கப்பட்டுள்ளது. Hugging Face Transformers-க்கான ஆதரவை நீட்டிக்கவும் திட்டங்கள் உள்ளன, இது LLM-களை உருவாக்குவதற்கும் பயன்படுத்துவதற்கும் பிரபலமான தளமாகும்.
ஆரம்ப முடிவுகள் நம்பிக்கைக்குரியதாக இருந்தாலும், KBLaM இன்னும் பரவலான பயன்பாட்டிற்கு தயாராக இல்லை என்று ஆராய்ச்சியாளர்கள் வலியுறுத்துகின்றனர். இது நேரடியான கேள்வி-பதில் காட்சிகளைக் கையாள்வதில் சிறந்து விளங்குகிறது, ஆனால் மிகவும் சிக்கலான பகுத்தறிவு பணிகளைச் சமாளிக்க மேலும் வளர்ச்சி தேவைப்படுகிறது.
சூழல் சாளரங்களின் முரண்பாடு மற்றும் RAG-இன் எழுச்சி
LLM-கள் ஒரு சுவாரஸ்யமான முரண்பாட்டை எதிர்கொள்கின்றன: அவற்றின் சூழல் சாளரங்கள் (context windows) – அவை ஒரே நேரத்தில் செயலாக்கக்கூடிய தகவல்களின் அளவு – தொடர்ந்து விரிவடைந்து வருகின்றன, இருப்பினும் இந்த வளர்ந்து வரும் தரவின் அளவை நம்பத்தகுந்த முறையில் செயலாக்குவது ஒரு கடினமான சவாலாகவே உள்ளது.
இந்த சவால், Retrieval-Augmented Generation (RAG)-ஐ ஒரு நியாயமான அளவு நம்பகத்தன்மையுடன் குறிப்பிட்ட தகவல்களை மாதிரிகளில் செலுத்துவதற்கான விருப்பமான தீர்வாக முன்னணியில் கொண்டு வந்துள்ளது. RAG அமைப்புகள் இடைத்தரகர்களாக செயல்படுகின்றன, வெளிப்புற மூலங்களிலிருந்து தொடர்புடைய தகவல்களை மீட்டெடுத்து LLM-இல் செலுத்துகின்றன, அதன் மூலம் அதன் அறிவு மற்றும் துல்லியத்தை மேம்படுத்துகின்றன.
KBLaM: ஒரு சாத்தியமான முன்னுதாரண மாற்றம்
இருப்பினும், KBLaM ஒரு கட்டாய மாற்றீட்டை முன்வைக்கிறது, இது ஒரு சாத்தியமான திறமையான மற்றும் நேர்த்தியான முன்னோக்கி செல்லும் பாதையை பரிந்துரைக்கிறது. அறிவை மாதிரியின் கட்டமைப்பில் நேரடியாக ஒருங்கிணைப்பதன் மூலம், KBLaM வேகமான, அதிக அளவிடக்கூடிய மற்றும் அதிக வெளிப்படையான அறிவு-மேம்படுத்தப்பட்ட LLM-களின் வாய்ப்பை வழங்குகிறது.
KBLaM-இன் இயக்கவியலில் ஆழமாக ஆராய்தல்
KBLaM-இன் முக்கிய கண்டுபிடிப்பு அதன் “செவ்வக கவன” பொறிமுறையில் உள்ளது. இதைப் புரிந்துகொள்ள, பல LLM-களால் பயன்படுத்தப்படும் நிலையான சுய-கவன பொறிமுறையை (standard self-attention mechanism) முதலில் கருத்தில் கொள்வது உதவியாக இருக்கும்.
சுய-கவனத்தில், உள்ளீட்டு வரிசையில் உள்ள ஒவ்வொரு டோக்கனும் தன்னையும் உள்ளடக்கிய ஒவ்வொரு டோக்கனுக்கும் கவனம் செலுத்துகிறது. இது உள்ளீட்டின் வெவ்வேறு பகுதிகளுக்கு இடையிலான உறவுகளைப் பிடிக்க மாதிரியை அனுமதிக்கிறது, ஆனால் இது முன்னர் குறிப்பிடப்பட்ட இருபடி அளவிடுதல் சிக்கலுக்கும் வழிவகுக்கிறது.
செவ்வக கவனம், மாறாக, கவன செயல்முறையை இரண்டு தனித்துவமான பகுதிகளாகப் பிரிக்கிறது:
- பயனர் உள்ளீட்டு கவனம்: பயனரின் உள்ளீடு அனைத்து அறிவு டோக்கன்களுக்கும் கவனம் செலுத்துகிறது, இது அறிவுத் தளத்திலிருந்து தொடர்புடைய தகவல்களை அணுக மாதிரியை அனுமதிக்கிறது.
- அறிவு டோக்கன் கவனம்: அறிவு டோக்கன்கள் ஒன்றுக்கொன்று அல்லது பயனர் உள்ளீட்டிற்கு கவனம் செலுத்துவதில்லை. இதுவே KBLaM-இன் திறனுக்கான திறவுகோல்.
அறிவு டோக்கன்களுக்கு இடையிலான தொடர்புகளைத் தடுப்பதன் மூலம், KBLaM தேவையான கணக்கீடுகளின் எண்ணிக்கையை வெகுவாகக் குறைக்கிறது. இது அறிவுத் தளத்தின் அளவிற்கு ஏற்ப மாதிரியை நேர்கோட்டில் அளவிட அனுமதிக்கிறது, இது பரந்த அளவிலான வெளிப்புற தகவல்களை இணைப்பதை சாத்தியமாக்குகிறது.
நேரடி அறிவு ஒருங்கிணைப்பின் நன்மைகள்
மாதிரியின் கட்டமைப்பில் அறிவை நேரடியாக ஒருங்கிணைப்பது பல நன்மைகளை வழங்குகிறது:
- குறைக்கப்பட்ட தாமதம்: KBLaM வெளிப்புற மீட்டெடுப்பு அமைப்புகளை நம்பியிருக்காததால், RAG-அடிப்படையிலான மாதிரிகளை விட இது மிக வேகமாக பதிலளிக்க முடியும்.
- மேம்படுத்தப்பட்ட செயல்திறன்: KBLaM-இன் நேரியல் அளவிடுதல் பாரம்பரிய முறைகளை விட கணிசமாக அதிக கணக்கீட்டு திறன் கொண்டது.
- மேம்படுத்தப்பட்ட வெளிப்படைத்தன்மை: KBLaM அறிவை குறிப்பிட்ட டோக்கன்களுடன் இணைக்க முடியும், மாதிரி அதன் பதிலுக்கு எப்படி வந்தது என்பதைப் புரிந்துகொள்வதை எளிதாக்குகிறது.
- குறைக்கப்பட்ட மாயத்தோற்றங்கள்: KBLaM தவறான அல்லது அர்த்தமற்ற தகவல்களை உருவாக்குவதைத் தவிர்ப்பதற்கான அதிக திறனைக் காட்டியுள்ளது.
வரம்புகள் மற்றும் எதிர்கால ஆராய்ச்சி
KBLaM ஒரு குறிப்பிடத்தக்க முன்னேற்றத்தைக் குறிக்கும் அதே வேளையில், அதன் தற்போதைய வரம்புகளை ஒப்புக்கொள்வது முக்கியம்:
- சிக்கலான பகுத்தறிவு: KBLaM தற்போது நேரடியான கேள்வி-பதில் பணிகளுக்கு மிகவும் பொருத்தமானது. அதன் திறன்களை மிகவும் சிக்கலான பகுத்தறிவு காட்சிகளுக்கு நீட்டிக்க கூடுதல் ஆராய்ச்சி தேவை.
- அறிவு பிரதிநிதித்துவம்: KBLaM-இன் தற்போதைய செயலாக்கம் அறிவுத் தொகுதிகளை (knowledge triples) பயன்படுத்துகிறது, இது எல்லா வகையான அறிவிற்கும் ஏற்றதாக இருக்காது. மாற்று அறிவு பிரதிநிதித்துவ வடிவங்களை ஆராய்வது எதிர்கால பணிக்கான ஒரு பகுதியாகும்.
- உண்மையான-உலக பயன்பாடு: KBLaM இன்னும் ஒரு ஆராய்ச்சி திட்டமாகும், மேலும் இது பரவலான பயன்பாட்டிற்கு இன்னும் தயாராக இல்லை. உண்மையான-உலக பயன்பாடுகளில் இதைப் பயன்படுத்துவதற்கு முன் மேலும் சோதனை மற்றும் சுத்திகரிப்பு தேவை.
செயற்கை நுண்ணறிவு துறையில் பரந்த தாக்கம்
KBLaM-இன் வளர்ச்சி செயற்கை நுண்ணறிவு (Artificial Intelligence) துறையில் குறிப்பிடத்தக்க தாக்கங்களைக் கொண்டுள்ளது. இது சக்திவாய்ந்தவை மட்டுமல்லாமல், பின்வருவனவற்றையும் கொண்ட LLM-களை உருவாக்குவதற்கான ஒரு படியாகும்:
- அதிக அறிவுள்ளவை: பரந்த அளவிலான வெளிப்புற அறிவை திறமையாக ஒருங்கிணைப்பதன் மூலம், KBLaM LLM-களின் உண்மை துல்லியம் மற்றும் புரிதலை மேம்படுத்த முடியும்.
- அதிக நம்பகமானவை: KBLaM-இன் குறைக்கப்பட்ட மாயத்தோற்ற விகிதம் மற்றும் அதிகரித்த வெளிப்படைத்தன்மை அதிக நம்பகத்தன்மை மற்றும் நம்பகத்தன்மைக்கு பங்களிக்கின்றன.
- அதிக அளவிடக்கூடியவை: KBLaM-இன் நேரியல் அளவிடுதல் உண்மையிலேயே மிகப்பெரிய அளவிலான தகவல்களைக் கையாளக்கூடிய LLM-களை உருவாக்குவதற்கான சாத்தியக்கூறுகளைத் திறக்கிறது.
KBLaM மற்றும் இதேபோன்ற அணுகுமுறைகளின் தொடர்ச்சியான ஆராய்ச்சி மற்றும் மேம்பாடு LLM-கள் மற்றும் அறிவுத் தளங்களுக்கு இடையிலான கோடுகளை மேலும் மங்கலாக்குவதாக உறுதியளிக்கிறது, இது புத்திசாலித்தனமான மற்றும் ஆழமான தகவல்களைக் கொண்ட புதிய தலைமுறை AI அமைப்புகளுக்கு வழி வகுக்கிறது. திட்டத்தின் திறந்த-மூல தன்மை ஒத்துழைப்பை ஊக்குவிக்கிறது மற்றும் இந்த அற்புதமான துறையில் கண்டுபிடிப்புகளின் வேகத்தை துரிதப்படுத்துகிறது.