AI பரிணாமத்தின் விடியல்: PageRank முதல் AGI வரை 25 ஆண்டு பயணம்
கூகிள் நிறுவனத்தின் தற்போதைய தலைமை விஞ்ஞானி ஜெஃப் டீன் மற்றும் Transformer மாடலின் முக்கிய நபர்களில் ஒருவரான நோம் ஷாஸீர் ஆகியோர் சமீபத்தில் ஒரு உரையாடலில் ஈடுபட்டனர். புகழ்பெற்ற போட்காஸ்டர் துவாரகேஷ் படேல் தொகுத்து வழங்கிய இந்த உரையாடல், MapReduce இன் அடித்தள நாட்கள் முதல் Transformer மற்றும் MoE கட்டமைப்புகளின் மாற்றும் சகாப்தம் வரையிலான AI இன் பரிணாமத்தைப் பற்றிய ஒரு கண்ணோட்டத்தை வழங்கியது.
கூகிளில் பல தசாப்த கால அனுபவமுள்ள இந்த அனுபவமிக்க வல்லுநர்கள், இணையம் மற்றும் செயற்கை நுண்ணறிவின் வரையறுக்கும் தொழில்நுட்பங்களை பார்த்தது மட்டுமல்லாமல், அவற்றை தீவிரமாக வடிவமைத்துள்ளனர். கூகிளில் சேருவதற்கான தனது ஆரம்ப உந்துதல் ஒரு குறுகிய கால நிதி நோக்கம் என்று ஷாஸீர் ஒப்புக்கொண்டார், இது துறையில் அவர் அளித்த பங்களிப்புகளால் வியத்தகு முறையில் தலைகீழாக மாறியது.
AI கணக்கீட்டின் தற்போதைய நிலை மற்றும் எதிர்கால பாதை
இரண்டு மணிநேர விரிவான உரையாடலில், டீன் மற்றும் ஷாஸீர் ஆகியோர் AI கணக்கீட்டின் தற்போதைய நிலை குறித்த நுண்ணறிவுகளை வெளியிட்டனர்:
- செயல்பாடுகளின் அளவு தனிப்பட்ட தரவு மையங்களைத் தாண்டியுள்ளது; ஜெமினியின் பயிற்சி இப்போது வெவ்வேறு பெருநகரப் பகுதிகளில் உள்ள பல தரவு மையங்களில் ஒத்திசைவற்ற முறையில் பரவியுள்ளது.
- AI உடன் தொடர்புகொள்வது பாரம்பரிய வாசிப்பை விட கணிசமாக செலவு குறைந்ததாக இருப்பதால், ஊகக் கணக்கீட்டை அளவிடுவதில் கணிசமான வளர்ச்சிக்கு இடமுள்ளது.
- எதிர்கால மாதிரி கட்டமைப்புகள் MoE இன் நெகிழ்வுத்தன்மையை மீறும் வகையில் வடிவமைக்கப்பட்டுள்ளன, பல்வேறு மாதிரி கூறுகளை வெவ்வேறு குழுக்கள் சுயாதீனமாக உருவாக்க உதவுகின்றன.
அகழிகளின் நுண்ணறிவு: பிழை வேட்டைகள் மற்றும் எதிர்கால கட்டமைப்புகள்
இந்த உரையாடல் சமூக ஊடகங்களில் ஆர்வத்தைத் தூண்டியது, பயனர்கள் பின்வரும் சுவாரஸ்யமான கருத்துக்களை எடுத்துக்காட்டினர்:
- நினைவகத்தில் பரந்த MoE மாதிரிகளை சேமிப்பதற்கான சாத்தியம்.
- குறியீட்டில் உள்ள பிழைகளின் எதிர்பாராத நன்மைகள், இது அளவு அதிகரிக்கும்போது, தற்செயலாக அற்புதமான கண்டுபிடிப்புகளுக்கு வழிவகுக்கும்.
AI கணக்கீடு அதிக செலவு பிடிப்பது என்ற கருத்தை டீன் சவால் செய்தார். ஒரு புத்தகத்துடன் தொடர்புகொள்வது மற்றும் அதே புத்தகத்தைப் பற்றி AI உடன் தொடர்புகொள்வது ஆகியவற்றின் செலவை ஒப்பிடுவதன் மூலம், அவர் ஒரு கட்டாய புள்ளியைக் காட்டினார்:
மிகவும் மேம்பட்ட மொழி மாதிரிகள் ஒரு செயல்பாட்டிற்கு சுமார் $10^{-18}$ என்ற ஆச்சரியமான குறைந்த செலவில் செயல்படுகின்றன, இது ஒரு டாலருக்கு ஒரு மில்லியன் டோக்கன்கள் செயலாக்கப்படுவதற்கு மொழிபெயர்க்கப்படுகிறது. மாறாக, ஒரு காகித புத்தகத்தை வாங்குவது ஒரு டாலருக்கு வெறும் 10,000 டோக்கன்களை வழங்குகிறது.
இந்த கடுமையான வேறுபாடு - AI தொடர்புக்கான நூறு மடங்கு செலவு நன்மை - அதிகரித்த ஊகக் கணக்கீடு மூலம் AI நுண்ணறிவை மேம்படுத்துவதற்கான பயன்படுத்தப்படாத திறனை அடிக்கோடிட்டுக் காட்டுகிறது.
உள்கட்டமைப்பு கண்ணோட்டத்தில், ஊக நேரத்தில் கணக்கீட்டின் அதிகரிக்கும் முக்கியத்துவம் தரவு மைய திட்டமிடலை மாற்றியமைக்கக்கூடும். கூகிளின் முதல் தலைமுறை TPU களைப் போலவே, குறிப்பாக ஊக பணிகளுக்காக வடிவமைக்கப்பட்ட வன்பொருள் தேவைப்படலாம், ஆரம்பத்தில் ஊகத்திற்காக வடிவமைக்கப்பட்டு பின்னர் பயிற்சிக்கு மாற்றப்பட்டது.
விநியோகிக்கப்பட்ட மற்றும் ஒத்திசைவற்ற கணக்கீடு: ஒரு புதிய முன்னுதாரணம்
ஊகம் செய்வதில் அதிகரித்து வரும் முக்கியத்துவம், தரவு மையங்களுக்கு இடையேயான தொடர்ச்சியான தொடர்பு தேவையற்றதாகிவிடும் என்பதைக் குறிக்கிறது, இது மிகவும் விநியோகிக்கப்பட்ட மற்றும் ஒத்திசைவற்ற கணக்கீட்டு மாதிரிக்கு வழிவகுக்கும்.
ஜெமினி 1.5 ஏற்கனவே இந்த பாதையில் நுழைந்துள்ளது, பல பெரிய நகரங்களில் கணக்கீட்டு வளங்களைப் பயன்படுத்துகிறது. அதிவேக நெட்வொர்க்குகள் வெவ்வேறு தரவு மையங்களிலிருந்து கணக்கீடுகளை ஒத்திசைத்து, முன்னோடியில்லாத பயிற்சி அளவை அடைகின்றன. பெரிய மாதிரிகளுக்கு, ஒவ்வொரு பயிற்சி படிக்கும் பல வினாடிகள் ஆகலாம், 50 மில்லி விநாடிகள் நெட்வொர்க் தாமதம் கூட குறைந்தபட்ச தாக்கத்தை ஏற்படுத்துகிறது.
ஊகத்தின் களத்தில், தாமத உணர்திறன் ஒரு முக்கியமான கருத்தாக மாறும். உடனடி பதில்களுக்கு உகந்த குறைந்த தாமத செயல்திறன் தேவைப்படும்போது, சிக்கலான சூழல் பகுப்பாய்வு போன்ற அவசரமற்ற பணிகள், நீண்ட செயலாக்க நேரத்தை பொறுத்துக்கொள்ள முடியும்.
மேலும் தகவமைக்கக்கூடிய மற்றும் திறமையான அமைப்பு பல பணிகளை ஒத்திசைவற்ற முறையில் நிர்வகித்து, ஒட்டுமொத்த செயல்திறனை மேம்படுத்துகிறது மற்றும் பயனர் காத்திருப்பு நேரத்தை குறைக்கிறது. கூடுதலாக, சிறிய வரைவு மாதிரிகளைப் பயன்படுத்துவது போன்ற அல்காரிதம் முன்னேற்றங்கள், ஊக செயல்பாட்டில் உள்ள தடைகளை குறைக்க உதவும். இந்த அணுகுமுறையில் சிறிய மாதிரிகள் சாத்தியமான டோக்கன்களை உருவாக்குகின்றன, அவை பின்னர் பெரிய மாதிரிகளால் சரிபார்க்கப்படுகின்றன, இது இணையான மூலம் ஊக செயல்முறையை கணிசமாக துரிதப்படுத்துகிறது.
ஒத்திசைவற்ற பயிற்சியின் போது, ஒவ்வொரு மாதிரி நகலும் சுயாதீனமாக செயல்படுகிறது, ஒத்திசைவற்ற பயன்பாட்டிற்காக ஒரு மத்திய அமைப்புக்கு சாய்வு புதுப்பிப்புகளை அனுப்புகிறது என்று ஷாஸீர் மேலும் கூறினார். சிறிய அளவுரு ஏற்ற இறக்கங்களின் தத்துவார்த்த தாக்கங்கள் இருந்தபோதிலும், இந்த முறை குறிப்பிடத்தக்க வெற்றியை நிரூபித்துள்ளது.
இதற்கு மாறாக, ஒத்திசைவான பயிற்சி ஸ்திரத்தன்மை மற்றும் இனப்பெருக்கம் ஆகியவற்றை வழங்குகிறது, இது பல ஆராய்ச்சியாளர்களின் விருப்பமாகும். பயிற்சியில் நகலெடுப்பதை உறுதி செய்வதற்காக, டீன் செயல்பாடுகளை பதிவு செய்யும் நடைமுறையை எடுத்துரைத்தார், குறிப்பாக சாய்வு புதுப்பிப்புகள் மற்றும் தரவு தொகுதி ஒத்திசைவு. இந்த பதிவுகளை மீண்டும் இயக்குவதன் மூலம், ஒத்திசைவற்ற பயிற்சியும் இனப்பெருக்கம் செய்யக்கூடிய முடிவுகளைத் தரக்கூடும், இது பிழைகளை நீக்குவதை மேலும் நிர்வகிக்கக்கூடியதாக ஆக்குகிறது மற்றும் சுற்றுச்சூழல் காரணிகளால் ஏற்படும் முரண்பாடுகளைத் தணிக்கிறது.
பிழைகளின் தற்செயலான பங்கு
இதை விரிவுபடுத்தி, ஷாஸீர் ஒரு சுவாரஸ்யமான கண்ணோட்டத்தை அறிமுகப்படுத்தினார்:
பயிற்சி மாதிரிகள் பல்வேறு பிழைகளை எதிர்கொள்ளும் அதே வேளையில், இந்த மாதிரிகளின் உள்ளார்ந்த சகிப்புத்தன்மை சுய-சரிசெய்தலுக்கு அனுமதிக்கிறது, இது எதிர்பாராத விளைவுகளுக்கு வழிவகுக்கிறது. சில பிழைகள் கூட நேர்மறையான விளைவுகளை ஏற்படுத்துகின்றன, இது அளவு அதிகரிக்கும்போது சோதனை முரண்பாடுகளை மேம்படுத்துவதற்கான வாய்ப்புகளை வழங்குகிறது.
பிழைத்திருத்த நடைமுறைகள் குறித்து வினவப்பட்டபோது, அவர்கள் விரைவான சரிபார்ப்புக்காக ஏராளமான சிறிய அளவிலான சோதனைகளை நடத்தும் அணுகுமுறையை ஷாஸீர் விவரித்தார். இந்த முறை குறியீட்டு தளத்தை எளிதாக்குகிறது மற்றும் சோதனை சுழற்சிகளை வாரங்களுக்கு பதிலாக மணிநேரங்களாகக் குறைக்கிறது, இது விரைவான கருத்து மற்றும் சரிசெய்தலை எளிதாக்குகிறது.
ஆரம்பத்தில் பாதகமான முடிவுகளைக் கொண்ட பல சோதனைகள் பின்னர் முக்கியமான நுண்ணறிவுகளை வழங்கக்கூடும் என்று டீன் ஒப்புக்கொண்டார். இருப்பினும், ஆராய்ச்சியாளர்கள் குறியீடு சிக்கலை எதிர்கொள்கின்றனர்; படிப்படியான மேம்பாடுகள் அவசியம் என்றாலும், அவை செயல்திறன் மற்றும் பராமரிப்பு சவால்களையும் அறிமுகப்படுத்துகின்றன, இது அமைப்பு தூய்மைக்கும் புதுமைக்கும் இடையே ஒரு சமநிலையை அவசியமாக்குகிறது.
எதிர்கால மாதிரிகளின் கரிம அமைப்பு
டீன் மற்றும் ஷாஸீர் ஆகியோர் AI மாதிரிகளில் ஒற்றைக்கல் கட்டமைப்புகளிலிருந்து மட்டு கட்டமைப்புகளுக்கு ஒரு குறிப்பிடத்தக்க மாற்றத்தை கருதுகின்றனர்.
Gemini 1.5 Pro போன்ற மாதிரிகள் ஏற்கனவே MoE (Mixture of Experts) கட்டமைப்பைப் பயன்படுத்துகின்றன, பணியின் அடிப்படையில் வெவ்வேறு கூறுகளை செயல்படுத்துகின்றன. உதாரணமாக, கணிதப் பிரச்சினைகள் கணிதத் திறன் பகுதியை ஈடுபடுத்துகின்றன, அதே நேரத்தில் பட செயலாக்கம் தொடர்புடைய சிறப்பு தொகுதியை செயல்படுத்துகிறது.
இருப்பினும், தற்போதைய மாதிரி கட்டமைப்புகள் ஓரளவு கடினமானதாகவே இருக்கின்றன, நிபுணர் தொகுதிகள் அளவு சீரானதாக இருக்கும் மற்றும் நெகிழ்வுத்தன்மை குறைவாக இருக்கும். டீன் மிகவும் தொலைநோக்கு பார்வையை முன்மொழிந்தார்: எதிர்கால மாதிரிகள் ஒரு கரிம கட்டமைப்பை ஏற்றுக்கொள்ள வேண்டும், வெவ்வேறு குழுக்கள் மாதிரியின் தனித்துவமான பகுதிகளை சுயாதீனமாக உருவாக்க அல்லது மேம்படுத்த அனுமதிக்கின்றன.
உதாரணமாக, தென்கிழக்கு ஆசிய மொழிகளில் நிபுணத்துவம் பெற்ற ஒரு குழு பொருத்தமான தொகுதியை செம்மைப்படுத்தலாம், மற்றொன்று குறியீடு புரிதலை மேம்படுத்துவதில் கவனம் செலுத்தலாம். இந்த மட்டு அணுகுமுறை மேம்பாட்டுத் திறனை அதிகரிப்பது மட்டுமல்லாமல், உலகளாவிய குழுக்கள் மாதிரியின் முன்னேற்றத்திற்கு பங்களிக்க உதவுகிறது.
தொழில்நுட்ப ரீதியாக, மாதிரிகள் வடிகட்டுதல் மூலம் தனிப்பட்ட தொகுதிகளை தொடர்ந்து மேம்படுத்த முடியும். இது பெரிய, உயர்-செயல்திறன் தொகுதிகளை சிறிய, திறமையான பதிப்புகளாக சுருக்குவதை உள்ளடக்குகிறது, அவை பின்னர் புதிய அறிவைக் கற்றுக்கொள்கின்றன.
கூகிளின் பாதை கட்டிடக்கலைக்கு மையமான ஒரு கருத்தான செயல்திறன் மற்றும் செயல்திறனை சமநிலைப்படுத்தி, பணி சிக்கலின் அடிப்படையில் ஒரு திசைவி பொருத்தமான தொகுதி பதிப்பைத் தேர்ந்தெடுக்கலாம்.
இந்த புதிய கட்டிடக்கலை சக்திவாய்ந்த TPU கிளஸ்டர்கள் மற்றும் போதுமான உயர் அலைவரிசை நினைவகம் (HBM) உட்பட வலுவான உள்கட்டமைப்பைக் கோருகிறது. ஒவ்வொரு அழைப்பும் மாதிரியின் அளவுருக்களில் ஒரு பகுதியை மட்டுமே பயன்படுத்தக்கூடும் என்றாலும், ஒரே நேரத்தில் கோரிக்கைகளை வழங்க முழு அமைப்பும் முழு மாதிரியையும் நினைவகத்தில் வைத்திருக்க வேண்டும்.
தற்போதைய மாதிரிகள் ஒரு பணியை 80% வெற்றி விகிதத்துடன் 10 துணைப்பணிகளாக பிரிக்க முடியும். எதிர்கால மாதிரிகள் ஒரு பணியை 100 அல்லது 1,000 துணைப்பணிகளாக உடைத்து, 90% அல்லது அதற்கு மேற்பட்ட வெற்றி விகிதங்களை அடையக்கூடும்.
“புனித ஷிட்” தருணம்: துல்லியமான பூனை அங்கீகாரம்
திரும்பிப் பார்க்கும்போது, 2007 பெரிய மொழி மாதிரிகளுக்கு (LLM) ஒரு முக்கிய மைல்கல்லாக இருந்தது.
அந்த நேரத்தில், கூகிள் இயந்திர மொழிபெயர்ப்புக்காக 2 டிரில்லியன் டோக்கன்களைப் பயன்படுத்தி என்-கிராம் மாதிரியைப் பயிற்றுவித்தது. இருப்பினும், என்-கிராம் தரவுக்கான வட்டு சேமிப்பகத்தை நம்பியதால் விரிவான வட்டு I/O காரணமாக அதிக தாமதம் ஏற்பட்டது (எ.கா., 100,000 தேடல்கள்/சொல்), ஒரு வாக்கியத்தை மொழிபெயர்க்க 12 மணி நேரம் ஆனது.
இதை நிவர்த்தி செய்ய, அவர்கள் நினைவக சுருக்கம், விநியோகிக்கப்பட்ட கட்டிடக்கலை மற்றும் தொகுதி செயலாக்க API மேம்படுத்தல் உள்ளிட்ட பல உத்திகளைக் கண்டுபிடித்தனர்:
- நினைவக சுருக்கம்: வட்டு I/O ஐத் தவிர்க்க என்-கிராம் தரவை முழுவதுமாக நினைவகத்திற்கு ஏற்றுதல்.
- விநியோகிக்கப்பட்ட கட்டிடக்கலை: இணையான வினவல்களுக்கு பல இயந்திரங்களில் (எ.கா., 200) தரவைப் பரப்பல்.
- தொகுதி செயலாக்க API மேம்படுத்தல்: ஒவ்வொரு கோரிக்கை மேலேயும் குறைத்து, த்ரூபுட்டை மேம்படுத்துதல்.
இந்த காலகட்டத்தில், கணக்கீட்டு சக்தி மூர் சட்டத்தைப் பின்பற்றத் தொடங்கியது, இது அதிவேக வளர்ச்சிக்கு வழிவகுத்தது.
“2008 இன் பிற்பகுதியிலிருந்து, மூர் சட்டத்திற்கு நன்றி, நரம்பியல் நெட்வொர்க்குகள் உண்மையில் வேலை செய்யத் தொடங்கின.”
ஒரு “புனித ஷிட்” தருணம் பற்றி கேட்கப்பட்டபோது - ஒரு குறிப்பிட்ட ஆராய்ச்சி முயற்சி உண்மையில் வேலை செய்தது என்ற நம்பிக்கையின் தருணம் - ஜெஃப் ஒரு ஆரம்ப கூகிள் குழுவின் திட்டத்தை நினைவு கூர்ந்தார், அங்கு அவர்கள் YouTube வீடியோ பிரேம்களிலிருந்து உயர்-நிலை அம்சங்களைக் (பூனைகள் மற்றும் பாதசாரிகளை அடையாளம் காண்பது போன்றவை) கற்றுக்கொள்ள ஒரு மாதிரியைப் பயிற்றுவித்தனர். விநியோகிக்கப்பட்ட பயிற்சி (2,000 இயந்திரங்கள், 16,000 கோர்கள்) மூலம், அவர்கள் பெரிய அளவிலான மேற்பார்வையற்ற கற்றலை அடைந்தனர்.
மேற்பார்வையற்ற முன்-பயிற்சிக்குப் பிறகு, மேற்பார்வையிடப்பட்ட பணிகளில் (ImageNet) மாதிரியின் செயல்திறன் 60% மேம்பட்டது, இது பெரிய அளவிலான பயிற்சி மற்றும் மேற்பார்வையற்ற கற்றலின் திறனைக் காட்டுகிறது.
கூகிள் இன்னும் முதன்மையாக தகவல்களை மீட்டெடுக்கும் நிறுவனமாக இருக்கிறதா என்பதை நிவர்த்தி செய்து, ஜெஃப் வலியுறுத்தினார்:
“AI கூகிளின் அசல் பணியை நிறைவேற்றுகிறது.”
அடிப்படையில், AI தகவல்களை மீட்டெடுப்பது மட்டுமல்லாமல், சிக்கலான உள்ளடக்கத்தைப் புரிந்துகொண்டு உருவாக்குகிறது, எதிர்காலத்தில் பரந்த சாத்தியக்கூறுகள் உள்ளன. கூகிளின் எதிர்கால திசையைப் பொறுத்தவரை, “எனக்குத் தெரியாது.”
இருப்பினும், ஒவ்வொரு டெவலப்பரின் சூழலிலும் கூகிள் மற்றும் சில திறந்த மூல குறியீடுகளை ஒருங்கிணைப்பதை ஒருவர் எதிர்பார்க்கலாம். வேறுவிதமாகக் கூறினால், மாதிரிகள் அதிக டோக்கன்களைக் கையாள அனுமதிப்பதன் மூலம், தேடலுக்குள் தேடுவது மாதிரி திறன்களையும் பயன்பாட்டையும் மேலும் மேம்படுத்தும்.
இந்த கருத்து ஏற்கனவே கூகிளில் உள்நாட்டில் பரிசோதிக்கப்படுகிறது.
“உண்மையில், எங்கள் உள் குறியீட்டு தளத்தில் உள் டெவலப்பர்களுக்காக ஜெமினி மாதிரியில் நாங்கள் ஏற்கனவே மேலும் பயிற்சி அளித்துள்ளோம்.”
மேலும் துல்லியமாகச் சொன்னால், கூகிள் உள்நாட்டில் அதன் குறியீட்டில் 25% AI ஆல் எழுதப்பட்ட இலக்கை அடைந்துள்ளது.
கூகிளில் மகிழ்ச்சியான தருணங்கள்
சுவாரஸ்யமாக, இந்த ஜோடி கூகிள் தொடர்பான மேலும் சுவாரஸ்யமான அனுபவங்களையும் பகிர்ந்து கொண்டது.
1999 இல் நோமுக்கு, கூகிள் போன்ற ஒரு பெரிய நிறுவனத்தில் சேருவது ஆரம்பத்தில் கவர்ச்சியாக இல்லை, ஏனெனில் அவரது திறன்கள் குறைவாகப் பயன்படுத்தப்படலாம் என்று அவர் உணர்ந்தார். இருப்பினும், கூகிளின் தினசரி தேடல் தொகுதி குறியீட்டு விளக்கப்படத்தைப் பார்த்த பிறகு, அவர் உடனடியாக தனது மனதை மாற்றிக்கொண்டார்:
“இந்த மக்கள் வெற்றிபெறப் போகிறார்கள், மேலும் அவர்கள் தீர்க்க பல சுவாரஸ்யமான பிரச்சினைகள் இருப்பதாகத் தெரிகிறது.”
அவர் ஒரு குறிப்பிட்ட “சிறிய” நோக்கத்துடன் சேர்ந்தார்:
“சம்பாதித்துவிட்டு, மகிழ்ச்சியுடன் எனது சொந்த AI ஆராய்ச்சி ஆர்வங்களைத் தொடருங்கள்.”
கூகிளில் சேர்ந்ததும், அவர் தனது வழிகாட்டியான ஜெப்பைச் சந்தித்தார் (புதிய ஊழியர்களுக்கு வழிகாட்டிகள் ஒதுக்கப்பட்டனர்), அவர்கள் பல திட்டங்களில் ஒத்துழைத்தனர்.
இந்த கட்டத்தில், ஜெஃப் கூகிள் மீதான தனது சொந்த பாராட்டுகளுடன் குறுக்கிட்டார்:
“RM பார்வைக்கான (பதில் மற்றும் பல்லூடக) கூகிளின் பரந்த ஆணையை நான் விரும்புகிறேன், அது ஒரு திசையாக இருந்தாலும், நாங்கள் பல சிறிய திட்டங்களைச் செய்ய முடியும்.”
இது “தாக்கி ஓட” திட்டமிட்ட நபரை நீண்ட காலம் தங்க வைக்கும் சுதந்திரத்தையும் நோமுக்கு வழங்கியது.
இதற்கிடையில், ஜெஃப் பற்றிய தலைப்பு திரும்பியபோது, இணையான பின்னோக்கி பரவல் பற்றிய அவரது இளங்கலைப் பட்ட ஆய்வறிக்கை மீண்டும் பார்க்கப்பட்டது.
இந்த 8 பக்க கட்டுரை 1990 இன் சிறந்த இளங்கலைப் பட்ட ஆய்வறிக்கையாக மாறியது மற்றும் மின்சோட்டா பல்கலைக்கழக நூலகத்தில் பாதுகாக்கப்படுகிறது. அதில், ஜெஃப் பின்னோக்கி பரவலின் அடிப்படையில் நரம்பியல் நெட்வொர்க்குகளின் இணையான பயிற்சிக்கு இரண்டு முறைகளை ஆராய்ந்தார்:
- முறை-பிரிவு அணுகுமுறை: ஒவ்வொரு செயலியில் முழு நரம்பியல் நெட்வொர்க்கையும் பிரதிநிதித்துவப்படுத்துதல் மற்றும் கிடைக்கக்கூடிய செயலிகளுக்கு இடையே உள்ளீட்டு முறைகளை பிரித்தல்.
- நெட்வொர்க்-பிரிவு அணுகுமுறை (குழாய் அணுகுமுறை): கிடைக்கக்கூடிய செயலிகளுக்கு இடையே நரம்பியல் நெட்வொর্কের நியூரான்களை விநியோகித்தல், ஒரு தொடர்பு வளையத்தை உருவாக்குதல். அம்சங்கள் இந்த குழாய் வழியாக செல்கின்றன, ஒவ்வொரு செயலியில் உள்ள நியூரான்களால் செயலாக்கப்படுகின்றன.
அவர் வெவ்வேறு அளவுகள் மற்றும் பல்வேறு உள்ளீட்டு தரவுகளுடன் நரம்பியல் நெட்வொர்க்குகளுடன் இந்த முறைகளை சோதித்தார். முறை-பிரிவு அணுகுமுறைக்கு, பெரிய நெட்வொர்க்குகள் மற்றும் அதிகமான உள்ளீட்டு முறைகள் சிறந்த முடுக்கத்தை அளித்ததாக முடிவுகள் காட்டின.
குறிப்பாக, 1990 இல் ஒரு “பெரிய” நரம்பியல் நெட்வொர்க் எப்படி இருந்தது என்பதை கட்டுரை வெளிப்படுத்துகிறது:
“ஒரு 3 அடுக்கு நரம்பியல் நெட்வொர்க், ஒரு அடுக்கிற்கு 10, 21 மற்றும் 10 நியூரான்கள் மிகவும் பெரியதாக கருதப்பட்டது.”
அவர் தனது சோதனைகளுக்கு 32 செயலிகள் வரை பயன்படுத்தியதாக ஜெஃப் நினைவு கூர்ந்தார்.
(அந்த நேரத்தில், அவர் 12 ஆண்டுகளுக்குப் பிறகு, அவர், ஆண்ட்ரூ என்ஜி, குவோக் லே மற்றும் மற்றவர்களுடன் இணைந்து, பாரிய தரவுகளிலிருந்து பூனைகளை அடையாளம் காண 16,000 CPU கோர்களைப் பயன்படுத்துவார்கள் என்று கற்பனை செய்திருக்க முடியாது.)
இருப்பினும், இந்த ஆராய்ச்சி கண்டுபிடிப்புகள் உண்மையில் பயனுள்ளதாக இருக்க, “எங்களுக்கு சுமார் ஒரு மில்லியன் மடங்கு கணக்கீட்டு சக்தி தேவை” என்று ஜெஃப் ஒப்புக்கொண்டார்.
பின்னர், அவர்கள் AI இன் சாத்தியமான அபாயங்களைப் பற்றி விவாதித்தனர், குறிப்பாக AI மிகவும் சக்திவாய்ந்ததாக மாறும்போது பின்னூட்ட சுழற்சி பிரச்சினை. வேறுவிதமாகக் கூறினால், AI குறியீட்டை எழுதுவதன் மூலமாகவோ அல்லது அதன் வழிமுறைகளை மேம்படுத்துவதன் மூலமாகவோ கட்டுப்பாடற்ற முடுக்க சுழற்சியில் (அதாவது, “நுண்ணறிவு வெடிப்பு”) நுழையக்கூடும்.
இது AI மனித கட்டுப்பாட்டை விரைவாக மீற வழிவகுக்கும், மேலும் தீங்கிழைக்கும் பதிப்புகளை உருவாக்கலாம். தொகுப்பாளர் கூறியது போல், “ஜெஃப் போன்ற ஒரு மில்லியன் சிறந்த நிரலாளர்கள், இறுதியில் ஒரு மில்லியன் தீய ஜெஃப்களாக மாறுகிறார்கள்” என்று கற்பனை செய்து பாருங்கள்.
(வலைஞர்): “புதிய கனவு திறக்கப்பட்டது, ஹாஹா!”
இறுதியாக, அவர்கள் கூகிளில் மகிழ்ச்சியான தருணங்களை பிரதிபலித்து, தங்கள் நினைவுகளைப் பகிர்ந்து கொண்டனர்.
ஜெஃபைப் பொறுத்தவரை, கூகிளின் ஆரம்ப ஆண்டுகளில் கூகிளின் தேடல் ட்ராஃபிக்கின் வெடிக்கும் வளர்ச்சியைக் கண்டது மிகவும் மகிழ்ச்சியான தருணங்கள்.
“2 பில்லியன் மக்கள் இப்போது பயன்படுத்தும் ஒன்றை உருவாக்குவது நம்பமுடியாதது.”
சமீபத்தில், ஜெமினி குழுவுடன் ஐந்து ஆண்டுகளுக்கு முன்பு கூட சாத்தியமில்லை என்று மக்கள் நம்பாத விஷயங்களை உருவாக்குவதில் அவர் மகிழ்ச்சியடைந்தார், மேலும் மாதிரியின் தாக்கம் மேலும் விரிவடையும் என்று அவர் முன்னறிவிக்கிறார்.
நோம் இதேபோன்ற அனுபவங்களையும் ஒரு மிஷன் உணர்வையும் எதிரொலித்தார், கூகிளின் “மைக்ரோ-கிச்சன் பகுதிகளை” கூட அன்புடன் குறிப்பிட்டார்.
இது சுமார் 50 அட்டவணைகளைக் கொண்ட ஒரு சிறப்பு இடம், காபி மற்றும் தின்பண்டங்களை வழங்குகிறது, அங்கு மக்கள் சுதந்திரமாக அரட்டையடிக்கலாம் மற்றும் யோசனைகளை பரிமாறிக்கொள்ளலாம்.
இந்தக் குறிப்பில், ஜெஃப் கூட அனிமேஷன் செய்யப்பட்டார் (டோஜ்).