OpenAI சமீபத்தில் அதன் மிகவும் லட்சிய மாதிரியான GPT-4.5-ன் வளர்ச்சியைப் பற்றிய விவரங்களைப் பகிர்ந்துள்ளது. இந்த வெளிப்பாடு மாதிரி வெளியான ஒரு மாதத்திற்குப் பிறகு வந்தது. OpenAI-ன் இணை நிறுவனர் மற்றும் CEO சாம் ஆல்ட்மேன் மற்றும் GPT-4.5 திட்டத்தின் மூன்று முக்கிய தொழில்நுட்ப நபர்களுடன் ஒரு நேர்மையான 45 நிமிட உரையாடலில் இது நிகழ்ந்தது. கணினி கிளஸ்டரில் அடிக்கடி ஏற்படும் தோல்விகள் மற்றும் செயல்திறன் மேம்பாட்டிற்கான கணிக்க முடியாத வழிகள் உட்பட, முன்னர் அறியப்படாத பல சவால்களை இந்த கலந்துரையாடல் வெளிப்படுத்தியது.
GPT-4.5 உருவாக்கம்: இரண்டு வருட ஒடிஸி
GPT-4.5 முயற்சி அதன் வெளியீட்டிற்கு இரண்டு ஆண்டுகளுக்கு முன்பு தொடங்கப்பட்டது. OpenAI இன் மிகத் திட்டமிடப்பட்ட முயற்சியாக இது இருந்தது. இது நூற்றுக்கணக்கான தனிநபர்களின் ஒருங்கிணைந்த முயற்சியைக் கோரியது, ஆல்ட்மேன் இந்த திட்டம் OpenAI இல் “எல்லோரையும்” ஈடுபடுத்தியது என்று குறிப்பிட்டார். இந்த பரவலான ஈடுபாடு நிறுவனத்தின் பரந்த பணியில் GPT-4.5 இன் மூலோபாய முக்கியத்துவத்தை அடிக்கோடிட்டுக் காட்டுகிறது.
வளர்ச்சி கட்டத்தில், OpenAI குழு “பேரழிவு சிக்கல்களை” சந்தித்தது. 100,000 GPU கிளஸ்டரின் வரிசைப்படுத்தல், அவ்வப்போது ஆனால் ஆழமான தோல்விகளாக வெளிப்படும் மறைந்திருக்கும் உள்கட்டமைப்பு பாதிப்புகளை வெளிப்படுத்தியது. செயல்திறனுக்கும், உகந்த செயல்திறனுக்கும் இடையே ஒரு சமநிலையை ஏற்படுத்த, சிஸ்டம் பொறியாளர்கள் ஒரு தொடர்ச்சியான அணுகுமுறையை ஏற்றுக்கொண்டனர். ஒரு குறிப்பாக தந்திரமான பிழை கிளஸ்டரை மீண்டும் மீண்டும் பிழைகளுடன் தொடர்ந்து பாதித்தது, பயிற்சி செயல்முறை சுமார் 40% முடிந்த பின்னரே கண்டறியப்பட்டது.
முரண்பாடாக, இந்த சோதனைகள் OpenAI இன் தொழில்நுட்ப அடித்தளத்தை வலுப்படுத்த பங்களித்தன. GPT-4 இன் அளவிலான ஒரு மாதிரியை நகலெடுக்க இப்போது 5-10 நபர்களைக் கொண்ட ஒரு சிறிய குழுவை இந்த அனுபவம் அனுமதிக்கிறது. GPT-4 இலிருந்து GPT-4.5 வரையிலான செயல்திறன் பாய்ச்சல் சுமார் பத்து மடங்கு என மதிப்பிடப்பட்டுள்ளது. OpenAI க்குள் இருப்பவர்களைக் கூட ஆச்சரியப்படுத்தும் வகையில் இது “அளவிட கடினமான ஆனால் விரிவான முறையில் மேம்படுத்தப்பட்ட நுண்ணறிவு” என்று வகைப்படுத்தப்பட்டது. இந்த தரமான முன்னேற்றம் வெறுமனே அளவிடுதலைத் தாண்டி, மாதிரியின் பகுத்தறிவு மற்றும் புரிந்துகொள்ளும் திறனில் அடிப்படை மேம்பாடுகளைக் குறிக்கிறது.
எதிர்காலத்தில், செயல்திறனில் அடுத்த அளவை அடைவது கணக்கீட்டு சக்தியை மட்டும் சார்ந்து இருக்காது, மாறாக தரவு செயல்திறனை சார்ந்து இருக்கும் என்பதை OpenAI அங்கீகரிக்கிறது. தற்போதுள்ள தரவுத்தொகுப்புகளிலிருந்து அதிகமான அறிவைப் பிரித்தெடுக்கக்கூடிய வழிமுறைகளை உருவாக்குவதில் கவனம் செலுத்தப்படுகிறது, இதன் மூலம் கிடைக்கக்கூடிய கணினி வளங்களின் பயன்பாட்டை அதிகப்படுத்துகிறது.
மேலும், கட்டமைப்பு ஒற்றை கிளஸ்டரிலிருந்து பல கிளஸ்டர் வடிவமைப்பிற்கு உருவாகி வருகிறது, எதிர்கால பயிற்சி காட்சிகளை 10 மில்லியன் GPU கள் வரை கூட்டு கற்றலில் ஈடுபடுத்துகிறது. இத்தகைய பெரிய அளவிலான விநியோகிக்கப்பட்ட அமைப்புகளின் ஸ்திரத்தன்மை மற்றும் நம்பகத்தன்மையை உறுதிப்படுத்த இது தவறான சகிப்புத்தன்மையில் குறிப்பிடத்தக்க மேம்பாடுகளைக் கோருகிறது.
தரவின் “நீண்ட வால்” மற்றும் அளவிடுதல் விதிகள், இயந்திர கற்றல் மற்றும் சிஸ்டம் குழுக்களுக்கு இடையிலான நெருக்கமான ஒத்துழைப்பின் நன்மைகள் (இணை வடிவமைப்பு), மேற்பார்வையிடப்படாத கற்றலின் சாராம்சம் மற்றும் உன்னிப்பான சிக்கல் தீர்க்கும் கலாச்சாரம் ஆகியவற்றையும் உரையாடல் ஆராய்ந்தது.
GPT-4.5 க்குப் பின்னால் உள்ள முக்கிய வீரர்கள்
ஆல்ட்மேனைத் தவிர, இந்த உரையாடலில் பங்கேற்ற மற்ற மூன்று OpenAI குழு உறுப்பினர்கள்:
- அலெக்ஸ் பெயினோ: GPT-4.5 இன் முன் பயிற்சி இயந்திர கற்றல் வழிமுறைகளுக்குப் பொறுப்பானவர்.
- அமின் டூட்டூன்ச்சியன்: OpenAI இன் தலைமை சிஸ்டம் கட்டிடக் கலைஞர்.
- டேனியல் செல்சம்: தரவு செயல்திறன் மற்றும் வழிமுறைகளை ஆராய்ச்சி செய்கிறார்.
GPT-4.5 இன் தோற்றம் மற்றும் பரிணாமம்
சாம் ஆல்ட்மேன்: GPT-4.5 போன்ற பெரிய மாதிரியை உருவாக்க உண்மையில் என்ன தேவை?
அலெக்ஸ் பெயினோ: நாங்கள் இந்த திட்டத்தை சுமார் இரண்டு ஆண்டுகளுக்கு முன்பு தொடங்கினோம். அந்த நேரத்தில், OpenAI ஒரு புதிய பெரிய கம்ப்யூட்டிங் கிளஸ்டரைத் தொடங்க இருந்தது, மேலும் எங்கள் குழு இந்த வாய்ப்பைப் பார்த்து, மாதிரி சேர்க்க வேண்டிய செயல்பாடுகளைத் தீர்மானிக்க ஒரு தொடர் பணிகளைச் செய்தது, மேலும் அதிக எண்ணிக்கையிலான இடர் குறைப்பு செயல்பாட்டு சோதனைகளை நடத்தியது.
சிஸ்டம் முதல் இயந்திர கற்றல் வரையிலான முழு தொழில்நுட்ப அடுக்கையும் உள்ளடக்கிய நீண்ட கால திட்டத்தை நாங்கள் உருவாக்கினோம். அபாயங்களைக் குறைத்து பயிற்சிக்குத் தயாராவது நீண்ட செயலாக்க செயல்முறையாகும், மேலும் பயிற்சியே ஒரு பெரிய திட்டமாகும்.
அமின் டூட்டூன்ச்சியன்: இயந்திர கற்றல் குழுவும் சிஸ்டம் குழுவும் ஆரம்பத்திலிருந்தே நெருக்கமாக ஒத்துழைக்க வேண்டும் என்று நான் நினைக்கிறேன். நாங்கள் என்ன மாதிரியைப் பயிற்றுவிக்க விரும்புகிறோம் என்பதைத் தெளிவாக அறிந்தவுடன், பயிற்சியைத் தொடங்கலாம்.
இயந்திர கற்றல் மற்றும் சிஸ்டம்களில் நாங்கள் கணிப்புகளைச் செய்துள்ளோம், எதிர்பார்ப்புகளுக்கும் உண்மைக்கும் இடையிலான இடைவெளியைக் குறைக்க முயற்சிக்கிறோம். இருப்பினும், எங்கள் வேலை வேகம் மிகவும் வேகமாக இருப்பதால், சமீபத்திய கணினி ஆதாரங்களைப் பயன்படுத்த வேண்டியிருப்பதால், மாடல் பயிற்சி என்பது முன்கூட்டியே திட்டமிடுவது கடினமான விஷயமாகிவிட்டது.
நாங்கள் எப்போதும் தீர்க்கப்படாத பல சிக்கல்களுடன் பயிற்சியைத் தொடங்குகிறோம், மேலும் சவால்களை சமாளித்து முன்னேற்றம் அடைய முயற்சிக்கிறோம். அதிக கணினி ஆதாரங்களை அதிகரிப்பதே முக்கிய தீர்வு.
இறுதி நிலை என்பது செயல்படுத்துதல் ஆகும், இதற்குப் பயிற்சி செயல்முறையை முடிக்க நீண்ட காலத்திற்குப் பலரின் ஆற்றலையும் உந்துதலையும் முதலீடு செய்ய வேண்டும்.
சாம் ஆல்ட்மேன்: எங்கள் எதிர்பார்ப்புகளுக்கும் உண்மைக்கும் இடையிலான இடைவெளி எவ்வளவு என்று நீங்கள் நினைக்கிறீர்கள்?
அமின் டூட்டூன்ச்சியன்: சிஸ்டம் அடிப்படையில், ஆரம்பத்தில், நாங்கள் பொதுவாக எதிர்பார்க்கப்பட்ட நிலையிலிருந்து வெகு தொலைவில் இருப்போம். சிக்கலைத் தீர்க்கும் வரை வெளியீட்டை ஒத்திவைக்க வேண்டுமா அல்லது ஆரம்பத்தில் தொடங்கி செயல்முறையில் சிக்கலைத் தீர்க்க வேண்டுமா என்பது எப்போதும் எங்களுக்கு ஒரு விருப்பமாக இருக்கும். செயல்முறையில் நியாயமற்ற தாமதங்களைத் தவிர்க்க இது எப்போதும் பரிமாற்றங்களை தேவைப்படுகிறது.
ஆனால் கிட்டத்தட்ட எப்போதும் எதிர்பாராத சிக்கல்கள் உள்ளன, மேலும் நாங்கள் செய்ய வேண்டியது இந்த கணுக்களை முடிந்தவரை கையாளுவது, அறியப்படாத காரணிகளைக் கையாள்வது மற்றும் மாடல் பயிற்சிக்கான திட்டத்தை உருவாக்குவது.
அலெக்ஸ் பெயினோ: இந்த திட்டத்தில், எங்கள் இலக்கு GPT-4.5 ஐ உருவாக்குவது, அதாவது அதன் திறன்கள் GPT-4 ஐ விட 10 மடங்கு புத்திசாலியாக இருக்க வேண்டும். சுமார் 2 ஆண்டுகளுக்கு முன்பு நாங்கள் அமைத்த ஆரம்ப இலக்கு இது.
இந்த செயல்பாட்டில் பல விஷயங்கள் நடந்தன. நாங்கள் எதிர்பார்த்ததை விட சிறப்பாகவோ அல்லது மோசமாகவோ செய்ய முடியுமா என்று யோசித்துக்கொண்டிருந்தோம்? இது மிகவும் சிக்கலான செயல்முறை, ஆனால் இறுதியில், நாங்கள் உள்ளீடு செய்த பயனுள்ள கணக்கீடுகளின் அடிப்படையில், GPT-4 ஐ விட 10 மடங்கு புத்திசாலித்தனமாக இருக்கும் என்று நாங்கள் நினைக்கும் ஒரு மாதிரியைப் பெற்றோம்.
அமின் டூட்டூன்ச்சியன்: செயல்பாட்டின் அடிப்படையில், GPT-4.5 திட்டத்திற்கு செலவழித்த நேரம் நாங்கள் ஆரம்பத்தில் எதிர்பார்த்ததை விட அதிகமாக உள்ளது.
சிறிய குழு புரட்சி: குறைந்தபட்ச ஆதாரங்களுடன் GPT-4 ஐப் பயிற்றுவித்தல்
சாம் ஆல்ட்மேன்: கிளஸ்டர் 10,000 கார்டுகளிலிருந்து 100,000 கார்டுகளாக விரிவடைந்தபோது, ஏன் இவ்வளவு சிக்கல்களை சந்தித்தீர்கள்?
அமின் டூட்டூன்ச்சியன்: சிஸ்டம் உருவாக்குநர்கள் போதுமான உணர்திறன் உடையவர்களாக இருந்தால், பெரும்பாலான சிக்கல்களை சிறிய அளவிலான கட்டத்திலேயே கவனிக்க முடியும் என்று நினைக்கிறேன்.
பெரிய அளவிலான பயிற்சி கட்டத்திற்கு மட்டுமே தனித்துவமான சில சிக்கல்களும் உள்ளன, ஆனால் முதலில் அடிக்கடி ஏற்பட்டன, ஆனால் அளவு அதிகரிக்கப்பட்ட பிறகு பேரழிவு தரும் சிக்கல்களாக மாறும், குறிப்பாக இந்த சிக்கல்கள் எந்த அளவிற்கு மோசமடையும் என்று குழு முன்கூட்டியே எதிர்பார்க்கவில்லை என்றால்.
சாம் ஆல்ட்மேன்: பேரழிவு தரும் விளைவுகளை ஏற்படுத்திய விஷயங்கள் என்ன?
அமின் டூட்டூன்ச்சியன்: உள்கட்டமைப்பு சிக்கல்கள் நன்கு அறியப்பட்டவை என்று நினைக்கிறேன். தோல்வி விகிதம், தோல்வி வகை மற்றும் மொத்த தோல்விகளின் அளவு மிக அதிகம். 100,000 கார்டு கிளஸ்டர் ஒரு பெரிய அளவிலான மாதிரி தொகுப்பாகும், எனவே கணினி சக்தி சப்ளையர் கவனிக்காத சிக்கல்களையும் நாங்கள் கண்டறிந்தோம்.
நெட்வொர்க் ஒரு பகுதி, மற்றும் தனிப்பட்ட முடுக்கியும் சிக்கல்களை ஏற்படுத்தலாம். ஆனால் இதுவும் இந்த அமைப்பின் அழகு - எதிர்பார்க்கப்பட்ட முடிவுகளை உருவாக்க கிட்டத்தட்ட அனைத்து கூறுகளும் எதிர்பார்த்தபடி வேலை செய்ய வேண்டும். இந்த சிக்கலை முடிந்தவரை குறைப்பதே எங்கள் வேலை.
சாம் ஆல்ட்மேன்: கிளஸ்டர் அளவின் வரம்பில் வேலை செய்வது கடினம், ஆனால் தொழில்நுட்பத்தின் முன்னணியில் இல்லாத விஷயங்களைச் செய்வது மிகவும் எளிதாகிவிட்டது என்பதையும் நான் கவனித்தேன். GPT-4.5 ஐப் பயிற்றுவிக்க நூற்றுக்கணக்கான நபர்கள் தேவை, மேலும் OpenAI இல் உள்ள அனைவரும் ஈடுபட்டுள்ளனர்.
ஆனால் இன்று, OpenAI இலிருந்து ஒரு சிறிய குழுவைத் தேர்ந்தெடுத்து, எங்களுக்குத் தெரிந்த அனைத்து அறிவையும், அனைத்து சிஸ்டம் வேலையையும் வைத்து GPT-4 ஐ மீண்டும் பயிற்றுவிக்கச் சொன்னால், எத்தனை பேர் தேவைப்படுவார்கள்?
அலெக்ஸ் பெயினோ: GPT-4 அளவிலான மாதிரியை இப்போது உருவாக்க சுமார் 5 முதல் 10 பேர் ஆகலாம் என்று நினைக்கிறேன். GPT-4.5 ஐ முடிக்கும் செயல்பாட்டில் தொழில்நுட்ப அடுக்கு பெரிதும் மேம்படுத்தப்பட்டுள்ளது.
உண்மையில், GPT-4.5 ஐப் பயிற்றுவிக்கும் செயல்பாட்டில் நாங்கள் இதேபோன்ற விஷயங்களைச் செய்துள்ளோம் - GPT-4o ஐப் பயிற்றுவித்தோம், இது GPT-4 அளவிலான மாதிரி, மேலும் GPT-4.5 ஆராய்ச்சித் திட்டத்திலிருந்து பல அதே உள்ளடக்கத்தைப் பயன்படுத்தி அதை மீண்டும் பயிற்றுவித்தோம். அந்த பயிற்சிக்கு குறைவான நபர்கள் பயன்படுத்தப்பட்டனர்.
தரவு திறன்: அடுத்த தலைமுறை மாடல்களின் திறனைத் திறப்பதற்கான சாவி
சாம் ஆல்ட்மேன்: உங்கள் பார்வையில் இருந்து, டான்? பெரிய மாடல்களைப் பயிற்றுவிப்பது ஏன் கடினம்?
டேனியல் செல்சம்: எதையும் புதிதாகச் செய்வது கடினம் என்று நினைக்கிறேன். வேறொருவர் ஏதாவது செய்துள்ளார் என்பதைக் கண்டுபிடிப்பது கூட மிகவும் எளிதாக்குகிறது என்று நினைக்கிறேன், ஏனென்றால் முதலில் நீங்கள் ஏதாவது செய்ய முடியும் என்ற நம்பிக்கை இருப்பதுதான் கடினமான பகுதி. ஏதாவது சாத்தியம் என்பது தெரிந்தாலே போதும், அது ஒரு சூப்பர் சீட் கோட், விஷயங்களை மிகவும் எளிதாக்குகிறது.
அலெக்ஸ் பெயினோ: GPT முன் பயிற்சி நடவடிக்கையை முன்பு இருந்ததை விட 10 மடங்கு விரிவுபடுத்தி வருகிறோம், மேலும் நீங்கள் நிச்சயமாக கணிக்க முடியாத சில சுவாரஸ்யமான புதிய விஷயங்களை நாங்கள் எப்போதும் கண்டுபிடிப்போம்.
சாம் ஆல்ட்மேன்: முன் பயிற்சி அளவில் அடுத்த 10x அல்லது 100x வளர்ச்சியை அடைய என்ன தேவை?
டேனியல் செல்சம்: தரவு திறன். டிரான்ஸ்ஃபார்மர் கட்டமைப்பு (இது GPT) தரவைப் பயன்படுத்துவதில் மிகவும் திறமையானது. இது தகவல்களை நன்கு உறிஞ்சி சுருக்கி பொதுமைப்படுத்தலை அடைய முடியும். கணினி ஆதாரங்களுடன் தகவல்களை திறம்பட உறிஞ்சும் திறன் அதன் மிகப்பெரிய அம்சமாகும்.
இருப்பினும், தரவிலிருந்து பெறப்படும் நுண்ணறிவின் ஆழம் குறைவாக உள்ளது. கணினி சக்தி வேகமாக வளரும்போது, தரவு ஒப்பீட்டளவில் மெதுவாக வளரும்போது, தரவு இந்த நிலையான மாதிரியில் ஒரு தடையாக மாறும். இதற்கு அல்காரிதம் கண்டுபிடிப்பு தேவை, ஒரே அளவு தரவிலிருந்து அதிக அறிவைக் கற்றுக்கொள்ள அதிக கணினி சக்தியைப் பயன்படுத்தக்கூடிய முறைகளை உருவாக்குதல் தேவை.
சாம் ஆல்ட்மேன்: இதைத் தவிர, விரிவாக்கத்தைத் தக்கவைக்க வேறு என்ன தேவை என்று நினைக்கிறீர்கள்?
அமின் டூட்டூன்ச்சியன்: எனது பதில் சிஸ்டத்தைப் பற்றியது. GPT-4.5 க்குத் தேவையான மிகப்பெரிய அளவிலான வேலைகள் அடிப்படையில் மாதிரி விவரக்குறிப்புகளின் தவிர்க்க முடியாத விளைவாகும் என்று நினைக்கிறேன். GPT-4 ஐப் பயிற்றுவித்த அதே தொழில்நுட்ப கட்டமைப்பைப் பயன்படுத்தி GPT-4.5 ஐப் பயிற்றுவிக்க முடியாது.
ஸ்டேட் நிர்வாகத்தைப் பொறுத்தவரை, தேவையான கணினி ஆதாரங்கள் ஒற்றை கிளஸ்டரின் சுமக்கும் திறனை மீறிவிட்டதால், நாங்கள் பல கிளஸ்டர் பயிற்சி கட்டிடக்கலைக்கு மாற வேண்டும். இந்த இலக்கை அடைய, குறுகிய காலத்தில் பல வேறுபட்ட பணிப்பாய்வுகளை ஒருங்கிணைக்க வேண்டும்.
இது ஒரு கட்டத்தில் முன்னேற்றம் அடைய எங்களுக்கு உதவியது என்றாலும், செயல்திறன் மேம்பாட்டின் அடுத்த கட்டத்தை அடைய, நாங்கள் இன்னும் அறியப்பட்ட ஆனால் தற்காலிகமாக ஒதுக்கி வைக்கப்பட்ட பல தொழில்நுட்ப சிக்கல்களை தீர்க்க வேண்டும் - இந்த சிக்கல்களைத் தவிர்க்க முடியாது. இது ஒரு சரியான அமைப்பின் வளர்ச்சி சுழற்சியை தொடர்ந்து நீட்டிக்கும் தொழில்நுட்ப வர்த்தகமாகும். உகந்த செயல்படுத்தல் திட்டத்தை நாங்கள் எப்போதும் பின்பற்றுகிறோம்.
சிஸ்டம் என்பது இறுதி இலக்கு அல்ல என்பதை தெளிவுபடுத்த வேண்டும். அதன் உண்மையான வெளியீட்டு மதிப்பு முக்கிய பரிசீலனையாகும். அடுத்த 10x செயல்திறன் மேம்பாட்டிற்கு, தவறு சகிப்புத்தன்மையில் முன்னேற்றம் மிக முக்கியமானது என்று நினைக்கிறேன். செயல்பாட்டு மற்றும் பராமரிப்பு கவலையை கணிசமாகக் குறைக்க, பணிச்சுமையுடன் ஆழமாக ஒத்துழைக்கும் ஒரு தவறான சகிப்புத்தன்மை பொறிமுறையை உருவாக்க வேண்டும். தற்போதைய சூப்பர் பெரிய அமைப்பின் செயல்பாடு மற்றும் பராமரிப்பு சிக்கலானது முந்தைய அமைப்புகளிலிருந்து அடிப்படையில் வேறுபட்டது.
சாம் ஆல்ட்மேன்: GPT-4.5 பயிற்சியின் போது சில கூறுகளால் எத்தனை சதவீத தோல்விகள் ஏற்பட்டன என்று உங்களுக்குத் தெரியுமா?
அமின் டூட்டூன்ச்சியன்: பகிர்ந்து கொள்ள குறிப்பிட்ட புள்ளிவிவரங்கள் எதுவும் என்னிடம் இல்லை, ஆனால் பொதுவாக, ஒரு புதிய தலைமுறை வன்பொருளின் ஆரம்ப வரிசைப்படுத்தல் முழுமையாகப் புரிந்து கொள்ளப்படாத பல தொழில்நுட்ப சவால்களை எதிர்கொள்கிறது. சிக்கல் முழுமையாக தெளிவுபடுத்தப்படுவதற்கு முன்பு நாங்கள் திட்டத்தை முன்னெடுத்துச் செல்லத் தேர்ந்தெடுத்தோம், இது அதிக ஆரம்ப தோல்வி விகிதத்திற்கு வழிவகுத்தது.
ஆனால் அனுபவம் காட்டுகிறது, மூல காரணம் அடையாளம் காணப்பட்டு தீர்க்கப்பட்டவுடன், தோல்வி விகிதம் கணிசமாகக் குறையும். இந்த நிகழ்வு அடிப்படையில் உள்கட்டமைப்பைப் பற்றிய எங்கள் ஆழமான புரிதலை பிரதிபலிக்கிறது - சிலர் இதை உள்கட்டமைப்பை சுத்தம் செய்வது அல்லது உள்கட்டமைப்பின் அடிப்படை சிக்கல்களைப் புரிந்துகொள்வது என்று அழைக்கிறார்கள்.
செயல்படுத்துதலின் ஆரம்ப கட்டங்கள் கிட்டத்தட்ட எப்போதும் மிகவும் வேதனையானவை. நாங்கள் திட்டத்தை முன்னேற்றிச் செல்கையில், புதிய தோல்வி முறைகளையும் தொடர்ந்து கண்டுபிடித்து தீர்த்து வருகிறோம், ஆனால் இறுதியில் தோல்வி விகிதம் படிப்படியாகக் குறைந்து இயல்பான இயக்க நேரம் அதிகரிக்கும்.
இது அடிப்படையில் முன்னுரிமை வர்த்தகங்களின் விஷயம்: உள்கட்டமைப்பு வாழ்க்கை சுழற்சியின் ஆரம்ப கட்டங்களில், அதன் தோல்வி அபாயத்தை துல்லியமாக மதிப்பிடுவது கடினம்; மேலும் நாம் மிகையாக இறுதி இலட்சிய நிலையை (அசல் “சிட்டி எஸ்டேட்”, இலட்சிய நகர அரசு வடிவமைப்பு) பின்பற்றினால், அது அமைப்பிற்கு வழிவகுக்கும் ஆரம்ப கிடைக்கும் செயல்திறன் மிகவும் மோசமாக உள்ளது.
கணினிக்கு அப்பால்: அல்காரிதம் கண்டுபிடிப்பு மற்றும் தரவின் திறக்கப்படாத திறன்
சாம் ஆல்ட்மேன்: அனுமான மாதிரி எங்கள் எதிர்கால தொழில்நுட்ப அடுக்கின் முக்கிய அங்கமாக இருந்தாலும், பாரம்பரிய முன் பயிற்சி மாதிரிகளின் வளர்ச்சி எல்லைகளில் தற்காலிகமாக கவனம் செலுத்துவோம். வரம்பற்ற GPU கணினி சக்தி, வரம்பற்ற நெட்வொர்க் அலைவரிசை மற்றும் வரம்பற்ற மின்சாரம் உள்ளது என்று வைத்துக்கொள்வோம், ஆனால் தற்போதைய தொழில்நுட்ப தடைகளால் இன்னும் வரையறுக்கப்பட்டுள்ளது - சிஸ்டம் நம்பகத்தன்மை சிக்கல்கள், தவறான சகிப்புத்தன்மை பயிற்சி முறைகள் மற்றும் தற்போதுள்ள தரவுத்தொகுப்புகளின் வரம்புகள் உட்பட.
ஒவ்வொரு முக்கிய GPT பதிப்பு எண்ணுக்கும் 100 மடங்கு அளவிலான அதிகரிப்பை அடைவதற்கான எங்கள் பரிணாம விதியின்படி, தற்போதைய தொழில்நுட்ப எல்லைகளின் அடிப்படையில், முன் பயிற்சி மாதிரிகளின் வளர்ச்சியை எந்த நிலைக்கு அடைய முடியும்? குறிப்பாக, GPT தொடர் மாடல்களுக்கு, எங்கள் தற்போதுள்ள அறிவு அமைப்பின் அடிப்படையில், என்ன மாதிரியான மாதிரியை தத்துவார்த்த ரீதியாக பயிற்றுவிக்க முடியும்? நம்மால் GPT-5.5 ஐ உருவாக்க முடியுமா?
அலெக்ஸ் பெயினோ: இயந்திர கற்றல் மற்றும் அல்காரிதம் வளர்ச்சியின் பார்வையில் இருந்து, நாங்கள் இன்னும் ஒரு தெளிவான தத்துவார்த்த வரம்பை அடையவில்லை. உண்மையில், அதிக தரவு செயல்திறனுடன் கூடிய வழிமுறைகளை எவ்வாறு ஆராய்வது மற்றும் தற்போதுள்ள தரவு வளங்களை எவ்வாறு முழுமையாகப் பயன்படுத்துவது என்பதை நாங்கள் இப்போதுதான் ஆராயத் தொடங்கியுள்ளோம். இந்த நிலைமை மிகவும் சுவாரஸ்யமானது - GPT-4 போன்ற மாடல்கள் கூட பெரும்பாலும் வரையறுக்கப்பட்ட கணினி ஆதாரங்களின் கீழ் உருவாக்கப்பட்டன, இது பெரும்பாலான முந்தைய ஆராய்ச்சியின் திசையை தீர்மானித்துள்ளது.
ஆனால் நிலைமை இப்போது முற்றிலும் வேறுபட்டது. GPT-4.5 முதல், சில முக்கிய பரிமாணங்களில், கணினியை விட தரவுதான் முக்கிய தடையாக மாறி வருகிறது. இந்த மாற்றம் தொடர்பான ஆராய்ச்சியை குறைவாக உற்சாகப்படுத்துகிறது.
சாம் ஆல்ட்மேன்: ஆனால் இது உண்மையில் ஒரு அற்புதமான முன்னேற்றம், மேலும் உலகின் சிறந்த மாடலில் கணினி ஆதாரங்கள் இனி முக்கிய தடையாக இல்லை என்பதை உலகம் முழுமையாக உணரவில்லை. இந்த மாற்றம் மிகவும் அர்த்தமுள்ளதாகும், எல்லாவற்றிற்கும் மேலாக, நாங்கள் நீண்ட காலமாக கணினி ரீதியாக வரையறுக்கப்பட்ட சூழலில் வாழ்ந்து வருகிறோம்.
ஆச்சரியங்களைத் திறப்பது: கணிக்கக்கூடிய தன்மை எதிர் கணிக்க முடியாத நுண்ணறிவு
சாம் ஆல்ட்மேன்: GPT-4.5 ஐப் பயிற்றுவிப்பதன் மூலம் நாங்கள் கற்றுக் கொண்ட மிக சுவாரஸ்யமான இயந்திர கற்றல் அனுபவம் என்ன? நீங்கள் பகிர விரும்பும் எதையும் சொல்லுங்கள்.
அமின் டூட்டூன்ச்சியன்: பொதுவாக, மிகவும் சிந்தனையைத் தூண்டும் விஷயங்கள் எங்கள் கணிப்புகளிலிருந்து விலகிச் செல்பவை - குறிப்பாக உண்மையான செயல்திறன் எதிர்பார்க்கப்பட்ட வளைவிலிருந்து ஏன் விலகுகிறது என்பதைப் புரிந்துகொள்ள முயற்சிக்கும்போது.
அலெக்ஸ் பெயினோ: மிகவும் ஆச்சரியமான கண்டுபிடிப்புகளில் ஒன்று என்னவென்றால், வெவ்வேறு இயந்திர கற்றல் கூறுகள் மிகவும் மாறுபட்ட அளவிலான செயல்திறன்களைக் கொண்டுள்ளன. சில பகுதிகளை மிகச் சிறப்பாக விரிவாக்க முடியும், மற்றவை முடியாது. உண்மையான பயிற்சி செயல்பாட்டில் நாங்கள் இதைத்தான் உண்மையாக உணர்ந்தோம். இந்த அனுபவம் எங்களுக்கு நிறைய உத்வேகம் அளித்தது.
டேனியல் செல்சம்: GPT முன்னுதாரணத்தின் இரண்டு முக்கிய பண்புகள் என்று நான் நினைக்கிறேன்: முதலாவதாக, சோதனை இழப்பை (மாதிரி காணாதசோதனை தரவுகளில் எவ்வளவு சிறப்பாக செயல்படுகிறது என்பதை அளவிடும் அளவீடு) துல்லியமாக கணிக்க முடியும்; இரண்டாவதாக, மாதிரி செயல்திறன் அளவின் அதிகரிப்புடன் கணிக்கக்கூடிய மேம்பாட்டைக் காட்டுகிறது. இன்னும் ஆச்சரியமானது என்னவென்றால், சோதனை இழப்பில் ஏற்படும் குறைப்பு பல்வேறு வகையான அளவிட கடினமான ஆனால் ஆச்சரியமான மற்றும் மர்மமான வழிகளில் ஒரு சுற்றுப்புற மேம்பட்ட நுண்ணறிவாக மாற்றப்படும்.
சாம் ஆல்ட்மேன்: இதை பற்றி நீங்கள் முற்றிலும் நம்பிக்கை கொண்டிருக்கிறீர்களா? இந்த கருத்தை நீங்கள் முழுமையாக ஒப்புக்கொள்கிறீர்களா?
டேனியல் செல்சம்: உண்மையில், நான் சொல்ல விரும்புவது என்னவென்றால், GPT-4.5 சோதனையில் ஒரு குறிப்பாக சுவாரஸ்யமான நிகழ்வைக் கண்டறிந்தோம் - மீண்டும் சோதனை செய்த பிறகு, மாதிரி காட்டிய பல அதிநவீன திறன்கள் அனைவரின் எதிர்பார்ப்புகளையும் மீறிவிட்டன.
முன்கூட்டியே வரையறுக்க கடினமான பல்வேறு வழிகளில் அது புத்திசாலியாக மாறும் என்று நாங்கள் உறுதியாக நம்புகிறோம், மேலும் இந்த நுட்பமான மேம்பாடுகளை உண்மையான வரிசைப்படுத்தலுக்குப் பிறகு பயனர் திருப்தியிலிருந்து காணலாம்: வலுவான பொது அறிவு இருப்புகள், அதிக துல்லியமான சூழல் புரிதல் திறன் மற்றும் நுட்பமான சொற்பொருள் கிரகிப்பு - இது கூடுதல் சோதனை இழப்புகளால் கொண்டு வரப்பட்ட மந்திரம். என் கருத்துப்படி, அளவிடுதல் விதி இந்த பரிமாணத்தில் முழுமையாக சரிபார்க்கப்பட்டுள்ளது.
ஒத்துழைப்பின் சக்தி: இயந்திர கற்றல் மற்றும் சிஸ்டம் குழுக்கள் இணக்கமாக செயல்படுகின்றன
சாம் ஆல்ட்மேன்: முழு பயிற்சி செயல்முறையிலும் மிகவும் சாதகமான தருணம் எது? உங்களுக்கு பிடித்த நினைவகம் என்ன? வெளிப்படையாக நிறைய வலி இருக்கிறது, ஆனால் அந்த வலி தணிந்துள்ளது என்று நம்புகிறேன்.
அலெக்ஸ் பெயினோ: எனக்கு அப்படி ஒரு தருணம் உண்டு. பயிற்சியின் போது நாங்கள் நிறைய இயந்திர கற்றல் வேலைகளைச் செய்தோம், மேலும் இந்த செயல்பாட்டில் நாங்கள் செய்த சில மாற்றங்கள் மிகவும் நல்ல தாக்கத்தை ஏற்படுத்தின என்று நினைக்கிறேன், ஒருவேளை எதிர்பார்த்ததை விட சிறப்பாக இருந்தது, அது எங்களுக்கு மிகவும் உற்சாகமான தருணமாக இருந்தது.
அமின் டூட்டூன்ச்சியன்: எனக்கு, பயிற்சி அதே நேரத்தில், நாங்கள் உள்கட்டமைப்பையும் உருவாக்குகிறோம். இந்த செயல்திறன் பாறையை நாங்கள் கடக்க முடியும் என்று நாங்கள் உறுதியாக நம்புகிறோம், மேலும் எங்களிடம் ஒரு திட்டம் உள்ளது, மேலும் அனைவரும் அதை செயல்படுத்தி வருகின்றனர், ஆனால் இதற்கு நீண்ட நேரம் ஆகும். இது கடினமான வேலை மற்றும் நான் நினைத்ததை விட நிச்சயமாக கடினமானது. எனது கணிப்பு தவறானது, இந்த சிக்கல்களைத் தீர்க்க ஆகும் நேரத்தை நான் குறைத்து மதிப்பிட்டேன்.
அந்த முக்கிய சிக்கல்களை குழு இறுதியாக சமாளித்து செயல்திறன் கணிசமாக மேம்பட்ட தருணம் இன்னும் என் நினைவில் உள்ளது. முழு குழுவிலும் ஆற்றல் மாற்றம் தெளிவாக உணர முடியும் - அனைவரும் திடீரென்று ஆற்றல் நிரம்பி புதிய உந்துதலுடன் இறுதி இலக்கை நோக்கி விரைந்து செல்கிறார்கள்.
மிகவும் ஆச்சரியமானது என்னவென்றால், எங்கள் நிலை கண்காணிப்பில் காட்டப்படும் மதிப்பிடப்பட்ட நிறைவு நேரம் ஆரம்ப இரண்டு வருடங்களிலிருந்து தொடர்ந்து சுருங்கி இறுதியாக ஒரு தெளிவான நேர முனையில் பூட்டப்பட்டது. இந்த காணக்கூடிய முன்னேற்றம் குழுவின் மன உறுதியை அதிகரிக்க அளவிட முடியாதது. இதுவே இதன் அழகு என்று நினைக்கிறேன்.
இயந்திர கற்றல் வேலை ஒருபோதும் நிறுத்தப்படவில்லை என்பதை வலியுறுத்த விரும்புகிறேன். பயிற்சி தொடங்கிய பின்னரும், இந்த இயந்திர கற்றல் இணை வடிவமைப்பு செயல்முறை இன்னும் நடந்து கொண்டிருக்கிறது. இயந்திர கற்றல் குழு “பிற்கால செயலாக்கம்” எனக் குறிக்கப்பட்ட சிக்கல்களை தீவிரமாகப் பின்தொடர்வது மட்டுமல்லாமல், பயிற்சி நேரத்தை உண்மையாக மேம்படுத்தும் மேம்பாடுகளை தொடர்ந்து வழங்கியது.
இது எங்கள் குழுவின் உணர்வை சரியாக எடுத்துக்காட்டுகிறது - இங்கு உங்கள் சொந்த கதவுக்கு முன்னால் பனியை அகற்றுவதில்லை ஆனால் உண்மையான தடையற்ற ஒத்துழைப்பு. இந்த ஒற்றுமைதான் எங்கள் மிகப்பெரிய நன்மை.
உன்னிப்பான திட்டமிடல் மற்றும் GPT-4.5 முன் பயிற்சியில் ஒழுங்கற்ற தன்மையின் இடைவிடாத நாட்டம்
டேனியல் செல்சம்: இந்த பயிற்சியின் சவால்கள் மற்றும் கணிப்பு துல்லியம் குறித்து வெளி உலகம் நிறைய விவாதித்துள்ளது. ஆனால் உண்மையில், இவை அனைத்தும் மிகவும் உன்னிப்பான திட்டமிடலில் கட்டப்பட்டுள்ளன - இதைப் பற்றி இன்னும் விரிவாகப் பேச முடியுமா?
அலெக்ஸ் பெயினோ: இதுவரை நாங்கள் செய்த மிக உன்னிப்பான திட்டம் இதுதான். நான் சொன்னது போல், பயிற்சி அதிகாரப்பூர்வமாகத் தொடங்குவதற்கு ஒரு வருடம் முன்னதாகவே இந்த திட்டத்திற்குத் தயாராகத் தொடங்கினோம். இந்த காலகட்டத்தில், பல பெரிய அளவிலான இடர் கட்டுப்பாட்டு சோதனை ரன்களை நடத்தினோம்.
அனைத்து மேம்பாடுகளையும் படிப்படியாக அறிமுகப்படுத்துவதில் நாங்கள் சிறப்பு கவனம் செலுத்துகிறோம்: அதிக நம்பிக்கை அடிப்படை உள்ளமைவிலிருந்து தொடங்கி - GPT-4 போன்ற முதிர்ந்த கட்டிடக்கலை என்று புரிந்து கொள்ளலாம், இயந்திர கற்றல் மட்டத்தில் இந்த உள்ளமைவை நாங்கள் முழுமையாகக் கற்றுள்ளோம் - பின்னர் புதிய அம்சங்களை அடுக்கு தொகுதிகள் போன்றவற்றை அடுக்குகிறோம்.
ஒவ்வொரு மேம்பாட்டின் அளவிடுதலை வெவ்வேறு அளவுகளில் கண்டிப்பாக சரிபார்ப்பதே முக்கியம்: செயல்திறன் மேம்பாடுகளைப் பார்க்க மட்டுமல்லாமல், மாதிரி அளவு அதிகரிக்கும்போது இந்த மேம்பாடுகள் தொடர்ந்து பயனுள்ளதாக இருப்பதை உறுதிப்படுத்தவும். பல மேம்பாடுகள் சிறிய அளவிலான சோதனைகளில் சிறப்பாக செயல்படுகின்றன, ஆனால் பெரிய அளவிலான பயன்பாடுகளில் தோல்வியடையும்.
எனவே, செயல்முறை முழுவதும் நாங்கள் அதிக விழிப்புடன் இருந்தோம், மேலும் எங்கள் அளவிடுதல் சட்ட முறையை தொடர்ந்து மீண்டும் மீண்டும் மேம்படுத்தி வருகிறோம். இந்த இடர் கட்டுப்பாட்டு நடைமுறையின் மூலம், எதிர்கால GPT தொடர் மாடல்களின் வளர்ச்சியைத் தொடர்ந்து வழிநடத்தும் பல மதிப்புமிக்க அனுபவங்களை நாங்கள் சேகரித்துள்ளோம்.
அமின் டூட்டூன்ச்சியன்: எனக்கு மிகவும் பிடித்த ஒரு சுவாரஸ்யமான தருணம் நினைவிருக்கிறது. ஒவ்வொரு முறையும் நாங்கள் ஒரு பயிற்சி பணியைத் தொடங்கும்போதும், கிட்டத்தட்ட தவிர்க்க முடியாமல் பல்வேறு பிழைகளைச் சந்திக்கிறோம் என்பது உங்களுக்குத் தெரியும், இது பொதுவானது. ஆனால் முன்னேற்றம் தடைபடவில்லை என்பதை உறுதி செய்வதே முக்கியம், மேலும் தற்போதைய முன்னேற்றம் சரியான பாதையில் உள்ளதா, இந்த பிழைகள் பயிற்சியின் ஆரோக்கியத்தில் ஒரு பெரிய தாக்கத்தை ஏற்படுத்துமா என்பதை நாங்கள் எப்போதும் உறுதிப்படுத்த வேண்டும்.
நாங்கள் ஆரம்பத்தில் பெரிய குறைபாடுகள் உள்ளன என்று மிகவும் உறுதியாக இருந்தபோதிலும், நாங்கள் உருவாக்கிய முழு கண்காணிப்பு அமைப்பு மூலம், சிக்கலின் மூல காரணத்தை துல்லியமாக வேறுபடுத்தி அறிய முடிந்தது: இது வன்பொருள் தோல்வியா? என்ன வகையான வன்பொருள் தோல்வி? இது தரவு சிதைவா? அல்லது இயந்திர கற்றல் மாதிரியில் உள்ள பிழையா? அல்லது குறியீட்டில் ஒரு ரேஸ் கண்டிஷனா?
அந்த நேரத்தில், பல சிக்கல் விவாத பகுதிகளை ஒரே நேரத்தில் திறந்திருந்தோம், பல்வேறு அறிகுறிகளுடன். தொடர்ச்சியான பிழை திருத்தங்களுக்குப் பிறகு, நாங்கள் ஒரு முட்டுக்கட்டைக்குள் விழுந்தோம்: பல தீர்க்கப்படாத சிக்கல்கள் எங்களுக்கு முன்னால் குவிந்திருந்தன, மேலும் அனைவரும் தங்கள் மூளையை கசக்கி கொண்டிருந்தார்கள் - இவை வெவ்வேறு பிழைகளால் ஏற்பட்டவையா? அல்லது தொந்தரவு கொடுக்கும் ஒரு பிழையா?
பின்னர், நாங்கள் ஒரு வாக்கெடுப்பு நடத்தி, குழு உறுப்பினர்களை மிகவும் சாத்தியமான மூல காரணத்திற்காக வாக்களிக்கக் கேட்டோம். இதன் விளைவாக, குறைவான நம்பிக்கையான விருப்பம் உண்மையைத் தாக்கியது: PyTorch இன் மேல்நிலை torch.sum செயல்பாட்டில் ஒரு சிக்கல் இருப்பது தெரியவந்தது, இது ஒரு எளிய கூட்டு செயல்பாடு.
இந்த பிழை மிகவும் சுவாரஸ்யமானது. நாங்கள் முக்கியமாக ட்ரைட்டன் கர்னலைப் பயன்படுத்துகிறோம் என்பது உங்களுக்குத் தெரியும், மேலும் சில முக்கியமான ஓரங்கட்டப்பட்ட காட்சிகளில் மட்டுமே torch செயல்பாடுகளுக்குத் திரும்புவோம். எங்கள் குறிப்பிட்ட குறியீடு பாதையால் தூண்டப்பட்ட torch.sum செயல்பாடு பிழை அவ்வப்போது தரவு விநியோக பண்புகள் காரணமாக சட்டவிரோத நினைவக அணுகலை ஏற்படுத்தும் - இது நினைவக ஆஃப்செட்டை கணக்கிடும்போது தவறு செய்தது.
மிகவும் வியத்தகு விஷயம் என்னவென்றால், ஒரு பொறியாளர் இறுதியாக சிக்கலைக் கண்டுபிடித்து ஒரு திருத்தத்தைச் சமர்ப்பித்தபோது, வெவ்வேறு அறிகுறிகளுடன் கூடிய அனைத்து பிழைகளும் மறைந்துவிட்டன. அனைவரும் ஸ்லாக்கின் சேனலை “பல பிழை கோட்பாட்டிலிருந்து” “ஒற்றை பிழை கோட்பாட்டிற்கு” உற்சாகமாக மாற்றினர், மேலும் காட்சி மிகவும் மகிழ்ச்சியாக இருந்தது.
இந்த பிழை எவ்வளவு காலமாக மறைந்திருக்கிறது? பயிற்சி தொடங்கிய ஆரம்ப கட்டங்களிலிருந்து இது இருந்து வருகிறது, மேலும் முன்னேற்றம் பட்டியில் சுமார் 40% கடந்தும் கண்டுபிடிக்கப்படவில்லை. கண்டுபிடிப்பு செயல்முறையும் நாடகத்தால் நிரப்பப்பட்டது: அந்த நேரத்தில், ஒரு சிக்கலான கர்னல் தொடர்ச்சியாக ஒரு வரிசையை அழைத்தது, மேலும் இரண்டாவது அழைப்பு சட்டவிரோத நினைவக அணுகலைத் தூண்டியது.
இந்த கிராஷ் அதிர்வெண் மிகவும் குறைவாக இருந்தாலும் (இது சில நூறு அல்லது ஆயிரம் பயிற்சி நடவடிக்கைகளில் ஒரு முறை மட்டுமே நிகழ்கிறது), இதை எப்போதாவது தோல்வியாக புறக்கணிக்க எளிதானது, ஆனால் எங்கள் குழுவின் கொள்கை: எந்தவொரு ஒழுங்கற்ற தன்மையையும் விட்டுவிடாதீர்கள். இந்த கதையின் சிறந்த பகுதி எளிதில் கைவிடாத இந்த விடாமுயற்சியில் உள்ளது.
இலட்சிய அமைப்புகளுக்கான தேடல்: ஒரு தொலைதூர ஹொரைசன்
சாம் ஆல்ட்மேன்: GPT-4.5 முன் பயிற்சி தொடங்கிய பிறகு, நீங்கள் வேறு என்ன செய்ய வேண்டும்?
அலெக்ஸ் பெயினோ: நாங்கள் அனைவரும் இழப்பு வளைவை அடிக்கடி கவனிக்க வேண்டும். கூடுதலாக, நாங்கள் தொடர்ந்து சிஸ்டத்தை மேம்படுத்த வேண்டும், மேலும் பயிற்சி தொடங்குவதற்கு முன்பு முடிக்கப்படாத இணை வடிவமைப்பை மேம்படுத்த வேண்டும். எதிர்பாராத அசாதாரண போக்குகள் எதுவும் இல்லை என்பதை உறுதிப்படுத்த, பயிற்சி செயல்முறையின் போது பல்வேறு புள்ளிவிவர குறிகாட்டிகளை உன்னிப்பாகக் கண்காணிக்கிறோம். அதே நேரத்தில், ஒரு இயந்திர கற்றல் கண்ணோட்டத்தில் சாத்தியமான மேம்பாட்டுத் திட்டங்களை ஆராய்கிறோம். முன் பயிற்சி தொடங்கிய பிறகு தரவு மட்ட வேலை தற்காலிகமாகக் குறைந்தாலும், இன்னும் அதிக எண்ணிக்கையிலான பணிகளைச் செயல்படுத்த வேண்டும்.
அமின் டூட்டூன்ச்சியன்: இயந்திர கற்றல் பெரும்பாலும் தீர்ப்பின் சரியை சார்ந்துள்ளது என்று நினைக்கிறேன். முன் பயிற்சி தொடங்கிய பிறகு, ஏராளமான சத்தம் சமிக்ஞைகளை எதிர்கொள்கையில், தேயிலை இலைகளை விளக்கும் அதிர்ஷ்டம் சொல்பவரைப் போல நாங்கள் இருக்கிறோம், மேலும் சிஸ்டம் ஆரோக்கியமாக இருக்கிறதா என்று நாங்கள் தீர்ப்பளிக்க வேண்டும். இது எங்கள் பொறுப்பு.
சாம் ஆல்ட்மேன்: சிஸ்டம் மட்டத்தில், மாடல் பயிற்சியை நடத்துவதிலிருந்து எது நம்மை தடுக்கிறது? இது சிப்ஸா, செயலிகளா, நினைவகமா, நெட்வொர்க்கா அல்லது மின்சக்தியா?
அமின் டூட்டூன்ச்சியன்: சிஸ்டத்தின் அழகு என்னவென்றால், இணை வடிவமைப்பு செய்யும் போது, நீங்கள் உருவாக்கும் உள்கட்டமைப்பிற்கு பணிச்சுமை பொருந்தும். நெட்வொர்க் ஒரு தடை, அல்லது நினைவக அலைவரிசை ஒரு தடை என்பது போன்ற பொதுவான கூற்று எதுவும் இல்லை. அதே விவரக்குறிப்புகளின் மாதிரிகளுக்கு கூட, வளத் தேவைகளை மாற்ற நாங்கள் தேர்ந்தெடுக்கலாம், மேலும் சமநிலையான அமைப்பை உருவாக்க நாங்கள் தேர்ந்தெடுக்கலாம், ஆனால் அதிக நினைவக அலைவரிசை இருப்பது எப்போதும் நன்மை பயக்கும். கட்டுப்படுத்தும் நிபந்தனைகள் இல்லாமல் இந்தக் கேள்விக்கு பதிலளிப்பது கடினம்.
GPT-4.5 ஐ வடிவமைக்கும்போது, சிஸ்டம் ஒரு வகையான பண்பு கொண்டிருக்க வேண்டும், இது மனித வழிகாட்டுதலின் கீழ் உருவாக்கப்பட வேண்டும். எனவே, இணை வடிவமைப்பு மாடல் கட்டமைப்பு மற்றும் கட்டடக்கலை கூறுகளை உருவாக்குவதற்கு மிக முக்கியமானது, மேலும் சிஸ்டம் மற்றும் இயந்திர கற்றல் அம்சங்களை ஒரு அளவிற்கு இணைக்கிறது. சிஸ்டம் நாம் அதிகமாக வைத்திருக்க விரும்பாத ஒரு பண்பு இருந்தால், எனது இலட்சிய நிலை என்னவென்றால், எல்லாமே ஒருவருக்கொருவர் அதிக இடத்தை வழங்குவதற்காக பிரிக்கப்பட வேண்டும்.
சில நேரங்களில் விஷயங்கள் ஒன்றாக இணைக்கப்படுகின்றன, மேலும் நாங்கள் உள்கட்டமைப்பின் தேவைகளை பூர்த்தி செய்ய வேண்டும், அல்லது விஷயங்கள் இப்படி இருக்க வேண்டும். பெரும்பாலான நேரங்களில், எங்களுக்கு ஒரு சமநிலையான சிஸ்டம் மற்றும் சமநிலையான தொடர்பு தேவை. மேலும் எங்களிடம் உள்ள சிறந்த சரிப்படுத்தும் வழிமுறை இந்த இணை வடிவமைப்புகள் அனைத்தும்.
சாம் ஆல்ட்மேன்: இந்த இலட்சிய சிஸ்டம் இலக்கிலிருந்து நாம் எவ்வளவு தூரம் இருக்கிறோம்?
அமின் டூட்டூன்ச்சியன்: அந்த இலக்கிலிருந்து இன்னும் நீண்ட தூரம் இருக்கிறோம். ஒரு சிஸ்டத்தை உருவாக்கும் செயல்முறை எப்போதும் இப்படித்தான் இருக்கும்: முதலில் விஷயங்கள் எவ்வாறு செயல்பட வேண்டும் என்பது குறித்த ஒரு இலட்சிய பார்வை இருக்கும், பின்னர் இருக்கும் வளங்களுடன் அந்த வேறுபாடுகளை சமரசம் செய்யுங்கள்.
நாங்கள் கோட்பாட்டிற்காக இதைச் செய்யவில்லை என்று நினைக்கிறேன், ஆனால் நாங்கள் அதை என்னவாக மாற்ற விரும்புகிறோம், அதை உணரவும், அந்த இலட்சியத்திற்கு முடிந்தவரை நெருங்கவும் விவாதிக்க வேண்டும். சிஸ்டம் துறையின் மிகவும் உற்சாகமான பகுதி இதுவாக இருக்கலாம். இது ஒரு நேர்த்தியான சிஸ்டம் வடிவமைப்பு என்று மக்கள் கூறினர், மேலும் இந்த தேர்வு சரியா தவறா என்பதை இறுதியில் வரலாறு நமக்குச் சொல்லும்.
சாம் ஆல்ட்மேன்: அடுத்த பெரிய பயிற்சிக்கு முன் ஒரு இயந்திர கற்றல் சிக்கலுக்கு நீங்கள் ஒரு பதிலைப் பெற முடிந்தால், நீங்கள் எதைப் பற்றி அதிகம் தெரிந்து கொள்ள விரும்புகிறீர்கள்?
அலெக்ஸ் பெயினோ: வரையறுக்கப்பட்ட தரவு மற்றும் குறிப்பிட்ட புலங்களின் கீழ் நாம் என்ன வழிமுறைகளைப் பயன்படுத்த வேண்டும் என்பதை அறிய விரும்புகிறேன். இது ஒரு பரந்த கேள்வியாக இருந்தாலும், இது மிகவும் முக்கியமான ஒன்றாகும்.
சாம் ஆல்ட்மேன்: எதிர்காலத்தில் 10 மில்லியன் அல்லது அதற்கு மேற்பட்ட GPU களுடன் ஒத்திசைவான முன் பயிற்சியை நடத்துவீர்களா?
அலெக்ஸ் பெயினோ: அது இருக்கும் என்று நினைக்கிறேன், ஆனால் அது பாரம்பரிய முன் பயிற்சி மாதிரியாக இருக்காது. அதன் வடிவம் இருக்கும் தொழில்நுட்பத்திலிருந்து மிகவும் வித்தியாசமாக இருக்கலாம், ஆனால் அது இன்னும் மேற்பார்வையிடப்படாத கற்றலின் மையத்தைத் தக்கவைத்துக்கொள்ளும்.
அமின் டூட்டூன்ச்சியன்: நான் பகுதி ஒத்திசைவான முறையை விரும்புகிறேன். இயற்பியல் விதிகள் காரணமாக, முழுமையான ஒத்திசைவு என்பது யதார்த்தமானதல்ல.
டேனியல் செல்சம்: அது பரவலாக்கப்பட அதிக வாய்ப்புள்ளது என்று நினைக்கிறேன். கற்றல் மற்றும் பணிகளைச் செய்வதற்காக ஒரு AI அமைப்பில் நிச்சயமாக 10 மில்லியன் GPU கள் ஒன்றாகச் செயல்படும், ஆனால் மூளையின் பல்வேறு பகுதிகளைப் போலவே, அவை ஒருவருக்கொருவர் தொடர்பு கொள்ள வேண்டிய அவசியமில்லை.
அல்காரிதம் மேம்பாடுகள் மற்றும் தரவு திறனின் ஒருங்கிணைந்த சக்தி
சாம் ஆல்ட்மேன்: மிகவும் மேம்பட்ட வழிமுறைகளுக்கும் மனித தரவு திறனுக்கும் இடையே எவ்வளவு இடைவெளி உள்ளது? எதிர்காலத்தில் நாம் பிடிக்க முடியும் என்று நம்பலாமா?
டேனியல் செல்சம்: இரண்டையும் நேரடியாக ஒப்பிடுவது கடினம். மொழி கற்றலில் இடைவெளி நிச்சயமாக மிகப்பெரியது. மனித காட்சி நரம்புகளால் பெறப்பட்ட தகவல்களின் அளவை எவ்வாறு வரையறுப்பது என்பது முக்கியம். வழிமுறைகள் பொதுவாக மனிதர்களை விட மிகக் குறைந்த தரவு திறமையானவை என்று நினைக்கிறேன்.
பல தசாப்தங்களாக, ஆழ்ந்த கற்றல் கணினி சக்தி திறனில் கவனம் செலுத்தியுள்ளது. தரவு மற்றும் கணினி சக்தியின் வளர்ச்சிக்கு கூடுதலாக, அல்காரிதம் மேம்பாடுகளால் உற்பத்தி செய்யப்படும் ஒருங்கிணைந்த விளைவு உண்மையில் ஆச்சரியமளிக்கிறது. ஒவ்வொரு முறையும் அல்காரிதம் செயல்திறன் 10% அல்லது 20% மேம்படுத்தப்படும்போது, அது தரவு திறனுடன் மேலெழுதப்படும்போது குறிப்பிடத்தக்க விளைவை ஏற்படுத்தும். இதுவரை, தரவு சுழற்சியில் இல்லாதபோது மற்றும் கணினி சக்தி குறைவாக இருக்கும்போது இந்த அணுகுமுறை மதிப்புக்குரியதாக இல்லாததால், தரவு திறன் குறித்து எந்த அணிதிரட்டலும் இல்லை.
இப்போது, நாங்கள் AI ஆராய்ச்சியின் புதிய கட்டத்தில் நுழைந்துள்ளோம், மேலும் தரவு திறனில் வெற்றிகளை குவிக்கத் தொடங்குவோம். கடக்க முடியாத தடைகளை சந்திப்போம் என்று இப்போது கணிப்பது சற்று முட்டாள்தனமானது என்று நினைக்கிறேன். மனித மூளை செயல்படும் விதம் நிச்சயமாக எங்கள் அல்காரிதம் மேம்பாடுகளிலிருந்து வேறுபட்டது, மேலும் நாம் இந்த விஷயத்தில் கவனமாக இருக்க வேண்டும். ஆனால் வழிமுறைகளின் எதிர்கால வளர்ச்சி குறித்து நாங்கள் நம்பிக்கையுடன் இருக்க வேண்டும் என்று நினைக்கிறேன்.
சாம் ஆல்ட்மேன்: பெரிய அளவிலான முன் பயிற்சிக்கும் மாதிரியின் வலுவான கற்றல் மற்றும் பகுத்தறிவு திறன்களுக்கும் என்ன தொடர்பு உள்ளது?
அலெக்ஸ் பெயினோ: சிறந்த முன் பயிற்சி மற்றும் மேற்பார்வையிடப்படாத கற்றல் பெரும்பாலும் மாதிரியின் ஒட்டுமொத்த நுண்ணறிவை மேம்படுத்துகிறது மற்றும் பொதுமைப்படுத்தலில் பெரிதும் உதவுகிறது என்பதை நாங்கள் கவனித்தோம். இது பகுத்தறிவு திறனுக்கு துணைபுரியும், அதே நேரத்தில் நுண்ணறிவை மேம்படுத்துவதில் பகுத்தறிவு அதிக சோம்பலாக இருக்கலாம். அவை ஒன்றையொன்று பூர்த்தி செய்கின்றன என்று நினைக்கிறேன்.
சாம் ஆல்ட்மேன்: முன் பயிற்சி பல விஷயங்களில் பொதுவானதாகத் தெரிகிறது, அதே நேரத்தில் ஒரு மாதிரியைப் பயிற்றுவிப்பது அதை ஒரு வகையான விஷயத்தில் சிறப்பாகச் செய்ய முடியும், அது சரியா?
அலெக்ஸ் பெயினோ: இது மிகவும் சுவாரஸ்யமானது, ஆனால் அவற்றைப் பயிற்றுவிக்கும் தரவைப் பார்க்கும்போது இந்த சூழ்நிலையைப் பார்த்து நீங்கள் ஆச்சரியப்பட மாட்டீர்கள். முன் பயிற்சி தரவுத்தொகுப்பு வரம்பு மிக அதிகம், மேலும் நாங்கள் பின்தொடர்வது அகலம் மற்றும் பன்முகத்தன்மை. மாதிரி வலுவூட்டல் கற்றல் மற்றும் அதை தெளிவாக நல்ல வெகுமதி சமிக்ஞைகள் மற்றும் நல்ல பயிற்சி சூழலைப் பெறச் செய்யும்போது, தரவுத்தொகுப்பின் அகலத்தை சமப்படுத்த கடினம் என்று நினைக்கிறேன்.
டேனியல் செல்சம்: நான் ஒப்புக்கொள்கிறேன், ஆனால் மற்றொரு காரணி உள்ளது என்று நினைக்கிறேன். முன் பயிற்சி என்பது அடிப்படையில் தரவைச் சுருக்குகிறது, இதன் மூலம் வெவ்வேறு விஷயங்களுக்கு இடையே உள்ள தொடர்புகளைக் கண்டறிகிறது. இது ஒப்புமைகள் மற்றும் அதிக சுருக்கத்தைப் பற்றியது. பகுத்தறிவு என்பது ஒரு குறிப்பிட்ட சிக்கலில் கவனமாக சிந்தனை தேவைப்படும் ஒரு திறனாகும், மேலும் பல வகையான சிக்கல்களுக்கு தீர்வுகளைப் பெறலாம். இருப்பினும், முன் பயிற்சி செயல்பாட்டில், வெவ்வேறு புலங்களில் தரவைச் சுருக்கும்போது அதிக சுருக்க அறிவைப் பெறலாம்.
நுண்ணறிவின் சாரம்: சுருக்கம் மற்றும் நீண்ட வால் விளைவு
சாம் ஆல்ட்மேன்: மேற்பார்வையிடப்படாத கற்றல் ஏன் பயனுள்ளதாக இருக்கிறது?
டேனியல் செல்சம்: சுருக்கமே முக்கியம். நுண்ணறிவின் இலட்சிய வடிவம் சாலமோனோஃப் தூண்டல் ஆகும். பொதுவாக, இயந்திர கற்றல் அனைத்து சாத்தியக்கூறுகளையும் கருத்தில் கொள்ளும், ஆனால் எளிமையான நிரல்களுடன் சோதனையைத் தொடங்க முனைகிறது.
தற்போதைய முன் பயிற்சியின் சாரம் ஒரு சுருக்க செயல்முறையாகும், இது இதுவரை மனிதர்களால் உற்பத்தி செய்யப்பட்ட அனைத்து தரவுகளையும் விளக்க எளிய நிரலை கண்டுபிடிப்பதன் மூலம் தோராயமான வெளிப்பாட்டை அடைகிறது.
சாம் ஆல்ட்மேன்: அடுத்த டோக்கன் கணிப்பு சுருக்கத்தை அடைய எப்படி உதவுகிறது?
டேனியல் செல்சம்: புள்ளிவிவரங்களில் ஒரு முரண்பாடு உள்ளது - ஆழமான நெட்வொர்க்குகள் சுருக்க முடியாததாகத் தோன்றினாலும் அவை ஏன் பொதுமைப்படுத்தலை அடைய முடியும்? பொதுவாக, உங்களிடம் நிறைய தரவு மற்றும் சில சிறிய மாதிரிகள் இருக்கும்போது, இந்த மாதிரிகள்