GPT-4.5 பயிற்சி: சவால்கள் & முன்னேற்றங்கள்

GPT-4.5 பயிற்சி: கணக்கீட்டு சவால்கள் மற்றும் முன்னேற்றங்கள் பற்றிய ஆழமான பார்வை

OpenAI’s GPT-4.5 உருவாக்கம், இரண்டு வருடங்களுக்கு முன்பு தொடங்கப்பட்ட ஒரு திட்டம், இதுவரையிலான OpenAI’s மிகவும் லட்சிய முயற்சியாகும். இந்த மிகப்பெரிய முயற்சியில் நூற்றுக்கணக்கான நபர்களின் கூட்டு முயற்சிகள் இருந்தன, OpenAI CEO சாம் ஆல்ட்மேன் இந்த திட்டம் கிட்டத்தட்ட முழு நிறுவனத்தின் ஈடுபாட்டையும் கோரியது என்று குறிப்பிட்டார்.

பெரிய அளவிலான பயிற்சியில் ‘பேரழிவு தரும் சிக்கல்களை’ கடத்தல்

GPT-4.5 ஐ உருவாக்கும் பயணம் தடைகள் இல்லாமல் இல்லை. ஆராய்ச்சி மற்றும் மேம்பாட்டு கட்டத்தில் குழு பல ‘பேரழிவு தரும் சிக்கல்களை’ சந்தித்தது. 100,000 GPU களின் கிளஸ்டரைப் பயன்படுத்துவது முன்னர் காணாத, குறைந்த நிகழ்தகவு, ஆனால் ஆழமான உள்கட்டமைப்பு தோல்விகளை வெளிப்படுத்தியது. உகந்த செயல்திறனுடன் அவசரத்தை சமப்படுத்த, OpenAI’s கணினி குழு ‘சரிசெய்யும் போது சரிசெய்தல்’ அணுகுமுறையை ஏற்றுக்கொள்ள வேண்டிய கட்டாயம் ஏற்பட்டது. குறிப்பாக ஒரு தந்திரமான பிழை கிளஸ்டரை அடிக்கடி பிழைகளால் வாட்டியது, பயிற்சி செயல்பாட்டில் சுமார் 40% முடிந்த பின்னரே கண்டறியப்படாமல் இருந்தது.

இந்த சவால்கள் இருந்தபோதிலும், GPT-4.5 திட்டம் ஒரு வலுவான தொழில்நுட்ப அடுக்கு வளர்ச்சியை துரிதப்படுத்தியது. இன்று, வெறும் 5-10 நபர்களைக் கொண்ட ஒரு மெலிதான குழு GPT-4 போன்ற ஒரு பெரிய மாதிரியை மீண்டும் உருவாக்க முடியும். GPT-4 இலிருந்து GPT-4.5 க்கு செயல்திறன் ஆதாயம் சுமார் பத்து மடங்கு அதிகமாக இருந்தது, இது ‘அளவிட கடினமான ஆனால் அனைத்து அம்சங்களிலும் மேம்பட்ட நுண்ணறிவை’ அளித்தது, இது OpenAI’s சொந்த பணியாளர்களையும் ஆச்சரியப்படுத்தியது.

கவனத்தை மாற்றுதல்: கணக்கீட்டு சக்தியிலிருந்து தரவு செயல்திறனுக்கு

OpenAI அடுத்த பத்து மடங்கு அல்லது நூறு மடங்கு செயல்திறன் அதிகரிப்பை அடைவது மூல கணக்கீட்டு சக்தியை அடிப்படையாகக் கொண்டதல்ல, ஆனால் தரவு செயல்திறனில் உள்ளது என்பதை உணர வந்துள்ளது - குறிப்பாக, அதே அளவு தரவிலிருந்து அதிகமான அறிவைப் பிரித்தெடுக்கும் திறன் அதிக கணக்கீட்டு வளங்களைப் பயன்படுத்துகிறது.

கட்டமைப்பு ஒற்றை-கிளஸ்டரிலிருந்து பல-கிளஸ்டர் முன்னுதாரணமாக உருவாகி வருகிறது. எதிர்கால பயிற்சி மறு செய்கைகளில் 10 மில்லியன் GPU கள் வரை கூட்டு கற்றல் இருக்கலாம், இது அதிக தவறு சகிப்புத்தன்மையை அதிகரிக்கும்.

சாம் ஆல்ட்மேனின் GPT-4.5 குழுவுடனான உரையாடல்

சாம் ஆல்ட்மனுக்கும் OpenAI GPT-4.5 குழுவுக்கும் இடையிலான கலந்துரையாடலின் திருத்தப்பட்ட தொகுப்பு பின்வருமாறு:

சாம் ஆல்ட்மன்: GPT-4.5 போன்ற ஒரு பெரிய மாதிரியை உருவாக்க என்ன தேவை?

அலெக்ஸ் பெயினோ: நாங்கள் இந்த திட்டத்தை சுமார் இரண்டு ஆண்டுகளுக்கு முன்பு தொடங்கினோம். அந்த நேரத்தில், OpenAI ஒரு புதிய பெரிய கணினி கிளஸ்டரை தொடங்க இருந்தது, மேலும் எங்கள் குழு மாதிரி சேர்க்க வேண்டிய செயல்பாடுகளை தீர்மானிக்க தொடர்ச்சியான செயல்பாடுகளை நடத்தவும், ஏராளமான இடர் குறைப்பு செயல்பாட்டு சோதனைகளை நடத்தவும் இது ஒரு வாய்ப்பாகக் கண்டது.

இதற்காக ஒரு நீண்ட திட்டத்தை நாங்கள் உருவாக்கியுள்ளோம், இதில் கணினி முதல் இயந்திர கற்றல் வரையிலான முழு தொழில்நுட்ப அடுக்கும் அடங்கும். அபாயங்களைக் குறைத்தல் மற்றும் பயிற்சிக்குத் தயாராகுதல் என்பது ஒரு நீண்ட செயலாக்க செயல்முறையாகும், மேலும் பயிற்சி என்பது ஒரு பெரிய திட்டமாகும்.

அமின் டூட்டூன்ச்சியன்: இயந்திர கற்றல் குழுவும் கணினி குழுவும் ஆரம்பத்திலிருந்தே நெருக்கமாக ஒத்துழைக்க வேண்டும் என்று நான் நினைக்கிறேன், நாங்கள் எந்த மாதிரியைப் பயிற்றுவிக்க விரும்புகிறோம் என்பதை நாங்கள் தெளிவுபடுத்தும் வரை, பின்னர் பயிற்சி தொடங்கவும்.

இயந்திர கற்றல் மற்றும் கணினி அம்சங்கள் இரண்டிலும் கணிப்புகளைச் செய்துள்ளோம், எதிர்பார்ப்புக்கும் யதார்த்தத்திற்கும் இடையிலான இடைவெளியை முடிந்தவரை குறைக்க முயற்சிக்கிறோம். ஆனால் எங்கள் வேலை வேகம் வேகமாக இருப்பதால், சமீபத்திய கணினி ஆதாரங்களைப் பயன்படுத்த வேண்டியிருப்பதால், மாதிரி பயிற்சி என்பது முன்கூட்டியே திட்டமிடுவது கடினமான ஒன்றாக மாறிவிட்டது.

நாங்கள் கிட்டத்தட்ட எப்போதும் தீர்க்கப்படாத பல சிக்கல்களுடன் பயிற்சியைத் தொடங்குகிறோம், மேலும் செயல்பாட்டின் போது சவால்களை எதிர்கொண்டு முன்னேற முயற்சிக்கிறோம். கூடுதல் கணினி ஆதாரங்களைச் சேர்ப்பதே முக்கிய தீர்வு.

இறுதி கட்டம் என்பது செயலாக்கம் ஆகும், இதற்கு பல நபர்கள் நிறைய ஆற்றலையும் உந்துதலையும் நீண்ட காலமாக முதலீடு செய்ய வேண்டும்.

சாம் ஆல்ட்மன்: நமது எதிர்பார்ப்புகளுக்கும் யதார்த்தத்திற்கும் இடையிலான இடைவெளி எவ்வளவு என்று நினைக்கிறீர்கள்?

அமின் டூட்டூன்ச்சியன்: கணினியைப் பொறுத்தவரை, நாங்கள் வழக்கமாக ஆரம்பத்தில் எதிர்பார்த்த நிலையிலிருந்து வெகு தொலைவில் இருக்கிறோம். தொடங்குவதை தாமதப்படுத்துவதா மற்றும் சிக்கல் தீர்க்கப்படும் வரை காத்திருக்கவா அல்லது சீக்கிரம் தொடங்கி செயல்பாட்டில் சிக்கலைத் தீர்ப்பதா என்ற தேர்வு எப்போதும் எங்களுக்கு உள்ளது. இது எப்போதும் ஒரு வர்த்தக பரிமாற்றத்தை கோருகிறது.

ஆனால் கிட்டத்தட்ட எப்போதும் சில எதிர்பாராத சிக்கல்கள் உள்ளன, மேலும் நாம் செய்ய வேண்டியது இந்த முனைகளை முடிந்தவரை கையாளுவது, அறியப்படாத காரணிகளைக் கையாளுவது மற்றும் மாதிரி பயிற்சிக்கான திட்டத்தை உருவாக்குவது.

அலெக்ஸ் பெயினோ: இந்த திட்டத்தில், எங்கள் குறிக்கோள் GPT-4.5 ஐ உருவாக்குவதாகும், அதாவது அதன் திறன்கள் GPT-4 ஐ விட 10 மடங்கு புத்திசாலித்தனமாக இருக்க வேண்டும். இது சுமார் 2 ஆண்டுகளுக்கு முன்பு நாங்கள் நிர்ணயித்த ஆரம்ப குறிக்கோள்.

இந்த செயல்பாட்டில் நிறைய விஷயங்கள் நடந்தன. நாங்கள் சிறப்பாகச் செய்ய முடியுமா அல்லது எதிர்பார்த்ததை விட மோசமாக இருக்குமா என்று யோசித்துக்கொண்டிருந்தோம்? இது மிகவும் சிக்கலான செயல்முறை, ஆனால் இறுதியில், நாங்கள் முதலீடு செய்த பயனுள்ள கணக்கீடுகளைப் பொறுத்தவரை, GPT-4 ஐ விட 10 மடங்கு புத்திசாலித்தனமாக இருக்கும் என்று நாங்கள் நினைக்கும் ஒரு மாதிரியைப் பெற்றோம்.

அமின் டூட்டூன்ச்சியன்: செயலாக்கத்தைப் பொறுத்தவரை, GPT-4.5 திட்டத்தில் செலவழித்த நேரம் நாங்கள் ஆரம்பத்தில் எதிர்பார்த்ததை விட வெகு தொலைவில் உள்ளது.

சாம் ஆல்ட்மன்: கிளஸ்டர் 10,000 கார்டுகளிலிருந்து 100,000 கார்டுகளாக விரிவடையும் போது ஏன் நீங்கள் பல சிக்கல்களை சந்தித்தீர்கள்?

அமின் டூட்டூன்ச்சியன்: கணினி உருவாக்குநர்கள் போதுமான உணர்திறன் உடையவர்களாக இருந்தால், பெரும்பாலான சிக்கல்களை சிறிய அளவிலான கட்டத்தில் காணலாம் என்று நான் நினைக்கிறேன்.

சில சிக்கல்கள் பெரிய அளவிலான பயிற்சி கட்டத்திற்கு மட்டும் தனித்துவமானவை அல்ல, ஆனால் இதற்கு முன்பு அடிக்கடி நிகழ்ந்தவை, ஆனால் அளவு அதிகரித்த பிறகு பேரழிவு தரும் சிக்கல்களாக மாறும், குறிப்பாக இந்த சிக்கல்கள் இவ்வளவு மோசமடையும் என்று குழு எதிர்பார்க்கவில்லை என்றால்.

சாம் ஆல்ட்மன்: பேரழிவு தரும் விளைவுகளை ஏற்படுத்திய விஷயங்கள் என்ன?

அமின் டூட்டூன்ச்சியன்: உள்கட்டமைப்பு சிக்கல்கள் நன்கு அறியப்பட்டவை என்று நான் நினைக்கிறேன், தோல்வி விகிதம், தோல்வி வகை அல்லது மொத்த தோல்வியின் அளவு மிக அதிகமாக உள்ளது. 100,000 கார்டு கிளஸ்டர் ஒரு பெரிய அளவிலான மாதிரி குளம் ஆகும், எனவே கணினி சக்தி வழங்குநர் கவனிக்காத சிக்கல்களையும் நாங்கள் கண்டுபிடித்தோம்.

பிணையம் அவற்றில் ஒன்றாகும், மேலும் தனிப்பட்ட முடுக்கிகளும் சிக்கல்களை ஏற்படுத்தலாம். ஆனால் இது இந்த அமைப்பின் அழகும் கூட - எதிர்பார்க்கப்பட்ட முடிவுகளை உருவாக்க கிட்டத்தட்ட அனைத்து கூறுகளும் எதிர்பார்த்தபடி வேலை செய்ய வேண்டும். இந்த சிக்கலை முடிந்தவரை குறைப்பதே எங்கள் வேலை.

சாம் ஆல்ட்மன்: கிளஸ்டர் அளவின் வரம்பில் வேலை செய்வது உண்மையில் கடினம், ஆனால் தொழில்நுட்பத்தின் முன்னணியில் இல்லாத விஷயங்களைச் செய்வது மிகவும் எளிதாகிவிட்டது என்பதையும் நான் கவனித்தேன். GPT-4.5 ஐப் பயிற்றுவிக்க நூற்றுக்கணக்கான மக்கள் தேவை, மேலும் OpenAI கிட்டத்தட்ட அனைவரையும் பணியில் வைத்திருக்கிறது.

ஆனால் இன்று, OpenAI இலிருந்து சிறிய குழுவை நீங்கள் தேர்ந்தெடுத்து, GPT-4 ஐ புதிதாக மறுபயிற்சி செய்ய நாங்கள் அறிந்த அனைத்து அறிவையும் கணினி வேலையையும் கொண்டு வந்தால், அதற்கு எத்தனை பேர் தேவைப்படும்?

அலெக்ஸ் பெயினோ: GPT-4 அளவிலான மாதிரியை உருவாக்க இப்போது சுமார் 5 முதல் 10 பேர் ஆகலாம் என்று நான் நினைக்கிறேன். GPT-4.5 ஐ முடிக்கும் செயல்பாட்டில் தொழில்நுட்ப அடுக்கு பெரிதும் மேம்படுத்தப்பட்டுள்ளது.

உண்மையில், GPT-4.5 பயிற்சி செய்யும் போது நாங்கள் இதே போன்ற விஷயங்களைச் செய்தோம் - நாங்கள் GPT-4o ஐப் பயிற்றுவித்தோம், இது GPT-4 அளவிலான மாதிரி, மேலும் GPT-4.5 ஆராய்ச்சி திட்டத்திலிருந்து நிறைய உள்ளடக்கத்தைப் பயன்படுத்தி அதை மீண்டும் பயிற்றுவித்தோம். அந்தப் பயிற்சிக்குக் குறைவான நபர்கள் பயன்படுத்தப்பட்டனர்.

சாம் ஆல்ட்மன்: உங்கள் பார்வையில், டான்? பெரிய மாதிரிகளைப் பயிற்றுவிப்பது ஏன் கடினம்?

டானியல் செல்சாம்: புதிதாக ஏதாவது செய்வது கடினம் என்று நான் நினைக்கிறேன். யாரோ ஒருவர் ஏதாவது செய்ததை கண்டுபிடித்தாலே அது மிகவும் எளிதாகிவிடும் என்று நினைக்கிறேன், ஏனென்றால் முதலில் ஏதாவது செய்ய வேண்டும் என்ற நம்பிக்கைதான் கடினமான பகுதி. ஏதோ சாத்தியம் என்று தெரிந்து கொள்வது ஒரு சூப்பர் சீட் குறியீடாகும், அது விஷயங்களை மிகவும் எளிதாக்குகிறது என்று நான் நினைக்கிறேன்.

அலெக்ஸ் பெயினோ: நாங்கள் GPT முன் பயிற்சி ஓட்டத்தை அதன் முந்தைய அளவை விட 10 மடங்கு விரிவுபடுத்துகிறோம், மேலும் நீங்கள் கணிக்க முடியாத சில சுவாரஸ்யமான புதிய விஷயங்களை நாங்கள் எப்போதும் காண்கிறோம்.

சாம் ஆல்ட்மன்: முன் பயிற்சி அளவில் அடுத்த 10x அல்லது 100x வளர்ச்சியை அடைய என்ன தேவை?

டானியல் செல்சாம்: தரவு திறன். டிரான்ஸ்ஃபார்மர் கட்டமைப்பு (அதாவது GPT) தரவைப் பயன்படுத்துவதில் மிகவும் திறமையானது. இது தகவல்களை நன்றாக உறிஞ்சி சுருக்க முடியும் மற்றும் பொதுமைப்படுத்தலை அடைய முடியும். இதன் மிகப்பெரிய அம்சம் என்னவென்றால், கணக்கீட்டு ஆதாரங்களுடன் தகவல்களை திறம்பட உறிஞ்ச முடியும்.

இருப்பினும், தரவுகளிலிருந்து பெறும் நுண்ணறிவின் ஆழம் குறைவாக உள்ளது. கணக்கீட்டு சக்தி வேகமாக வளரும்போது மற்றும் தரவு ஒப்பீட்டளவில் மெதுவாக வளரும்போது, தரவு இந்த நிலையான மாதிரிக்கு ஒரு தடையாகிறது. அதே அளவு தரவிலிருந்து அதிக அறிவைப் பெற அதிக கணக்கீட்டு சக்தியைப் பயன்படுத்தக்கூடிய முறைகளை உருவாக்க வழிமுறை கண்டுபிடிப்பு தேவைப்படுகிறது.

சாம் ஆல்ட்மன்: விரிவாக்கத்தை பராமரிக்க வேறு என்ன தேவை என்று நினைக்கிறீர்கள்?

அமின் டூட்டூன்ச்சியன்: எனது பதில் கணினி பற்றியது. GPT-4.5 க்கு தேவையான மிகப்பெரிய வேலை என்பது மாதிரி விவரக்குறிப்புகளின் தவிர்க்க முடியாத விளைவாகும் என்று நான் நினைக்கிறேன். GPT-4 ஐப் போலவே GPT-4.5 ஐயும் அதே தொழில்நுட்ப கட்டமைப்பைப் பயன்படுத்த முடியாது.

நிலை நிர்வாகத்தைப் பொறுத்தவரை, தேவையான கணினி ஆதாரங்கள் ஒற்றை கிளஸ்டரின் திறனை மீறிவிட்டதால், நாங்கள் பல கிளஸ்டர் பயிற்சி கட்டமைப்பிற்கு திரும்ப வேண்டும். இந்த இலக்கை அடைய, நாம் குறுகிய காலத்தில் பல வெவ்வேறு பணிப்பாய்வுகளை ஒருங்கிணைக்க வேண்டும்.

இது உண்மையிலேயே நிலை முன்னேற்றங்களை அடைய எங்களுக்கு உதவியிருந்தாலும், அடுத்த கட்ட செயல்திறன் மேம்பாட்டை அடைய, அறியப்பட்ட ஆனால் தற்காலிகமாக ஒத்திவைக்கப்பட்ட பல தொழில்நுட்ப சிக்கல்களை நாங்கள் இன்னும் தீர்க்க வேண்டும் - இந்த சிக்கல்களைத் தவிர்க்க முடியாது. சரியான அமைப்பின் R&D சுழற்சியை தொடர்ந்து நீட்டிக்கும் ஒரு வகை தொழில்நுட்ப வர்த்தக பரிமாற்றம் இதுவாகும், மேலும் உகந்த செயலாக்கத் திட்டத்தைத் தொடரும் செயல்பாட்டில் நாங்கள் எப்போதும் மூலோபாய வர்த்தக பரிமாற்றங்களைச் செய்கிறோம்.

கணினி தனியாக இறுதி இலக்கு அல்ல என்பதையும், அதன் உண்மையான வெளியீட்டு மதிப்புதான் முக்கிய கருத்தில் கொள்ள வேண்டியது என்பதையும் தெளிவுபடுத்த வேண்டும். அடுத்த 10x செயல்திறன் மேம்பாட்டிற்கு, தவறு சகிப்புத்தன்மையின் முன்னேற்றம் மிகவும் முக்கியமானது என்று நான் நினைக்கிறேன். செயல்பாடு மற்றும் பராமரிப்பு கவலையைக் கணிசமாகக் குறைக்க, பணிச்சுமையுடன் ஆழமாக ஒருங்கிணைக்கும் தவறு சகிப்புத்தன்மை பொறிமுறையை நாங்கள் உருவாக்க வேண்டும். தற்போதைய அதி-பெரிய அளவிலான அமைப்புகளின் செயல்பாடு மற்றும் பராமரிப்பு சிக்கலானது முந்தைய அமைப்புகளிலிருந்து அடிப்படையில் வேறுபட்டது.

சாம் ஆல்ட்மன்: GPT-4.5 பயிற்சியின் போது சில கூறுகளால் எத்தனை சதவீதம் தோல்விகள் ஏற்பட்டன என்று உங்களுக்குத் தெரியுமா?

அமின் டூட்டூன்ச்சியன்: பகிர்ந்து கொள்ள குறிப்பிட்ட எண்கள் எதுவும் என்னிடம் இல்லை, ஆனால் பொதுவாக, புதிய தலைமுறை வன்பொருளை வரிசைப்படுத்தும் ஆரம்ப கட்டங்களில், கணினி செயல்பாடு பெரும்பாலும் முழுமையாகப் புரிந்து கொள்ளப்படாத பல தொழில்நுட்ப சவால்களை எதிர்கொள்கிறது. சிக்கல் முழுமையாக வரையறுக்கப்படுவதற்கு முன்பு நாங்கள் திட்டத்தை முன்னேற்ற முடிவு செய்தோம், இது அதிக ஆரம்ப தோல்வி விகிதத்திற்கு வழிவகுத்தது.

ஆனால் அனுபவம் என்னவென்றால், மூல காரணம் அடையாளம் காணப்பட்டு தீர்க்கப்பட்டவுடன், தோல்வி விகிதம் கணிசமாகக் குறையும். இந்த நிகழ்வு அடிப்படையில் உள்கட்டமைப்பைப் பற்றிய நமது ஆழமான புரிதலைப் பிரதிபலிக்கிறது - சிலர் இதை உள்கட்டமைப்பை சுத்தம் செய்வது அல்லது உள்கட்டமைப்பின் அடிப்படை சிக்கல்களைப் புரிந்துகொள்வது என்று அழைக்கிறார்கள்.

செயலாக்கத்தின் ஆரம்ப கட்டங்கள் எப்போதும் மிகவும் வேதனையாக இருக்கும். திட்டத்தை முன்னேற்றும் போது, நாங்கள் தொடர்ந்து புதிய தோல்வி முறைகளைக் கண்டுபிடித்து தீர்த்து வருகிறோம், ஆனால் தோல்வி விகிதம் படிப்படியாகக் குறையும், மேலும் இயல்பான இயக்க நேரம் அதிகமாகும்.

இது அடிப்படையில் முன்னுரிமை வர்த்தக பரிமாற்றங்களின் விஷயம்: உள்கட்டமைப்பு வாழ்க்கை சுழற்சியின் ஆரம்ப கட்டங்களில், அதன் தோல்வி அபாயத்தை துல்லியமாக மதிப்பிடுவது பெரும்பாலும் கடினம்; மற்றும் இறுதி இலட்சிய நிலையை அதிகமாகப் பின்தொடர்ந்தால், அது அமைப்பிற்கு வழிவகுக்கும் ஆரம்ப கட்டங்களில் கிடைக்கும் செயல்திறன் மிகவும் மோசமாக உள்ளது.

சாம் ஆல்ட்மன்: எங்கள் எதிர்கால தொழில்நுட்ப அடுக்கின் முக்கிய அங்கமாக நியாயமான மாதிரி இருந்தாலும், பாரம்பரிய முன் பயிற்சி மாதிரியின் வளர்ச்சி எல்லையில் தற்காலிகமாக கவனம் செலுத்துவோம். எங்களிடம் வரம்பற்ற GPU கணக்கீட்டு சக்தி, வரம்பற்ற பிணைய அலைவரிசை மற்றும் வரம்பற்ற மின்சாரம் உள்ளது என்று வைத்துக்கொள்வோம், ஆனால் கணினி நம்பகத்தன்மை சிக்கல்கள், தவறு சகிப்புத்தன்மை பயிற்சி முறைகள் இல்லாமை மற்றும் இருக்கும் தரவுத் தொகுப்புகளின் வரம்புகள் உட்பட இருக்கும் தொழில்நுட்ப தடைகளால் இன்னும் வரையறுக்கப்பட்டுள்ளது.

ஒவ்வொரு பெரிய GPT பதிப்பு எண்ணிலும் 100 மடங்கு அளவு அதிகரிப்பை அடையும் எங்கள் பரிணாம விதிப்படி, தற்போதைய தொழில்நுட்ப எல்லைகளின் அடிப்படையில், முன் பயிற்சி மாதிரியின் வளர்ச்சி எந்த அளவை அடைய முடியும்? குறிப்பாக GPT தொடர் மாதிரிகளுக்கு, நமது இருக்கும் அறிவு அமைப்புடன், நாம் கோட்பாட்டளவில் எந்த வகையான மாதிரியைப் பயிற்றுவிக்க முடியும்? GPT-5.5 ஐ உருவாக்க முடியுமா?

அலெக்ஸ் பெயினோ: இயந்திர கற்றல் மற்றும் வழிமுறை மேம்பாட்டின் கண்ணோட்டத்தில், நாங்கள் இன்னும் ஒரு தெளிவான தத்துவார்த்த மேல் வரம்பை அடையவில்லை. உண்மையில், அதிக தரவு திறனுடன் கூடிய வழிமுறைகளை எவ்வாறு ஆராய்வது மற்றும் இருக்கும் தரவு ஆதாரங்களை எவ்வாறு முழுமையாகப் பயன்படுத்துவது என்பதை நாங்கள் இப்போதுதான் ஆராயத் தொடங்கியுள்ளோம். இந்த நிலைமை மிகவும் சுவாரஸ்யமானது - GPT-4 போன்ற மாதிரிகள் கூட பெரும்பாலும் வரையறுக்கப்பட்ட கணக்கீட்டு ஆதாரங்களின் கட்டுப்பாடுகளின் கீழ் உருவாக்கப்பட்டன, இது முந்தைய பெரும்பாலான ஆராய்ச்சிகளின் திசையையும் தீர்மானிக்கிறது.

ஆனால் இப்போது நிலைமை முற்றிலும் மாறுபட்டது. GPT-4.5 முதல், சில முக்கிய பரிமாணங்களில், கணக்கீட்டை விட தரவு முக்கிய தடையாக மாறி வருகிறது. இந்த மாற்றம் தொடர்புடைய ஆராய்ச்சியை குறைவாகவே உற்சாகப்படுத்துகிறது.

சாம் ஆல்ட்மன்: ஆனால் இது உண்மையிலேயே ஒரு அற்புதமான முன்னேற்றம், மேலும் கணக்கீட்டு ஆதாரங்கள் இனி நாம் உருவாக்கக்கூடிய சிறந்த மாதிரியில் முக்கிய தடையாக இல்லை என்பதை உலகம் முழுமையாக உணரவில்லை. இந்த மாற்றம் ஆழமானது, எல்லாவற்றிற்கும் மேலாக, நாங்கள் கணக்கீட்டு கட்டுப்பாட்டு சூழலில் அதிக காலம் வாழ்ந்துவிட்டோம்.

சாம் ஆல்ட்மன்: GPT-4.5 ஐப் பயிற்றுவிக்கும் செயல்பாட்டில் நாங்கள் கற்றுக்கொண்ட மிகவும் சுவாரஸ்யமான இயந்திர கற்றல் அனுபவம் என்ன? நீங்கள் பகிர்ந்து கொள்ள விரும்புவதைப் பற்றி மட்டும் பேசுங்கள்.

அமின் டூட்டூன்ச்சியன்: பொதுவாக, நம் கணிப்புகளிலிருந்து விலகும் சூழ்நிலைகள் மிகவும் சிந்தனையைத் தூண்டுகின்றன - குறிப்பாக உண்மையான செயல்திறன் ஏன் எதிர்பார்த்த வளைவிலிருந்து விலகுகிறது என்பதைப் புரிந்துகொள்ள முயற்சிக்கும் போது.

அலெக்ஸ் பெயினோ: வெவ்வேறு இயந்திர கற்றல் கூறுகளின் அளவிடக்கூடிய செயல்திறன் பெரிதும் மாறுபடுகிறது என்பது எங்களுக்கு மிகவும் ஆச்சரியமான கண்டுபிடிப்புகளில் ஒன்றாகும். சில பகுதிகளை நன்றாக அளவிட முடியும், மற்றவற்றை முடியாது. உண்மையான பயிற்சி செயல்பாட்டில் நாங்கள் உண்மையாக உணர்ந்தது இதுதான். இந்த அனுபவம் எங்களுக்கு நிறைய உத்வேகம் அளித்தது.

டானியல் செல்சாம்: GPT முன்னுதாரணத்தின் இரண்டு முக்கிய அம்சங்கள் என்று நான் நினைக்கிறேன்: முதலாவதாக, சோதனை இழப்பை (மாதிரி கண்ணுக்குத் தெரியாத சோதனைத் தரவில் எவ்வளவு நன்றாகச் செயல்படுகிறது என்பதை அளவிடும் ஒரு அளவீடு) துல்லியமாக கணிக்க முடியும்; இரண்டாவதாக, மாதிரி செயல்திறன் அளவின் விரிவாக்கத்துடன் கணிக்கக்கூடிய முன்னேற்றத்தைக் காட்டுகிறது. இன்னும் மாயமாக, சோதனை இழப்பின் குறைப்பு அனைத்து சுற்று மேம்பட்ட நுண்ணறிவின் நிலைக்கு பல வழிகளில் மாறும், அது அளவிட கடினமானது, ஆனால் ஆச்சரியமாக இருக்கிறது.

சாம் ஆல்ட்மன்: நீங்கள் இதை முற்றிலும் நம்புகிறீர்களா? இந்த கருத்துடன் நீங்கள் முழுமையாக உடன்படுகிறீர்களா?

டானியல் செல்சாம்: உண்மையில், நான் சொல்ல விரும்புவது என்னவென்றால், GPT-4.5 சோதனையில் நாங்கள் குறிப்பாக சுவாரஸ்யமான நிகழ்வுகளைக் கண்டறிந்தோம் - மீண்டும் சோதனை செய்த பிறகு, மாதிரி அனைவரின் எதிர்பார்ப்புகளையும் மீறிய பல நுட்பமான திறன்களைக் காட்டியது.

முன்கூட்டியே வரையறுக்க முடியாத பல்வேறு வழிகளில் அது புத்திசாலித்தனமாக மாறும் என்று நாங்கள் உறுதியாக நம்புகிறோம், மேலும் உண்மையான வரிசைப்படுத்தலுக்குப் பிறகு, பயனர் திருப்தியிலிருந்து இந்த நுட்பமான மேம்பாட்டு நிலைகளை நாங்கள் கவனிக்க முடியும்: வலுவான பொது அறிவு இருப்புகள், மிகவும் துல்லியமான சூழ்நிலை புரிதல் திறன்கள் மற்றும் மிகவும் மென்மையான சொற்பொருள் பிடிப்பு - இது அந்த கூடுதல் சோதனை இழப்புகளால் கொண்டுவரப்பட்ட மந்திரம். என் கருத்தில், ஸ்கேலிங் விதி இந்த பரிமாணத்தில் சரியாக சரிபார்க்கப்பட்டுள்ளது.

சாம் ஆல்ட்மன்: முழு பயிற்சி செயல்முறையின் போது மிகவும் சாதகமான தருணம் எது? உங்களுக்குப் பிடித்த நினைவு என்ன? நிறைய வலி இருக்கிறது என்பது தெளிவாகிறது, ஆனால் அந்த வலிகள் தணிந்திருக்கும் என்று நான் நம்புகிறேன்.

அலெக்ஸ் பெயினோ: எனக்கு அப்படி ஒரு தருணம் இருக்கிறது. பயிற்சியின் போது நாங்கள் நிறைய இயந்திர கற்றல் வேலைகளைச் செய்தோம். செயல்பாட்டின் போது நாங்கள் செய்த சில மாற்றங்கள் ஓரளவு நல்ல தாக்கத்தை ஏற்படுத்தியது என்று நான் நினைக்கிறேன், எதிர்பார்த்ததை விட சிறப்பாக இருக்கலாம், அது எங்களுக்கு மிகவும் அற்புதமான தருணம்.

அமின் டூட்டூன்ச்சியன்: எனக்கு, பயிற்சியுடன் அதே நேரத்தில், நாங்கள் உள்கட்டமைப்பையும் உருவாக்குகிறோம். இந்த செயல்திறன் பாறையை நாங்கள் கடக்க முடியும் என்று நாங்கள் உறுதியாக நம்புகிறோம், மேலும் எங்களிடம் ஒரு திட்டம் உள்ளது, மேலும் எல்லோரும் அதைச் செயல்படுத்துகிறார்கள், ஆனால் அதற்கு நீண்ட காலம் ஆகும். இது கடினமான வேலை மற்றும் நான் நினைத்ததை விட நிச்சயமாக கடினமானது. எனது கணிப்பு தவறு, இந்த சிக்கல்களைத் தீர்க்க ஆகும் நேரத்தை நான் குறைத்து மதிப்பிட்டேன்.

அந்த முக்கிய சிக்கல்களைக் குழு இறுதியாக சமாளித்த தருணம் மற்றும் செயல்திறன் கணிசமாக மேம்பட்டது இன்னும் என் நினைவில் இருக்கிறது. முழு குழுவின் ஆற்றல் மாற்றத்தை நீங்கள் தெளிவாக உணர முடியும் - எல்லோரும் திடீரென்று ஆற்றல் நிறைந்தவர்களாகவும், புதிய உந்துதலுடன் இறுதி இலக்கை நோக்கி விரைந்து செல்கிறார்கள்.

மிகவும் மந்திரமான விஷயம் என்னவென்றால், எங்கள் நிலை டிராக்கரில் காட்டப்படும் மதிப்பிடப்பட்ட நிறைவு நேரம் ஆரம்ப இரண்டு வருடங்களிலிருந்து தொடர்ந்து குறைந்து, இறுதியாக ஒரு தெளிவான நேர முனையில் பூட்டப்பட்டது. இந்த காணக்கூடிய முன்னேற்றம் குழுவின் மன உறுதியை அளவிட முடியாத அளவிற்கு உயர்த்தியுள்ளது. இதுதான் இதன் அழகு என்று நினைக்கிறேன்.

இயந்திர கற்றல் வேலை ஒருபோதும் நிற்கவில்லை என்பதை நான் வலியுறுத்த விரும்புகிறேன். பயிற்சி தொடங்கிய பிறகும், இந்த இயந்திர கற்றல் கூட்டு வடிவமைப்பு செயல்முறை தொடர்கிறது. இயந்திர கற்றல் குழு ‘தொடர்ச்சியான செயலாக்கம்’ என்று குறிக்கப்பட்ட சிக்கல்களை தீவிரமாகப் பின்தொடர்வது மட்டுமல்லாமல், பயிற்சி நேரத்தை உண்மையிலேயே மேம்படுத்தும் மேம்பாடுகளையும் தொடர்ந்து வழங்குகிறது.

இது எங்கள் குழு உணர்வை முழுமையாக பிரதிபலிக்கிறது - இங்கு ‘ஒவ்வொரு நபரும் தங்கள் சொந்த கதவின் முன் பனியை அகற்றும்’ வேலை எல்லை இல்லை, ஆனால் உண்மையிலேயே தடையற்ற ஒத்துழைப்பு, மேலும் இந்த ஒருமைப்பாடு எங்கள் மிகப்பெரிய பலம்.

சாம் ஆல்ட்மன்: இந்த பயிற்சியின் சவால்கள் மற்றும் கணிப்பு துல்லியம் பற்றி வெளியில் நிறைய விவாதிக்கப்பட்டுள்ளது. ஆனால் உண்மையில், இவை அனைத்தும் மிகவும் முழுமையான திட்டமிடலை அடிப்படையாகக் கொண்டவை - இது பற்றி நீங்கள் மேலும் விரிவாகப் பேச முடியுமா?

அலெக்ஸ் பெயினோ: இது நிச்சயமாக இதுவரை நாங்கள் செய்த மிகவும் முழுமையான திட்டம். நான் சொன்னது போல், பயிற்சி அதிகாரப்பூர்வமாக தொடங்குவதற்கு ஒரு வருடம் முன்பே இந்த திட்டத்திற்கு நாங்கள் தயாராகத் தொடங்கினோம். இந்த காலகட்டத்தில், பல பெரிய அளவிலான இடர் கட்டுப்பாட்டு சோதனைகளை நடத்தினோம்.

அனைத்து மேம்பாடுகளையும் படிப்படியாக அறிமுகப்படுத்துவதில் நாங்கள் சிறப்பு கவனம் செலுத்துகிறோம்: அதிக நம்பிக்கை கொண்ட அடிப்படை உள்ளமைவிலிருந்து தொடங்குகிறோம் - இதை GPT-4 ஐப் போன்ற ஒரு முதிர்ச்சியடைந்த கட்டமைப்பு என்று புரிந்து கொள்ளலாம், இயந்திர கற்றல் மட்டத்தில் இந்த உள்ளமைவை நாங்கள் முழுமையாகக் கற்றுள்ளோம் - பின்னர் புதிய அம்சங்களை அடுக்கு அடுக்காக செங்கல் கட்டடங்கள் போல சேர்க்கிறோம்.

ஒவ்வொரு மேம்பாட்டின் அளவிடுதிறனை வெவ்வேறு அளவுகளில் கண்டிப்பாகச் சரிபார்ப்பதே முக்கியமானது: செயல்திறன் மேம்பாடுகளைப் பார்க்க மட்டுமல்லாமல், மாதிரி அளவு விரிவடையும் போது இந்த மேம்பாடுகள் தொடர்ந்து பயனுள்ளதாக இருப்பதை உறுதிப்படுத்தவும். பல மேம்பாடுகள் சிறிய அளவிலான சோதனைகளில் சிறப்பாக செயல்படுகின்றன, ஆனால் பெரிய அளவிலான பயன்பாடுகளில் தோல்வியடையும்.

எனவே, நாங்கள் முழு செயல்முறை முழுவதும் அதிக விழிப்புணர்வைக் காத்துக்கொண்டே இருக்கிறோம், மேலும் எங்கள் விரிவாக்க விதி வழிமுறையைத் தொடர்ந்து மேம்படுத்துகிறோம். இந்த இடர் கட்டுப்பாட்டு நடைமுறையின் மூலம், எதிர்கால GPT தொடர் மாதிரிகளின் வளர்ச்சிக்குத் தொடர்ந்து வழிகாட்டும் மதிப்புமிக்க அனுபவங்களை நாங்கள் நிறைய சேகரித்துள்ளோம்.

அமின் டூட்டூன்ச்சியன்: நான் மிகவும் தவறவிட்ட ஒரு குறிப்பாக சுவாரஸ்யமான தருணம் எனக்கு நினைவிருக்கிறது. ஒவ்வொரு முறையும் பயிற்சிப் பணியைத் தொடங்கும்போதும் நாங்கள் கிட்டத்தட்ட எப்போதும் பல்வேறு பிழைகளைச் சந்திக்கிறோம் என்பது உங்களுக்குத் தெரியும். இது ஏற்கனவே பழக்கமாகிவிட்டது. ஆனால் முன்னேற்றம் தடுக்கப்படவில்லை என்பதையும், தற்போதைய முன்னேற்றம் உண்மையில் சரியான பாதையில் உள்ளதா என்பதையும், இந்தப் பிழைகள் பயிற்சிக்கு ஒரு கொடிய தாக்கத்தை ஏற்படுத்துமா என்பதையும் எப்போதும் உறுதி செய்வதே முக்கியம்.

ஆரம்பத்தில் பெரிய குறைபாடுகள் இருப்பதாக நாங்கள் மிகவும் உறுதியாக இருந்தபோதிலும், நாங்கள் உருவாக்கிய முழு கண்காணிப்பு அமைப்பு மூலம், சிக்கலின் மூல காரணத்தை துல்லியமாக வேறுபடுத்தி அறிய முடிந்தது: இது வன்பொருள் தோல்வியா? என்ன வகையான வன்பொருள் தோல்வி? இது தரவு சிதைவா? அல்லது இது இயந்திர கற்றல் மாதிரியில் உள்ள பிழையா? அல்லது இது குறியீட்டில் உள்ள பந்தய நிலையா?

அந்த நேரத்தில், பல்வேறு அறிகுறிகளுடன் ஒரே நேரத்தில் பல சிக்கல் விவாத பகுதிகளைத் திறந்து வைத்திருந்தோம். பிழைகளைத் தொடர்ச்சியாக சரிசெய்த பிறகு, நாங்கள் சிக்கிக்கொண்டோம்: எங்களுக்கு முன்னால் தீர்க்கப்படாத பல சிக்கல்கள் இருந்தன, மேலும் எல்லோரும் தங்கள் மூளையை கசக்கிப் பிழிந்தார்கள் - இவை வெவ்வேறு பிழைகளால் ஏற்பட்டதா? அல்லது அது வேலையில் உள்ள பிழையா?

பின்னர், மிகவும் சாத்தியமான மூல காரணத்திற்காக குழு உறுப்பினர்களை வாக்களிக்க நாங்கள் ஒரு வாக்கெடுப்பு நடத்தினோம். குறைவான நம்பிக்கையூட்டும் விருப்பம் உண்மையை உலுக்கியது: பைட்டார்ச்சின் மேல்நிலையான torch.sum செயல்பாட்டில் ஒரு சிக்கல் இருந்தது, ஒரு எளிய கூட்டு செயல்பாடு.

இந்த பிழை குறிப்பாக சுவாரஸ்யமானது. உங்களுக்குத் தெரியும், நாங்கள் முக்கியமாக ட்ரைட்டன் கர்னலைப் பயன்படுத்துகிறோம், மேலும் சில முக்கியமற்ற விளிம்பு காட்சிகளில் மட்டுமே டார்ச் செயல்பாடுகளுக்குத் திரும்புவோம். மேலும் எங்களின் குறிப்பிட்ட குறியீட்டு பாதையால் தூண்டப்பட்ட torch.sum செயல்பாட்டு பிழை, தரவு விநியோக பண்புகள் காரணமாக சட்டவிரோத நினைவக அணுகலை தற்செயலாக ஏற்படுத்தும் - இது நினைவக ஆஃப்செட்டை கணக்கிடும்போது தவறு செய்தது.

மிகவும் வியத்தகு விஷயம் என்னவென்றால், ஒரு பொறியாளர் இறுதியாக சிக்கலைக் கண்டுபிடித்து ஒரு தீர்வைச் சமர்ப்பித்தபோது, வெவ்வேறு அறிகுறிகளுடன் கூடிய அனைத்து பிழை அறிக்கைகளும் மறைந்துவிட்டன. எல்லோரும் உற்சாகத்துடன் ஸ்லாக் சேனலை ‘மல்டி-பக் தியரி’யிலிருந்து ‘சிங்கிள்-பக் தியரி’க்கு மாற்றினார்கள், மேலும் காட்சி மிகவும் மகிழ்ச்சியாக இருந்தது.

இந்த பிழை எவ்வளவு காலமாக பதுங்கியிருக்கிறது? பயிற்சி தொடங்கிய ஆரம்ப கட்டங்களிலிருந்து இது உள்ளது, மேலும் முன்னேற்றம் பார் சுமார் 40% கடந்த பிறகுதான் அடையாளம் காணப்பட்டது. கண்டுபிடிப்பு செயல்முறை நாடகத்தால் நிறைந்தது: அந்த நேரத்தில், ஒரு சிக்கலான கர்னல் தொடர்ச்சியாக வரிசைகளை அழைத்தது, மேலும் இரண்டாவது அழைப்பு சட்டவிரோத நினைவக அணுகலைத் தூண்டியது.

இந்த விபத்து அதிர்வெண் மிகவும் குறைவாக இருந்தாலும் (இது ஒவ்வொரு சில நூறு அல்லது ஆயிரம் பயிற்சி படிகளிலும் ஒரு முறை மட்டுமே நிகழ்கிறது), இதை எப்போதாவது ஏற்படும் தோல்வியாக எளிதாக புறக்கணிக்க முடியும், ஆனால் எங்கள் குழுவின் வழிகாட்டுதல்: எந்த முரண்பாடுகளையும் விட்டுவிடாதீர்கள். இந்த கதையின் சிறந்த பகுதி எளிதில் கைவிடாத இந்த விடாமுயற்சியில் உள்ளது.

சாம் ஆல்ட்மன்: GPT-4.5 முன் பயிற்சி தொடங்கப்பட்ட பிறகு வேறு என்ன செய்ய வேண்டும்?

அலெக்ஸ் பெயினோ: நாங்கள் அனைவரும் இழப்பு வளைவை அடிக்கடி கண்காணிக்க வேண்டும். கூடுதலாக, நாங்கள் கணினியைத் தொடர்ந்து மேம்படுத்த வேண்டும் மற்றும் பயிற்சி தொடங்குவதற்கு முன்பு முடிக்கப்படாத கூட்டு வடிவமைப்பை மேம்படுத்த வேண்டும். எந்தவிதமான எதிர்பாராத போக்குகளும் இல்லை என்பதை உறுதிப்படுத்த பயிற்சி செயல்பாட்டின் போது பல்வேறு புள்ளிவிவரங்களை உன்னிப்பாகக் கண்காணிக்கிறோம். அதே நேரத்தில், ஒரு இயந்திர கற்றல் கண்ணோட்டத்தில் சாத்தியமான மேம்பாட்டுத் திட்டங்களை நாங்கள் ஆராய்கிறோம். தரவு அளவிலான வேலை தற்காலிகமாக குறைந்தாலும், செயலாக்க நிறைய பணிகள் உள்ளன.

அமின் டூட்டூன்ச்சியன்: இயந்திர கற்றல் பெரும்பாலும் சரியான மதிப்பீட்டைச் சார்ந்துள்ளது என்று நான் நினைக்கிறேன். முன் பயிற்சி தொடங்கப்பட்ட பிறகு, ஏராளமான சத்தம் சமிக்ஞைகளை எதிர்கொண்டு, தேயிலை கழிவுகளை விளக்கும் அதிர்ஷ்டம் சொல்பவர்களைப் போல நாங்கள் இருக்கிறோம், மேலும் அமைப்பு ஆரோக்கியமாக இருக்கிறதா என்று நாம் மதிப்பிட வேண்டும். இது எங்கள் பொறுப்பு.

சாம் ஆல்ட்மன்: கணினி அளவில், மாதிரி பயிற்சியை நடத்துவதிலிருந்து எது நம்மை கட்டுப்படுத்தும்? இது சிப், செயலி, நினைவகம், பிணையம் அல்லது மின்சாரம்?

அமின் டூட்டூன்ச்சியன்: கணினியின் அழகு என்னவென்றால், கூட்டு வடிவமைப்பைச் செய்யும்போது, நீங்கள் உருவாக்கும் உள்கட்டமைப்பிற்கு பணிச்சுமை மாற்றியமைக்க முடியும். பிணையம் தடையாக இருக்கிறது, அல்லது நினைவக அலைவரிசை தடையாக இருக்கிறது போன்ற ஒரு உலகளாவிய கூற்று இல்லை. ஒரே விவரக்குறிப்புகளின் மாதிரிகளுக்கு கூட, ஆதார தேவைகளை மாற்ற நாங்கள் தேர்வு செய்யலாம். மிகவும் சீரான அமைப்பை உருவாக்க நாங்கள் தேர்வு செய்யலாம், ஆனால் அதிக நினைவக அலைவரிசையைக் கொண்டிருப்பது எப்போதும் நன்மை பயக்கும். வரம்புகளை இல்லாமல் இந்த கேள்விக்கு பதிலளிப்பது கடினம்.

GPT-4.5 ஐ வடிவமைக்கும்போது, கணினியில் ஒரு குறிப்பிட்ட பண்பு இருக்க வேண்டியிருக்கலாம், இது மனித வழிகாட்டுதல் மூலம் உருவாக்கப்பட வேண்டும். எனவே, மாதிரி கட்டமைப்பையும் கட்டடக்கலை கூறுகளையும் உருவாக்குவதற்கு கூட்டு வடிவமைப்பு மிகவும் முக்கியமானது, மேலும் ஒரு குறிப்பிட்ட அளவிற்கு கணினி மற்றும் இயந்திர கற்றல் அம்சங்களை இணைக்கிறது. கணினியில் நாங்கள் அதிகமாக விரும்பாத ஒரு பண்பு இருந்தால். எல்லாவற்றையும் பிரிக்க வேண்டும் என்பதே எனது இலட்சிய நிலை, ஒன்றுக்கொன்று மிகப்பெரிய இடத்தை கொடுக்க வேண்டும்.

சில நேரங்களில் விஷயங்கள் ஒன்றோடொன்று இணைக்கப்படுகின்றன, மேலும் உள்கட்டமைப்பின் தேவைகளைப் பூர்த்தி செய்ய வேண்டும் அல்லது விஷயங்கள் இப்படி இருக்க வேண்டும். பெரும்பாலான நேரங்களில், எங்களுக்கு ஒரு சீரான அமைப்பு, ஒரு சீரான தொடர்பு தேவை. மேலும் எங்களிடம் உள்ள ஒழுங்குமுறையின் சிறந்த வழிமுறைகள் இந்த கூட்டு வடிவமைப்புகள் அனைத்தும்.

சாம் ஆல்ட்மன்: அத்தகைய இலட்சிய கணினி இலக்கிலிருந்து நாங்கள் எவ்வளவு தூரம் இருக்கிறோம்?

அமின் டூட்டூன்ச்சியன்: நாங்கள் அந்த இலக்கிலிருந்து வெகு தொலைவில் இருக்கிறோம். ஒரு அமைப்பை உருவாக்கும் செயல்முறை எப்போதும் இப்படித்தான் இருக்கும்: முதலில் விஷயங்கள் எப்படி செயல்பட வேண்டும் என்பது பற்றிய ஒரு இலட்சிய பார்வை உள்ளது, பின்னர் அந்த வேறுபாடுகள் இருக்கும் ஆதாரங்களுடன் சமரசம் செய்யப்படுகின்றன.

கோட்பாட்டின் காரணத்திற்காக நாங்கள் அதை செய்கிறோம் என்று நான் நினைக்கவில்லை, ஆனால் நாம் என்னவாக மாற்ற விரும்புகிறோம், அதை உணரவும், அந்த இலட்சியத்திற்கு முடிந்தவரை நெருக்கமாக வரவும் பற்றி விவாதிக்கிறோம். இது கணினி துறையின் மிகவும் அற்புதமான பகுதியாக இருக்கலாம். இது ஒரு நேர்த்தியான கணினி வடிவமைப்பு என்று மக்கள் கூறுவார்கள், மேலும் இந்த தேர்வு சரியானதா தவறா என்பதை இறுதியில் வரலாறு நமக்கு சொல்லும்.

சாம் ஆல்ட்மன்: அடுத்த பெரிய பயிற்சிக்கு முன் இயந்திர கற்றல் கேள்விக்கு பதிலைப் பெற முடிந்தால், நீங்கள் எதை அதிகம் தெரிந்து கொள்ள விரும்புகிறீர்கள்?

அலெக்ஸ் பெயினோ: வரையறுக்கப்பட்ட தரவு மற்றும் குறிப்பிட்ட புலங்களின் கீழ் நாம் எந்த வழிமுறைகளைப் பயன்படுத்த வேண்டும் என்பதை நான் தெரிந்து கொள்ள விரும்புகிறேன். இது ஒரு பரந்த கேள்வி என்றாலும், இது உண்மையில் மிக முக்கியமானது.

சாம் ஆல்ட்மன்: எதிர்காலத்தில் 10 மில்லியன் GPU கள் அல்லது அதற்கு மேற்பட்டவற்றுடன் நீங்கள் ஒத்திசைவான முன் பயிற்சியை நடத்துவீர்களா?

அலெக்ஸ் பெயினோ: இருக்கும் என்று நான் நினைக்கிறேன், ஆனால் அது பாரம்பரிய முன் பயிற்சி மாதிரியாக இருக்காது. அதன் வடிவம் இருக்கும் தொழில்நுட்பங்களிலிருந்து மிகவும் வித்தியாசமாக இருக்கலாம், ஆனால் அது மேற்பார்வையிடப்படாத கற்றலின் மையத்தை இன்னும் தக்க வைத்துக் கொள்ளும்.

அமின் டூட்டூன்ச்சியன்: நான் அரை ஒத்திசைவான மாதிரியை விரும்புகிறேன். உடல் சட்டங்கள் காரணமாக, முழுமையான ஒத்திசைவு மிகவும் யதார்த்தமானது அல்ல.

டானியல் செல்சாம்: இது பரவலாக்கப்பட அதிக வாய்ப்புள்ளது என்று நான் நினைக்கிறேன். கற்றல் மற்றும் பணிகளைச் செய்யும் AI அமைப்பில் நிச்சயமாக 10 மில்லியன் GPU கள் ஒன்றாக வேலை செய்யும், ஆனால் மூளையின் பல்வேறு பகுதிகளைப் போல, அவை ஒருவருக்கொருவர் தொடர்பு கொள்ள வேண்டிய அவசியமில்லை.

சாம் ஆல்ட்மன்: தற்போதைய மிகவும் மேம்பட்ட வழிமுறைகளுக்கும் மனித தரவு திறனுக்கும் இடையே எவ்வளவு வேறுபாடு உள்ளது? எதிர்காலத்தில் பிடிக்க முடியுமா?

டானியல் செல்சாம்: இரண்டையும் நேரடியாக ஒப்பிடுவது கடினம். மொழி கற்றலில் உள்ள இடைவெளி நிச்சயமாக மிகப்பெரியது. மனித காட்சி நரம்புகளால் பெறப்பட்ட தகவல்களின் அளவை எவ்வாறு வரையறுப்பது என்பதுதான் முக்கியம். வழிமுறைகளின் ஒட்டுமொத்த தரவு திறன் மனிதர்களை விட மிகக் குறைவு என்று நான் நினைக்கிறேன்.

பல தசாப்தங்களாக, ஆழமான கற்றல் கணக்கீட்டு திறனில் கவனம் செலுத்தி வருகிறது. தரவு மற்றும் கணக்கீட்டு சக்தியின் வளர்ச்சிக்கு கூடுதலாக, உண்மையில் ஆச்சரியமளிப்பது வழிமுறை மேம்பாடுகளால் உருவாக்கப்பட்ட மேலடுக்கு விளைவு ஆகும். ஒவ்வொரு முறையும் வழிமுறை செயல்திறன் 10% அல்லது 20% மேம்படுத்தப்படும் போது, தரவு திறனில் சூப்பர் இம்போஸ் செய்யப்படும் போது அது ஒரு குறிப்பிடத்தக்க விளைவை ஏற்படுத்தும். இதுவரை, தரவு பாய்ந்து செல்லாதபோதும், கணக்கீட்டு சக்தி குறைவாக இருந்தபோதும் அது மதிப்பு இல்லாததால், தரவு திறனைச் சுற்றி அத்தகைய அணிதிரட்டல் எதுவும் இல்லை.

இப்போது, நாங்கள் AI ஆராய்ச்சியின் ஒரு புதிய கட்டத்தில் நுழைகிறோம், மேலும் தரவு திறன் வெற்றிகளை குவிக்கத் தொடங்குவோம். நாம் மீற முடியாத தடைகளை சந்திப்போம் என்று இப்போது கணிப்பது கொஞ்சம் முட்டாள்தனம் என்று நான் நினைக்கிறேன். மனித மூளை செயல்படும் விதம் நிச்சயமாக எங்கள் வழிமுறை மேம்பாடுகளிலிருந்து வேறுபட்டது, மேலும் இந்த விஷயத்தில் நாம் கவனமாக இருக்க வேண்டும். ஆனால் வழிமுறைகளின் எதிர்கால வளர்ச்சி குறித்து நாங்கள் நம்பிக்கையுடன் இருக்க வேண்டும் என்று நான் நினைக்கிறேன்.

சாம் ஆல்ட்மன்: பெரிய அளவிலான முன் பயிற்சிக்கும் மாதிரியின் வலுவான கற்றல் மற்றும் நியாயப்படுத்தும் திறன்களுக்கும் என்ன தொடர்பு?

அலெக்ஸ் பெயினோ: நாங்கள் கவனித்த விஷயம் என்னவென்றால், சிறந்த முன் பயிற்சி மற்றும் மேற்பார்வையிடப்படாத கற்றல் மாதிரியின் ஒட்டுமொத்த நுண்ணறிவை மேம்படுத்துவதற்கும் பொதுமைப்படுத்தலுக்கு பெரிதும் உதவுவதற்கும் உதவுகிறது, இது நியாயப்படுத்தும் திறனுடன் நிரப்பியாகும், அதே நேரத்தில் நியாயப்படுத்துவது நுண்ணறிவை மேம்படுத்துவதில் கொஞ்சம் மந்தமாக இருக்கலாம். அவை நிரப்பு என்று நான் நினைக்கிறேன்.

சாம் ஆல்ட்மன்: முன் பயிற்சி பல விஷயங்களில் உலகளாவியதாகத் தெரிகிறது, அதே நேரத்தில் ஒரு மாதிரியைப் பயிற்றுவிப்பது ஒரு வகை விஷயத்தில் மட்டுமே சிறப்பாகச் செய்ய முடியும், அது சரியா?

அலெக்ஸ் பெயினோ: இது மிகவும் சுவாரஸ்யமானது, ஆனால் அவர்களைப் பயிற்றுவிக்கும் தரவைப் பார்க்கும்போது, இந்த சூழ்நிலையைக் கண்டு நீங்கள் ஆச்சரியப்பட மாட்டீர்கள். முன் பயிற்சி தரவுத் தொகுப்பு வரம்பு மிக அதிகம், மேலும் நாங்கள் பின்தொடர்வது அகலமும் பன்முகத்தன்மையும் ஆகும். மாதிரி வலுவூட்டல் கற்றல் மற்றும் நல்ல வெகுமதி சமிக்ஞைகள் மற்றும் நல்ல பயிற்சி சூழலைத் தெளிவாகப் பெறச் செய்வதைப் பொறுத்தவரை, தரவுத் தொகுப்பின் அகலத்தை கணக்கில் எடுத்துக்கொள்வது கடினம் என்று நான் நினைக்கிறேன்.

டானியல் செல்சாம்: நான் ஒப்புக்கொள்கிறேன், ஆனால் மற்றொரு காரணி இருப்பதாக நினைக்கிறேன். முன் பயிற்சி என்பது அடிப்படையில் தரவைச் சுருக்கி, இதன் மூலம் வெவ்வேறு விஷயங்களுக்கிடையேயான இணைப்புகளைக் கண்டறிவதாகும். இது ஒப்புமை மற்றும் அதிக சுருக்கமானதைப் பற்றியது. நியாயப்படுத்துதல் என்பது ஒரு குறிப்பிட்ட பிரச்சினையில் கவனமாக சிந்திக்கும் திறன், மேலும் பல வகையான சிக்கல்களுக்கான தீர்வுகளைப் பெற முடியும். ஆனால் முன் பயிற்சி செயல்பாட்டில், வெவ்வேறு துறைகளில் தரவைச் சுருக்கும்போது அதிக சுருக்கமான அறிவைக் கற்றுக் கொள்ள முடியும்.

சாம் ஆல்ட்மன்: மேற்பார்வையிடப்படாத கற்றல் ஏன் பயனுள்ளதாக இருக்கிறது?

டானியல் செல்சாம்: சுருக்கம்தான் முக்கியம். நுண்ணறிவின் இலட்சிய வடிவம் சோலோமோனோவ் தூண்டல் ஆகும். பொதுவாக, இயந்திர கற்றல் அனைத்து சாத்தியங்களையும் கருத்தில் கொள்ளும், ஆனால் சோதனைக்கு எளிய நிரல்களுடன் தொடங்க முனைகிறது.

தற்போதைய முன் பயிற்சியின் சாராம்சம் ஒரு சுருக்க செயல்முறையாகும், இது மனிதர்கள் இதுவரை தயாரித்துள்ள அனைத்து தரவையும் விளக்க எளிமையான நிரலைக் கண்டுபிடிப்பதன் மூலம் தோராயமான வெளிப்பாட்டை அடைகிறது.

சாம் ஆல்ட்மன்: அடுத்த டோக்கன் கணிப்பு சுருக்கத்தை அடைய எவ்வாறு உதவுகிறது?

டானியல் செல்சாம்: புள்ளிவிவரங்களில் ஒரு முரண்பாடு உள்ளது - ஆழமான பிணையங்கள் ஏன் சுருக்க முடியாதவை போல் தோன்றுகின்றன, ஆனால் பொதுமைப்படுத்தலை அடைய முடியுமா? பொதுவாகச் சொல்லப்போனால், உங்களிடம் நிறைய தரவுகளும் சில சிறிய மாதிரிகளும் இருக்கும்போது, இந்த மாதிரிகள் எதையாவது கற்றுக்கொள்ள சுருக்கத்தின் மூலம் செல்ல வேண்டும்.

முன் பயிற்சியில், தரவு மற்றும் மாதிரிகளின் அளவு மிக அதிகம். இந்த பயிற்சி வெறும் நினைவகம் மற்றும் இடைசெருகல் கற்றல் என்று சிலர் நினைக்கிறார்கள். உண்மையில், அவர்கள் சுருக்கத்தைப் புரிந்துகொள்ளும் மற்றொரு கண்ணோட்டத்தைப் புறக்கணிக்கிறார்கள் - முன்-தொடர் சுருக்கம். இது ஒரு சுருக்கியைப் போன்றது. தரவு எடை அதிகமாக இருந்தாலும், பைனரி இந்த தகவலைச் சேமிக்கத் தேவையில்லை. அடுத்த டோக்கன் கணிப்பின் முடிவு பயனுள்ள தகவல்களை விரைவாகப் பெறலாம் மற்றும் சுருக்க திறனை மேம்படுத்தலாம்.

சாம் ஆல்ட்மன்: GPT-4.5 ஐப் பயிற்றுவிக்கும் செயல்முறை நிறைய மனித சக்தி, நேரம் மற்றும் பணம் செலவழித்தது, இது உண்மையில் அளவிடுதல் விதியைச் சரிபார்க்கும் ஒரு பரிசோதனையாகக் கருதப்படலாம், மேலும் அதன் முடிவுகள் பயனுள்ளதாக இருக்கும் என்பதையும் நீண்ட காலமாக தொடரும் என்பதையும் நிரூபிக்கின்றன. அளவிடுதல் விதியை ஏன் பிரபஞ்சத்தின் விதி என்று அழைக்கலாம்?

டானியல் செல்சாம்: சுருக்கத்தின் அளவு அதிகமாக இருந்தால், நுண்ணறிவு மிகவும் சக்தி வாய்ந்ததாக இருக்கும், இது ஆழமான தத்துவார்த்த தாக்கங்களைக் கொண்டுள்ளது. பெரிய மாதிரிகளைப் பயிற்றுவிக்க அதிக நேரம் எடுப்பது ஏன் மற்றும் சுருக்க விகிதம் அதிகமாக இருப்பது ஏன்? இது பல கோட்பாடுகளை உள்ளடக்கியது, அவற்றில் நான் ஸ்பார்ஸ் பிரதிநிதித்துவங்களை விரும்புகிறேன்.

நிஜத்தில் உள்ள முக்கிய கருத்துகள் ஆற்றல் சட்ட விநியோகத்தைப் பின்பற்றுகின்றன. உதாரணமாக, 100 வது மிக முக்கியமான கருத்து ஒவ்வொரு 100 ஆவணங்களிலும் ஒரு முறை மட்டுமே தோன்றக்கூடும், மேலும் வெளிப்படையான நீண்ட வால் விளைவு உள்ளது. இந்த விநியோக பண்பு பெரிய அளவிலான தரவு மற்றும் கணக்கீட்டு சக்தி அனைத்து முக்கிய கருத்துகளையும் திறம்பட கைப்பற்ற தேவைப்படுகிறது, மேலும் அளவிடுதல் விதி நீண்ட காலத்திற்கு பயனுள்ளதாக இருக்கும் என்பதையும் தீர்மானிக்கிறது.