OpenAI ਦੇ GPT-4.5 ਦੀ ਟ੍ਰੇਨਿੰਗ: ਇੱਕ ਡੂੰਘੀ ਝਾਤ

GPT-4.5 ਦੀ ਸ਼ੁਰੂਆਤ: ਦੋ ਸਾਲਾਂ ਦਾ ਸਫ਼ਰ

GPT-4.5 ਦੀ ਸ਼ੁਰੂਆਤ, ਇਸਦੇ ਲਾਂਚ ਤੋਂ ਦੋ ਸਾਲ ਪਹਿਲਾਂ, OpenAI ਦੀ ਸਭ ਤੋਂ ਧਿਆਨ ਨਾਲ ਯੋਜਨਾਬੱਧ ਉੱਦਮ ਸੀ। ਇਸ ਵਿੱਚ ਸੈਂਕੜੇ ਲੋਕਾਂ ਦੀ ਇਕੱਠੀ ਕੋਸ਼ਿਸ਼ ਸ਼ਾਮਲ ਸੀ, ਜਿਸ ਵਿੱਚ Altman ਨੇ ਕਿਹਾ ਕਿ ਪ੍ਰੋਜੈਕਟ ਨੇ OpenAI ਵਿੱਚ ‘ਲਗਭਗ ਹਰ ਕਿਸੇ’ ਨੂੰ ਸ਼ਾਮਲ ਕੀਤਾ। ਇਹ ਵਿਆਪਕ ਸ਼ਮੂਲੀਅਤ ਸੰਗਠਨ ਦੇ ਵਿਸ਼ਾਲ ਮਿਸ਼ਨ ਦੇ ਅੰਦਰ GPT-4.5 ਦੀ ਰਣਨੀਤਕ ਮਹੱਤਤਾ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ।

ਵਿਕਾਸ ਦੇ ਪੜਾਅ ਦੌਰਾਨ, OpenAI ਟੀਮ ਨੂੰ ਉਹਨਾਂ ਚੀਜ਼ਾਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਹਨਾਂ ਨੇ ‘ਭਿਆਨਕ ਸਮੱਸਿਆਵਾਂ’ ਕਿਹਾ। 100,000 GPU ਕਲੱਸਟਰ ਦੀ ਵਰਤੋਂ ਨੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀਆਂ ਕਮਜ਼ੋਰੀਆਂ ਨੂੰ ਉਜਾਗਰ ਕੀਤਾ ਜੋ ਕਿ ਘੱਟ ਹੁੰਦੀਆਂ ਸਨ ਪਰ ਡੂੰਘੀਆਂ ਅਸਫਲਤਾਵਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਪ੍ਰਗਟ ਹੁੰਦੀਆਂ ਸਨ। ਸੁਵਿਧਾ ਅਤੇ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਵਿੱਚ ਸੰਤੁਲਨ ਬਣਾਉਣ ਲਈ, ਸਿਸਟਮ ਇੰਜੀਨੀਅਰਾਂ ਨੇ ਇੱਕ ਦੁਹਰਾਉਣ ਵਾਲਾ ਪਹੁੰਚ ਅਪਣਾਇਆ, ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ‘ਬਣਾਉਣ ਅਤੇ ਠੀਕ ਕਰਨ’ ਦਾ ਕੰਮ ਇਕੱਠੇ ਕੀਤਾ। ਇੱਕ ਖਾਸ ਤੌਰ ‘ਤੇ ਗੁੰਝਲਦਾਰ ਬੱਗ ਨੇ ਕਲੱਸਟਰ ਨੂੰ ਬਾਰ ਬਾਰ ਆਉਣ ਵਾਲੀਆਂ ਗਲਤੀਆਂ ਨਾਲ ਪ੍ਰੇਸ਼ਾਨ ਕੀਤਾ, ਜੋ ਕਿ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ ਦੇ ਲਗਭਗ 40% ਪੂਰਾ ਹੋਣ ਤੱਕ ਖੋਜਿਆ ਨਹੀਂ ਗਿਆ ਸੀ।

ਵਿਰੋਧਾਭਾਸੀ ਤੌਰ ‘ਤੇ, ਇਹਨਾਂ ਅਜ਼ਮਾਇਸ਼ਾਂ ਨੇ OpenAI ਦੇ ਤਕਨੀਕੀ ਬੁਨਿਆਦ ਨੂੰ ਮਜ਼ਬੂਤ ​​​​ਕਰਨ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾਇਆ। ਹਾਸਲ ਕੀਤੀ ਮੁਹਾਰਤ ਹੁਣ ਸਿਰਫ 5-10 ਵਿਅਕਤੀਆਂ ਦੀ ਇੱਕ ਛੋਟੀ ਟੀਮ ਨੂੰ GPT-4 ਦੇ ਮਾਡਲ ਦੇ ਆਕਾਰ ਨੂੰ ਦੁਹਰਾਉਣ ਦੇ ਯੋਗ ਬਣਾਉਂਦੀ ਹੈ। GPT-4 ਤੋਂ GPT-4.5 ਤੱਕ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਛਾਲ, ਲਗਭਗ ਦਸ ਗੁਣਾ ਅਨੁਮਾਨਿਤ, ਨੂੰ ‘ਮਾਪਣ ਵਿੱਚ ਮੁਸ਼ਕਲ ਪਰ ਵਿਆਪਕ ਤੌਰ ‘ਤੇ ਵਧੀ ਹੋਈ ਬੁੱਧੀ’ ਦੁਆਰਾ ਦਰਸਾਇਆ ਗਿਆ ਸੀ, ਇੱਥੋਂ ਤੱਕ ਕਿ OpenAI ਦੇ ਅੰਦਰ ਵੀ ਲੋਕਾਂ ਨੂੰ ਹੈਰਾਨ ਕਰ ਦਿੱਤਾ ਗਿਆ। ਇਹ ਗੁਣਾਤਮਕ ਛਾਲ ਸਿਰਫ ਸਕੇਲਿੰਗ ਤੋਂ ਪਰੇ ਤਰੱਕੀ ਦਾ ਸੁਝਾਅ ਦਿੰਦੀ ਹੈ, ਜੋ ਮਾਡਲ ਦੀ ਤਰਕ ਕਰਨ ਅਤੇ ਸਮਝਣ ਦੀ ਯੋਗਤਾ ਵਿੱਚ ਬੁਨਿਆਦੀ ਸੁਧਾਰਾਂ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੀ ਹੈ।

ਅੱਗੇ ਵੇਖਦਿਆਂ, OpenAI ਮੰਨਦਾ ਹੈ ਕਿ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਅਗਲੇ ਦਰਜੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨਾ ਇਕੱਲੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸ਼ਕਤੀ ‘ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਕਰੇਗਾ, ਬਲਕਿ ਡੇਟਾ ਕੁਸ਼ਲਤਾ ‘ਤੇ ਨਿਰਭਰ ਕਰੇਗਾ। ਧਿਆਨ ਉਹਨਾਂ ਐਲਗੋਰਿਦਮਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵੱਲ ਬਦਲ ਰਿਹਾ ਹੈ ਜੋ ਮੌਜੂਦਾ ਡੇਟਾਸੈਟਾਂ ਤੋਂ ਵਧੇਰੇ ਗਿਆਨ ਕੱਢ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਉਪਲਬਧ ਕੰਪਿਊਟ ਸਰੋਤਾਂ ਦੀ ਉਪਯੋਗਤਾ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਆਰਕੀਟੈਕਚਰ ਇੱਕ ਸਿੰਗਲ-ਕਲੱਸਟਰ ਤੋਂ ਇੱਕ ਮਲਟੀ-ਕਲੱਸਟਰ ਡਿਜ਼ਾਈਨ ਵਿੱਚ ਵਿਕਸਤ ਹੋ ਰਿਹਾ ਹੈ, ਭਵਿੱਖ ਦੇ ਸਿਖਲਾਈ ਦ੍ਰਿਸ਼ਾਂ ਦੀ ਕਲਪਨਾ ਕਰ ਰਿਹਾ ਹੈ ਜਿਸ ਵਿੱਚ 10 ਮਿਲੀਅਨ GPUs ਵਿੱਚ ਸਹਿਯੋਗੀ ਸਿਖਲਾਈ ਸ਼ਾਮਲ ਹੈ। ਇਸ ਤਬਦੀਲੀ ਲਈ ਫਾਲਟ ਟੋਲਰੈਂਸ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਸੁਧਾਰਾਂ ਦੀ ਲੋੜ ਹੈ ਤਾਂ ਜੋ ਅਜਿਹੇ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਵੰਡੇ ਸਿਸਟਮਾਂ ਦੀ ਸਥਿਰਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾ ਸਕੇ।

ਗੱਲਬਾਤ ਵਿੱਚ ਡੇਟਾ ਦੀ ‘ਲੰਮੀ ਪੂਛ’ ਅਤੇ ਸਕੇਲਿੰਗ ਨਿਯਮਾਂ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਅਤੇ ਸਿਸਟਮ ਟੀਮਾਂ (ਸਹਿ-ਡਿਜ਼ਾਈਨ) ਵਿਚਕਾਰ ਨਜ਼ਦੀਕੀ ਸਹਿਯੋਗ ਦੇ ਫਾਇਦੇ, ਗੈਰ-ਨਿਗਰਾਨੀ ਸਿਖਲਾਈ ਦਾ ਸਾਰ, ਅਤੇ ਸਾਵਧਾਨ ਸਮੱਸਿਆ-ਹੱਲ ਕਰਨ ਦੇ ਸੱਭਿਆਚਾਰ ਬਾਰੇ ਵੀ ਜਾਣਕਾਰੀ ਦਿੱਤੀ ਗਈ।

GPT-4.5 ਦੇ ਪਿੱਛੇ ਦੇ ਮੁੱਖ ਖਿਡਾਰੀ

Altman ਤੋਂ ਇਲਾਵਾ, ਤਿੰਨ ਹੋਰ OpenAI ਟੀਮ ਦੇ ਮੈਂਬਰ ਜਿਨ੍ਹਾਂ ਨੇ ਇਸ ਗੱਲਬਾਤ ਵਿੱਚ ਹਿੱਸਾ ਲਿਆ ਉਹ ਸਨ:

• Alex Paino: GPT-4.5 ਦੇ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਐਲਗੋਰਿਦਮ ਲਈ ਜ਼ਿੰਮੇਵਾਰ।
• Amin Tootoonchian: OpenAI ਦਾ ਮੁੱਖ ਸਿਸਟਮ ਆਰਕੀਟੈਕਟ।
• Daniel Selsam: ਡਾਟਾ ਕੁਸ਼ਲਤਾ ਅਤੇ ਐਲਗੋਰਿਦਮ ‘ਤੇ ਖੋਜ ਕਰਦਾ ਹੈ।

GPT-4.5 ਦੀ ਸ਼ੁਰੂਆਤ ਅਤੇ ਵਿਕਾਸ

Sam Altman: GPT-4.5 ਜਿੰਨਾ ਵੱਡਾ ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਅਸਲ ਵਿੱਚ ਕੀ ਲੱਗਦਾ ਹੈ?

Alex Paino: ਅਸੀਂ ਇਹ ਪ੍ਰੋਜੈਕਟ ਲਗਭਗ ਦੋ ਸਾਲ ਪਹਿਲਾਂ ਸ਼ੁਰੂ ਕੀਤਾ ਸੀ। ਉਸ ਸਮੇਂ, OpenAI ਇੱਕ ਨਵਾਂ ਵੱਡਾ ਕੰਪਿਊਟਿੰਗ ਕਲੱਸਟਰ ਲਾਂਚ ਕਰਨ ਵਾਲਾ ਸੀ, ਅਤੇ ਸਾਡੀ ਟੀਮ ਨੇ ਇਸ ਮੌਕੇ ਨੂੰ ਦੇਖਿਆ ਅਤੇ ਇਹ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਕਈ ਕੰਮ ਕੀਤੇ ਕਿ ਮਾਡਲ ਵਿੱਚ ਕਿਹੜੇ ਫੰਕਸ਼ਨ ਸ਼ਾਮਲ ਕਰਨੇ ਚਾਹੀਦੇ ਹਨ, ਅਤੇ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਜੋਖਮ ਘਟਾਉਣ ਵਾਲੇ ਕਾਰਜਾਂ ਦੇ ਟੈਸਟ ਕੀਤੇ।

ਅਸੀਂ ਇਸਦੇ ਲਈ ਇੱਕ ਲੰਮੀ ਯੋਜਨਾ ਵਿਕਸਿਤ ਕੀਤੀ, ਜਿਸ ਵਿੱਚ ਸਿਸਟਮ ਤੋਂ ਲੈ ਕੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਤੱਕ ਪੂਰਾ ਟੈਕਨਾਲੋਜੀ ਸਟੈਕ ਸ਼ਾਮਲ ਸੀ। ਜੋਖਮਾਂ ਨੂੰ ਘਟਾਉਣਾ ਅਤੇ ਸਿਖਲਾਈ ਲਈ ਤਿਆਰੀ ਇੱਕ ਲੰਮੀ ਚੱਲਣ ਵਾਲੀ ਪ੍ਰਕਿਰਿਆ ਹੈ, ਅਤੇ ਸਿਖਲਾਈ ਆਪਣੇ ਆਪ ਵਿੱਚ ਇੱਕ ਬਹੁਤ ਵੱਡਾ ਪ੍ਰੋਜੈਕਟ ਵੀ ਹੈ।

Amin Tootoonchian: ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ ਇਸ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਟੀਮ ਅਤੇ ਸਿਸਟਮ ਟੀਮ ਵਿਚਕਾਰ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਨੇੜੇ ਦਾ ਸਹਿਯੋਗ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਦੋਂ ਤੱਕ ਕਿ ਅਸੀਂ ਸਪੱਸ਼ਟ ਤੌਰ ‘ਤੇ ਇਹ ਨਹੀਂ ਜਾਣਦੇ ਕਿ ਅਸੀਂ ਕਿਸ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਚਾਹੁੰਦੇ ਹਾਂ, ਅਤੇ ਫਿਰ ਸਿਖਲਾਈ ਸ਼ੁਰੂ ਕਰਦੇ ਹਾਂ।

ਅਸੀਂ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਅਤੇ ਸਿਸਟਮਾਂ ਵਿੱਚ ਭਵਿੱਖਬਾਣੀਆਂ ਕੀਤੀਆਂ ਹਨ, ਉਮੀਦਾਂ ਅਤੇ ਹਕੀਕਤ ਦੇ ਵਿਚਕਾਰ ਪਾੜੇ ਨੂੰ ਘੱਟ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਹਾਂ। ਹਾਲਾਂਕਿ, ਕਿਉਂਕਿ ਸਾਡੀ ਕੰਮ ਕਰਨ ਦੀ ਗਤੀ ਬਹੁਤ ਤੇਜ਼ ਹੈ ਅਤੇ ਸਾਨੂੰ ਨਵੀਨਤਮ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਪੈਂਦੀ ਹੈ, ਇਸ ਲਈ ਮਾਡਲ ਸਿਖਲਾਈ ਕੁਝ ਅਜਿਹਾ ਬਣ ਗਈ ਹੈ ਜਿਸਦੀ ਪਹਿਲਾਂ ਤੋਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਯੋਜਨਾ ਬਣਾਉਣੀ ਮੁਸ਼ਕਲ ਹੈ।

ਅਸੀਂ ਲਗਭਗ ਹਮੇਸ਼ਾਂ ਬਹੁਤ ਸਾਰੀਆਂ ਹੱਲ ਨਾ ਹੋਣ ਵਾਲੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨਾਲ ਸਿਖਲਾਈ ਸ਼ੁਰੂ ਕਰਦੇ ਹਾਂ ਅਤੇ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਚੁਣੌਤੀਆਂ ਨੂੰ ਦੂਰ ਕਰਨ ਅਤੇ ਤਰੱਕੀ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ। ਮੁੱਖ ਹੱਲ ਹੈ ਹੋਰ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਨੂੰ ਵਧਾਉਣਾ।

ਅੰਤਮ ਪੜਾਅ ਹੈ ਐਗਜ਼ੀਕਿਊਸ਼ਨ, ਜਿਸ ਵਿੱਚ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰੇ ਲੋਕਾਂ ਨੂੰ ਲੰਬੇ ਸਮੇਂ ਲਈ ਬਹੁਤ ਸਾਰੀ ਊਰਜਾ ਅਤੇ ਪ੍ਰੇਰਣਾ ਲਗਾਉਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

Sam Altman: ਤੁਹਾਡੇ ਖਿਆਲ ਅਨੁਸਾਰ ਸਾਡੀਆਂ ਉਮੀਦਾਂ ਅਤੇ ਹਕੀਕਤ ਦੇ ਵਿਚਕਾਰ ਕਿੰਨਾ ਪਾੜਾ ਹੈ?

Amin Tootoonchian: ਸਿਸਟਮ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਸ਼ੁਰੂਆਤ ਵਿੱਚ, ਅਸੀਂ ਆਮ ਤੌਰ ‘ਤੇ ਉਮੀਦ ਕੀਤੀ ਸਥਿਤੀ ਤੋਂ ਬਹੁਤ ਦੂਰ ਹੁੰਦੇ ਹਾਂ। ਸਾਡੇ ਕੋਲ ਹਮੇਸ਼ਾਂ ਇੱਕ ਵਿਕਲਪ ਹੁੰਦਾ ਹੈ: ਲਾਂਚ ਨੂੰ ਮੁਲਤਵੀ ਕਰਨਾ ਅਤੇ ਸਮੱਸਿਆ ਦੇ ਹੱਲ ਹੋਣ ਦੀ ਉਡੀਕ ਕਰਨਾ, ਜਾਂ ਜਲਦੀ ਸ਼ੁਰੂ ਕਰਨਾ ਅਤੇ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨਾ। ਇਸ ਵਿੱਚ ਹਮੇਸ਼ਾਂ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਗੈਰ-ਵਾਜਬ ਦੇਰੀ ਤੋਂ ਬਚਣ ਲਈ ਵਪਾਰ-ਬੰਦ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਪਰ ਲਗਭਗ ਹਮੇਸ਼ਾਂ ਅਚਾਨਕ ਸਮੱਸਿਆਵਾਂ ਹੁੰਦੀਆਂ ਹਨ, ਅਤੇ ਸਾਨੂੰ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਇਹਨਾਂ ਨੋਡਾਂ ਨੂੰ ਸੰਭਾਲਣਾ, ਅਣਜਾਣ ਕਾਰਕਾਂ ਨਾਲ ਨਜਿੱਠਣਾ ਅਤੇ ਮਾਡਲ ਸਿਖਲਾਈ ਲਈ ਇੱਕ ਯੋਜਨਾ ਤਿਆਰ ਕਰਨੀ ਹੁੰਦੀ ਹੈ।

Alex Paino: ਇਸ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ, ਸਾਡਾ ਟੀਚਾ GPT-4.5 ਬਣਾਉਣਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇਸਦੀ ਸਮਰੱਥਾ GPT-4 ਤੋਂ 10 ਗੁਣਾ ਸਮਾਰਟ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਇਹ ਸ਼ੁਰੂਆਤੀ ਟੀਚਾ ਹੈ ਜੋ ਅਸੀਂ ਲਗਭਗ 2 ਸਾਲ ਪਹਿਲਾਂ ਨਿਰਧਾਰਤ ਕੀਤਾ ਸੀ।

ਇਸ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਬਹੁਤ ਸਾਰੀਆਂ ਚੀਜ਼ਾਂ ਵਾਪਰੀਆਂ। ਅਸੀਂ ਇਸ ਬਾਰੇ ਸੋਚ ਰਹੇ ਸੀ ਕਿ ਕੀ ਅਸੀਂ ਉਮੀਦ ਨਾਲੋਂ ਬਿਹਤਰ ਜਾਂ ਮਾੜਾ ਕਰ ਸਕਦੇ ਹਾਂ? ਇਹ ਇੱਕ ਬਹੁਤ ਗੁੰਝਲਦਾਰ ਪ੍ਰਕਿਰਿਆ ਹੈ, ਪਰ ਅੰਤ ਵਿੱਚ, ਸਾਡੇ ਦੁਆਰਾ ਕੀਤੇ ਗਏ ਪ੍ਰਭਾਵੀ ਗਣਨਾਵਾਂ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਸਾਨੂੰ ਇੱਕ ਅਜਿਹਾ ਮਾਡਲ ਮਿਲਿਆ ਹੈ ਜਿਸਨੂੰ ਅਸੀਂ ਸੋਚਦੇ ਹਾਂ ਕਿ ਇਹ GPT-4 ਤੋਂ 10 ਗੁਣਾ ਸਮਾਰਟ ਹੈ।

Amin Tootoonchian: ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, GPT-4.5 ਪ੍ਰੋਜੈਕਟ ‘ਤੇ ਬਿਤਾਇਆ ਗਿਆ ਸਮਾਂ ਸਾਡੀਆਂ ਸ਼ੁਰੂਆਤੀ ਉਮੀਦਾਂ ਤੋਂ ਬਹੁਤ ਦੂਰ ਹੈ।

ਲੀਨ ਟੀਮ ਇਨਕਲਾਬ: ਘੱਟੋ-ਘੱਟ ਸਰੋਤਾਂ ਨਾਲ GPT-4 ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ

Sam Altman: ਜਦੋਂ ਕਲੱਸਟਰ 10,000 ਕਾਰਡਾਂ ਤੋਂ ਵਧ ਕੇ 100,000 ਕਾਰਡਾਂ ‘ਤੇ ਪਹੁੰਚ ਗਿਆ, ਤਾਂ ਤੁਹਾਨੂੰ ਇੰਨੀਆਂ ਸਮੱਸਿਆਵਾਂ ਕਿਉਂ ਆਈਆਂ?

Amin Tootoonchian: ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ ਜੇ ਸਿਸਟਮ ਡਿਵੈਲਪਰ ਕਾਫ਼ੀ ਸੰਵੇਦਨਸ਼ੀਲ ਹਨ, ਤਾਂ ਜ਼ਿਆਦਾਤਰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਛੋਟੇ ਪੈਮਾਨੇ ਦੇ ਪੜਾਅ ਵਿੱਚ ਦੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਕੁਝ ਸਮੱਸਿਆਵਾਂ ਅਜਿਹੀਆਂ ਵੀ ਹਨ ਜੋ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਸਿਖਲਾਈ ਪੜਾਅ ਲਈ ਵਿਲੱਖਣ ਨਹੀਂ ਹਨ, ਪਰ ਮੂਲ ਰੂਪ ਵਿੱਚ ਅਕਸਰ ਵਾਪਰਦੀਆਂ ਹਨ, ਪਰ ਸਕੇਲ ਵਧਣ ਤੋਂ ਬਾਅਦ ਭਿਆਨਕ ਸਮੱਸਿਆਵਾਂ ਬਣ ਜਾਣਗੀਆਂ, ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਟੀਮ ਨੇ ਪਹਿਲਾਂ ਤੋਂ ਇਹ ਅਨੁਮਾਨ ਨਹੀਂ ਲਗਾਇਆ ਸੀ ਕਿ ਇਹ ਸਮੱਸਿਆਵਾਂ ਇੰਨੀ ਵੱਡੀ ਹੱਦ ਤੱਕ ਵਿਗੜ ਜਾਣਗੀਆਂ।

Sam Altman: ਕਿਹੜੀਆਂ ਚੀਜ਼ਾਂ ਨੇ ਵਿਨਾਸ਼ਕਾਰੀ ਨਤੀਜੇ ਕੱਢੇ ਹਨ?

Amin Tootoonchian: ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਚੰਗੀ ਤਰ੍ਹਾਂ ਜਾਣੀਆਂ ਜਾਂਦੀਆਂ ਹਨ। ਅਸਫਲਤਾ ਦਰ, ਅਸਫਲਤਾ ਕਿਸਮ, ਅਤੇ ਅਸਫਲਤਾਵਾਂ ਦੀ ਕੁੱਲ ਮਾਤਰਾ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹੈ। 100,000 ਕਾਰਡ ਕਲੱਸਟਰ ਇੱਕ ਵੱਡੇ ਪੈਮਾਨੇ ਦਾ ਨਮੂਨਾ ਪੂਲ ਹੈ, ਇਸ ਲਈ ਅਸੀਂ ਉਹ ਸਮੱਸਿਆਵਾਂ ਵੀ ਖੋਜੀਆਂ ਜੋ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਸਪਲਾਇਰ ਨੇ ਨਹੀਂ ਦੇਖੀਆਂ।

ਨੈਟਵਰਕ ਇਸਦਾ ਇੱਕ ਹਿੱਸਾ ਹੈ, ਅਤੇ ਵਿਅਕਤੀਗਤ ਐਕਸਲੇਟਰਾਂ ਵਿੱਚ ਵੀ ਸਮੱਸਿਆਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਪਰ ਇਹ ਇਸ ਸਿਸਟਮ ਦੀ ਸੁੰਦਰਤਾ ਵੀ ਹੈ - ਉਮੀਦ ਕੀਤੇ ਨਤੀਜੇ ਪੈਦਾ ਕਰਨ ਲਈ ਲਗਭਗ ਸਾਰੇ ਹਿੱਸਿਆਂ ਨੂੰ ਉਮੀਦ ਅਨੁਸਾਰ ਕੰਮ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਸਾਡਾ ਕੰਮ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਘੱਟ ਕਰਨਾ ਹੈ।

Sam Altman: ਕਲੱਸਟਰ ਸਕੇਲ ਦੀ ਸੀਮਾ ‘ਤੇ ਕੰਮ ਕਰਨਾ ਯਕੀਨੀ ਤੌਰ ‘ਤੇ ਮੁਸ਼ਕਲ ਹੈ, ਪਰ ਮੈਂ ਇਹ ਵੀ ਦੇਖਿਆ ਹੈ ਕਿ ਉਹ ਕੰਮ ਕਰਨਾ ਜੋ ਹੁਣ ਤਕਨਾਲੋਜੀ ਦੇ ਸਭ ਤੋਂ ਅੱਗੇ ਨਹੀਂ ਹੈ, ਬਹੁਤ ਸੌਖਾ ਹੋ ਗਿਆ ਹੈ। GPT-4.5 ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਸੈਂਕੜੇ ਲੋਕਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ OpenAI ਵਿੱਚ ਲਗਭਗ ਹਰ ਕੋਈ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ।

ਪਰ ਅੱਜ, ਜੇਕਰ ਤੁਸੀਂ ਤੁਹਾਨੂੰ OpenAI ਤੋਂ ਇੱਕ ਛੋਟੀ ਟੀਮ ਚੁਣਨ ਦਿਓ ਅਤੇ ਸਾਡੇ ਕੋਲ ਮੌਜੂਦ ਸਾਰੇ ਗਿਆਨ ਅਤੇ ਸਾਰੇ ਸਿਸਟਮ ਕੰਮ ਨਾਲ ਸ਼ੁਰੂ ਤੋਂ GPT-4 ਨੂੰ ਦੁਬਾਰਾ ਸਿਖਲਾਈ ਦਿਓ, ਤਾਂ ਇਸ ਵਿੱਚ ਕਿੰਨੇ ਲੋਕ ਲੱਗਣਗੇ?

Alex Paino: ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਹੁਣ GPT-4-ਪੱਧਰ ਦਾ ਮਾਡਲ ਬਣਾਉਣ ਵਿੱਚ ਲਗਭਗ 5 ਤੋਂ 10 ਲੋਕ ਲੱਗ ਸਕਦੇ ਹਨ। GPT-4.5 ਨੂੰ ਪੂਰਾ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਤਕਨਾਲੋਜੀ ਸਟੈਕ ਵਿੱਚ ਬਹੁਤ ਸੁਧਾਰ ਕੀਤਾ ਗਿਆ ਹੈ।

ਦਰਅਸਲ, ਅਸੀਂ GPT-4.5 ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਸਮਾਨ ਕੰਮ ਕੀਤੇ ਹਨ - ਅਸੀਂ GPT-4o ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ, ਜੋ ਕਿ ਇੱਕ GPT-4-ਪੱਧਰ ਦਾ ਮਾਡਲ ਹੈ, ਅਤੇ ਇਸਨੂੰ GPT-4.5 ਖੋਜ ਪ੍ਰੋਜੈਕਟ ਤੋਂ ਬਹੁਤ ਸਾਰੀ ਸਮਾਨ ਸਮੱਗਰੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਦੁਬਾਰਾ ਸਿਖਲਾਈ ਦਿੱਤੀ। ਉਸ ਸਿਖਲਾਈ ਲਈ ਘੱਟ ਲੋਕਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ।

ਡਾਟਾ ਕੁਸ਼ਲਤਾ: ਮਾਡਲਾਂ ਦੀ ਅਗਲੀ ਪੀੜ੍ਹੀ ਨੂੰ ਅਨਲੌਕ ਕਰਨ ਦੀ ਕੁੰਜੀ

Sam Altman: ਤੁਹਾਡੇ ਨਜ਼ਰੀਏ ਤੋਂ, Dan? ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਮੁਸ਼ਕਲ ਕਿਉਂ ਹੈ?

Daniel Selsam: ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਕੋਈ ਵੀ ਨਵੀਂ ਚੀਜ਼ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੈ। ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ ਸਿਰਫ਼ ਇਹ ਖੋਜਣਾ ਵੀ ਕਿ ਕਿਸੇ ਹੋਰ ਨੇ ਕੁਝ ਕੀਤਾ ਹੈ, ਇਸਨੂੰ ਬਹੁਤ ਸੌਖਾ ਬਣਾ ਦਿੰਦਾ ਹੈ, ਕਿਉਂਕਿ ਸਭ ਤੋਂ ਔਖਾ ਹਿੱਸਾ ਇਹ ਵਿਸ਼ਵਾਸ ਰੱਖਣਾ ਹੈ ਕਿ ਤੁਸੀਂ ਪਹਿਲਾਂ ਕੁਝ ਕਰ ਸਕਦੇ ਹੋ। ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਸਿਰਫ਼ ਇਹ ਜਾਣਨਾ ਕਿ ਕੁਝ ਸੰਭਵ ਹੈ, ਇੱਕ ਸੁਪਰ ਚੀਟ ਕੋਡ ਹੈ, ਜਿਸ ਨਾਲ ਚੀਜ਼ਾਂ ਬਹੁਤ ਸੌਖੀਆਂ ਹੋ ਜਾਂਦੀਆਂ ਹਨ।

Alex Paino: ਅਸੀਂ GPT ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਓਪਰੇਸ਼ਨ ਨੂੰ ਪਹਿਲਾਂ ਨਾਲੋਂ 10 ਗੁਣਾ ਵਧਾ ਰਹੇ ਹਾਂ, ਅਤੇ ਸਾਨੂੰ ਹਮੇਸ਼ਾ ਕੁਝ ਦਿਲਚਸਪ ਨਵੀਆਂ ਚੀਜ਼ਾਂ ਮਿਲਣਗੀਆਂ ਜਿਨ੍ਹਾਂ ਦੀ ਤੁਸੀਂ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਭਵਿੱਖਬਾਣੀ ਨਹੀਂ ਕਰ ਸਕਦੇ।

Sam Altman: ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਸਕੇਲ ਵਿੱਚ ਅਗਲੇ 10x ਜਾਂ 100x ਵਾਧੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਕੀ ਲੋੜ ਹੈ?

Daniel Selsam: ਡਾਟਾ ਕੁਸ਼ਲਤਾ। ਟ੍ਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰ (ਜੋ ਕਿ GPT ਹੈ) ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਿੱਚ ਬਹੁਤ ਕੁਸ਼ਲ ਹੈ। ਇਹ ਜਾਣਕਾਰੀ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਜਜ਼ਬ ਅਤੇ ਸੰਕੁਚਿਤ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਆਮਕਰਨ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦਾ ਹੈ। ਇਸਦੀ ਸਭ ਤੋਂ ਵੱਡੀ ਵਿਸ਼ੇਸ਼ਤਾ ਇਹ ਹੈ ਕਿ ਇਹ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਨਾਲ ਜਾਣਕਾਰੀ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਜਜ਼ਬ ਕਰ ਸਕਦਾ ਹੈ।

ਹਾਲਾਂਕਿ, ਡੇਟਾ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾਣਕਾਰੀ ਦੀ ਡੂੰਘਾਈ ਸੀਮਤ ਹੈ। ਜਦੋਂ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੀ ਹੈ ਜਦੋਂ ਕਿ ਡੇਟਾ ਮੁਕਾਬਲਤਨ ਹੌਲੀ ਵਧਦਾ ਹੈ, ਤਾਂ ਡੇਟਾ ਇਸ ਮਿਆਰੀ ਮਾਡਲ ਵਿੱਚ ਇੱਕ ਰੁਕਾਵਟ ਬਣ ਜਾਂਦਾ ਹੈ। ਇਸਦੇ ਲਈ ਐਲਗੋਰਿਦਮਿਕ ਨਵੀਨਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਜਿਹੇ ਤਰੀਕਿਆਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨਾ ਜੋ ਇੱਕੋ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਤੋਂ ਵਧੇਰੇ ਗਿਆਨ ਸਿੱਖਣ ਲਈ ਵਧੇਰੇ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਨ।

Sam Altman: ਇਸ ਤੋਂ ਇਲਾਵਾ ਤੁਹਾਨੂੰ ਕੀ ਲੱਗਦਾ ਹੈ ਕਿ ਸਾਨੂੰ ਵਿਸਤਾਰ ਨੂੰ ਕਾਇਮ ਰੱਖਣ ਲਈ ਕੀ ਚਾਹੀਦਾ ਹੈ?

Amin Tootoonchian: ਮੇਰਾ ਜਵਾਬ ਸਿਸਟਮ ਬਾਰੇ ਹੈ। ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ GPT-4.5 ਲਈ ਲੋੜੀਂਦਾ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਕੰਮ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਮਾਡਲ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਅਟੱਲ ਨਤੀਜਾ ਹੈ। ਅਸੀਂ GPT-4.5 ਨੂੰ GPT-4 ਵਾਂਗ ਬਿਲਕੁਲ ਉਸੇ ਤਕਨੀਕੀ ਆਰਕੀਟੈਕਚਰ ਨਾਲ ਸਿਖਲਾਈ ਨਹੀਂ ਦੇ ਸਕਦੇ ਹਾਂ।

ਸਟੇਟ ਪ੍ਰਬੰਧਨ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਕਿਉਂਕਿ ਲੋੜੀਂਦੇ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤ ਇੱਕ ਸਿੰਗਲ ਕਲੱਸਟਰ ਦੀ ਢੋਣ ਦੀ ਸਮਰੱਥਾ ਤੋਂ ਵੱਧ ਗਏ ਹਨ, ਸਾਨੂੰ ਇੱਕ ਮਲਟੀ-ਕਲੱਸਟਰ ਸਿਖਲਾਈ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਬਦਲਣਾ ਪਵੇਗਾ। ਇਸ ਟੀਚੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਥੋੜ੍ਹੇ ਸਮੇਂ ਵਿੱਚ ਕਈ ਵੱਖ-ਵੱਖ ਵਰਕਫਲੋ ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।

ਹਾਲਾਂਕਿ ਇਸਨੇ ਇੱਕ ਪੜਾਅਵਾਰ ਸਫਲਤਾ ਪ੍ਰਾਪਤ ਕਰਨ ਵਿੱਚ ਸਾਡੀ ਮਦਦ ਕੀਤੀ, ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰ ਦੇ ਅਗਲੇ ਦਰਜੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਅਜੇ ਵੀ ਕਈ ਜਾਣੀਆਂ ਪਰ ਅਸਥਾਈ ਤੌਰ ‘ਤੇ ਰੋਕੀਆਂ ਗਈਆਂ ਤਕਨੀਕੀ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਲੋੜ ਹੈ - ਇਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਤੋਂ ਬਚਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ। ਇਹ ਇਸ ਕਿਸਮ ਦਾ ਤਕਨੀਕੀ ਵਪਾਰ-ਬੰਦ ਹੈ ਜੋ ਲਗਾਤਾਰ ਇੱਕ ਸੰਪੂਰਨ ਸਿਸਟਮ ਦੇ ਵਿਕਾਸ ਚੱਕਰ ਨੂੰ ਲੰਮਾ ਕਰਦਾ ਹੈ। ਅਸੀਂ ਹਮੇਸ਼ਾਂ ਸਰਵੋਤਮ ਲਾਗੂ ਕਰਨ ਦੀ ਯੋਜਨਾ ਦੀ ਭਾਲ ਵਿੱਚ ਰਣਨੀਤਕ ਵਪਾਰ-ਬੰਦ ਕਰ ਰਹੇ ਹਾਂ।

ਇਹ ਸਪੱਸ਼ਟ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਸਿਸਟਮ ਆਪਣੇ ਆਪ ਵਿੱਚ ਅੰਤਮ ਟੀਚਾ ਨਹੀਂ ਹੈ। ਇਸਦਾ ਅਸਲ ਆਉਟਪੁੱਟ ਮੁੱਲ ਮੁੱਖ ਵਿਚਾਰ ਹੈ। ਅਗਲੇ 10x ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰ ਲਈ, ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਫਾਲਟ ਟੋਲਰੈਂਸ ਵਿੱਚ ਸਫਲਤਾ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਸਾਨੂੰ ਇੱਕ ਫਾਲਟ-ਟੋਲਰੈਂਟ ਵਿਧੀ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ ਜੋ ਸੰਚਾਲਨ ਅਤੇ ਰੱਖ-ਰਖਾਅ ਦੀ ਚਿੰਤਾ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ‘ਤੇ ਘਟਾਉਣ ਲਈ ਵਰਕਲੋਡ ਨਾਲ ਡੂੰਘਾਈ ਨਾਲ ਸਹਿਯੋਗ ਕਰਦੀ ਹੈ। ਮੌਜੂਦਾ ਸੁਪਰ-ਵੱਡੇ ਸਿਸਟਮ ਦੀ ਸੰਚਾਲਨ ਅਤੇ ਰੱਖ-ਰਖਾਅ ਦੀ ਜਟਿਲਤਾ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਪਿਛਲੇ ਸਿਸਟਮਾਂ ਨਾਲੋਂ ਵੱਖਰੀ ਹੈ।

Sam Altman: ਕੀ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ GPT-4.5 ਸਿਖਲਾਈ ਦੌਰਾਨ ਕੁਝ ਹਿੱਸਿਆਂ ਕਾਰਨ ਕਿੰਨੇ ਪ੍ਰਤੀਸ਼ਤ ਅਸਫਲਤਾਵਾਂ ਹੋਈਆਂ?

Amin Tootoonchian: ਮੇਰੇ ਕੋਲ ਸਾਂਝਾ ਕਰਨ ਲਈ ਖਾਸ ਅੰਕੜੇ ਨਹੀਂ ਹਨ, ਪਰ ਆਮ ਤੌਰ ‘ਤੇ, ਨਵੀਂ ਪੀੜ੍ਹੀ ਦੇ ਹਾਰਡਵੇਅਰ ਦੀ ਸ਼ੁਰੂਆਤੀ ਵਰਤੋਂ ਅਕਸਰ ਬਹੁਤ ਸਾਰੀਆਂ ਤਕਨੀਕੀ ਚੁਣੌਤੀਆਂ ਦਾ ਸਾਹਮਣਾ ਕਰਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਹੀਂ ਸਮਝਿਆ ਗਿਆ ਹੈ। ਅਸੀਂ ਸਮੱਸਿਆ ਦੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਪੱਸ਼ਟ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਅੱਗੇ ਵਧਾਉਣ ਦੀ ਚੋਣ ਕੀਤੀ, ਜਿਸ ਕਾਰਨ ਸ਼ੁਰੂਆਤੀ ਅਸਫਲਤਾ ਦਰ ਉੱਚੀ ਹੋ ਗਈ।

ਪਰ ਤਜਰਬਾ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਜਿਵੇਂ ਹੀ ਮੂਲ ਕਾਰਨ ਦੀ ਪਛਾਣ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਹੱਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਸਫਲਤਾ ਦਰ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਕਮੀ ਆਵੇਗੀ। ਇਹ ਵਰਤਾਰਾ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀ ਸਾਡੀ ਡੂੰਘੀ ਸਮਝ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ - ਕੁਝ ਲੋਕ ਇਸਨੂੰ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਨੂੰ ਸਾਫ਼ ਕਰਨਾ ਜਾਂ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀਆਂ ਬੁਨਿਆਦੀ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਸਮਝਣਾ ਕਹਿੰਦੇ ਹਨ।

ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਸ਼ੁਰੂਆਤੀ ਪੜਾਅ ਲਗਭਗ ਹਮੇਸ਼ਾਂ ਕਾਫ਼ੀ ਦੁਖਦਾਈ ਹੁੰਦੇ ਹਨ। ਜਦੋਂ ਅਸੀਂ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਅੱਗੇ ਵਧਾ ਰਹੇ ਹੁੰਦੇ ਹਾਂ, ਅਸੀਂ ਨਵੇਂ ਅਸਫਲਤਾ ਮੋਡਾਂ ਨੂੰ ਵੀ ਲਗਾਤਾਰ ਖੋਜ ਰਹੇ ਹੁੰਦੇ ਹਾਂ ਅਤੇ ਹੱਲ ਕਰ ਰਹੇ ਹੁੰਦੇ ਹਾਂ, ਪਰ ਅੰਤ ਵਿੱਚ ਅਸਫਲਤਾ ਦਰ ਹੌਲੀ ਹੌਲੀ ਘੱਟ ਜਾਵੇਗੀ ਅਤੇ ਆਮ ਚੱਲਣ ਦਾ ਸਮਾਂ ਵਧੇਗਾ।

ਇਹ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਤਰਜੀਹ ਵਪਾਰ-ਬੰਦ ਦੀ ਗੱਲ ਹੈ: ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਜੀਵਨ ਚੱਕਰ ਦੇ ਸ਼ੁਰੂਆਤੀ ਪੜਾਵਾਂ ਵਿੱਚ, ਇਸਦੇ ਅਸਫਲਤਾ ਦੇ ਜੋਖਮ ਦਾ ਸਹੀ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣਾ ਅਕਸਰ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ; ਅਤੇ ਜੇਕਰ ਅਸੀਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਅੰਤਮ ਆਦਰਸ਼ ਸਥਿਤੀ (ਮੂਲ ‘City Estate’ ਹੈ, ਆਦਰਸ਼ ਸ਼ਹਿਰ-ਰਾਜ ਡਿਜ਼ਾਈਨ) ਦਾ ਪਿੱਛਾ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਇਹ ਸਿਸਟਮ ਦੀ ਸ਼ੁਰੂਆਤੀ ਉਪਲਬਧਤਾ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਹੁਤ ਮਾੜਾ ਬਣਾ ਸਕਦਾ ਹੈ।

ਕੰਪਿਊਟ ਤੋਂ ਪਰੇ: ਐਲਗੋਰਿਦਮਿਕ ਨਵੀਨਤਾ ਅਤੇ ਡੇਟਾ ਦੀ ਅਣਵਰਤੀ ਸੰਭਾਵਨਾ

Sam Altman: ਹਾਲਾਂਕਿ ਅਨੁਮਾਨ ਮਾਡਲ ਸਾਡੇ ਭਵਿੱਖ ਦੇ ਤਕਨਾਲੋਜੀ ਸਟੈਕ ਦਾ ਇੱਕ ਮੁੱਖ ਹਿੱਸਾ ਹੈ, ਆਓ ਅਸਥਾਈ ਤੌਰ ‘ਤੇ ਰਵਾਇਤੀ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਮਾਡਲਾਂ ਦੇ ਵਿਕਾਸ ਦੀਆਂ ਸੀਮਾਵਾਂ ‘ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰੀਏ। ਮੰਨ ਲਓ ਕਿ ਸਾਡੇ ਕੋਲ ਅਸੀਮਤ GPU ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ, ਅਸੀਮਤ ਨੈੱਟਵਰਕ ਬੈਂਡਵਿਡਥ ਅਤੇ ਅਸੀਮਤ ਪਾਵਰ ਸਪਲਾਈ ਹੈ, ਪਰ ਅਜੇ ਵੀ ਮੌਜੂਦਾ ਤਕਨੀਕੀ ਰੁਕਾਵਟਾਂ ਦੁਆਰਾ ਸੀਮਤ ਹਾਂ - ਜਿਸ ਵਿੱਚ ਸਿਸਟਮ ਭਰੋਸੇਯੋਗਤਾ ਮੁੱਦੇ, ਫਾਲਟ-ਟੋਲਰੈਂਟ ਸਿਖਲਾਈ ਤਰੀਕਿਆਂ ਦੀ ਘਾਟ ਅਤੇ ਮੌਜੂਦਾ ਡੇਟਾਸੈਟਾਂ ਦੀਆਂ ਸੀਮਾਵਾਂ ਸ਼ਾਮਲ ਹਨ।

ਹਰੇਕ ਵੱਡੇ GPT ਸੰਸਕਰਣ ਨੰਬਰ ਲਈ 100-ਗੁਣਾ ਸਕੇਲ ਵਾਧੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦੇ ਸਾਡੇ ਵਿਕਾਸ ਨਿਯਮ ਦੇ ਅਨੁਸਾਰ, ਮੌਜੂਦਾ ਤਕਨੀਕੀ ਸੀਮਾਵਾਂ ਦੇ ਅਧਾਰ ‘ਤੇ, ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਮਾਡਲਾਂ ਦਾ ਵਿਕਾਸ ਕਿਸ ਪੱਧਰ ਤੱਕ ਪਹੁੰਚ ਸਕਦਾ ਹੈ? ਖਾਸ ਤੌਰ ‘ਤੇ, GPT ਸੀਰੀਜ਼ ਮਾਡਲਾਂ ਲਈ, ਸਾਡੇ ਮੌਜੂਦਾ ਗਿਆਨ ਸਿਸਟਮ ਦੇ ਅਧਾਰ ‘ਤੇ, ਸਿਧਾਂਤਕ ਤੌਰ ‘ਤੇ ਕਿਸ ਕਿਸਮ ਦੇ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾ ਸਕਦੀ ਹੈ? ਕੀ ਅਸੀਂ GPT-5.5 ਬਣਾ ਸਕਦੇ ਹਾਂ?

Alex Paino: ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਅਤੇ ਐਲਗੋਰਿਦਮ ਵਿਕਾਸ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਅਸੀਂ ਅਜੇ ਤੱਕ ਇੱਕ ਸਪੱਸ਼ਟ ਸਿਧਾਂਤਕ ਸੀਮਾ ‘ਤੇ ਨਹੀਂ ਪਹੁੰਚੇ ਹਾਂ। ਦਰਅਸਲ, ਅਸੀਂ ਹੁਣੇ ਹੀ ਉੱਚ ਡੇਟਾ ਕੁਸ਼ਲਤਾ ਵਾਲੇ ਐਲਗੋਰਿਦਮ ਦੀ ਖੋਜ ਕਰਨੀ ਸ਼ੁਰੂ ਕੀਤੀ ਹੈ ਅਤੇ ਮੌਜੂਦਾ ਡੇਟਾ ਸਰੋਤਾਂ ਦੀ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰਨੀ ਹੈ। ਇਹ ਸਥਿਤੀ ਬਹੁਤ ਦਿਲਚਸਪ ਹੈ - ਇੱਥੋਂ ਤੱਕ ਕਿ GPT-4 ਵਰਗੇ ਮਾਡਲ ਵੀ ਵੱਡੇ ਪੱਧਰ ‘ਤੇ ਸੀਮਤ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਦੀਆਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਵਿਕਸਤ ਕੀਤੇ ਗਏ ਹਨ, ਜਿਸ ਨੇ ਜ਼ਿਆਦਾਤਰ ਪਿਛਲੀ ਖੋਜ ਦੀ ਦਿਸ਼ਾ ਨਿਰਧਾਰਤ ਕੀਤੀ ਹੈ।

ਪਰ ਹੁਣ ਸਥਿਤੀ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵੱਖਰੀ ਹੈ। GPT-4.5 ਤੋਂ ਬਾਅਦ, ਕੁਝ ਮੁੱਖ ਪਹਿਲੂਆਂ ਵਿੱਚ, ਕੰਪਿਊਟਿੰਗ ਦੀ ਬਜਾਏ ਡੇਟਾ ਮੁੱਖ ਰੁਕਾਵਟ ਬਣ ਰਿਹਾ ਹੈ। ਇਸ ਤਬਦੀਲੀ ਨਾਲ ਸਬੰਧਤ ਖੋਜ ਘੱਟ ਦਿਲਚਸਪ ਹੋ ਜਾਂਦੀ ਹੈ।

Sam Altman: ਪਰ ਇਹ ਸੱਚਮੁੱਚ ਇੱਕ ਸ਼ਾਨਦਾਰ ਤਰੱਕੀ ਹੈ, ਅਤੇ ਦੁਨੀਆ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਹਿਸਾਸ ਨਹੀਂ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਰੋਤ ਹੁਣ ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ‘ਤੇ ਮੁੱਖ ਰੁਕਾਵਟ ਨਹੀਂ ਹਨ ਜੋ ਅਸੀਂ ਬਣਾ ਸਕਦੇ ਹਾਂ। ਇਹ ਤਬਦੀਲੀ ਬਹੁਤ ਅਰਥਪੂਰਨ ਹੈ, ਆਖ਼ਰਕਾਰ, ਅਸੀਂ ਬਹੁਤ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਕੰਪਿਊਟੇਸ਼ਨਲੀ ਸੀਮਤ ਵਾਤਾਵਰਣ ਵਿੱਚ ਰਹੇ ਹਾਂ।

ਹੈਰਾਨੀ ਦਾ ਪਰਦਾਫਾਸ਼: ਭਵਿੱਖਬਾਣੀਯੋਗਤਾ ਬਨਾਮ ਅਣਕਿਆਸੀ ਬੁੱਧੀ

Sam Altman: GPT-4.5 ਦੀ ਸਿਖਲਾਈ ਦੌਰਾਨ ਅਸੀਂ ਸਭ ਤੋਂ ਦਿਲਚਸਪ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦਾ ਅਨੁਭਵ ਕੀ ਸਿੱਖਿਆ? ਬਸ ਦੱਸੋ ਜੋ ਤੁਸੀਂ ਸਾਂਝਾ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ।

Amin Tootoonchian: ਆਮ ਤੌਰ ‘ਤੇ, ਸਭ ਤੋਂ ਵੱਧ ਸੋਚਣ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਉਹ ਹੁੰਦੀਆਂ ਹਨ ਜੋ ਸਾਡੀਆਂ ਭਵਿੱਖਬਾਣੀਆਂ ਤੋਂ ਭਟਕ ਜਾਂਦੀਆਂ ਹਨ - ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਅਸੀਂ ਇਹ ਸਮਝਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ ਕਿ ਅਸਲ ਪ੍ਰਦਰਸ਼ਨ ਉਮੀਦ ਕੀਤੀ ਵਕਰ ਤੋਂ ਕਿਉਂ ਭਟਕਦਾ ਹੈ।

Alex Paino: ਸਾਡੇ ਲਈ ਸਭ ਤੋਂ ਹੈਰਾਨੀਜਨਕ ਖੋਜਾਂ ਵਿੱਚੋਂ ਇੱਕ ਇਹ ਹੈ ਕਿ ਵੱਖ-ਵੱਖ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਹਿੱਸਿਆਂ ਵਿੱਚ ਬਹੁਤ ਵੱਖਰੇ ਸਕੇਲੇਬਿਲਟੀ ਪ੍ਰਦਰਸ਼ਨ ਹੁੰਦੇ ਹਨ। ਕੁਝ ਹਿੱਸਿਆਂ ਨੂੰ ਬਹੁਤ ਚੰਗੀ ਤਰ੍ਹਾਂ ਵਧਾਇਆ ਜਾ ਸਕਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਦੂਜਿਆਂ ਨੂੰ ਨਹੀਂ। ਇਹ ਉਹ ਚੀਜ਼ ਹੈ ਜੋ ਅਸੀਂ ਅਸਲ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਅਸਲ ਵਿੱਚ ਮਹਿਸੂਸ ਕੀਤੀ। ਇਸ ਅਨੁਭਵ ਨੇ ਸਾਨੂੰ ਬਹੁਤ ਪ੍ਰੇਰਨਾ ਦਿੱਤੀ।

Daniel Selsam: ਮੈਂ ਸੋਚਦਾ ਹਾਂ ਕਿ GPT ਪੈਰਾਡਾਈਮ ਦੀਆਂ ਦੋ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ: ਪਹਿਲੀ, ਟੈਸਟ ਘਾਟਾ (ਇੱਕ ਮੈਟ੍ਰਿਕ ਜੋ ਇਹ ਮਾਪਦਾ ਹੈ ਕਿ ਮਾਡਲ ਅਣਦੇਖੇ ਟੈਸਟ ਡੇਟਾ ‘ਤੇ ਕਿੰਨਾ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ) ਦੀ ਸਹੀ ਭਵਿੱਖਬਾਣੀ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ; ਦੂਜਾ, ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਸਕੇਲ ਵਿੱਚ ਵਾਧੇ ਦੇ ਨਾਲ ਭਵਿੱਖਬਾਣੀਯੋਗ ਸੁਧਾਰ ਦਰਸਾਉਂਦਾ ਹੈ। ਇਸ ਤੋਂ ਵੀ ਵੱਧ ਹੈਰਾਨੀਜਨਕ ਇਹ ਹੈ ਕਿ ਟੈਸਟ ਘਾਟੇ ਵਿੱਚ ਕਮੀ ਨੂੰ ਵੱਖ-ਵੱਖ ਢੰਗਾਂ ਨਾਲ ਇੱਕ ਸਰਵਪੱਖੀ ਵਧੀ ਹੋਈ ਬੁੱਧੀ ਦੇ ਪੱਧਰ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ ਜਾਵੇਗਾ ਜਿਨ੍ਹਾਂ ਨੂੰ ਮਾਪਣਾ ਮੁਸ਼ਕਲ ਹੈ ਪਰ ਹੈਰਾਨੀਜਨਕ ਅਤੇ ਰਹੱਸਮਈ ਹਨ।

Sam Altman: ਕੀ ਤੁਸੀਂ ਇਸ ਬਾਰੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਆਸ਼ਾਵਾਦੀ ਹੋ? ਕੀ ਤੁਸੀਂ ਇਸ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਨਾਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਹਿਮਤ ਹੋ?

Daniel Selsam: ਅਸਲ ਵਿੱਚ, ਮੈਂ ਜੋ ਕਹਿਣਾ ਚਾਹੁੰਦਾ ਹਾਂ ਉਹ ਇਹ ਹੈ ਕਿ ਸਾਨੂੰ GPT-4.5 ਟੈਸਟ ਵਿੱਚ ਇੱਕ ਖਾਸ ਤੌਰ ‘ਤੇ ਦਿਲਚਸਪ ਵਰਤਾਰਾ ਮਿਲਿਆ - ਦੁਬਾਰਾ ਟੈਸਟ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਮਾਡਲ ਦੁਆਰਾ ਦਿਖਾਈਆਂ ਗਈਆਂ ਬਹੁਤ ਸਾਰੀਆਂ ਸੂਝਵਾਨ ਸਮਰੱਥਾਵਾਂ ਹਰ ਕਿਸੇ ਦੀਆਂ ਉਮੀਦਾਂ ਤੋਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵੱਧ ਗਈਆਂ।

ਸਾਨੂੰ ਯਕੀਨ ਹੈ ਕਿ ਇਹ ਵੱਖ-ਵੱਖ ਤਰੀਕਿਆਂ ਨਾਲ