ਓਪਨਏਆਈ ਦੇ ਜੀਪੀਟੀ-4.5 ਦੀ ਟ੍ਰੇਨਿੰਗ

ਓਪਨਏਆਈ ਦੇ ਜੀਪੀਟੀ-4.5 ਦੀ ਟ੍ਰੇਨਿੰਗ: ਕੰਪਿਊਟੇਸ਼ਨਲ ਚੁਣੌਤੀਆਂ ਅਤੇ ਸਫਲਤਾਵਾਂ ਦੀ ਇੱਕ ਡੂੰਘੀ ਝਲਕ

ਜੀਪੀਟੀ-4.5 ਦਾ ਵਿਕਾਸ, ਇੱਕ ਪ੍ਰੋਜੈਕਟ ਜੋ ਦੋ ਸਾਲ ਪਹਿਲਾਂ ਸ਼ੁਰੂ ਹੋਇਆ ਸੀ, ਓਪਨਏਆਈ ਦੇ ਅੱਜ ਤੱਕ ਦੇ ਸਭ ਤੋਂ ਵੱਡੇ ਉੱਦਮ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਇਸ ਵੱਡੇ ਕਾਰਜ ਵਿੱਚ ਸੈਂਕੜੇ ਵਿਅਕਤੀਆਂ ਦੇ ਸਾਂਝੇ ਯਤਨ ਸ਼ਾਮਲ ਸਨ, ਜਿਸ ਵਿੱਚ ਓਪਨਏਆਈ ਦੇ ਸੀਈਓ ਸੈਮ ਓਲਟਮੈਨ ਨੇ ਕਿਹਾ ਕਿ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਲਗਭਗ ਸੰਪੂਰਨ ਸੰਗਠਨਾਤਮਕ ਸ਼ਮੂਲੀਅਤ ਦੀ ਲੋੜ ਸੀ।

ਵੱਡੇ ਪੱਧਰ ‘ਤੇ ਟ੍ਰੇਨਿੰਗ ਵਿੱਚ ‘ਭਿਆਨਕ ਸਮੱਸਿਆਵਾਂ’ ‘ਤੇ ਕਾਬੂ ਪਾਉਣਾ

ਜੀਪੀਟੀ-4.5 ਬਣਾਉਣ ਦਾ ਸਫ਼ਰ ਬਿਨਾਂ ਕਿਸੇ ਰੁਕਾਵਟ ਦੇ ਨਹੀਂ ਸੀ। ਟੀਮ ਨੂੰ ਖੋਜ ਅਤੇ ਵਿਕਾਸ ਦੇ ਪੜਾਅ ਦੌਰਾਨ ਕਈ ‘ਭਿਆਨਕ ਸਮੱਸਿਆਵਾਂ’ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ। 100,000 ਜੀਪੀਯੂ ਦੇ ਇੱਕ ਕਲੱਸਟਰ ਦੀ ਵਰਤੋਂ ਨੇ ਪਹਿਲਾਂ ਕਦੇ ਨਾ ਦੇਖੀਆਂ ਗਈਆਂ, ਘੱਟ ਸੰਭਾਵਨਾਵਾਂ ਵਾਲੀਆਂ, ਪਰ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀਆਂ ਡੂੰਘੀਆਂ ਅਸਫਲਤਾਵਾਂ ਨੂੰ ਸਾਹਮਣੇ ਲਿਆਂਦਾ। ਅਨੁਕੂਲ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਨਾਲ ਤੇਜ਼ੀ ਨਾਲ ਸੰਤੁਲਨ ਬਣਾਈ ਰੱਖਣ ਲਈ, ਓਪਨਏਆਈ ਦੀ ਸਿਸਟਮ ਟੀਮ ਨੂੰ ‘ਜਾਂਦੇ-ਜਾਂਦੇ ਠੀਕ ਕਰਨ’ ਦੀ ਪਹੁੰਚ ਅਪਣਾਉਣ ਲਈ ਮਜਬੂਰ ਹੋਣਾ ਪਿਆ। ਇੱਕ ਖਾਸ ਤੌਰ ‘ਤੇ ਗੁੰਝਲਦਾਰ ਬੱਗ ਨੇ ਕਲੱਸਟਰ ਨੂੰ ਲਗਾਤਾਰ ਗਲਤੀਆਂ ਨਾਲ ਪ੍ਰੇਸ਼ਾਨ ਕੀਤਾ, ਜੋ ਕਿ ਲਗਭਗ 40% ਟ੍ਰੇਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਦੇ ਬੀਤ ਜਾਣ ਤੱਕ ਖੋਜਿਆ ਨਹੀਂ ਗਿਆ ਸੀ।

ਇਨ੍ਹਾਂ ਚੁਣੌਤੀਆਂ ਦੇ ਬਾਵਜੂਦ, ਜੀਪੀਟੀ-4.5 ਪ੍ਰੋਜੈਕਟ ਨੇ ਇੱਕ ਹੋਰ ਮਜ਼ਬੂਤ ਤਕਨਾਲੋਜੀ ਸਟੈਕ ਦੇ ਵਿਕਾਸ ਨੂੰ ਉਤਪ੍ਰੇਰਿਤ ਕੀਤਾ। ਅੱਜ, ਸਿਰਫ਼ 5-10 ਵਿਅਕਤੀਆਂ ਦੀ ਇੱਕ ਛੋਟੀ ਟੀਮ ਜੀਪੀਟੀ-4 ਵਰਗਾ ਇੱਕ ਵੱਡਾ ਮਾਡਲ ਤਿਆਰ ਕਰ ਸਕਦੀ ਹੈ। ਜੀਪੀਟੀ-4 ਤੋਂ ਜੀਪੀਟੀ-4.5 ਤੱਕ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਲਗਭਗ ਦਸ ਗੁਣਾ ਵਾਧਾ ਹੋਇਆ, ਜਿਸ ਨਾਲ ‘ਬੁੱਧੀ ਮਿਲਦੀ ਹੈ ਜਿਸਨੂੰ ਮਾਪਣਾ ਮੁਸ਼ਕਲ ਹੈ ਪਰ ਸਾਰੇ ਪਹਿਲੂਆਂ ਵਿੱਚ ਵਧੀਆ ਹੈ,’ ਇਹ ਨਤੀਜਾ ਓਪਨਏਆਈ ਦੇ ਆਪਣੇ ਕਰਮਚਾਰੀਆਂ ਨੂੰ ਵੀ ਹੈਰਾਨ ਕਰ ਗਿਆ।

ਧਿਆਨ ਦਾ ਬਦਲਾਅ: ਕੰਪਿਊਟੇਸ਼ਨਲ ਸ਼ਕਤੀ ਤੋਂ ਡਾਟਾ ਕੁਸ਼ਲਤਾ ਵੱਲ

ਓਪਨਏਆਈ ਨੂੰ ਇਹ ਅਹਿਸਾਸ ਹੋ ਗਿਆ ਹੈ ਕਿ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਅਗਲੀ ਦਸ ਗੁਣਾ ਜਾਂ ਸੌ ਗੁਣਾ ਛਾਲ ਪ੍ਰਾਪਤ ਕਰਨਾ ਕੱਚੀ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸ਼ਕਤੀ ‘ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਕਰਦਾ, ਸਗੋਂ ਡਾਟਾ ਕੁਸ਼ਲਤਾ ‘ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ - ਖਾਸ ਤੌਰ ‘ਤੇ, ਵੱਧ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਰੋਤਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡਾਟਾ ਦੀ ਸਮਾਨ ਮਾਤਰਾ ਤੋਂ ਵੱਧ ਗਿਆਨ ਕੱਢਣ ਦੀ ਯੋਗਤਾ ‘ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।

ਆਰਕੀਟੈਕਚਰ ਵੀ ਇੱਕ ਸਿੰਗਲ-ਕਲੱਸਟਰ ਤੋਂ ਇੱਕ ਮਲਟੀ-ਕਲੱਸਟਰ ਪੈਰਾਡਾਈਮ ਵਿੱਚ ਵਿਕਸਤ ਹੋ ਰਿਹਾ ਹੈ। ਭਵਿੱਖੀ ਟ੍ਰੇਨਿੰਗ ਦੁਹਰਾਓ ਵਿੱਚ 10 ਮਿਲੀਅਨ ਜੀਪੀਯੂ ਤੱਕ ਦੇ ਸਹਿਯੋਗੀ ਸਿਖਲਾਈ ਸ਼ਾਮਲ ਹੋ ਸਕਦੀ ਹੈ, ਜਿਸ ਲਈ ਵਧੀ ਹੋਈ ਗਲਤੀ ਸਹਿਣਸ਼ੀਲਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਸੈਮ ਓਲਟਮੈਨ ਦੀ ਜੀਪੀਟੀ-4.5 ਟੀਮ ਨਾਲ ਗੱਲਬਾਤ

ਹੇਠਾਂ ਸੈਮ ਓਲਟਮੈਨ ਅਤੇ ਓਪਨਏਆਈ ਜੀਪੀਟੀ-4.5 ਟੀਮ ਵਿਚਕਾਰ ਹੋਈ ਚਰਚਾ ਦਾ ਇੱਕ ਸੰਪਾਦਿਤ ਸੰਕਲਨ ਹੈ:

ਸੈਮ ਓਲਟਮੈਨ: ਜੀਪੀਟੀ-4.5 ਵਰਗਾ ਵੱਡਾ ਮਾਡਲ ਬਣਾਉਣ ਲਈ ਕੀ ਕਰਨਾ ਪੈਂਦਾ ਹੈ?

ਐਲੇਕਸ ਪੈਨੋ: ਅਸੀਂ ਇਹ ਪ੍ਰੋਜੈਕਟ ਲਗਭਗ ਦੋ ਸਾਲ ਪਹਿਲਾਂ ਸ਼ੁਰੂ ਕੀਤਾ ਸੀ। ਉਸ ਸਮੇਂ, ਓਪਨਏਆਈ ਇੱਕ ਨਵਾਂ ਵੱਡਾ ਕੰਪਿਊਟਿੰਗ ਕਲੱਸਟਰ ਲਾਂਚ ਕਰਨ ਵਾਲਾ ਸੀ, ਅਤੇ ਸਾਡੀ ਟੀਮ ਨੇ ਇਸਨੂੰ ਮਾਡਲ ਵਿੱਚ ਸ਼ਾਮਲ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਫੰਕਸ਼ਨਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਕਈ ਕਾਰਵਾਈਆਂ ਕਰਨ ਦੇ ਇੱਕ ਮੌਕੇ ਵਜੋਂ ਦੇਖਿਆ, ਅਤੇ ਵੱਡੀ ਗਿਣਤੀ ਵਿੱਚ ਜੋਖਮ ਘਟਾਉਣ ਵਾਲੇ ਓਪਰੇਸ਼ਨ ਟੈਸਟ ਕੀਤੇ।

ਅਸੀਂ ਇਸਦੇ ਲਈ ਇੱਕ ਲੰਮੀ ਯੋਜਨਾ ਵਿਕਸਤ ਕੀਤੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਸਿਸਟਮ ਤੋਂ ਲੈ ਕੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਤੱਕ ਦਾ ਪੂਰਾ ਟੈਕਨਾਲੋਜੀ ਸਟੈਕ ਸ਼ਾਮਲ ਹੈ। ਜੋਖਮਾਂ ਨੂੰ ਘਟਾਉਣਾ ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਦੀ ਤਿਆਰੀ ਕਰਨਾ ਇੱਕ ਲੰਮੀ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਪ੍ਰਕਿਰਿਆ ਹੈ, ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਆਪਣੇ ਆਪ ਵਿੱਚ ਇੱਕ ਬਹੁਤ ਵੱਡਾ ਪ੍ਰੋਜੈਕਟ ਹੈ।

ਅਮੀਨ ਟੂਟੂਨਚੀਅਨ: ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਇਸ ਪ੍ਰਕਿਰਿਆ ਲਈ ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਟੀਮ ਅਤੇ ਸਿਸਟਮ ਟੀਮ ਦੇ ਵਿਚਕਾਰ ਨਜ਼ਦੀਕੀ ਸਹਿਯੋਗ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਦੋਂ ਤੱਕ ਕਿ ਅਸੀਂ ਇਹ ਸਪੱਸ਼ਟ ਨਹੀਂ ਕਰ ਲੈਂਦੇ ਕਿ ਅਸੀਂ ਕਿਸ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਚਾਹੁੰਦੇ ਹਾਂ, ਅਤੇ ਫਿਰ ਟ੍ਰੇਨਿੰਗ ਸ਼ੁਰੂ ਕਰਦੇ ਹਾਂ।

ਅਸੀਂ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਅਤੇ ਸਿਸਟਮ ਦੋਵਾਂ ਪਹਿਲੂਆਂ ਵਿੱਚ ਭਵਿੱਖਬਾਣੀਆਂ ਕੀਤੀਆਂ ਹਨ, ਵੱਧ ਤੋਂ ਵੱਧ ਉਮੀਦ ਅਤੇ ਅਸਲੀਅਤ ਦੇ ਵਿਚਕਾਰ ਪਾੜੇ ਨੂੰ ਘਟਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਹਾਂ। ਪਰ ਕਿਉਂਕਿ ਸਾਡੀ ਕੰਮ ਕਰਨ ਦੀ ਰਫ਼ਤਾਰ ਤੇਜ਼ ਹੈ ਅਤੇ ਸਾਨੂੰ ਨਵੀਨਤਮ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਪੈਂਦੀ ਹੈ, ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਅਜਿਹੀ ਚੀਜ਼ ਬਣ ਗਈ ਹੈ ਜਿਸਦੀ ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਪੂਰੀ ਤਰ੍ਹਾਂ ਯੋਜਨਾ ਬਣਾਉਣਾ ਮੁਸ਼ਕਲ ਹੈ।

ਅਸੀਂ ਲਗਭਗ ਹਮੇਸ਼ਾ ਬਹੁਤ ਸਾਰੀਆਂ ਨਾ ਹੱਲ ਹੋਈਆਂ ਸਮੱਸਿਆਵਾਂ ਨਾਲ ਟ੍ਰੇਨਿੰਗ ਸ਼ੁਰੂ ਕਰਦੇ ਹਾਂ ਅਤੇ ਕਾਰਵਾਈ ਦੌਰਾਨ ਚੁਣੌਤੀਆਂ ‘ਤੇ ਕਾਬੂ ਪਾਉਣ ਅਤੇ ਤਰੱਕੀ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ। ਮੁੱਖ ਹੱਲ ਵਧੇਰੇ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਨੂੰ ਜੋੜਨਾ ਹੈ।

ਅੰਤਿਮ ਪੜਾਅ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਹੈ, ਜਿਸ ਵਿੱਚ ਟ੍ਰੇਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਬਹੁਤ ਸਾਰੇ ਲੋਕਾਂ ਨੂੰ ਲੰਬੇ ਸਮੇਂ ਲਈ ਬਹੁਤ ਊਰਜਾ ਅਤੇ ਪ੍ਰੇਰਣਾ ਲਗਾਉਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਸੈਮ ਓਲਟਮੈਨ: ਤੁਹਾਨੂੰ ਕੀ ਲੱਗਦਾ ਹੈ ਕਿ ਸਾਡੀਆਂ ਉਮੀਦਾਂ ਅਤੇ ਅਸਲੀਅਤ ਵਿਚਕਾਰ ਕਿੰਨਾ ਪਾੜਾ ਹੈ?

ਅਮੀਨ ਟੂਟੂਨਚੀਅਨ: ਸਿਸਟਮ ਦੇ ਰੂਪ ਵਿੱਚ, ਅਸੀਂ ਆਮ ਤੌਰ ‘ਤੇ ਸ਼ੁਰੂ ਵਿੱਚ ਉਮੀਦ ਕੀਤੀ ਸਥਿਤੀ ਤੋਂ ਬਹੁਤ ਦੂਰ ਹੁੰਦੇ ਹਾਂ। ਸਾਡੇ ਸਾਹਮਣੇ ਹਮੇਸ਼ਾ ਇੱਕ ਚੋਣ ਹੁੰਦੀ ਹੈ: ਕੀ ਸ਼ੁਰੂਆਤ ਨੂੰ ਮੁਲਤਵੀ ਕਰਨਾ ਅਤੇ ਸਮੱਸਿਆ ਦੇ ਹੱਲ ਹੋਣ ਦੀ ਉਡੀਕ ਕਰਨੀ ਹੈ, ਜਾਂ ਜਲਦੀ ਸ਼ੁਰੂ ਕਰਨਾ ਅਤੇ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨਾ ਹੈ। ਇਸ ਲਈ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਗੈਰਵਾਜਬ ਦੇਰੀ ਤੋਂ ਬਚਣ ਲਈ ਹਮੇਸ਼ਾ ਇੱਕ ਸਮਝੌਤਾ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਪਰ ਲਗਭਗ ਹਮੇਸ਼ਾ ਕੁਝ ਅਣਕਿਆਸੇ ਸਮੱਸਿਆਵਾਂ ਹੁੰਦੀਆਂ ਹਨ, ਅਤੇ ਸਾਨੂੰ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਇਹਨਾਂ ਨੋਡਾਂ ਨਾਲ ਨਜਿੱਠਣਾ ਪੈਂਦਾ ਹੈ, ਅਣਜਾਣ ਕਾਰਕਾਂ ਨਾਲ ਨਜਿੱਠਣਾ ਪੈਂਦਾ ਹੈ, ਅਤੇ ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਲਈ ਇੱਕ ਯੋਜਨਾ ਬਣਾਉਣੀ ਪੈਂਦੀ ਹੈ।

ਐਲੇਕਸ ਪੈਨੋ: ਇਸ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ, ਸਾਡਾ ਟੀਚਾ ਜੀਪੀਟੀ-4.5 ਬਣਾਉਣਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਇਸਦੀ ਸਮਰੱਥਾ ਜੀਪੀਟੀ-4 ਨਾਲੋਂ 10 ਗੁਣਾ ਜ਼ਿਆਦਾ ਸਮਝਦਾਰ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਇਹ ਉਹ ਸ਼ੁਰੂਆਤੀ ਟੀਚਾ ਹੈ ਜੋ ਅਸੀਂ ਲਗਭਗ 2 ਸਾਲ ਪਹਿਲਾਂ ਨਿਰਧਾਰਤ ਕੀਤਾ ਸੀ।

ਇਸ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਬਹੁਤ ਸਾਰੀਆਂ ਚੀਜ਼ਾਂ ਵਾਪਰੀਆਂ। ਅਸੀਂ ਸੋਚ ਰਹੇ ਸੀ ਕਿ ਕੀ ਅਸੀਂ ਬਿਹਤਰ ਕਰ ਸਕਦੇ ਹਾਂ ਜਾਂ ਉਮੀਦ ਨਾਲੋਂ ਮਾੜੇ ਹੋਵਾਂਗੇ? ਇਹ ਇੱਕ ਬਹੁਤ ਗੁੰਝਲਦਾਰ ਪ੍ਰਕਿਰਿਆ ਹੈ, ਪਰ ਅੰਤ ਵਿੱਚ, ਸਾਡੇ ਦੁਆਰਾ ਕੀਤੇ ਗਏ ਪ੍ਰਭਾਵੀ ਗਣਨਾਵਾਂ ਦੇ ਰੂਪ ਵਿੱਚ, ਸਾਨੂੰ ਇੱਕ ਮਾਡਲ ਮਿਲਿਆ ਜਿਸਨੂੰ ਅਸੀਂ ਸੋਚਦੇ ਹਾਂ ਕਿ ਜੀਪੀਟੀ-4 ਨਾਲੋਂ 10 ਗੁਣਾ ਜ਼ਿਆਦਾ ਸਮਝਦਾਰ ਹੈ।

ਅਮੀਨ ਟੂਟੂਨਚੀਅਨ: ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਰੂਪ ਵਿੱਚ, ਜੀਪੀਟੀ-4.5 ਪ੍ਰੋਜੈਕਟ ‘ਤੇ ਬਿਤਾਇਆ ਗਿਆ ਸਮਾਂ ਉਸ ਨਾਲੋਂ ਬਹੁਤ ਦੂਰ ਹੈ ਜੋ ਅਸੀਂ ਸ਼ੁਰੂ ਵਿੱਚ ਉਮੀਦ ਕੀਤੀ ਸੀ।

ਸੈਮ ਓਲਟਮੈਨ: ਜਦੋਂ ਕਲੱਸਟਰ 10,000 ਕਾਰਡਾਂ ਤੋਂ 100,000 ਕਾਰਡਾਂ ਤੱਕ ਫੈਲਿਆ ਤਾਂ ਤੁਹਾਨੂੰ ਇੰਨੀਆਂ ਸਮੱਸਿਆਵਾਂ ਕਿਉਂ ਆਈਆਂ?

ਅਮੀਨ ਟੂਟੂਨਚੀਅਨ: ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਜੇ ਸਿਸਟਮ ਡਿਵੈਲਪਰ ਕਾਫ਼ੀ ਸੰਵੇਦਨਸ਼ੀਲ ਹਨ, ਤਾਂ ਜ਼ਿਆਦਾਤਰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਛੋਟੇ ਪੱਧਰ ‘ਤੇ ਦੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਕੁਝ ਸਮੱਸਿਆਵਾਂ ਵੱਡੇ ਪੱਧਰ ‘ਤੇ ਟ੍ਰੇਨਿੰਗ ਦੇ ਪੜਾਅ ਲਈ ਵਿਲੱਖਣ ਨਹੀਂ ਹਨ, ਪਰ ਪਹਿਲਾਂ ਅਕਸਰ ਵਾਪਰੀਆਂ ਹਨ, ਪਰ ਸਕੇਲ ਵਧਾਏ ਜਾਣ ਤੋਂ ਬਾਅਦ ਭਿਆਨਕ ਸਮੱਸਿਆਵਾਂ ਬਣ ਜਾਣਗੀਆਂ, ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਟੀਮ ਨੇ ਇਹ ਅੰਦਾਜ਼ਾ ਨਹੀਂ ਲਗਾਇਆ ਕਿ ਇਹ ਸਮੱਸਿਆਵਾਂ ਇੰਨੀ ਹੱਦ ਤੱਕ ਵਿਗੜ ਜਾਣਗੀਆਂ।

ਸੈਮ ਓਲਟਮੈਨ: ਕਿਹੜੀਆਂ ਚੀਜ਼ਾਂ ਨੇ ਭਿਆਨਕ ਨਤੀਜੇ ਦਿੱਤੇ ਹਨ?

ਅਮੀਨ ਟੂਟੂਨਚੀਅਨ: ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਚੰਗੀ ਤਰ੍ਹਾਂ ਜਾਣੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਭਾਵੇਂ ਅਸਫਲਤਾ ਦਰ, ਅਸਫਲਤਾ ਦੀ ਕਿਸਮ ਜਾਂ ਅਸਫਲਤਾ ਦੀ ਕੁੱਲ ਮਾਤਰਾ ਬਹੁਤ ਜ਼ਿਆਦਾ ਹੈ। 100,000-ਕਾਰਡ ਕਲੱਸਟਰ ਇੱਕ ਵੱਡੇ ਪੱਧਰ ‘ਤੇ ਨਮੂਨਾ ਪੂਲ ਹੈ, ਇਸਲਈ ਅਸੀਂ ਉਹ ਸਮੱਸਿਆਵਾਂ ਵੀ ਲੱਭੀਆਂ ਜੋ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਸਪਲਾਇਰ ਨੇ ਨਹੀਂ ਦੇਖੀਆਂ ਸਨ।

ਨੈੱਟਵਰਕ ਉਹਨਾਂ ਵਿੱਚੋਂ ਇੱਕ ਹੈ, ਅਤੇ ਵਿਅਕਤੀਗਤ ਐਕਸਲੇਟਰਾਂ ਵਿੱਚ ਵੀ ਸਮੱਸਿਆਵਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ। ਪਰ ਇਹ ਇਸ ਸਿਸਟਮ ਦੀ ਸੁੰਦਰਤਾ ਵੀ ਹੈ - ਲਗਭਗ ਸਾਰੇ ਹਿੱਸਿਆਂ ਨੂੰ ਉਮੀਦ ਅਨੁਸਾਰ ਕੰਮ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਤਾਂ ਜੋ ਉਮੀਦ ਕੀਤੇ ਨਤੀਜੇ ਮਿਲ ਸਕਣ। ਸਾਡਾ ਕੰਮ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਘੱਟ ਕਰਨਾ ਹੈ।

ਸੈਮ ਓਲਟਮੈਨ: ਕਲੱਸਟਰ ਆਕਾਰ ਦੀ ਸੀਮਾ ‘ਤੇ ਕੰਮ ਕਰਨਾ ਬਹੁਤ ਮੁਸ਼ਕਲ ਹੈ, ਪਰ ਮੈਂ ਇਹ ਵੀ ਦੇਖਿਆ ਹੈ ਕਿ ਉਹ ਕੰਮ ਕਰਨਾ ਬਹੁਤ ਸੌਖਾ ਹੋ ਗਿਆ ਹੈ ਜੋ ਹੁਣ ਤਕਨਾਲੋਜੀ ਵਿੱਚ ਸਭ ਤੋਂ ਅੱਗੇ ਨਹੀਂ ਹਨ। ਜੀਪੀਟੀ-4.5 ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਸੈਂਕੜੇ ਲੋਕਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਓਪਨਏਆਈ ਵਿੱਚ ਲਗਭਗ ਹਰ ਕੋਈ ਸ਼ਾਮਲ ਹੈ।

ਪਰ ਅੱਜ, ਜੇਕਰ ਤੁਸੀਂ ਓਪਨਏਆਈ ਤੋਂ ਸਭ ਤੋਂ ਛੋਟੀ ਟੀਮ ਦੀ ਚੋਣ ਕਰਦੇ ਹੋ ਅਤੇ ਜੀਪੀਟੀ-4 ਨੂੰ ਸਕ੍ਰੈਚ ਤੋਂ ਦੁਬਾਰਾ ਸਿਖਲਾਈ ਦਿੰਦੇ ਹੋ, ਜਿਸ ਵਿੱਚ ਉਹ ਸਾਰੇ ਗਿਆਨ ਅਤੇ ਸਿਸਟਮ ਕੰਮ ਸ਼ਾਮਲ ਹਨ ਜੋ ਅਸੀਂ ਜਾਣਦੇ ਹਾਂ, ਤਾਂ ਇਸ ਵਿੱਚ ਕਿੰਨੇ ਲੋਕ ਲੱਗਣਗੇ?

ਐਲੇਕਸ ਪੈਨੋ: ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਹੁਣ ਇੱਕ ਜੀਪੀਟੀ-4-ਪੱਧਰ ਦਾ ਮਾਡਲ ਬਣਾਉਣ ਵਿੱਚ ਲਗਭਗ 5 ਤੋਂ 10 ਲੋਕ ਲੱਗ ਸਕਦੇ ਹਨ। ਜੀਪੀਟੀ-4.5 ਨੂੰ ਪੂਰਾ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਟੈਕਨਾਲੋਜੀ ਸਟੈਕ ਵਿੱਚ ਬਹੁਤ ਸੁਧਾਰ ਕੀਤਾ ਗਿਆ ਹੈ।

ਵਾਸਤਵ ਵਿੱਚ, ਅਸੀਂ ਜੀਪੀਟੀ-4.5 ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਅਜਿਹੀਆਂ ਚੀਜ਼ਾਂ ਕੀਤੀਆਂ ਹਨ - ਅਸੀਂ ਜੀਪੀਟੀ-4ਓ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ, ਜੋ ਕਿ ਇੱਕ ਜੀਪੀਟੀ-4-ਪੱਧਰ ਦਾ ਮਾਡਲ ਹੈ, ਅਤੇ ਜੀਪੀਟੀ-4.5 ਖੋਜ ਪ੍ਰੋਜੈਕਟ ਤੋਂ ਬਹੁਤ ਸਾਰੀ ਸਮੱਗਰੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸਨੂੰ ਦੁਬਾਰਾ ਸਿਖਲਾਈ ਦਿੱਤੀ। ਉਸ ਸਿਖਲਾਈ ਲਈ ਘੱਟ ਲੋਕਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ।

ਸੈਮ ਓਲਟਮੈਨ: ਤੁਹਾਡੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਡੈਨ? ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਮੁਸ਼ਕਲ ਕਿਉਂ ਹੈ?

ਡੇਨੀਅਲ ਸੇਲਸਮ: ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਕੋਈ ਵੀ ਨਵੀਂ ਚੀਜ਼ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੈ। ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਇਹ ਜਾਣਨਾ ਕਿ ਕਿਸੇ ਹੋਰ ਨੇ ਕੁਝ ਕੀਤਾ ਹੈ, ਇਸਨੂੰ ਬਹੁਤ ਸੌਖਾ ਬਣਾ ਦਿੰਦਾ ਹੈ, ਕਿਉਂਕਿ ਸਭ ਤੋਂ ਮੁਸ਼ਕਲ ਹਿੱਸਾ ਪਹਿਲਾਂ ਕੁਝ ਕਰਨ ਦਾ ਵਿਸ਼ਵਾਸ ਰੱਖਣਾ ਹੈ। ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਇਹ ਜਾਣਨਾ ਕਿ ਕੋਈ ਚੀਜ਼ ਸੰਭਵ ਹੈ, ਇੱਕ ਸੁਪਰ ਚੀਟ ਕੋਡ ਹੈ ਜੋ ਚੀਜ਼ਾਂ ਨੂੰ ਬਹੁਤ ਸੌਖਾ ਬਣਾਉਂਦਾ ਹੈ।

ਐਲੇਕਸ ਪੈਨੋ: ਅਸੀਂ ਜੀਪੀਟੀ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਰਨ ਨੂੰ ਇਸਦੇ ਪਿਛਲੇ ਆਕਾਰ ਤੋਂ 10 ਗੁਣਾ ਵਧਾ ਰਹੇ ਹਾਂ, ਅਤੇ ਅਸੀਂ ਹਮੇਸ਼ਾ ਕੁਝ ਦਿਲਚਸਪ ਨਵੀਆਂ ਚੀਜ਼ਾਂ ਲੱਭਦੇ ਹਾਂ ਜਿਨ੍ਹਾਂ ਦੀ ਤੁਸੀਂ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਭਵਿੱਖਬਾਣੀ ਨਹੀਂ ਕਰ ਸਕਦੇ ਹੋ।

ਸੈਮ ਓਲਟਮੈਨ: ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਸਕੇਲ ਵਿੱਚ ਅਗਲੇ 10x ਜਾਂ 100x ਵਾਧਾ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਕੀ ਲੋੜੀਂਦਾ ਹੈ?

ਡੇਨੀਅਲ ਸੇਲਸਮ: ਡਾਟਾ ਕੁਸ਼ਲਤਾ। ਟ੍ਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰ (ਭਾਵ ਜੀਪੀਟੀ) ਡਾਟਾ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਿੱਚ ਬਹੁਤ ਕੁਸ਼ਲ ਹੈ। ਇਹ ਜਾਣਕਾਰੀ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸੋਖ ਅਤੇ ਸੰਕੁਚਿਤ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਆਮਕਰਨ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦਾ ਹੈ। ਇਸਦੀ ਸਭ ਤੋਂ ਵੱਡੀ ਵਿਸ਼ੇਸ਼ਤਾ ਇਹ ਹੈ ਕਿ ਇਹ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਨਾਲ ਜਾਣਕਾਰੀ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸੋਖ ਸਕਦਾ ਹੈ।

ਹਾਲਾਂਕਿ, ਡਾਟਾ ਤੋਂ ਪ੍ਰਾਪਤ ਗਿਆਨ ਦੀ ਡੂੰਘਾਈ ਸੀਮਤ ਹੈ। ਜਦੋਂ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੀ ਹੈ ਅਤੇ ਡਾਟਾ ਮੁਕਾਬਲਤਨ ਹੌਲੀ ਵਧਦਾ ਹੈ, ਤਾਂ ਡਾਟਾ ਇਸ ਸਟੈਂਡਰਡ ਮਾਡਲ ਲਈ ਇੱਕ ਰੁਕਾਵਟ ਬਣ ਜਾਂਦਾ ਹੈ। ਇਸਦੇ ਲਈ ਐਲਗੋਰਿਦਮਿਕ ਨਵੀਨਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਤਾਂ ਜੋ ਉਹ ਤਰੀਕਿਆਂ ਦਾ ਵਿਕਾਸ ਕੀਤਾ ਜਾ ਸਕੇ ਜੋ ਵਧੇਰੇ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਮਾਨ ਮਾਤਰਾ ਵਿੱਚ ਡਾਟਾ ਤੋਂ ਵਧੇਰੇ ਗਿਆਨ ਪ੍ਰਾਪਤ ਕਰ ਸਕਣ।

ਸੈਮ ਓਲਟਮੈਨ: ਤੁਹਾਡੇ ਖਿਆਲ ਵਿੱਚ ਸਾਨੂੰ ਵਿਸਥਾਰ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਲਈ ਹੋਰ ਕੀ ਚਾਹੀਦਾ ਹੈ?

ਅਮੀਨ ਟੂਟੂਨਚੀਅਨ: ਮੇਰਾ ਜਵਾਬ ਸਿਸਟਮ ਬਾਰੇ ਹੈ। ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਜੀਪੀਟੀ-4.5 ਲਈ ਲੋੜੀਂਦਾ ਵੱਡਾ ਕੰਮ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਮਾਡਲ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਅਟੱਲ ਨਤੀਜਾ ਹੈ। ਅਸੀਂ ਜੀਪੀਟੀ-4 ਵਾਂਗ ਹੀ ਤਕਨੀਕੀ ਆਰਕੀਟੈਕਚਰ ਨਾਲ ਜੀਪੀਟੀ-4.5 ਨੂੰ ਸਿਖਲਾਈ ਨਹੀਂ ਦੇ ਸਕਦੇ।

ਸਟੇਟ ਪ੍ਰਬੰਧਨ ਦੇ ਰੂਪ ਵਿੱਚ, ਕਿਉਂਕਿ ਲੋੜੀਂਦੇ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤ ਇੱਕ ਸਿੰਗਲ ਕਲੱਸਟਰ ਦੀ ਸਮਰੱਥਾ ਤੋਂ ਵੱਧ ਗਏ ਹਨ, ਇਸਲਈ ਸਾਨੂੰ ਇੱਕ ਮਲਟੀ-ਕਲੱਸਟਰ ਟ੍ਰੇਨਿੰਗ ਆਰਕੀਟੈਕਚਰ ਵੱਲ ਮੁੜਨਾ ਪਏਗਾ। ਇਸ ਟੀਚੇ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਥੋੜ੍ਹੇ ਸਮੇਂ ਵਿੱਚ ਕਈ ਵੱਖ-ਵੱਖ ਵਰਕਫਲੋ ਨੂੰ ਜੋੜਨਾ ਚਾਹੀਦਾ ਹੈ।

ਹਾਲਾਂਕਿ ਇਸਨੇ ਅਸਲ ਵਿੱਚ ਸਟੇਜ ਸਫਲਤਾਵਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਵਿੱਚ ਸਾਡੀ ਮਦਦ ਕੀਤੀ ਹੈ, ਪਰ ਅਗਲੀ ਕ੍ਰਮ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਅਜੇ ਵੀ ਕਈ ਜਾਣੀਆਂ ਪਰ ਅਸਥਾਈ ਤੌਰ ‘ਤੇ ਰੋਕੀਆਂ ਗਈਆਂ ਤਕਨੀਕੀ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਲੋੜ ਹੈ - ਇਹਨਾਂ ਸਮੱਸਿਆਵਾਂ ਤੋਂ ਬਚਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ। ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਦੇ ਤਕਨੀਕੀ ਸਮਝੌਤੇ ਹਨ ਜੋ ਨਿਰੰਤਰ ਰੂਪ ਵਿੱਚ ਸੰਪੂਰਨ ਸਿਸਟਮ ਦੇ ਆਰ ਐਂਡ ਡੀ ਚੱਕਰ ਨੂੰ ਵਧਾਉਂਦੇ ਹਨ, ਅਤੇ ਅਸੀਂ ਹਮੇਸ਼ਾ ਅਨੁਕੂਲ ਲਾਗੂਕਰਨ ਯੋਜਨਾ ਨੂੰ ਅੱਗੇ ਵਧਾਉਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਰਣਨੀਤਕ ਸਮਝੌਤੇ ਕਰ ਰਹੇ ਹਾਂ।

ਇਹ ਸਪੱਸ਼ਟ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਸਿਸਟਮ ਆਪਣੇ ਆਪ ਵਿੱਚ ਅੰਤਮ ਟੀਚਾ ਨਹੀਂ ਹੈ, ਅਤੇ ਇਸਦਾ ਅਸਲ ਆਉਟਪੁੱਟ ਮੁੱਲ ਮੁੱਖ ਵਿਚਾਰ ਹੈ। ਅਗਲੇ 10x ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰ ਲਈ, ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਗਲਤੀ ਸਹਿਣਸ਼ੀਲਤਾ ਵਿੱਚ ਸਫਲਤਾ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਸਾਨੂੰ ਇੱਕ ਗਲਤੀ-ਸਹਿਣਸ਼ੀਲ ਵਿਧੀ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ ਜੋ ਸੰਚਾਲਨ ਅਤੇ ਰੱਖ-ਰਖਾਅ ਦੀ ਚਿੰਤਾ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ‘ਤੇ ਘਟਾਉਣ ਲਈ ਵਰਕਲੋਡ ਨਾਲ ਡੂੰਘਾਈ ਨਾਲ ਤਾਲਮੇਲ ਬਣਾਏ। ਮੌਜੂਦਾ ਅਲਟਰਾ-ਵੱਡੇ ਪੱਧਰ ਦੇ ਸਿਸਟਮਾਂ ਦੀ ਸੰਚਾਲਨ ਅਤੇ ਰੱਖ-ਰਖਾਅ ਦੀ ਗੁੰਝਲਤਾ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਪਿਛਲੇ ਸਿਸਟਮਾਂ ਤੋਂ ਵੱਖਰੀ ਹੈ।

ਸੈਮ ਓਲਟਮੈਨ: ਕੀ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਜੀਪੀਟੀ-4.5 ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਕੁਝ ਹਿੱਸਿਆਂ ਕਾਰਨ ਕਿੰਨੇ ਪ੍ਰਤੀਸ਼ਤ ਅਸਫਲਤਾਵਾਂ ਹੋਈਆਂ?

ਅਮੀਨ ਟੂਟੂਨਚੀਅਨ: ਮੇਰੇ ਕੋਲ ਸਾਂਝਾ ਕਰਨ ਲਈ ਕੋਈ ਖਾਸ ਸੰਖਿਆ ਨਹੀਂ ਹੈ, ਪਰ ਆਮ ਤੌਰ ‘ਤੇ, ਨਵੀਂ ਪੀੜ੍ਹੀ ਦੇ ਹਾਰਡਵੇਅਰ ਨੂੰ ਤਾਇਨਾਤ ਕਰਨ ਦੇ ਸ਼ੁਰੂਆਤੀ ਪੜਾਵਾਂ ਵਿੱਚ, ਸਿਸਟਮ ਸੰਚਾਲਨ ਨੂੰ ਅਕਸਰ ਬਹੁਤ ਸਾਰੀਆਂ ਤਕਨੀਕੀ ਚੁਣੌਤੀਆਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪੈਂਦਾ ਹੈ ਜੋ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਮਝੀਆਂ ਨਹੀਂ ਜਾਂਦੀਆਂ ਹਨ। ਅਸੀਂ ਸਮੱਸਿਆ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਅੱਗੇ ਵਧਾਉਣ ਦੀ ਚੋਣ ਕੀਤੀ, ਜਿਸ ਨਾਲ ਸ਼ੁਰੂਆਤੀ ਅਸਫਲਤਾ ਦਰ ਉੱਚੀ ਹੋ ਗਈ।

ਪਰ ਤਜਰਬੇ ਨੇ ਦਿਖਾਇਆ ਹੈ ਕਿ ਜਿਵੇਂ ਹੀ ਮੂਲ ਕਾਰਨ ਦੀ ਪਛਾਣ ਅਤੇ ਹੱਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅਸਫਲਤਾ ਦਰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ‘ਤੇ ਘੱਟ ਜਾਵੇਗੀ। ਇਹ ਵਰਤਾਰਾ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀ ਸਾਡੀ ਡੂੰਘੀ ਸਮਝ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ - ਕੁਝ ਲੋਕ ਇਸਨੂੰ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਨੂੰ ਸਾਫ਼ ਕਰਨਾ ਜਾਂ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀਆਂ ਬੁਨਿਆਦੀ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਸਮਝਣਾ ਕਹਿੰਦੇ ਹਨ।

ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਸ਼ੁਰੂਆਤੀ ਪੜਾਅ ਲਗਭਗ ਹਮੇਸ਼ਾ ਕਾਫ਼ੀ ਦੁਖਦਾਈ ਹੁੰਦੇ ਹਨ। ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਅੱਗੇ ਵਧਾਉਂਦੇ ਹੋਏ, ਅਸੀਂ ਲਗਾਤਾਰ ਨਵੇਂ ਅਸਫਲਤਾ ਮੋਡਾਂ ਦੀ ਖੋਜ ਅਤੇ ਹੱਲ ਕਰ ਰਹੇ ਹਾਂ, ਪਰ ਅਸਫਲਤਾ ਦਰ ਹੌਲੀ ਹੌਲੀ ਘੱਟ ਜਾਵੇਗੀ ਅਤੇ ਆਮ ਸੰਚਾਲਨ ਦਾ ਸਮਾਂ ਲੰਬਾ ਹੋ ਜਾਵੇਗਾ।

ਇਹ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਤਰਜੀਹੀ ਸਮਝੌਤਿਆਂ ਦਾ ਮਾਮਲਾ ਹੈ: ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਜੀਵਨ ਚੱਕਰ ਦੇ ਸ਼ੁਰੂਆਤੀ ਪੜਾਵਾਂ ਵਿੱਚ, ਇਸਦੇ ਅਸਫਲ ਹੋਣ ਦੇ ਜੋਖਮ ਦਾ ਸਹੀ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣਾ ਅਕਸਰ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ; ਅਤੇ ਜੇਕਰ ਅਸੀਂ ਅੰਤਮ ਆਦਰਸ਼ ਰਾਜ (ਅਸਲ ਵਿੱਚ ‘ਸਿਟੀ ਅਸਟੇਟ’ ਹੈ, ਆਦਰਸ਼ ਸ਼ਹਿਰ-ਰਾਜ ਡਿਜ਼ਾਈਨ) ਨੂੰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਅੱਗੇ ਵਧਾਉਂਦੇ ਹਾਂ, ਤਾਂ ਇਸ ਨਾਲ ਸਿਸਟਮ ਸ਼ੁਰੂਆਤੀ ਪੜਾਵਾਂ ਵਿੱਚ ਉਪਲਬਧਤਾ ਪ੍ਰਦਰਸ਼ਨ ਬਹੁਤ ਮਾੜਾ ਹੋ ਸਕਦਾ ਹੈ।

ਸੈਮ ਓਲਟਮੈਨ: ਹਾਲਾਂਕਿ ਤਰਕ ਮਾਡਲ ਸਾਡੇ ਭਵਿੱਖੀ ਤਕਨਾਲੋਜੀ ਸਟੈਕ ਦਾ ਇੱਕ ਮੁੱਖ ਹਿੱਸਾ ਹੈ, ਆਓ ਅਸਥਾਈ ਤੌਰ ‘ਤੇ ਰਵਾਇਤੀ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਮਾਡਲ ਦੀ ਵਿਕਾਸ ਸੀਮਾ ‘ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰੀਏ। ਮੰਨ ਲਓ ਕਿ ਸਾਡੇ ਕੋਲ ਅਸੀਮਿਤ ਜੀਪੀਯੂ ਕੰਪਿਊਟਿੰਗ ਸ਼ਕਤੀ, ਅਸੀਮਿਤ ਨੈੱਟਵਰਕ ਬੈਂਡਵਿਡਥ ਅਤੇ ਅਸੀਮਿਤ ਬਿਜਲੀ ਸਪਲਾਈ ਹੈ, ਪਰ ਅਜੇ ਵੀ ਮੌਜੂਦਾ ਤਕਨੀਕੀ ਰੁਕਾਵਟਾਂ ਦੁਆਰਾ ਸੀਮਤ ਹੈ - ਜਿਸ ਵਿੱਚ ਸਿਸਟਮ ਭਰੋਸੇਯੋਗਤਾ ਮੁੱਦੇ, ਗਲਤੀ-ਸਹਿਣਸ਼ੀਲ ਸਿਖਲਾਈ ਦੇ ਤਰੀਕਿਆਂ ਦੀ ਘਾਟ ਅਤੇ ਮੌਜੂਦਾ ਡਾਟਾ ਸੈੱਟਾਂ ਦੀਆਂ ਸੀਮਾਵਾਂ ਸ਼ਾਮਲ ਹਨ।

ਹਰੇਕ ਵੱਡੇ ਜੀਪੀਟੀ ਸੰਸਕਰਣ ਨੰਬਰ ਵਿੱਚ 100 ਗੁਣਾ ਸਕੇਲ ਵਾਧਾ ਪ੍ਰਾਪਤ ਕਰਨ ਦੇ ਸਾਡੇ ਵਿਕਾਸ ਕਾਨੂੰਨ ਦੇ ਅਨੁਸਾਰ, ਮੌਜੂਦਾ ਤਕਨੀਕੀ ਸੀਮਾਵਾਂ ਦੇ ਅਧਾਰ ਤੇ, ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਮਾਡਲ ਦਾ ਵਿਕਾਸ ਕਿਸ ਪੱਧਰ ਤੱਕ ਪਹੁੰਚ ਸਕਦਾ ਹੈ? ਖਾਸ ਤੌਰ ‘ਤੇ ਜੀਪੀਟੀ ਸੀਰੀਜ਼ ਮਾਡਲਾਂ ਲਈ, ਸਾਡੇ ਮੌਜੂਦਾ ਗਿਆਨ ਪ੍ਰਣਾਲੀ ਨਾਲ, ਅਸੀਂ ਸਿਧਾਂਤਕ ਤੌਰ ‘ਤੇ ਕਿਸ ਤਰ੍ਹਾਂ ਦੇ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇ ਸਕਦੇ ਹਾਂ? ਕੀ ਜੀਪੀਟੀ-5.5 ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ?

ਐਲੇਕਸ ਪੈਨੋ: ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਅਤੇ ਐਲਗੋਰਿਦਮ ਵਿਕਾਸ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਅਸੀਂ ਅਜੇ ਤੱਕ ਇੱਕ ਸਪੱਸ਼ਟ ਸਿਧਾਂਤਕ ਉਪਰਲੀ ਸੀਮਾ ਤੱਕ ਨਹੀਂ ਪਹੁੰਚੇ ਹਾਂ। ਵਾਸਤਵ ਵਿੱਚ, ਅਸੀਂ ਹੁਣੇ ਹੀ ਡਾਟਾ ਦੀ ਉੱਚ ਕੁਸ਼ਲਤਾ ਵਾਲੇ ਐਲਗੋਰਿਦਮਾਂ ਦੀ ਖੋਜ ਕਰਨੀ ਸ਼ੁਰੂ ਕੀਤੀ ਹੈ ਅਤੇ ਮੌਜੂਦਾ ਡਾਟਾ ਸਰੋਤਾਂ ਦੀ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰਨੀ ਹੈ। ਇਹ ਸਥਿਤੀ ਬਹੁਤ ਦਿਲਚਸਪ ਹੈ - ਇੱਥੋਂ ਤੱਕ ਕਿ ਜੀਪੀਟੀ-4 ਵਰਗੇ ਮਾਡਲ ਵੀ ਵੱਡੇ ਪੱਧਰ ‘ਤੇ ਸੀਮਤ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਦੀਆਂ ਰੁਕਾਵਟਾਂ ਅਧੀਨ ਵਿਕਸਤ ਕੀਤੇ ਗਏ ਹਨ, ਜੋ ਜ਼ਿਆਦਾਤਰ ਪਿਛਲੀਆਂ ਖੋਜਾਂ ਦੀ ਦਿਸ਼ਾ ਨੂੰ ਵੀ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹਨ।

ਪਰ ਹੁਣ ਸਥਿਤੀ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵੱਖਰੀ ਹੈ। ਜੀਪੀਟੀ-4.5 ਤੋਂ ਬਾਅਦ, ਕੁਝ ਮੁੱਖ ਮਾਪਾਂ ਵਿੱਚ, ਡਾਟਾ ਕੰਪਿਊਟਿੰਗ ਦੀ ਬਜਾਏ ਮੁੱਖ ਰੁਕਾਵਟ ਬਣ ਰਿਹਾ ਹੈ। ਇਹ ਤਬਦੀਲੀ ਸਬੰਧਤ ਖੋਜ ਨੂੰ ਘੱਟ ਦਿਲਚਸਪ ਬਣਾਉਂਦੀ ਹੈ।

ਸੈਮ ਓਲਟਮੈਨ: ਪਰ ਇਹ ਅਸਲ ਵਿੱਚ ਇੱਕ ਸ਼ਾਨਦਾਰ ਤਰੱਕੀ ਹੈ, ਅਤੇ ਦੁਨੀਆ ਨੂੰ ਸ਼ਾਇਦ ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਹਿਸਾਸ ਨਾ ਹੋਵੇ ਕਿ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤ ਹੁਣ ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਵਿੱਚ ਮੁੱਖ ਰੁਕਾਵਟ ਨਹੀਂ ਹਨ ਜੋ ਅਸੀਂ ਬਣਾ ਸਕਦੇ ਹਾਂ। ਇਹ ਤਬਦੀਲੀ ਡੂੰਘੀ ਹੈ, ਆਖ਼ਰਕਾਰ, ਅਸੀਂ ਬਹੁਤ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਕੰਪਿਊਟਿੰਗ-ਸੀਮਤ ਵਾਤਾਵਰਣ ਵਿੱਚ ਰਹੇ ਹਾਂ।

ਸੈਮ ਓਲਟਮੈਨ: ਜੀਪੀਟੀ-4.5 ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਅਸੀਂ ਸਭ ਤੋਂ ਦਿਲਚਸਪ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਅਨੁਭਵ ਕੀ ਸਿੱਖਿਆ ਹੈ? ਸਿਰਫ਼ ਉਸ ਬਾਰੇ ਗੱਲ ਕਰੋ ਜੋ ਤੁਸੀਂ ਸਾਂਝਾ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ।

ਅਮੀਨ ਟੂਟੂਨਚੀਅਨ: ਆਮ ਤੌਰ ‘ਤੇ, ਸਭ ਤੋਂ ਵੱਧ ਸੋਚਣ ਵਾਲੀਆਂ ਉਹ ਸਥਿਤੀਆਂ ਹੁੰਦੀਆਂ ਹਨ ਜੋ ਸਾਡੀਆਂ ਭਵਿੱਖਬਾਣੀਆਂ ਤੋਂ ਭਟਕ ਜਾਂਦੀਆਂ ਹਨ - ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਅਸੀਂ ਇਹ ਸਮਝਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ ਕਿ ਅਸਲ ਪ੍ਰਦਰਸ਼ਨ ਉਮੀਦ ਕੀਤੀ ਵਕਰ ਤੋਂ ਕਿਉਂ ਭਟਕ ਜਾਂਦਾ ਹੈ।

ਐਲੇਕਸ ਪੈਨੋ: ਸਾਡੀਆਂ ਸਭ ਤੋਂ ਹੈਰਾਨੀਜਨਕ ਖੋਜਾਂ ਵਿੱਚੋਂ ਇੱਕ ਇਹ ਹੈ ਕਿ ਵੱਖ-ਵੱਖ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਹਿੱਸਿਆਂ ਦੀ ਸਕੇਲੇਬਿਲਟੀ ਪ੍ਰਦਰਸ਼ਨ ਬਹੁਤ ਵੱਖਰਾ ਹੁੰਦਾ ਹੈ। ਕੁਝ ਹਿੱਸਿਆਂ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਕੇਲ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਦੂਜਿਆਂ ਨੂੰ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਉਹ ਹੈ ਜੋ ਅਸੀਂ ਅਸਲ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਅਸਲ ਵਿੱਚ ਮਹਿਸੂਸ ਕੀਤਾ ਹੈ। ਇਸ ਅਨੁਭਵ ਨੇ ਸਾਨੂੰ ਬਹੁਤ ਪ੍ਰੇਰਨਾ ਦਿੱਤੀ।

ਡੇਨੀਅਲ ਸੇਲਸਮ: ਮੈਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਜੀਪੀਟੀ ਪੈਰਾਡਾਈਮ ਦੀਆਂ ਦੋ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਹਨ: ਪਹਿਲੀ, ਟੈਸਟ ਲੌਸ (ਅਣਦੇਖੇ ਟੈਸਟ ਡਾਟਾ ‘ਤੇ ਮਾਡਲ ਕਿੰਨਾ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ, ਇਸਨੂੰ ਮਾਪਣ ਲਈ ਇੱਕ ਮੈਟ੍ਰਿਕ) ਦੀ ਸਹੀ ਭਵਿੱਖਬਾਣੀ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ; ਦੂਜਾ, ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਸਕੇਲ ਦੇ ਵਿਸਥਾਰ ਦੇ ਨਾਲ ਇੱਕ ਅਨੁਮਾਨਿਤ ਸੁਧਾਰ ਦਰਸਾਉਂਦਾ ਹੈ। ਹੋਰ ਜਾਦੂਈ ਢੰਗ ਨਾਲ,ਟੈਸਟ ਲੌਸ ਵਿੱਚ ਕਮੀ ਬੁੱਧੀ ਦੇ ਇੱਕ ਸਾਰੇ ਪਾਸਿਆਂ ਤੋਂ ਵਧੇ ਹੋਏ ਪੱਧਰ ਵਿੱਚ ਬਦਲ ਜਾਵੇਗੀ ਜੋ ਵੱਖ-ਵੱਖ ਤਰੀਕਿਆਂ ਨਾਲ ਮਾਪਣਾ ਮੁਸ਼ਕਲ ਹੈ ਪਰ ਹੈਰਾਨੀਜਨਕ ਹੈ।

ਸੈਮ ਓਲਟਮੈਨ: ਕੀ ਤੁਸੀਂ ਇਸ ਬਾਰੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਆਸ਼ਾਵਾਦੀ ਹੋ? ਕੀ ਤੁਸੀਂ ਇਸ ਵਿਚਾਰ ਨਾਲ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਹਿਮਤ ਹੋ?

ਡੇਨੀਅਲ ਸੇਲਸਮ: ਅਸਲ ਵਿੱਚ, ਮੈਂ ਜੋ ਕਹਿਣਾ ਚਾਹੁੰਦਾ ਹਾਂ ਉਹ ਇਹ ਹੈ ਕਿ ਅਸੀਂ ਜੀਪੀਟੀ-4.5 ਟੈਸਟ ਵਿੱਚ ਖਾਸ ਤੌਰ ‘ਤੇ ਦਿਲਚਸਪ ਵਰਤਾਰੇ ਲੱਭੇ - ਦੁਬਾਰਾ ਟੈਸਟ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਮਾਡਲ ਨੇ ਬਹੁਤ ਸਾਰੀਆਂ ਸੂਖਮ ਯੋਗਤਾਵਾਂ ਦਿਖਾਈਆਂ ਜੋ ਹਰ ਕਿਸੇ ਦੀਆਂ ਉਮੀਦਾਂ ਤੋਂ ਬਿਲਕੁਲ ਵੱਧ ਗਈਆਂ।

ਸਾਨੂੰ ਯਕੀਨ ਹੈ ਕਿ ਇਹ ਵੱਖ-ਵੱਖ ਤਰੀਕਿਆਂ ਨਾਲ ਸਮਝਦਾਰ ਹੋ ਜਾਵੇਗਾ ਜਿਨ੍ਹਾਂ ਨੂੰ ਪਹਿਲਾਂ ਤੋਂ ਪਰਿਭਾਸ਼ਿਤ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ, ਅਤੇ ਅਸਲ ਤਾਇਨਾਤੀ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਉਪਭੋਗਤਾ ਸੰਤੁਸ਼ਟੀ ਤੋਂ ਸੁਧਾਰ ਦੇ ਇਹਨਾਂ ਸੂਖਮ ਪੱਧਰਾਂ ਨੂੰ ਦੇਖ ਸਕਦੇ ਹਾਂ: ਮਜ਼ਬੂਤ ਸਧਾਰਨ ਗਿਆ