ਵੇਵਫਾਰਮਜ਼ ਏਆਈ, ਓਪਨਏਆਈ ਦੇ ਸਾਬਕਾ ਲੀਡ ਦੁਆਰਾ ਸਥਾਪਿਤ, ਇੱਕ ਨਵੀਂ ਆਡੀਓ ਏਆਈ ਸਟਾਰਟਅਪ ਹੈ ਜੋ ਭਾਵਨਾਤਮਕ ਜਨਰਲ ਇੰਟੈਲੀਜੈਂਸ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ। ਇਸਨੇ 40 ਮਿਲੀਅਨ ਡਾਲਰ ਦੀ ਸੀਡ ਫੰਡਿੰਗ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ ਅਤੇ ਆਡੀਓ ਐਲਐਲਐਮਜ਼ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦਾ ਟੀਚਾ ਰੱਖਦੀ ਹੈ।
ਮੂਨਸ਼ਾਟ ਏਆਈ ਦੁਆਰਾ ਕਿਮੀ k1.5 ਮਲਟੀਮੋਡਲ ਮਾਡਲ ਦੀ ਘੋਸ਼ਣਾ ਕੀਤੀ ਗਈ ਹੈ, ਜੋ ਕਿ ਓਪਨਏਆਈ ਦੇ ਪੂਰੇ ਸੰਸਕਰਣ o1 ਦੇ ਮੁਕਾਬਲੇ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਗਣਿਤ, ਕੋਡਿੰਗ ਅਤੇ ਮਲਟੀਮੋਡਲ ਤਰਕ ਸਮੇਤ ਕਈ ਖੇਤਰਾਂ ਵਿੱਚ ਆਪਣੀ ਸਮਰੱਥਾ ਲਈ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ। ਕਿਮੀ-k1.5-ਸ਼ਾਰਟ ਵੇਰੀਐਂਟ GPT-4o ਅਤੇ ਕਲਾਉਡ 3.5 ਸੋਨੇਟ ਨੂੰ 550% ਨਾਲੋਂ ਵੱਧ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ। ਮੂਨਸ਼ਾਟ ਏਆਈ ਨੇ ਆਪਣੀ ਤਕਨੀਕੀ ਰਿਪੋਰਟ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਕੇ ਪਾਰਦਰਸ਼ਤਾ ਅਤੇ ਸਹਿਯੋਗੀ ਭਾਵਨਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ ਹੈ।
ਓਪਨਏਆਈ ਇੱਕ ਡਾਕਟਰੇਟ-ਪੱਧਰ ਦੇ ਸੁਪਰ ਏਆਈ ਏਜੰਟ ਨੂੰ ਜਾਰੀ ਕਰਨ ਦੀ ਤਿਆਰੀ ਕਰ ਰਿਹਾ ਹੈ, ਜਿਸ ਨਾਲ ਨੌਕਰੀਆਂ 'ਤੇ ਸੰਭਾਵੀ ਪ੍ਰਭਾਵ ਪੈ ਸਕਦਾ ਹੈ। ਮੈਟਾ ਅਤੇ ਸੇਲਸਫੋਰਸ ਵਰਗੀਆਂ ਕੰਪਨੀਆਂ ਪਹਿਲਾਂ ਹੀ ਏਆਈ ਏਜੰਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੀਆਂ ਹਨ, ਜਿਸ ਨਾਲ ਉਤਪਾਦਕਤਾ ਵਿੱਚ ਵਾਧਾ ਹੋਇਆ ਹੈ ਪਰ ਨੌਕਰੀਆਂ ਵਿੱਚ ਕਟੌਤੀ ਵੀ ਹੋਈ ਹੈ। ਇਹ ਸੁਪਰ ਏਜੰਟ ਗੁੰਝਲਦਾਰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ, ਜੋ ਮਸ਼ੀਨ ਲਰਨਿੰਗ, ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਗੁੰਝਲਦਾਰ ਸਿਸਟਮ ਮਾਡਲਿੰਗ ਨੂੰ ਜੋੜਦੇ ਹਨ।
ਇਹ ਲੇਖ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਸਮੱਗਰੀ (AIGC) ਦੇ ਖੇਤਰ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਤਰੱਕੀ ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ: OpenAI ਦੁਆਰਾ ਇੱਕ ਰੀਅਲ-ਟਾਈਮ AI ਏਜੰਟ ਦੀ ਰਿਲੀਜ਼ ਜੋ ਸਿਰਫ 20 ਮਿੰਟਾਂ ਵਿੱਚ ਵਿਕਸਤ ਕਰਨ ਦੇ ਸਮਰੱਥ ਹੈ। ਇਹ ਸਫਲਤਾ AI-ਸੰਚਾਲਿਤ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਖੇਤਰ ਵਿੱਚ ਉੱਚ-ਕੁਸ਼ਲਤਾ ਵਿਕਾਸ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ।
ਇਹ ਖੋਜ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲਾਂ ਵਿੱਚ ਇਨਫਰੈਂਸ ਸਮੇਂ ਨੂੰ ਵਧਾਉਣਾ ਨਤੀਜੇ ਵਜੋਂ ਪੈਦਾ ਹੋਏ ਨਮੂਨਿਆਂ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਸੁਧਾਰਦਾ ਹੈ। ਇਹ ਫਰੇਮਵਰਕ ਵੱਖ-ਵੱਖ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਅਨੁਕੂਲਿਤ ਕਰਨ ਲਈ ਕੰਪੋਨੈਂਟਸ ਦੇ ਵੱਖ-ਵੱਖ ਸੰਜੋਗਾਂ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਡਿਨੋਇਸਿੰਗ ਸਟੈਪਸ ਨੂੰ ਵਧਾਉਣ ਤੋਂ ਇਲਾਵਾ, ਸੈਂਪਲਿੰਗ ਦੌਰਾਨ ਬਿਹਤਰ ਸ਼ੋਰ ਦੀ ਖੋਜ ਕਰਨਾ NFE ਨੂੰ ਸਕੇਲ ਕਰਨ ਦਾ ਇੱਕ ਹੋਰ ਤਰੀਕਾ ਹੈ। ਖੋਜ ਵਿੱਚ ਦੋ ਮੁੱਖ ਡਿਜ਼ਾਈਨ ਧੁਰੇ ਸ਼ਾਮਲ ਹਨ: ਵੈਰੀਫਾਇਰ, ਜੋ ਕਿ ਖੋਜ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਫੀਡਬੈਕ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ, ਅਤੇ ਐਲਗੋਰਿਦਮ, ਜੋ ਬਿਹਤਰ ਸ਼ੋਰ ਉਮੀਦਵਾਰਾਂ ਨੂੰ ਲੱਭਦੇ ਹਨ।
ਓਪਨਏਆਈ ਦਾ ਓ3-ਮਿੰਨੀ ਮਾਡਲ ਜਲਦੀ ਹੀ ਰਿਲੀਜ਼ ਹੋਣ ਵਾਲਾ ਹੈ ਜੋ ਕਿ ਇੱਕ ਵੱਡੇ ਮਾਡਲ ਦਾ ਛੋਟਾ ਰੂਪ ਹੈ। ਇਹ API ਅਤੇ ਵੈੱਬ ਇੰਟਰਫੇਸ ਦੁਆਰਾ ਉਪਲਬਧ ਹੋਵੇਗਾ। ਇਸਦੇ ਤਿੰਨ ਰੂਪ ਹੋਣਗੇ: ਉੱਚਾ, ਮੱਧਮ ਅਤੇ ਨੀਵਾਂ। ਹਾਲਾਂਕਿ ਇਹ ਓ1-ਪ੍ਰੋ ਤੋਂ ਵਧੀਆ ਨਹੀਂ ਹੋਵੇਗਾ ਪਰ ਇਸਦੀ ਸਪੀਡ ਜਿਆਦਾ ਹੋਵੇਗੀ। ਓ3-ਪ੍ਰੋ 200 ਡਾਲਰ ਪ੍ਰਤੀ ਮਹੀਨਾ ਵਿੱਚ ਉਪਲਬਧ ਹੋਵੇਗਾ। ਏਜੀਆਈ ਲਈ 872 ਮੈਗਾਵਾਟ ਪਾਵਰ ਦੀ ਲੋੜ ਹੈ।
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਦੀ ਵੱਧਦੀ ਵਰਤੋਂ ਅਤੇ ਅਨੁਮਾਨ ਵਿੱਚ ਨਵੇਂ ਪੈਰਾਡਾਈਮਾਂ ਦੇ ਉਭਾਰ ਨੇ ਕੁਸ਼ਲ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਅਨੁਮਾਨ ਦੀ ਚੁਣੌਤੀ ਨੂੰ ਸਾਹਮਣੇ ਲਿਆਂਦਾ ਹੈ। ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਰੁਕਾਵਟ ਰਵਾਇਤੀ ਧਿਆਨ ਵਿਧੀ ਦੇ ਅੰਦਰ ਕੀ-ਵੈਲਯੂ (KV) ਕੈਸ਼ ਹੈ, ਜੋ ਕਿ ਬੈਚ ਦੇ ਆਕਾਰ ਅਤੇ ਕ੍ਰਮ ਦੀ ਲੰਬਾਈ ਦੇ ਨਾਲ ਲੀਨੀਅਰ ਰੂਪ ਵਿੱਚ ਫੈਲਦੀ ਹੈ, ਇੱਕ 'ਮੈਮੋਰੀ ਹੋਗ' ਬਣ ਜਾਂਦੀ ਹੈ ਜੋ LLMs ਦੇ ਸਕੇਲਿੰਗ ਅਤੇ ਵਿਸਥਾਰ ਵਿੱਚ ਰੁਕਾਵਟ ਪਾਉਂਦੀ ਹੈ। ਮਲਟੀ-ਮੈਟ੍ਰਿਕਸ ਫੈਕਟੋਰਾਈਜ਼ੇਸ਼ਨ ਅਟੈਂਸ਼ਨ (MFA) ਅਤੇ ਇਸਦਾ ਰੂਪ MFA-Key-Reuse (MFA-KR) ਇੱਕ ਨਵੀਂ ਧਿਆਨ ਵਿਧੀ ਆਰਕੀਟੈਕਚਰ ਹੈ ਜੋ ਭਾਸ਼ਾ ਮਾਡਲ ਅਨੁਮਾਨ ਦੀ ਲਾਗਤ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾਉਂਦਾ ਹੈ ਜਦੋਂ ਕਿ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ। MFA ਅਤੇ MFA-KR ਨਾ ਸਿਰਫ਼ MLA ਨੂੰ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਪਛਾੜਦੇ ਹਨ, ਸਗੋਂ ਰਵਾਇਤੀ MHA ਪ੍ਰਦਰਸ਼ਨ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ ਜਦੋਂ ਕਿ KV ਕੈਸ਼ ਦੀ ਵਰਤੋਂ ਨੂੰ 93.7% ਤੱਕ ਘਟਾਉਂਦੇ ਹਨ।
ਇਵੋਲੂਸ਼ਨਰੀਸਕੇਲ ਦਾ ESM3 ਇੱਕ ਸ਼ਾਨਦਾਰ ਜੈਵਿਕ ਮਾਡਲ ਹੈ, ਜਿਸ ਵਿੱਚ 98 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਹਨ, ਜੋ ਪ੍ਰੋਟੀਨ ਨੂੰ ਸਮਝਣ ਅਤੇ ਹੇਰਾਫੇਰੀ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ। ਇਹ 3D ਢਾਂਚੇ ਨੂੰ ਅੱਖਰਾਂ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਨਵੇਂ ਪ੍ਰੋਟੀਨ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ। ESM3 API ਹੁਣ ਮੁਫਤ ਉਪਲਬਧ ਹੈ, ਅਤੇ ਯਾਨ ਲੇਕੁਨ ਦੁਆਰਾ ਇਸਦੀ ਪ੍ਰਸ਼ੰਸਾ ਕੀਤੀ ਗਈ ਹੈ। ਇਹ ਮਾਡਲ 5 ਟ੍ਰਿਲੀਅਨ ਸਾਲ ਦੇ ਵਿਕਾਸ ਦੀ ਨਕਲ ਕਰ ਸਕਦਾ ਹੈ।
ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਮੈਟਰਜੇਨ ਨਾਮਕ ਇੱਕ ਨਵਾਂ ਏਆਈ ਮਾਡਲ ਪੇਸ਼ ਕੀਤਾ ਹੈ, ਜੋ ਕਿ ਅਕਾਰਬਨਿਕ ਸਮੱਗਰੀਆਂ ਨੂੰ ਬਣਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਮਾਡਲ ਬੈਟਰੀਆਂ ਅਤੇ ਹੋਰ ਤਕਨਾਲੋਜੀਆਂ ਵਿੱਚ ਕ੍ਰਾਂਤੀ ਲਿਆਉਣ ਦੀ ਸਮਰੱਥਾ ਰੱਖਦਾ ਹੈ।
ਸਟੈਨਫੋਰਡ ਅਤੇ ਯੂਸੀ ਬਰਕਲੇ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਦੁਆਰਾ ਕੀਤੀ ਗਈ ਇੱਕ ਤਾਜ਼ਾ ਖੋਜ ਵਿੱਚ, GPT-3.5 ਅਤੇ GPT-4 ਮਾਡਲਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਤਿੰਨ ਮਹੀਨਿਆਂ ਦੇ ਅੰਦਰ ਕਾਫ਼ੀ ਉਤਰਾਅ-ਚੜ੍ਹਾਅ ਦੇਖੇ ਗਏ ਹਨ। ਇਹਨਾਂ ਮਾਡਲਾਂ ਦੀ ਜਾਂਚ ਸੱਤ ਕੰਮਾਂ ਵਿੱਚ ਕੀਤੀ ਗਈ, ਜਿਸ ਵਿੱਚ ਗਣਿਤਿਕ ਸਮੱਸਿਆਵਾਂ, ਕੋਡ ਜਨਰੇਸ਼ਨ, ਬਹੁ-ਪੜਾਵੀ ਗਿਆਨ-ਅਧਾਰਿਤ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ, ਯੂਐਸ ਮੈਡੀਕਲ ਲਾਇਸੈਂਸਿੰਗ ਪ੍ਰੀਖਿਆ, ਅਤੇ ਮਲਟੀ-ਹੌਪ ਗਿਆਨ-ਅਧਾਰਿਤ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਸ਼ਾਮਲ ਸਨ।ਖੋਜ ਨੇ ਦਿਖਾਇਆ ਕਿ GPT-4 ਦੀ ਪ੍ਰਾਇਮ ਬਨਾਮ ਸੰਯੁਕਤ ਸੰਖਿਆਵਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਦੀ ਸ਼ੁੱਧਤਾ ਮਾਰਚ ਵਿੱਚ 84% ਤੋਂ ਘਟ ਕੇ ਜੂਨ ਵਿੱਚ 51% ਹੋ ਗਈ। ਇਸ ਦੌਰਾਨ, GPT-3.5 ਨੇ ਇਸ ਕੰਮ ਵਿੱਚ ਸੁਧਾਰ ਦਿਖਾਇਆ। GPT-4 ਜੂਨ ਵਿੱਚ ਸੰਵੇਦਨਸ਼ੀਲ ਸਵਾਲਾਂ ਅਤੇ ਰਾਏ ਸਰਵੇਖਣਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਲਈ ਘੱਟ ਤਿਆਰ ਸੀ। GPT-4 ਨੇ ਬਹੁ-ਪੜਾਵੀ ਤਰਕ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਵਿੱਚ ਸੁਧਾਰ ਕੀਤਾ, ਜਦੋਂ ਕਿ GPT-3.5 ਨੇ ਅਜਿਹੇ ਕੰਮਾਂ ਵਿੱਚ ਗਿਰਾਵਟ ਦਰਸਾਈ। ਦੋਵਾਂ ਮਾਡਲਾਂ ਲਈ ਕੋਡ ਜਨਰੇਸ਼ਨ ਵਿੱਚ ਫਾਰਮੈਟਿੰਗ ਦੀਆਂ ਗਲਤੀਆਂ ਵਿੱਚ ਵਾਧਾ ਹੋਇਆ। GPT-4 ਦੀ ਉਪਭੋਗਤਾ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਦੀ ਯੋਗਤਾ ਵਿੱਚ ਗਿਰਾਵਟ ਆਈ ਹੈ। ਮਾਡਲਾਂ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਚਾਰ ਕਿਸਮਾਂ ਦੇ ਆਮ ਨਿਰਦੇਸ਼ਾਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦ੍ਰਤ ਕੀਤਾ, ਜਿਵੇਂ ਕਿ ਜਵਾਬ ਕੱਢਣਾ, ਮੁਆਫੀ ਮੰਗਣਾ ਬੰਦ ਕਰਨਾ, ਖਾਸ ਸ਼ਬਦਾਂ ਤੋਂ ਬਚਣਾ, ਅਤੇ ਸਮੱਗਰੀ ਫਿਲਟਰਿੰਗ। ਮਾਰਚ ਵਿੱਚ GPT-4 ਨੇ ਜ਼ਿਆਦਾਤਰ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਪਾਲਣਾ ਕੀਤੀ, ਪਰ ਜੂਨ ਤੱਕ ਇਸਨੇ ਉਹਨਾਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ। ਉਦਾਹਰਣ ਵਜੋਂ, ਜਵਾਬ ਕੱਢਣ ਦੇ ਨਿਰਦੇਸ਼ਾਂ ਲਈ ਪਾਲਣਾ ਦਰ 99.5% ਤੋਂ ਘਟ ਕੇ ਲਗਭਗ ਜ਼ੀਰੋ ਹੋ ਗਈ, ਅਤੇ ਸਮੱਗਰੀ ਫਿਲਟਰਿੰਗ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਵਫ਼ਾਦਾਰੀ ਵੀ 74.0% ਤੋਂ ਘਟ ਕੇ 19.0% ਹੋ ਗਈ। ਇਹ ਖੋਜ ChatGPT ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਗਿਰਾਵਟ ਅਤੇ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਵਿੱਚ ਆਉਣ ਵਾਲੀਆਂ ਚੁਣੌਤੀਆਂ ਨੂੰ ਉਜਾਗਰ ਕਰਦੀ ਹੈ।
