ਇੱਕ ਤਾਜ਼ਾ ਅਧਿਐਨ ਵਿੱਚ ਖੁਲਾਸਾ ਹੋਇਆ ਹੈ ਕਿ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਮਾਡਲਾਂ ਨੂੰ ਵਿਸ਼ਵ ਇਤਿਹਾਸ ਨੂੰ ਸਮਝਣ ਵਿੱਚ ਕਾਫ਼ੀ ਕਮਜ਼ੋਰੀ ਹੈ। ਇਹ ਮਾਡਲ ਇਤਿਹਾਸਕ ਸਵਾਲਾਂ ਦੇ ਸਿਰਫ਼ 46% ਸਹੀ ਜਵਾਬ ਦਿੰਦੇ ਹਨ, ਜੋ ਕਿ ਉਹਨਾਂ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਬਾਰੇ ਚਿੰਤਾਵਾਂ ਪੈਦਾ ਕਰਦਾ ਹੈ।
ਬਾਈਟਡਾਂਸ ਦਾ ਡੌਬਾਓ ਚੀਨ ਦੇ AI ਚੈਟਬੋਟ ਬਾਜ਼ਾਰ ਵਿੱਚ ਇੱਕ ਪ੍ਰਮੁੱਖ ਖਿਡਾਰੀ ਵਜੋਂ ਉੱਭਰਿਆ ਹੈ, ਜਿਸ ਨੇ ਅਲੀਬਾਬਾ ਅਤੇ ਬਾਇਡੂ ਵਰਗੇ ਸਥਾਪਿਤ ਖਿਡਾਰੀਆਂ ਨੂੰ ਪਛਾੜ ਦਿੱਤਾ ਹੈ। ਇਹ ਤਬਦੀਲੀ ਚੀਨੀ ਤਕਨੀਕੀ ਬਾਜ਼ਾਰ ਦੀ ਗਤੀਸ਼ੀਲਤਾ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ, ਜਿੱਥੇ ਤੇਜ਼ੀ ਨਾਲ ਨਵੀਨਤਾ ਅਤੇ ਉਪਭੋਗਤਾ-ਕੇਂਦ੍ਰਿਤ ਪਹੁੰਚ ਸਫਲਤਾ ਦੀ ਕੁੰਜੀ ਹਨ।
ਵੇਵਫਾਰਮਜ਼ ਏਆਈ, ਓਪਨਏਆਈ ਦੇ ਸਾਬਕਾ ਲੀਡ ਦੁਆਰਾ ਸਥਾਪਿਤ, ਇੱਕ ਨਵੀਂ ਆਡੀਓ ਏਆਈ ਸਟਾਰਟਅਪ ਹੈ ਜੋ ਭਾਵਨਾਤਮਕ ਜਨਰਲ ਇੰਟੈਲੀਜੈਂਸ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ। ਇਸਨੇ 40 ਮਿਲੀਅਨ ਡਾਲਰ ਦੀ ਸੀਡ ਫੰਡਿੰਗ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ ਅਤੇ ਆਡੀਓ ਐਲਐਲਐਮਜ਼ ਨੂੰ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦਾ ਟੀਚਾ ਰੱਖਦੀ ਹੈ।
ਮੂਨਸ਼ਾਟ ਏਆਈ ਦੁਆਰਾ ਕਿਮੀ k1.5 ਮਲਟੀਮੋਡਲ ਮਾਡਲ ਦੀ ਘੋਸ਼ਣਾ ਕੀਤੀ ਗਈ ਹੈ, ਜੋ ਕਿ ਓਪਨਏਆਈ ਦੇ ਪੂਰੇ ਸੰਸਕਰਣ o1 ਦੇ ਮੁਕਾਬਲੇ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਗਣਿਤ, ਕੋਡਿੰਗ ਅਤੇ ਮਲਟੀਮੋਡਲ ਤਰਕ ਸਮੇਤ ਕਈ ਖੇਤਰਾਂ ਵਿੱਚ ਆਪਣੀ ਸਮਰੱਥਾ ਲਈ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ। ਕਿਮੀ-k1.5-ਸ਼ਾਰਟ ਵੇਰੀਐਂਟ GPT-4o ਅਤੇ ਕਲਾਉਡ 3.5 ਸੋਨੇਟ ਨੂੰ 550% ਨਾਲੋਂ ਵੱਧ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ। ਮੂਨਸ਼ਾਟ ਏਆਈ ਨੇ ਆਪਣੀ ਤਕਨੀਕੀ ਰਿਪੋਰਟ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਕੇ ਪਾਰਦਰਸ਼ਤਾ ਅਤੇ ਸਹਿਯੋਗੀ ਭਾਵਨਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ ਹੈ।
ਓਪਨਏਆਈ ਇੱਕ ਡਾਕਟਰੇਟ-ਪੱਧਰ ਦੇ ਸੁਪਰ ਏਆਈ ਏਜੰਟ ਨੂੰ ਜਾਰੀ ਕਰਨ ਦੀ ਤਿਆਰੀ ਕਰ ਰਿਹਾ ਹੈ, ਜਿਸ ਨਾਲ ਨੌਕਰੀਆਂ 'ਤੇ ਸੰਭਾਵੀ ਪ੍ਰਭਾਵ ਪੈ ਸਕਦਾ ਹੈ। ਮੈਟਾ ਅਤੇ ਸੇਲਸਫੋਰਸ ਵਰਗੀਆਂ ਕੰਪਨੀਆਂ ਪਹਿਲਾਂ ਹੀ ਏਆਈ ਏਜੰਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੀਆਂ ਹਨ, ਜਿਸ ਨਾਲ ਉਤਪਾਦਕਤਾ ਵਿੱਚ ਵਾਧਾ ਹੋਇਆ ਹੈ ਪਰ ਨੌਕਰੀਆਂ ਵਿੱਚ ਕਟੌਤੀ ਵੀ ਹੋਈ ਹੈ। ਇਹ ਸੁਪਰ ਏਜੰਟ ਗੁੰਝਲਦਾਰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ, ਜੋ ਮਸ਼ੀਨ ਲਰਨਿੰਗ, ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਗੁੰਝਲਦਾਰ ਸਿਸਟਮ ਮਾਡਲਿੰਗ ਨੂੰ ਜੋੜਦੇ ਹਨ।
ਇਹ ਲੇਖ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਸਮੱਗਰੀ (AIGC) ਦੇ ਖੇਤਰ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਤਰੱਕੀ ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ: OpenAI ਦੁਆਰਾ ਇੱਕ ਰੀਅਲ-ਟਾਈਮ AI ਏਜੰਟ ਦੀ ਰਿਲੀਜ਼ ਜੋ ਸਿਰਫ 20 ਮਿੰਟਾਂ ਵਿੱਚ ਵਿਕਸਤ ਕਰਨ ਦੇ ਸਮਰੱਥ ਹੈ। ਇਹ ਸਫਲਤਾ AI-ਸੰਚਾਲਿਤ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਖੇਤਰ ਵਿੱਚ ਉੱਚ-ਕੁਸ਼ਲਤਾ ਵਿਕਾਸ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ।
ਇਹ ਖੋਜ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲਾਂ ਵਿੱਚ ਇਨਫਰੈਂਸ ਸਮੇਂ ਨੂੰ ਵਧਾਉਣਾ ਨਤੀਜੇ ਵਜੋਂ ਪੈਦਾ ਹੋਏ ਨਮੂਨਿਆਂ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਸੁਧਾਰਦਾ ਹੈ। ਇਹ ਫਰੇਮਵਰਕ ਵੱਖ-ਵੱਖ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਅਨੁਕੂਲਿਤ ਕਰਨ ਲਈ ਕੰਪੋਨੈਂਟਸ ਦੇ ਵੱਖ-ਵੱਖ ਸੰਜੋਗਾਂ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਡਿਨੋਇਸਿੰਗ ਸਟੈਪਸ ਨੂੰ ਵਧਾਉਣ ਤੋਂ ਇਲਾਵਾ, ਸੈਂਪਲਿੰਗ ਦੌਰਾਨ ਬਿਹਤਰ ਸ਼ੋਰ ਦੀ ਖੋਜ ਕਰਨਾ NFE ਨੂੰ ਸਕੇਲ ਕਰਨ ਦਾ ਇੱਕ ਹੋਰ ਤਰੀਕਾ ਹੈ। ਖੋਜ ਵਿੱਚ ਦੋ ਮੁੱਖ ਡਿਜ਼ਾਈਨ ਧੁਰੇ ਸ਼ਾਮਲ ਹਨ: ਵੈਰੀਫਾਇਰ, ਜੋ ਕਿ ਖੋਜ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਫੀਡਬੈਕ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ, ਅਤੇ ਐਲਗੋਰਿਦਮ, ਜੋ ਬਿਹਤਰ ਸ਼ੋਰ ਉਮੀਦਵਾਰਾਂ ਨੂੰ ਲੱਭਦੇ ਹਨ।
ਓਪਨਏਆਈ ਦਾ ਓ3-ਮਿੰਨੀ ਮਾਡਲ ਜਲਦੀ ਹੀ ਰਿਲੀਜ਼ ਹੋਣ ਵਾਲਾ ਹੈ ਜੋ ਕਿ ਇੱਕ ਵੱਡੇ ਮਾਡਲ ਦਾ ਛੋਟਾ ਰੂਪ ਹੈ। ਇਹ API ਅਤੇ ਵੈੱਬ ਇੰਟਰਫੇਸ ਦੁਆਰਾ ਉਪਲਬਧ ਹੋਵੇਗਾ। ਇਸਦੇ ਤਿੰਨ ਰੂਪ ਹੋਣਗੇ: ਉੱਚਾ, ਮੱਧਮ ਅਤੇ ਨੀਵਾਂ। ਹਾਲਾਂਕਿ ਇਹ ਓ1-ਪ੍ਰੋ ਤੋਂ ਵਧੀਆ ਨਹੀਂ ਹੋਵੇਗਾ ਪਰ ਇਸਦੀ ਸਪੀਡ ਜਿਆਦਾ ਹੋਵੇਗੀ। ਓ3-ਪ੍ਰੋ 200 ਡਾਲਰ ਪ੍ਰਤੀ ਮਹੀਨਾ ਵਿੱਚ ਉਪਲਬਧ ਹੋਵੇਗਾ। ਏਜੀਆਈ ਲਈ 872 ਮੈਗਾਵਾਟ ਪਾਵਰ ਦੀ ਲੋੜ ਹੈ।
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਦੀ ਵੱਧਦੀ ਵਰਤੋਂ ਅਤੇ ਅਨੁਮਾਨ ਵਿੱਚ ਨਵੇਂ ਪੈਰਾਡਾਈਮਾਂ ਦੇ ਉਭਾਰ ਨੇ ਕੁਸ਼ਲ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਅਨੁਮਾਨ ਦੀ ਚੁਣੌਤੀ ਨੂੰ ਸਾਹਮਣੇ ਲਿਆਂਦਾ ਹੈ। ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਰੁਕਾਵਟ ਰਵਾਇਤੀ ਧਿਆਨ ਵਿਧੀ ਦੇ ਅੰਦਰ ਕੀ-ਵੈਲਯੂ (KV) ਕੈਸ਼ ਹੈ, ਜੋ ਕਿ ਬੈਚ ਦੇ ਆਕਾਰ ਅਤੇ ਕ੍ਰਮ ਦੀ ਲੰਬਾਈ ਦੇ ਨਾਲ ਲੀਨੀਅਰ ਰੂਪ ਵਿੱਚ ਫੈਲਦੀ ਹੈ, ਇੱਕ 'ਮੈਮੋਰੀ ਹੋਗ' ਬਣ ਜਾਂਦੀ ਹੈ ਜੋ LLMs ਦੇ ਸਕੇਲਿੰਗ ਅਤੇ ਵਿਸਥਾਰ ਵਿੱਚ ਰੁਕਾਵਟ ਪਾਉਂਦੀ ਹੈ। ਮਲਟੀ-ਮੈਟ੍ਰਿਕਸ ਫੈਕਟੋਰਾਈਜ਼ੇਸ਼ਨ ਅਟੈਂਸ਼ਨ (MFA) ਅਤੇ ਇਸਦਾ ਰੂਪ MFA-Key-Reuse (MFA-KR) ਇੱਕ ਨਵੀਂ ਧਿਆਨ ਵਿਧੀ ਆਰਕੀਟੈਕਚਰ ਹੈ ਜੋ ਭਾਸ਼ਾ ਮਾਡਲ ਅਨੁਮਾਨ ਦੀ ਲਾਗਤ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾਉਂਦਾ ਹੈ ਜਦੋਂ ਕਿ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ। MFA ਅਤੇ MFA-KR ਨਾ ਸਿਰਫ਼ MLA ਨੂੰ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਪਛਾੜਦੇ ਹਨ, ਸਗੋਂ ਰਵਾਇਤੀ MHA ਪ੍ਰਦਰਸ਼ਨ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ ਜਦੋਂ ਕਿ KV ਕੈਸ਼ ਦੀ ਵਰਤੋਂ ਨੂੰ 93.7% ਤੱਕ ਘਟਾਉਂਦੇ ਹਨ।
ਇਵੋਲੂਸ਼ਨਰੀਸਕੇਲ ਦਾ ESM3 ਇੱਕ ਸ਼ਾਨਦਾਰ ਜੈਵਿਕ ਮਾਡਲ ਹੈ, ਜਿਸ ਵਿੱਚ 98 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਹਨ, ਜੋ ਪ੍ਰੋਟੀਨ ਨੂੰ ਸਮਝਣ ਅਤੇ ਹੇਰਾਫੇਰੀ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ। ਇਹ 3D ਢਾਂਚੇ ਨੂੰ ਅੱਖਰਾਂ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਨਵੇਂ ਪ੍ਰੋਟੀਨ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ। ESM3 API ਹੁਣ ਮੁਫਤ ਉਪਲਬਧ ਹੈ, ਅਤੇ ਯਾਨ ਲੇਕੁਨ ਦੁਆਰਾ ਇਸਦੀ ਪ੍ਰਸ਼ੰਸਾ ਕੀਤੀ ਗਈ ਹੈ। ਇਹ ਮਾਡਲ 5 ਟ੍ਰਿਲੀਅਨ ਸਾਲ ਦੇ ਵਿਕਾਸ ਦੀ ਨਕਲ ਕਰ ਸਕਦਾ ਹੈ।
