ਬਾਈਟਡਾਂਸ ਦਾ ਡੌਬਾਓ ਚੀਨ ਦੇ AI ਚੈਟਬੋਟ ਬਾਜ਼ਾਰ ਵਿੱਚ ਇੱਕ ਪ੍ਰਮੁੱਖ ਖਿਡਾਰੀ ਵਜੋਂ ਉੱਭਰਿਆ ਹੈ, ਜਿਸ ਨੇ ਅਲੀਬਾਬਾ ਅਤੇ ਬਾਇਡੂ ਵਰਗੇ ਸਥਾਪਿਤ ਖਿਡਾਰੀਆਂ ਨੂੰ ਪਛਾੜ ਦਿੱਤਾ ਹੈ। ਇਹ ਤਬਦੀਲੀ ਚੀਨੀ ਤਕਨੀਕੀ ਬਾਜ਼ਾਰ ਦੀ ਗਤੀਸ਼ੀਲਤਾ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ, ਜਿੱਥੇ ਤੇਜ਼ੀ ਨਾਲ ਨਵੀਨਤਾ ਅਤੇ ਉਪਭੋਗਤਾ-ਕੇਂਦ੍ਰਿਤ ਪਹੁੰਚ ਸਫਲਤਾ ਦੀ ਕੁੰਜੀ ਹਨ।
ਮੂਨਸ਼ਾਟ ਏਆਈ ਦੁਆਰਾ ਕਿਮੀ k1.5 ਮਲਟੀਮੋਡਲ ਮਾਡਲ ਦੀ ਘੋਸ਼ਣਾ ਕੀਤੀ ਗਈ ਹੈ, ਜੋ ਕਿ ਓਪਨਏਆਈ ਦੇ ਪੂਰੇ ਸੰਸਕਰਣ o1 ਦੇ ਮੁਕਾਬਲੇ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਗਣਿਤ, ਕੋਡਿੰਗ ਅਤੇ ਮਲਟੀਮੋਡਲ ਤਰਕ ਸਮੇਤ ਕਈ ਖੇਤਰਾਂ ਵਿੱਚ ਆਪਣੀ ਸਮਰੱਥਾ ਲਈ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ। ਕਿਮੀ-k1.5-ਸ਼ਾਰਟ ਵੇਰੀਐਂਟ GPT-4o ਅਤੇ ਕਲਾਉਡ 3.5 ਸੋਨੇਟ ਨੂੰ 550% ਨਾਲੋਂ ਵੱਧ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ। ਮੂਨਸ਼ਾਟ ਏਆਈ ਨੇ ਆਪਣੀ ਤਕਨੀਕੀ ਰਿਪੋਰਟ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਕੇ ਪਾਰਦਰਸ਼ਤਾ ਅਤੇ ਸਹਿਯੋਗੀ ਭਾਵਨਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ ਹੈ।
ਇਹ ਲੇਖ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਸਮੱਗਰੀ (AIGC) ਦੇ ਖੇਤਰ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਤਰੱਕੀ ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ: OpenAI ਦੁਆਰਾ ਇੱਕ ਰੀਅਲ-ਟਾਈਮ AI ਏਜੰਟ ਦੀ ਰਿਲੀਜ਼ ਜੋ ਸਿਰਫ 20 ਮਿੰਟਾਂ ਵਿੱਚ ਵਿਕਸਤ ਕਰਨ ਦੇ ਸਮਰੱਥ ਹੈ। ਇਹ ਸਫਲਤਾ AI-ਸੰਚਾਲਿਤ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਖੇਤਰ ਵਿੱਚ ਉੱਚ-ਕੁਸ਼ਲਤਾ ਵਿਕਾਸ ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ।
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਦੀ ਵੱਧਦੀ ਵਰਤੋਂ ਅਤੇ ਅਨੁਮਾਨ ਵਿੱਚ ਨਵੇਂ ਪੈਰਾਡਾਈਮਾਂ ਦੇ ਉਭਾਰ ਨੇ ਕੁਸ਼ਲ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਅਨੁਮਾਨ ਦੀ ਚੁਣੌਤੀ ਨੂੰ ਸਾਹਮਣੇ ਲਿਆਂਦਾ ਹੈ। ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਰੁਕਾਵਟ ਰਵਾਇਤੀ ਧਿਆਨ ਵਿਧੀ ਦੇ ਅੰਦਰ ਕੀ-ਵੈਲਯੂ (KV) ਕੈਸ਼ ਹੈ, ਜੋ ਕਿ ਬੈਚ ਦੇ ਆਕਾਰ ਅਤੇ ਕ੍ਰਮ ਦੀ ਲੰਬਾਈ ਦੇ ਨਾਲ ਲੀਨੀਅਰ ਰੂਪ ਵਿੱਚ ਫੈਲਦੀ ਹੈ, ਇੱਕ 'ਮੈਮੋਰੀ ਹੋਗ' ਬਣ ਜਾਂਦੀ ਹੈ ਜੋ LLMs ਦੇ ਸਕੇਲਿੰਗ ਅਤੇ ਵਿਸਥਾਰ ਵਿੱਚ ਰੁਕਾਵਟ ਪਾਉਂਦੀ ਹੈ। ਮਲਟੀ-ਮੈਟ੍ਰਿਕਸ ਫੈਕਟੋਰਾਈਜ਼ੇਸ਼ਨ ਅਟੈਂਸ਼ਨ (MFA) ਅਤੇ ਇਸਦਾ ਰੂਪ MFA-Key-Reuse (MFA-KR) ਇੱਕ ਨਵੀਂ ਧਿਆਨ ਵਿਧੀ ਆਰਕੀਟੈਕਚਰ ਹੈ ਜੋ ਭਾਸ਼ਾ ਮਾਡਲ ਅਨੁਮਾਨ ਦੀ ਲਾਗਤ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾਉਂਦਾ ਹੈ ਜਦੋਂ ਕਿ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ। MFA ਅਤੇ MFA-KR ਨਾ ਸਿਰਫ਼ MLA ਨੂੰ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਪਛਾੜਦੇ ਹਨ, ਸਗੋਂ ਰਵਾਇਤੀ MHA ਪ੍ਰਦਰਸ਼ਨ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ ਜਦੋਂ ਕਿ KV ਕੈਸ਼ ਦੀ ਵਰਤੋਂ ਨੂੰ 93.7% ਤੱਕ ਘਟਾਉਂਦੇ ਹਨ।
ਇਵੋਲੂਸ਼ਨਰੀਸਕੇਲ ਦਾ ESM3 ਇੱਕ ਸ਼ਾਨਦਾਰ ਜੈਵਿਕ ਮਾਡਲ ਹੈ, ਜਿਸ ਵਿੱਚ 98 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਹਨ, ਜੋ ਪ੍ਰੋਟੀਨ ਨੂੰ ਸਮਝਣ ਅਤੇ ਹੇਰਾਫੇਰੀ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ। ਇਹ 3D ਢਾਂਚੇ ਨੂੰ ਅੱਖਰਾਂ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਨਵੇਂ ਪ੍ਰੋਟੀਨ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ। ESM3 API ਹੁਣ ਮੁਫਤ ਉਪਲਬਧ ਹੈ, ਅਤੇ ਯਾਨ ਲੇਕੁਨ ਦੁਆਰਾ ਇਸਦੀ ਪ੍ਰਸ਼ੰਸਾ ਕੀਤੀ ਗਈ ਹੈ। ਇਹ ਮਾਡਲ 5 ਟ੍ਰਿਲੀਅਨ ਸਾਲ ਦੇ ਵਿਕਾਸ ਦੀ ਨਕਲ ਕਰ ਸਕਦਾ ਹੈ।
ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਮੈਟਰਜੇਨ ਨਾਮਕ ਇੱਕ ਨਵਾਂ ਏਆਈ ਮਾਡਲ ਪੇਸ਼ ਕੀਤਾ ਹੈ, ਜੋ ਕਿ ਅਕਾਰਬਨਿਕ ਸਮੱਗਰੀਆਂ ਨੂੰ ਬਣਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਮਾਡਲ ਬੈਟਰੀਆਂ ਅਤੇ ਹੋਰ ਤਕਨਾਲੋਜੀਆਂ ਵਿੱਚ ਕ੍ਰਾਂਤੀ ਲਿਆਉਣ ਦੀ ਸਮਰੱਥਾ ਰੱਖਦਾ ਹੈ।
