ਸੋਪਰਾ ਸਟੇਰੀਆ ਅਤੇ ਮਿਸਟਰਲ ਏਆਈ ਦੀ ਸਾਂਝੇਦਾਰੀ
ਸੋਪਰਾ ਸਟੇਰੀਆ ਅਤੇ ਮਿਸਟਰਲ ਏਆਈ ਨੇ ਯੂਰਪੀਅਨ ਸੰਸਥਾਵਾਂ ਲਈ ਉੱਨਤ, ਸੁਰੱਖਿਅਤ AI ਹੱਲ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਹੱਥ ਮਿਲਾਇਆ ਹੈ, ਜਿਸ ਨਾਲ ਡੇਟਾ ਪ੍ਰਭੂਸੱਤਾ ਅਤੇ ਅਨੁਕੂਲਤਾ 'ਤੇ ਜ਼ੋਰ ਦਿੱਤਾ ਗਿਆ ਹੈ।
Tag: AIGC
ਮੂਓਨ ਅਤੇ ਮੂਨਲਾਈਟ ਵੱਡੇ ਮਾਡਲ ਸਿਖਲਾਈ
ਮੂਨਸ਼ਾਟ ਏਆਈ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਕੁਸ਼ਲ ਸਿਖਲਾਈ ਤਕਨੀਕਾਂ ਨਾਲ ਵੱਡੇ ਪੈਮਾਨੇ ਦੀ ਭਾਸ਼ਾ ਦੇ ਮਾਡਲਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਮੂਓਨ ਅਤੇ ਮੂਨਲਾਈਟ ਪੇਸ਼ ਕੀਤੇ।
ਕਿਮੀ ਓਪਨ ਸੋਰਸ ਮੂਨਲਾਈਟ
ਮੂਨਸ਼ਾਟ ਏਆਈ ਦੇ ਕਿਮੀ ਨੇ ਹਾਲ ਹੀ ਵਿੱਚ ਇੱਕ ਨਵੀਂ ਤਕਨੀਕੀ ਰਿਪੋਰਟ ਜਾਰੀ ਕੀਤੀ ਹੈ, ਜਿਸ ਵਿੱਚ 30 ਅਰਬ ਅਤੇ 160 ਅਰਬ ਪੈਰਾਮੀਟਰਾਂ ਵਾਲਾ ਇੱਕ ਹਾਈਬ੍ਰਿਡ ਮਾਹਰ ਮਾਡਲ 'ਮੂਨਲਾਈਟ' ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਹੈ।
ਬੈਚੁਆਨ-ਐਮ1 ਮੈਡੀਕਲ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਮਿਲੋ
ਬੈਚੁਆਨ-ਐਮ1 ਵੱਡੇ ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ ਦੀ ਇੱਕ ਨਵੀਂ ਲੜੀ ਹੈ ਜੋ 20T ਟੋਕਨਾਂ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ ਡਾਕਟਰੀ ਯੋਗਤਾਵਾਂ ਨੂੰ ਵਧਾਉਣ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ।
AI ਮਾਡਲ ਵਿਸ਼ਵ ਇਤਿਹਾਸ ਦੀ ਸ਼ੁੱਧਤਾ ਨਾਲ ਸੰਘਰਸ਼ ਕਰਦੇ ਹਨ - ਅਧਿਐਨ ਦਰਸਾਉਂਦਾ ਹੈ
ਇੱਕ ਤਾਜ਼ਾ ਅਧਿਐਨ ਵਿੱਚ ਖੁਲਾਸਾ ਹੋਇਆ ਹੈ ਕਿ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਮਾਡਲਾਂ ਨੂੰ ਵਿਸ਼ਵ ਇਤਿਹਾਸ ਨੂੰ ਸਮਝਣ ਵਿੱਚ ਕਾਫ਼ੀ ਕਮਜ਼ੋਰੀ ਹੈ। ਇਹ ਮਾਡਲ ਇਤਿਹਾਸਕ ਸਵਾਲਾਂ ਦੇ ਸਿਰਫ਼ 46% ਸਹੀ ਜਵਾਬ ਦਿੰਦੇ ਹਨ, ਜੋ ਕਿ ਉਹਨਾਂ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਬਾਰੇ ਚਿੰਤਾਵਾਂ ਪੈਦਾ ਕਰਦਾ ਹੈ।
ਡਿਫਿਊਜ਼ਨ ਮਾਡਲ ਇਨਫਰੈਂਸ ਸਕੇਲਿੰਗ ਨਵਾਂ ਪੈਰਾਡਾਈਮ
ਇਹ ਖੋਜ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਡਿਫਿਊਜ਼ਨ ਮਾਡਲਾਂ ਵਿੱਚ ਇਨਫਰੈਂਸ ਸਮੇਂ ਨੂੰ ਵਧਾਉਣਾ ਨਤੀਜੇ ਵਜੋਂ ਪੈਦਾ ਹੋਏ ਨਮੂਨਿਆਂ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਸੁਧਾਰਦਾ ਹੈ। ਇਹ ਫਰੇਮਵਰਕ ਵੱਖ-ਵੱਖ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਅਨੁਕੂਲਿਤ ਕਰਨ ਲਈ ਕੰਪੋਨੈਂਟਸ ਦੇ ਵੱਖ-ਵੱਖ ਸੰਜੋਗਾਂ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। ਡਿਨੋਇਸਿੰਗ ਸਟੈਪਸ ਨੂੰ ਵਧਾਉਣ ਤੋਂ ਇਲਾਵਾ, ਸੈਂਪਲਿੰਗ ਦੌਰਾਨ ਬਿਹਤਰ ਸ਼ੋਰ ਦੀ ਖੋਜ ਕਰਨਾ NFE ਨੂੰ ਸਕੇਲ ਕਰਨ ਦਾ ਇੱਕ ਹੋਰ ਤਰੀਕਾ ਹੈ। ਖੋਜ ਵਿੱਚ ਦੋ ਮੁੱਖ ਡਿਜ਼ਾਈਨ ਧੁਰੇ ਸ਼ਾਮਲ ਹਨ: ਵੈਰੀਫਾਇਰ, ਜੋ ਕਿ ਖੋਜ ਪ੍ਰਕਿਰਿਆ ਦੌਰਾਨ ਫੀਡਬੈਕ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ, ਅਤੇ ਐਲਗੋਰਿਦਮ, ਜੋ ਬਿਹਤਰ ਸ਼ੋਰ ਉਮੀਦਵਾਰਾਂ ਨੂੰ ਲੱਭਦੇ ਹਨ।
ਨਵੀਂ ਅਟੈਂਸ਼ਨ ਮਕੈਨਿਜ਼ਮ KV ਕੈਸ਼ ਘਟਾਈ ਗਈ
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਦੀ ਵੱਧਦੀ ਵਰਤੋਂ ਅਤੇ ਅਨੁਮਾਨ ਵਿੱਚ ਨਵੇਂ ਪੈਰਾਡਾਈਮਾਂ ਦੇ ਉਭਾਰ ਨੇ ਕੁਸ਼ਲ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਅਨੁਮਾਨ ਦੀ ਚੁਣੌਤੀ ਨੂੰ ਸਾਹਮਣੇ ਲਿਆਂਦਾ ਹੈ। ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਰੁਕਾਵਟ ਰਵਾਇਤੀ ਧਿਆਨ ਵਿਧੀ ਦੇ ਅੰਦਰ ਕੀ-ਵੈਲਯੂ (KV) ਕੈਸ਼ ਹੈ, ਜੋ ਕਿ ਬੈਚ ਦੇ ਆਕਾਰ ਅਤੇ ਕ੍ਰਮ ਦੀ ਲੰਬਾਈ ਦੇ ਨਾਲ ਲੀਨੀਅਰ ਰੂਪ ਵਿੱਚ ਫੈਲਦੀ ਹੈ, ਇੱਕ 'ਮੈਮੋਰੀ ਹੋਗ' ਬਣ ਜਾਂਦੀ ਹੈ ਜੋ LLMs ਦੇ ਸਕੇਲਿੰਗ ਅਤੇ ਵਿਸਥਾਰ ਵਿੱਚ ਰੁਕਾਵਟ ਪਾਉਂਦੀ ਹੈ। ਮਲਟੀ-ਮੈਟ੍ਰਿਕਸ ਫੈਕਟੋਰਾਈਜ਼ੇਸ਼ਨ ਅਟੈਂਸ਼ਨ (MFA) ਅਤੇ ਇਸਦਾ ਰੂਪ MFA-Key-Reuse (MFA-KR) ਇੱਕ ਨਵੀਂ ਧਿਆਨ ਵਿਧੀ ਆਰਕੀਟੈਕਚਰ ਹੈ ਜੋ ਭਾਸ਼ਾ ਮਾਡਲ ਅਨੁਮਾਨ ਦੀ ਲਾਗਤ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾਉਂਦਾ ਹੈ ਜਦੋਂ ਕਿ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ। MFA ਅਤੇ MFA-KR ਨਾ ਸਿਰਫ਼ MLA ਨੂੰ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਪਛਾੜਦੇ ਹਨ, ਸਗੋਂ ਰਵਾਇਤੀ MHA ਪ੍ਰਦਰਸ਼ਨ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਹਨ ਜਦੋਂ ਕਿ KV ਕੈਸ਼ ਦੀ ਵਰਤੋਂ ਨੂੰ 93.7% ਤੱਕ ਘਟਾਉਂਦੇ ਹਨ।
ESM3 ਪ੍ਰੋਟੀਨ ਖੋਜ ਵਿੱਚ ਇੱਕ ਵੱਡਾ ਕਦਮ
ਇਵੋਲੂਸ਼ਨਰੀਸਕੇਲ ਦਾ ESM3 ਇੱਕ ਸ਼ਾਨਦਾਰ ਜੈਵਿਕ ਮਾਡਲ ਹੈ, ਜਿਸ ਵਿੱਚ 98 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਹਨ, ਜੋ ਪ੍ਰੋਟੀਨ ਨੂੰ ਸਮਝਣ ਅਤੇ ਹੇਰਾਫੇਰੀ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦੇ ਹਨ। ਇਹ 3D ਢਾਂਚੇ ਨੂੰ ਅੱਖਰਾਂ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਨਵੇਂ ਪ੍ਰੋਟੀਨ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ। ESM3 API ਹੁਣ ਮੁਫਤ ਉਪਲਬਧ ਹੈ, ਅਤੇ ਯਾਨ ਲੇਕੁਨ ਦੁਆਰਾ ਇਸਦੀ ਪ੍ਰਸ਼ੰਸਾ ਕੀਤੀ ਗਈ ਹੈ। ਇਹ ਮਾਡਲ 5 ਟ੍ਰਿਲੀਅਨ ਸਾਲ ਦੇ ਵਿਕਾਸ ਦੀ ਨਕਲ ਕਰ ਸਕਦਾ ਹੈ।