ਐਜ 'ਤੇ ਵਧੀ ਹੋਈ ਮਲਟੀਮੋਡਲ AI

Arm Kleidi: Arm CPUs ‘ਤੇ AI ਇਨਫਰੈਂਸ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ

AI ਦਾ ਤੇਜ਼ੀ ਨਾਲ ਵਿਕਾਸ ਮਲਟੀਮੋਡਲ ਮਾਡਲਾਂ ਦੇ ਇੱਕ ਨਵੇਂ ਯੁੱਗ ਦੀ ਸ਼ੁਰੂਆਤ ਕਰ ਰਿਹਾ ਹੈ। ਇਹ ਵਧੀਆ ਸਿਸਟਮ ਕਈ ਸਰੋਤਾਂ, ਜਿਵੇਂ ਕਿ ਟੈਕਸਟ, ਚਿੱਤਰ, ਆਡੀਓ, ਵੀਡੀਓ, ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਸੈਂਸਰ ਡੇਟਾ ਤੋਂ ਜਾਣਕਾਰੀ ਦੀ ਪ੍ਰਕਿਰਿਆ ਅਤੇ ਵਿਆਖਿਆ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਰੱਖਦੇ ਹਨ। ਹਾਲਾਂਕਿ, ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ‘ਤੇ ਇਹਨਾਂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਾਡਲਾਂ ਦੀ ਤੈਨਾਤੀ ਮਹੱਤਵਪੂਰਨ ਰੁਕਾਵਟਾਂ ਪੇਸ਼ ਕਰਦੀ ਹੈ। ਕਿਨਾਰੇ ਵਾਲੇ ਹਾਰਡਵੇਅਰ ਦੀ ਪਾਵਰ ਅਤੇ ਮੈਮੋਰੀ ਸਮਰੱਥਾ ਵਿੱਚ ਅੰਦਰੂਨੀ ਕਮੀਆਂ, ਵਿਭਿੰਨ ਡੇਟਾ ਕਿਸਮਾਂ ਦੀ ਇੱਕੋ ਸਮੇਂ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਦੇ ਗੁੰਝਲਦਾਰ ਕੰਮ ਦੇ ਨਾਲ, ਇੱਕ ਗੁੰਝਲਦਾਰ ਚੁਣੌਤੀ ਪੈਦਾ ਕਰਦੀਆਂ ਹਨ।

Arm Kleidi ਨੂੰ ਖਾਸ ਤੌਰ ‘ਤੇ ਇਸ ਚੁਣੌਤੀ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਜੋ ਕਿ Arm CPUs ‘ਤੇ ਚੱਲਣ ਵਾਲੇ ਸਾਰੇ AI ਇਨਫਰੈਂਸ ਵਰਕਲੋਡ ਲਈ ਸਹਿਜ ਪ੍ਰਦਰਸ਼ਨ ਅਨੁਕੂਲਤਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। Kleidi ਦੇ ਕੇਂਦਰ ਵਿੱਚ KleidiAI ਹੈ, ਜੋ ਕਿ AI ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ ਬਣਾਏ ਗਏ ਬਹੁਤ ਹੀ ਕੁਸ਼ਲ, ਓਪਨ-ਸੋਰਸ Arm ਰੁਟੀਨਾਂ ਦਾ ਇੱਕ ਸੁਚਾਰੂ ਸੂਟ ਹੈ।

KleidiAI ਪਹਿਲਾਂ ਹੀ ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ਲਈ ਵਿਆਪਕ ਤੌਰ ‘ਤੇ ਵਰਤੇ ਜਾਂਦੇ AI ਫਰੇਮਵਰਕ ਦੇ ਨਵੀਨਤਮ ਸੰਸਕਰਣਾਂ ਵਿੱਚ ਏਕੀਕ੍ਰਿਤ ਹੈ। ਇਹਨਾਂ ਵਿੱਚ ExecuTorch, Llama.cpp, XNNPACK ਰਾਹੀਂ LiteRT, ਅਤੇ MediaPipe ਸ਼ਾਮਲ ਹਨ। ਇਹ ਵਿਆਪਕ ਏਕੀਕਰਣ ਲੱਖਾਂ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਫਾਇਦਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜੋ ਹੁਣ ਬਿਨਾਂ ਕਿਸੇ ਵਾਧੂ ਕੋਸ਼ਿਸ਼ ਦੇ AI ਪ੍ਰਦਰਸ਼ਨ ਅਨੁਕੂਲਤਾਵਾਂ ਤੋਂ ਆਪਣੇ ਆਪ ਲਾਭ ਲੈ ਸਕਦੇ ਹਨ।

ਅਲੀਬਾਬਾ ਨਾਲ ਭਾਈਵਾਲੀ: Qwen2-VL-2B-Instruct ਮਾਡਲ

MNN ਦੇ ਨਾਲ ਇੱਕ ਨਜ਼ਦੀਕੀ ਸਹਿਯੋਗ ਦੁਆਰਾ ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ‘ਤੇ ਮਲਟੀਮੋਡਲ AI ਦੀ ਤਰੱਕੀ ਵਿੱਚ ਇੱਕ ਨਵਾਂ ਮੀਲ ਪੱਥਰ ਪ੍ਰਾਪਤ ਕੀਤਾ ਗਿਆ ਹੈ। MNN ਅਲੀਬਾਬਾ ਦੁਆਰਾ ਵਿਕਸਤ ਅਤੇ ਸੰਭਾਲਿਆ ਗਿਆ ਇੱਕ ਹਲਕਾ, ਓਪਨ-ਸੋਰਸ ਡੀਪ ਲਰਨਿੰਗ ਫਰੇਮਵਰਕ ਹੈ। ਇਸ ਸਾਂਝੇਦਾਰੀ ਦੇ ਨਤੀਜੇ ਵਜੋਂ KleidiAI ਦਾ ਸਫਲ ਏਕੀਕਰਣ ਹੋਇਆ ਹੈ, ਜਿਸ ਨਾਲ ਮਲਟੀਮੋਡਲ AI ਵਰਕਲੋਡ Arm CPUs ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਮੋਬਾਈਲ ਉਪਕਰਨਾਂ ‘ਤੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਚੱਲ ਸਕਦੇ ਹਨ। ਇਸ ਪ੍ਰਾਪਤੀ ਦੀ ਕੁੰਜੀ ਅਲੀਬਾਬਾ ਦਾ ਨਿਰਦੇਸ਼-ਟਿਊਨਡ 2B ਪੈਰਾਮੀਟਰ Qwen2-VL-2B-Instruct ਮਾਡਲ ਹੈ। ਇਹ ਮਾਡਲ ਵਿਸ਼ੇਸ਼ ਤੌਰ ‘ਤੇ ਚਿੱਤਰ ਸਮਝ, ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ ਰੀਜ਼ਨਿੰਗ, ਅਤੇ ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ਦੀਆਂ ਰੁਕਾਵਟਾਂ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਕਈ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਮਲਟੀਮੋਡਲ ਜਨਰੇਸ਼ਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।

ਮਾਪਣਯੋਗ ਪ੍ਰਦਰਸ਼ਨ ਲਾਭ

MNN ਦੇ ਨਾਲ KleidiAI ਦੇ ਏਕੀਕਰਣ ਨੇ Qwen2-VL-2B-Instruct ਮਾਡਲ ਲਈ ਮਹੱਤਵਪੂਰਨ, ਮਾਪਣਯੋਗ ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰ ਪ੍ਰਾਪਤ ਕੀਤੇ ਹਨ। ਕਿਨਾਰੇ ‘ਤੇ ਮਹੱਤਵਪੂਰਨ AI ਮਲਟੀਮੋਡਲ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਵਿੱਚ ਤੇਜ਼ ਜਵਾਬ ਸਮੇਂ ਦੇਖੇ ਗਏ ਹਨ। ਇਹ ਸੁਧਾਰ ਗਾਹਕ-ਕੇਂਦ੍ਰਿਤ ਅਲੀਬਾਬਾ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਇੱਕ ਕਿਸਮ ਵਿੱਚ ਵਧੇ ਹੋਏ ਉਪਭੋਗਤਾ ਅਨੁਭਵਾਂ ਨੂੰ ਅਨਲੌਕ ਕਰਦੇ ਹਨ। ਉਦਾਹਰਨਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਗਾਹਕ ਸੇਵਾ ਲਈ ਚੈਟਬੋਟਸ: ਗਾਹਕਾਂ ਦੇ ਸਵਾਲਾਂ ਦੇ ਤੇਜ਼ ਅਤੇ ਵਧੇਰੇ ਕੁਸ਼ਲ ਜਵਾਬ ਪ੍ਰਦਾਨ ਕਰਨਾ।
• ਈ-ਸ਼ਾਪਿੰਗ ਐਪਲੀਕੇਸ਼ਨਾਂ: ਫੋਟੋ-ਟੂ-ਗੁਡਸ ਖੋਜ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਣਾ, ਗਾਹਕਾਂ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਚਿੱਤਰ ਅੱਪਲੋਡ ਕਰਕੇ ਉਹਨਾਂ ਚੀਜ਼ਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਲੱਭਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜੋ ਉਹ ਲੱਭ ਰਹੇ ਹਨ।

ਇਹਨਾਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਵਧੀ ਹੋਈ ਗਤੀ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਦਰਸ਼ਨ ਲਾਭਾਂ ਦਾ ਸਿੱਧਾ ਨਤੀਜਾ ਹੈ:

• ਪ੍ਰੀ-ਫਿਲ ਸੁਧਾਰ: ਪ੍ਰੀ-ਫਿਲ ਵਿੱਚ 57 ਪ੍ਰਤੀਸ਼ਤ ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰ ਪ੍ਰਾਪਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਉਸ ਮਹੱਤਵਪੂਰਨ ਪੜਾਅ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਜਿੱਥੇ AI ਮਾਡਲ ਜਵਾਬ ਦੇਣ ਤੋਂ ਪਹਿਲਾਂ ਮਲਟੀ-ਸੋਰਸ ਪ੍ਰੋਂਪਟ ਇਨਪੁਟਸ ਨੂੰ ਸੰਭਾਲਦੇ ਹਨ।
• ਡੀਕੋਡ ਸੁਧਾਰ: ਡੀਕੋਡ ਵਿੱਚ 28 ਪ੍ਰਤੀਸ਼ਤ ਪ੍ਰਦਰਸ਼ਨ ਸੁਧਾਰ ਦੇਖਿਆ ਗਿਆ ਹੈ। ਇਹ ਉਹ ਪ੍ਰਕਿਰਿਆ ਹੈ ਜਿੱਥੇ AI ਮਾਡਲ ਇੱਕ ਪ੍ਰੋਂਪਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਤੋਂ ਬਾਅਦ ਟੈਕਸਟ ਤਿਆਰ ਕਰਦਾ ਹੈ।

ਗਤੀ ਤੋਂ ਇਲਾਵਾ, KleidiAI ਏਕੀਕਰਣ ਕਿਨਾਰੇ ‘ਤੇ AI ਵਰਕਲੋਡ ਦੀ ਵਧੇਰੇ ਕੁਸ਼ਲ ਪ੍ਰੋਸੈਸਿੰਗ ਵਿੱਚ ਵੀ ਯੋਗਦਾਨ ਪਾਉਂਦਾ ਹੈ। ਇਹ ਮਲਟੀਮੋਡਲ ਵਰਕਲੋਡ ਨਾਲ ਜੁੜੀ ਸਮੁੱਚੀ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤ ਨੂੰ ਘਟਾ ਕੇ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਕੁਸ਼ਲਤਾ ਲਾਭ ਲੱਖਾਂ ਡਿਵੈਲਪਰਾਂ ਲਈ ਆਸਾਨੀ ਨਾਲ ਪਹੁੰਚਯੋਗ ਹਨ। ਕੋਈ ਵੀ ਡਿਵੈਲਪਰ ਜੋ MNN ਫਰੇਮਵਰਕ ‘ਤੇ ਐਪਲੀਕੇਸ਼ਨਾਂ ਅਤੇ ਵਰਕਲੋਡ ਚਲਾ ਰਿਹਾ ਹੈ, ਅਤੇ ਨਾਲ ਹੀ ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ਲਈ ਹੋਰ ਪ੍ਰਸਿੱਧ AI ਫਰੇਮਵਰਕ ਜਿੱਥੇ KleidiAI ਏਕੀਕ੍ਰਿਤ ਹੈ, ਤੁਰੰਤ ਲਾਭ ਲੈ ਸਕਦਾ ਹੈ।

ਅਸਲ-ਸੰਸਾਰ ਪ੍ਰਦਰਸ਼ਨ: MWC ਸ਼ੋਅਕੇਸ

Qwen2-VL-2B-Instruct ਮਾਡਲ ਦੀਆਂ ਵਿਹਾਰਕ ਸਮਰੱਥਾਵਾਂ, MNN ਦੇ ਨਾਲ ਨਵੇਂ KleidiAI ਏਕੀਕਰਣ ਦੁਆਰਾ ਸੰਚਾਲਿਤ, ਮੋਬਾਈਲ ਵਰਲਡ ਕਾਂਗਰਸ (MWC) ਵਿੱਚ ਪ੍ਰਦਰਸ਼ਿਤ ਕੀਤੀਆਂ ਗਈਆਂ ਸਨ। Arm ਬੂਥ ‘ਤੇ ਇੱਕ ਪ੍ਰਦਰਸ਼ਨ ਨੇ ਵਿਜ਼ੂਅਲ ਅਤੇ ਟੈਕਸਟ ਇਨਪੁਟਸ ਦੇ ਵਿਭਿੰਨ ਸੰਜੋਗਾਂ ਨੂੰ ਸਮਝਣ ਦੀ ਮਾਡਲ ਦੀ ਯੋਗਤਾ ਨੂੰ ਉਜਾਗਰ ਕੀਤਾ। ਮਾਡਲ ਨੇ ਫਿਰ ਚਿੱਤਰ ਸਮੱਗਰੀ ਦੇ ਸੰਖੇਪ ਸਾਰ ਦੇ ਨਾਲ ਜਵਾਬ ਦਿੱਤਾ। ਇਹ ਸਾਰੀ ਪ੍ਰਕਿਰਿਆ ਸਮਾਰਟਫ਼ੋਨਾਂ ਦੇ Arm CPU ‘ਤੇ ਚਲਾਈ ਗਈ ਸੀ, ਜੋ ਕਿ ਹੱਲ ਦੀ ਸ਼ਕਤੀ ਅਤੇ ਕੁਸ਼ਲਤਾ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਇਹ ਸਮਾਰਟਫ਼ੋਨ MediaTek ਦੇ Arm-ਸੰਚਾਲਿਤ Dimensity 9400 ਮੋਬਾਈਲ ਸਿਸਟਮ-ਆਨ-ਚਿੱਪ (SoC) ‘ਤੇ ਬਣਾਏ ਗਏ ਸਨ, ਜਿਸ ਵਿੱਚ vivo X200 ਸੀਰੀਜ਼ ਸ਼ਾਮਲ ਹੈ।

ਉਪਭੋਗਤਾ ਅਨੁਭਵ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ

ਅਲੀਬਾਬਾ ਦੇ Qwen2-VL-2B-Instruct ਮਾਡਲ ਲਈ MNN ਫਰੇਮਵਰਕ ਦੇ ਨਾਲ Arm ਦੇ KleidiAI ਦਾ ਏਕੀਕਰਣ ਮਲਟੀਮੋਡਲ AI ਵਰਕਲੋਡ ਲਈ ਉਪਭੋਗਤਾ ਅਨੁਭਵ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਛਲਾਂਗ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਇਹ ਤਰੱਕੀ ਇਹਨਾਂ ਵਧੇ ਹੋਏ ਅਨੁਭਵਾਂ ਨੂੰ ਸਿੱਧੇ ਕਿਨਾਰੇ ‘ਤੇ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ, ਸਭ Arm CPU ਦੁਆਰਾ ਸੰਚਾਲਿਤ। ਇਹ ਸਮਰੱਥਾਵਾਂ ਮੋਬਾਈਲ ਉਪਕਰਨਾਂ ‘ਤੇ ਆਸਾਨੀ ਨਾਲ ਉਪਲਬਧ ਹਨ, ਪ੍ਰਮੁੱਖ ਗਾਹਕ-ਸਾਹਮਣਾ ਕਰਨ ਵਾਲੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਪਹਿਲਾਂ ਹੀ KleidiAI ਦੇ ਲਾਭਾਂ ਦਾ ਲਾਭ ਉਠਾ ਰਹੀਆਂ ਹਨ।

ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ‘ਤੇ ਮਲਟੀਮੋਡਲ AI ਦਾ ਭਵਿੱਖ

ਅੱਗੇ ਦੇਖਦੇ ਹੋਏ, AI ਵਰਕਲੋਡ ਲਈ KleidiAI ਦੇ ਸਹਿਜ ਅਨੁਕੂਲਤਾ ਲੱਖਾਂ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਨਾ ਜਾਰੀ ਰੱਖਣਗੇ। ਉਹ ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ‘ਤੇ ਵੱਧ ਤੋਂ ਵੱਧ ਵਧੀਆ ਮਲਟੀਮੋਡਲ ਅਨੁਭਵ ਬਣਾਉਣ ਦੇ ਯੋਗ ਹੋਣਗੇ। ਇਹ ਨਿਰੰਤਰ ਨਵੀਨਤਾ AI ਦੇ ਚੱਲ ਰਹੇ ਵਿਕਾਸ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹੋਏ, ਬੁੱਧੀਮਾਨ ਕੰਪਿਊਟਿੰਗ ਦੀ ਅਗਲੀ ਲਹਿਰ ਲਈ ਰਾਹ ਪੱਧਰਾ ਕਰੇਗੀ।

ਅਲੀਬਾਬਾ ਲੀਡਰਸ਼ਿਪ ਦੇ ਹਵਾਲੇ

‘ਅਸੀਂ ਅਲੀਬਾਬਾ ਕਲਾਉਡ ਦੇ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ Qwen, Arm KleidiAI, ਅਤੇ MNN ਵਿਚਕਾਰ ਸਹਿਯੋਗ ਨੂੰ ਦੇਖ ਕੇ ਖੁਸ਼ ਹਾਂ। Arm KleidiAI ਦੇ ਨਾਲ MNN ਦੇ ਆਨ-ਡਿਵਾਈਸ ਇਨਫਰੈਂਸ ਫਰੇਮਵਰਕ ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨ ਨਾਲ Qwen ਦੀ ਲੇਟੈਂਸੀ ਅਤੇ ਊਰਜਾ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਸੁਧਾਰ ਹੋਇਆ ਹੈ। ਇਹ ਸਾਂਝੇਦਾਰੀ ਮੋਬਾਈਲ ਉਪਕਰਨਾਂ ‘ਤੇ LLMs ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕਰਦੀ ਹੈ ਅਤੇ AI ਉਪਭੋਗਤਾ ਅਨੁਭਵ ਨੂੰ ਵਧਾਉਂਦੀ ਹੈ। ਅਸੀਂ ਆਨ-ਡਿਵਾਈਸ AI ਕੰਪਿਊਟਿੰਗ ਨੂੰ ਅੱਗੇ ਵਧਾਉਣ ਵਿੱਚ ਨਿਰੰਤਰ ਯਤਨਾਂ ਦੀ ਉਮੀਦ ਕਰਦੇ ਹਾਂ।’ - ਡੋਂਗ ਜ਼ੂ, ਜੀਐਮ ਆਫ ਟੋਂਗੀ ਲਾਰਜ ਮਾਡਲ ਬਿਜ਼ਨਸ, ਅਲੀਬਾਬਾ ਕਲਾਉਡ।

‘MNN ਇਨਫਰੈਂਸ ਫਰੇਮਵਰਕ ਅਤੇ Arm KleidiAI ਵਿਚਕਾਰ ਤਕਨੀਕੀ ਏਕੀਕਰਣ ਆਨ-ਡਿਵਾਈਸ ਪ੍ਰਵੇਗ ਵਿੱਚ ਇੱਕ ਵੱਡੀ ਸਫਲਤਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਆਰਕੀਟੈਕਚਰ ਦੇ ਸੰਯੁਕਤ ਅਨੁਕੂਲਤਾ ਦੇ ਨਾਲ, ਅਸੀਂ ਟੋਂਗੀ LLM ਦੀ ਆਨ-ਡਿਵਾਈਸ ਇਨਫਰੈਂਸ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਬਹੁਤ ਸੁਧਾਰ ਕੀਤਾ ਹੈ, ਸੀਮਤ ਮੋਬਾਈਲ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਅਤੇ ਉੱਨਤ AI ਸਮਰੱਥਾਵਾਂ ਵਿਚਕਾਰ ਪਾੜੇ ਨੂੰ ਪੂਰਾ ਕਰਦੇ ਹੋਏ। ਇਹ ਪ੍ਰਾਪਤੀ ਸਾਡੀ ਤਕਨੀਕੀ ਮੁਹਾਰਤ ਅਤੇ ਅੰਤਰ-ਉਦਯੋਗ ਸਹਿਯੋਗ ਨੂੰ ਉਜਾਗਰ ਕਰਦੀ ਹੈ। ਅਸੀਂ ਆਨ-ਡਿਵਾਈਸ ਕੰਪਿਊਟਿੰਗ ਈਕੋਸਿਸਟਮ ਨੂੰ ਵਧਾਉਣ, ਮੋਬਾਈਲ ‘ਤੇ ਸੁਚਾਰੂ ਅਤੇ ਵਧੇਰੇ ਕੁਸ਼ਲ AI ਅਨੁਭਵ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਇਸ ਸਾਂਝੇਦਾਰੀ ਨੂੰ ਜਾਰੀ ਰੱਖਣ ਦੀ ਉਮੀਦ ਕਰਦੇ ਹਾਂ।’ - ਜ਼ਿਆਓਟਾਂਗ ਜਿਆਂਗ, MNN ਦੇ ਮੁਖੀ, ਤਾਓਬਾਓ ਅਤੇ ਟਮਾਲ ਗਰੁੱਪ, ਅਲੀਬਾਬਾ।

ਤਕਨੀਕੀ ਪਹਿਲੂਆਂ ਵਿੱਚ ਡੂੰਘਾਈ ਨਾਲ ਖੋਜ ਕਰਨਾ

ਇਸ ਸਹਿਯੋਗ ਦੇ ਮਹੱਤਵ ਦੀ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸ਼ਲਾਘਾ ਕਰਨ ਲਈ, ਕੁਝ ਅੰਤਰੀਵ ਤਕਨੀਕੀ ਵੇਰਵਿਆਂ ਦੀ ਜਾਂਚ ਕਰਨਾ ਮਦਦਗਾਰ ਹੈ।

MNN ਦੀ ਭੂਮਿਕਾ

MNN ਦਾ ਡਿਜ਼ਾਈਨ ਫਲਸਫਾ ਕੁਸ਼ਲਤਾ ਅਤੇ ਪੋਰਟੇਬਿਲਟੀ ਦੇ ਦੁਆਲੇ ਕੇਂਦਰਿਤ ਹੈ। ਇਹ ਕਈ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੁਆਰਾ ਇਸਨੂੰ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ:

• ਹਲਕਾ ਆਰਕੀਟੈਕਚਰ: MNN ਨੂੰ ਇੱਕ ਛੋਟੇ ਪੈਰਾਂ ਦੇ ਨਿਸ਼ਾਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ‘ਤੇ ਸਟੋਰੇਜ ਅਤੇ ਮੈਮੋਰੀ ਦੀਆਂ ਲੋੜਾਂ ਨੂੰ ਘੱਟ ਕਰਦਾ ਹੈ।
• ਅਨੁਕੂਲਿਤ ਓਪਰੇਸ਼ਨ: ਫਰੇਮਵਰਕ ਵਿੱਚ ਖਾਸ ਤੌਰ ‘ਤੇ Arm CPUs ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਬਹੁਤ ਹੀ ਅਨੁਕੂਲਿਤ ਗਣਿਤਿਕ ਓਪਰੇਸ਼ਨ ਸ਼ਾਮਲ ਹਨ, ਵੱਧ ਤੋਂ ਵੱਧ ਪ੍ਰਦਰਸ਼ਨ।
• ਕਰਾਸ-ਪਲੇਟਫਾਰਮ ਅਨੁਕੂਲਤਾ: MNN ਓਪਰੇਟਿੰਗ ਸਿਸਟਮਾਂ ਅਤੇ ਹਾਰਡਵੇਅਰ ਪਲੇਟਫਾਰਮਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਇਸ ਨੂੰ ਡਿਵੈਲਪਰਾਂ ਲਈ ਇੱਕ ਬਹੁਮੁਖੀ ਵਿਕਲਪ ਬਣਾਉਂਦਾ ਹੈ।

KleidiAI ਦਾ ਯੋਗਦਾਨ

KleidiAI ਵਿਸ਼ੇਸ਼ ਰੁਟੀਨਾਂ ਦਾ ਇੱਕ ਸੈੱਟ ਪ੍ਰਦਾਨ ਕਰਕੇ MNN ਦੀਆਂ ਸ਼ਕਤੀਆਂ ਦਾ ਪੂਰਕ ਹੈ ਜੋ AI ਇਨਫਰੈਂਸ ਨੂੰ ਹੋਰ ਤੇਜ਼ ਕਰਦੇ ਹਨ। ਇਹ ਰੁਟੀਨ CPU ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ Arm ਦੇ ਵਿਆਪਕ ਅਨੁਭਵ ਦਾ ਲਾਭ ਉਠਾਉਂਦੇ ਹਨ ਤਾਂ ਜੋ ਪ੍ਰਦਰਸ਼ਨ ਲਾਭਾਂ ਨੂੰ ਅਨਲੌਕ ਕੀਤਾ ਜਾ ਸਕੇ ਜੋ ਕਿ ਹੋਰ ਪ੍ਰਾਪਤ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੋਵੇਗਾ। KleidiAI ਦੇ ਯੋਗਦਾਨ ਦੇ ਮੁੱਖ ਪਹਿਲੂਆਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਬਹੁਤ ਹੀ ਅਨੁਕੂਲਿਤ ਕਰਨਲ: KleidiAI ਆਮ AI ਓਪਰੇਸ਼ਨਾਂ, ਜਿਵੇਂ ਕਿ ਮੈਟ੍ਰਿਕਸ ਗੁਣਾ ਅਤੇ ਕਨਵੋਲਿਊਸ਼ਨ ਲਈ ਬਹੁਤ ਹੀ ਅਨੁਕੂਲਿਤ ਕਰਨਲ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਹ ਕਰਨਲ Arm CPUs ਦੀਆਂ ਵਿਸ਼ੇਸ਼ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦਾ ਫਾਇਦਾ ਲੈਣ ਲਈ ਸਾਵਧਾਨੀ ਨਾਲ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ।
• ਆਟੋਮੈਟਿਕ ਏਕੀਕਰਣ: ਪ੍ਰਸਿੱਧ AI ਫਰੇਮਵਰਕ ਵਿੱਚ KleidiAI ਦਾ ਸਹਿਜ ਏਕੀਕਰਣ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇਹਨਾਂ ਅਨੁਕੂਲਤਾਵਾਂ ਨੂੰ ਹੱਥੀਂ ਸ਼ਾਮਲ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਪ੍ਰਦਰਸ਼ਨ ਲਾਭ ਆਪਣੇ ਆਪ ਲਾਗੂ ਹੁੰਦੇ ਹਨ, ਵਿਕਾਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਸਰਲ ਬਣਾਉਂਦੇ ਹਨ।
• ਨਿਰੰਤਰ ਸੁਧਾਰ: Arm KleidiAI ਨੂੰ ਲਗਾਤਾਰ ਅੱਪਡੇਟ ਕਰਨ ਅਤੇ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਵਚਨਬੱਧ ਹੈ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਇਹ AI ਪ੍ਰਵੇਗ ਤਕਨਾਲੋਜੀ ਵਿੱਚ ਸਭ ਤੋਂ ਅੱਗੇ ਰਹੇ।

Qwen2-VL-2B-Instruct: ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਮਲਟੀਮੋਡਲ ਮਾਡਲ

Qwen2-VL-2B-Instruct ਮਾਡਲ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਅਤੇ ਮਲਟੀਮੋਡਲ AI ਵਿੱਚ ਅਲੀਬਾਬਾ ਦੀ ਮੁਹਾਰਤ ਦਾ ਪ੍ਰਮਾਣ ਹੈ। ਇਸ ਦੀਆਂ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਨਿਰਦੇਸ਼ ਟਿਊਨਿੰਗ: ਮਾਡਲ ਵਿਸ਼ੇਸ਼ ਤੌਰ ‘ਤੇ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਇਸ ਨੂੰ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਕੰਮਾਂ ਲਈ ਬਹੁਤ ਜ਼ਿਆਦਾ ਅਨੁਕੂਲ ਬਣਾਉਂਦਾ ਹੈ।
• ਮਲਟੀਮੋਡਲ ਸਮਰੱਥਾਵਾਂ: ਇਹ ਵਿਜ਼ੂਅਲ ਅਤੇ ਟੈਕਸਟੁਅਲ ਜਾਣਕਾਰੀ ਦੋਵਾਂ ਨੂੰ ਸਮਝਣ ਅਤੇ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਵਿੱਚ ਉੱਤਮ ਹੈ, ਚਿੱਤਰ ਕੈਪਸ਼ਨਿੰਗ ਅਤੇ ਵਿਜ਼ੂਅਲ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਵਰਗੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ।
• ਬਹੁ-ਭਾਸ਼ਾਈ ਸਹਾਇਤਾ: ਮਾਡਲ ਨੂੰ ਕਈ ਭਾਸ਼ਾਵਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ ਅਤੇ ਉਪਭੋਗਤਾ ਅਧਾਰਾਂ ਵਿੱਚ ਇਸਦੀ ਉਪਯੋਗਤਾ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ।
• ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ਲਈ ਅਨੁਕੂਲਿਤ: ਇਸਦੀਆਂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਮਰੱਥਾਵਾਂ ਦੇ ਬਾਵਜੂਦ, ਮਾਡਲ ਨੂੰ ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ਦੀਆਂ ਸਰੋਤ ਰੁਕਾਵਟਾਂ ਦੇ ਅੰਦਰ ਕੰਮ ਕਰਨ ਲਈ ਧਿਆਨ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।

ਮਲਟੀਮੋਡਲ AI ਦੇ ਦਾਇਰੇ ਦਾ ਵਿਸਤਾਰ ਕਰਨਾ

ਇੱਥੇ ਚਰਚਾ ਕੀਤੀਆਂ ਗਈਆਂ ਤਰੱਕੀਆਂ ਸਿਰਫ਼ ਸਮਾਰਟਫ਼ੋਨਾਂ ਤੱਕ ਹੀ ਸੀਮਤ ਨਹੀਂ ਹਨ। ਇਹੀ ਸਿਧਾਂਤ ਅਤੇ ਤਕਨੀਕਾਂ ਕਿਨਾਰੇ ਵਾਲੇ ਉਪਕਰਨਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ‘ਤੇ ਲਾਗੂ ਕੀਤੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਸਮਾਰਟ ਹੋਮ ਡਿਵਾਈਸਾਂ: ਵੌਇਸ ਅਸਿਸਟੈਂਟ, ਸੁਰੱਖਿਆ ਕੈਮਰਿਆਂ ਲਈ ਚਿੱਤਰ ਪਛਾਣ, ਅਤੇ ਹੋਰ ਬੁੱਧੀਮਾਨ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਣਾ।
• ਪਹਿਨਣਯੋਗ ਉਪਕਰਨ: ਸਿਹਤ ਨਿਗਰਾਨੀ, ਫਿਟਨੈਸ ਟਰੈਕਿੰਗ, ਅਤੇ ਸੰਸ਼ੋਧਿਤ ਅਸਲੀਅਤ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਨਾ।
• ਉਦਯੋਗਿਕ IoT: ਨਿਰਮਾਣ ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਭਵਿੱਖਬਾਣੀ ਰੱਖ-ਰਖਾਅ, ਗੁਣਵੱਤਾ ਨਿਯੰਤਰਣ, ਅਤੇ ਆਟੋਮੇਸ਼ਨ ਦੀ ਸਹੂਲਤ।
• ਆਟੋਮੋਟਿਵ: ਡਰਾਈਵਰ ਸਹਾਇਤਾ ਪ੍ਰਣਾਲੀਆਂ, ਇਨ-ਕੈਬਿਨ ਮਨੋਰੰਜਨ, ਅਤੇ ਖੁਦਮੁਖਤਿਆਰ ਡਰਾਈਵਿੰਗ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਵਧਾਉਣਾ।

ਕਿਨਾਰੇ ‘ਤੇ ਮਲਟੀਮੋਡਲ AI ਦੀਆਂ ਸੰਭਾਵੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿਸ਼ਾਲ ਹਨ ਅਤੇ ਫੈਲਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਜਿਵੇਂ ਕਿ ਮਾਡਲ ਵਧੇਰੇ ਵਧੀਆ ਹੁੰਦੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਹਾਰਡਵੇਅਰ ਵਧੇਰੇ ਸ਼ਕਤੀਸ਼ਾਲੀ ਹੁੰਦਾ ਜਾਂਦਾ ਹੈ, ਅਸੀਂ ਹੋਰ ਵੀ ਨਵੀਨਤਾਕਾਰੀ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਵਰਤੋਂ ਦੇ ਮਾਮਲਿਆਂ ਦੇ ਉਭਰਨ ਦੀ ਉਮੀਦ ਕਰ ਸਕਦੇ ਹਾਂ। Arm ਅਤੇ ਅਲੀਬਾਬਾ ਵਿਚਕਾਰ ਇਹ ਸਹਿਯੋਗ ਉਸ ਦਿਸ਼ਾ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਹੈ, ਮਲਟੀਮੋਡਲ AI ਦੀ ਸ਼ਕਤੀ ਨੂੰ ਇੱਕ ਵਿਸ਼ਾਲ ਦਰਸ਼ਕਾਂ ਤੱਕ ਪਹੁੰਚਾਉਂਦਾ ਹੈ ਅਤੇ ਬੁੱਧੀਮਾਨ ਉਪਕਰਨਾਂ ਦੀ ਇੱਕ ਨਵੀਂ ਪੀੜ੍ਹੀ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ। ਕੁਸ਼ਲਤਾ, ਪ੍ਰਦਰਸ਼ਨ, ਅਤੇ ਡਿਵੈਲਪਰ ਪਹੁੰਚਯੋਗਤਾ ‘ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਨਾ ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਇਹਨਾਂ ਤਰੱਕੀਆਂ ਦਾ ਤਕਨਾਲੋਜੀ ਦੇ ਭਵਿੱਖ ‘ਤੇ ਵਿਆਪਕ ਅਤੇ ਸਥਾਈ ਪ੍ਰਭਾਵ ਪਵੇਗਾ।