ਗੂਗਲ ਨੇ ਮੋਬਾਈਲ ਲਈ ਜੇਮਾ 3 1B ਲਾਂਚ ਕੀਤਾ

ਡਿਵਾਈਸ ਤੇ AI ਲਈ ਸੰਖੇਪ ਪਾਵਰਹਾਊਸ

ਗੂਗਲ ਦਾ ਜੇਮਾ 3 1B ਉਹਨਾਂ ਡਿਵੈਲਪਰਾਂ ਲਈ ਇੱਕ ਕ੍ਰਾਂਤੀਕਾਰੀ ਹੱਲ ਵਜੋਂ ਉੱਭਰਦਾ ਹੈ ਜੋ ਮੋਬਾਈਲ ਅਤੇ ਵੈੱਬ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਵਧੀਆ ਭਾਸ਼ਾਈ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਜੋੜਨਾ ਚਾਹੁੰਦੇ ਹਨ। ਸਿਰਫ 529MB ਦੇ ਆਕਾਰ ਵਾਲਾ, ਇਹ ਛੋਟਾ ਭਾਸ਼ਾ ਮਾਡਲ (SLM) ਉਹਨਾਂ ਵਾਤਾਵਰਣਾਂ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ ਜਿੱਥੇ ਤੇਜ਼ ਡਾਊਨਲੋਡ ਅਤੇ ਜਵਾਬਦੇਹ ਪ੍ਰਦਰਸ਼ਨ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹਨ। ਇਸਦਾ ਸੰਖੇਪ ਆਕਾਰ ਆਨ-ਡਿਵਾਈਸ AI ਲਈ ਸੰਭਾਵਨਾਵਾਂ ਦੇ ਇੱਕ ਨਵੇਂ ਖੇਤਰ ਨੂੰ ਖੋਲ੍ਹਦਾ ਹੈ, ਜੋ ਰਵਾਇਤੀ, ਵੱਡੇ ਮਾਡਲਾਂ ਦੀਆਂ ਰੁਕਾਵਟਾਂ ਤੋਂ ਬਿਨਾਂ ਸਹਿਜ ਉਪਭੋਗਤਾ ਅਨੁਭਵਾਂ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ।

AI ਸੰਭਾਵਨਾਵਾਂ ਨੂੰ ਜਾਰੀ ਕਰਨਾ, ਔਫਲਾਈਨ ਅਤੇ ਆਨ-ਡਿਵਾਈਸ

ਜੇਮਾ 3 1B ਦਾ ਸਭ ਤੋਂ ਵੱਡਾ ਫਾਇਦਾ ਇਹ ਹੈ ਕਿ ਇਹ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਥਾਨਕ ਤੌਰ ‘ਤੇ ਕੰਮ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਰੱਖਦਾ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਐਪਲੀਕੇਸ਼ਨਾਂ WiFi ਜਾਂ ਸੈਲੂਲਰ ਕਨੈਕਸ਼ਨ ਦੀ ਅਣਹੋਂਦ ਵਿੱਚ ਵੀ ਇਸਦੀ ਸ਼ਕਤੀ ਦਾ ਲਾਭ ਲੈ ਸਕਦੀਆਂ ਹਨ। ਇਹ ਔਫਲਾਈਨ ਕਾਰਜਕੁਸ਼ਲਤਾ ਨਾ ਸਿਰਫ ਉਪਭੋਗਤਾ ਦੀ ਸਹੂਲਤ ਨੂੰ ਵਧਾਉਂਦੀ ਹੈ ਬਲਕਿ ਸੀਮਤ ਜਾਂ ਭਰੋਸੇਯੋਗ ਕਨੈਕਟੀਵਿਟੀ ਵਾਲੇ ਖੇਤਰਾਂ ਵਿੱਚ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਵੀ ਦਰਵਾਜ਼ੇ ਖੋਲ੍ਹਦੀ ਹੈ। ਇੱਕ ਭਾਸ਼ਾ ਸਿੱਖਣ ਵਾਲੀ ਐਪ ਦੀ ਕਲਪਨਾ ਕਰੋ ਜੋ ਇੱਕ ਦੂਰ-ਦੁਰਾਡੇ ਪਹਾੜੀ ਸੈਰ ‘ਤੇ ਵੀ ਨਿਰਵਿਘਨ ਕੰਮ ਕਰਦੀ ਰਹਿੰਦੀ ਹੈ, ਜਾਂ ਇੱਕ ਅਨੁਵਾਦ ਟੂਲ ਜੋ ਇੱਕ ਅੰਤਰਰਾਸ਼ਟਰੀ ਉਡਾਣ ਦੌਰਾਨ ਸਹਿਜੇ ਹੀ ਕੰਮ ਕਰਦਾ ਹੈ।

ਕਨੈਕਟੀਵਿਟੀ ਤੋਂ ਇਲਾਵਾ, ਆਨ-ਡਿਵਾਈਸ ਪ੍ਰੋਸੈਸਿੰਗ ਲੇਟੈਂਸੀ ਅਤੇ ਲਾਗਤ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਲਾਭ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ। ਇੱਕ ਰਿਮੋਟ ਸਰਵਰ ਨਾਲ ਸੰਚਾਰ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਨੂੰ ਖਤਮ ਕਰਕੇ, ਜੇਮਾ 3 1B ਜਵਾਬ ਦੇ ਸਮੇਂ ਨੂੰ ਘੱਟ ਕਰਦਾ ਹੈ, ਉਪਭੋਗਤਾ ਲਈ ਇੱਕ ਤਰਲ ਅਤੇ ਕੁਦਰਤੀ ਗੱਲਬਾਤ ਪੈਦਾ ਕਰਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਡਿਵੈਲਪਰ ਕਲਾਉਡ-ਅਧਾਰਤ AI ਸੇਵਾਵਾਂ ਨਾਲ ਜੁੜੇ ਚੱਲ ਰਹੇ ਖਰਚਿਆਂ ਤੋਂ ਬਚ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਇਹ ਲੰਬੇ ਸਮੇਂ ਦੀ ਤੈਨਾਤੀ ਲਈ ਇੱਕ ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੱਲ ਬਣ ਜਾਂਦਾ ਹੈ।

ਗੋਪਨੀਯਤਾ ਸਭ ਤੋਂ ਅੱਗੇ

ਅੱਜ ਦੇ ਡਿਜੀਟਲ ਲੈਂਡਸਕੇਪ ਵਿੱਚ, ਡੇਟਾ ਗੋਪਨੀਯਤਾ ਇੱਕ ਵੱਧ ਰਹੀ ਚਿੰਤਾ ਹੈ। ਜੇਮਾ 3 1B ਉਪਭੋਗਤਾ ਡੇਟਾ ਨੂੰ ਸੁਰੱਖਿਅਤ ਢੰਗ ਨਾਲ ਡਿਵਾਈਸ ਤੱਕ ਸੀਮਤ ਰੱਖ ਕੇ ਇਸ ਚਿੰਤਾ ਨੂੰ ਦੂਰ ਕਰਦਾ ਹੈ। ਕਿਉਂਕਿ ਮਾਡਲ ਨਾਲ ਗੱਲਬਾਤ ਸਥਾਨਕ ਤੌਰ ‘ਤੇ ਹੁੰਦੀ ਹੈ, ਸੰਵੇਦਨਸ਼ੀਲ ਜਾਣਕਾਰੀ ਨੂੰ ਕਦੇ ਵੀ ਉਪਭੋਗਤਾ ਦੇ ਫੋਨ ਜਾਂ ਕੰਪਿਊਟਰ ਨੂੰ ਛੱਡਣ ਦੀ ਜ਼ਰੂਰਤ ਨਹੀਂ ਹੁੰਦੀ। ਇਹ ਅੰਦਰੂਨੀ ਗੋਪਨੀਯਤਾ ਨਿੱਜੀ ਡੇਟਾ ਨਾਲ ਨਜਿੱਠਣ ਵਾਲੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ, ਜਿਵੇਂ ਕਿ ਹੈਲਥ ਟ੍ਰੈਕਰ, ਵਿੱਤੀ ਸਾਧਨ, ਜਾਂ ਸੰਚਾਰ ਪਲੇਟਫਾਰਮਾਂ ਲਈ ਇੱਕ ਵੱਡਾ ਫਾਇਦਾ ਹੈ।

ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਏਕੀਕਰਣ: ਐਪ ਇੰਟਰੈਕਸ਼ਨ ਲਈ ਇੱਕ ਨਵਾਂ ਪੈਰਾਡਾਈਮ

ਜੇਮਾ 3 1B ਲਈ ਕਲਪਿਤ ਮੁੱਖ ਵਰਤੋਂ ਦਾ ਮਾਮਲਾ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਇੰਟਰਫੇਸ ਦਾ ਸਹਿਜ ਏਕੀਕਰਣ ਹੈ। ਇਹ ਡਿਵੈਲਪਰਾਂ ਲਈ ਵਧੇਰੇ ਅਨੁਭਵੀ ਅਤੇ ਆਕਰਸ਼ਕ ਉਪਭੋਗਤਾ ਅਨੁਭਵ ਬਣਾਉਣ ਲਈ ਸੰਭਾਵਨਾਵਾਂ ਦੀ ਇੱਕ ਦੁਨੀਆ ਖੋਲ੍ਹਦਾ ਹੈ। ਸਿਰਫ਼ ਰਵਾਇਤੀ ਬਟਨ ਦਬਾਉਣ ਅਤੇ ਮੀਨੂ ਨੈਵੀਗੇਸ਼ਨ ‘ਤੇ ਭਰੋਸਾ ਕਰਨ ਦੀ ਬਜਾਏ, ਉਪਭੋਗਤਾ ਕੁਦਰਤੀ, ਗੱਲਬਾਤ ਵਾਲੀ ਭਾਸ਼ਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਐਪਸ ਨਾਲ ਗੱਲਬਾਤ ਕਰ ਸਕਦੇ ਹਨ।

ਹੇਠ ਲਿਖੀਆਂ ਸਥਿਤੀਆਂ ‘ਤੇ ਵਿਚਾਰ ਕਰੋ:

• ਸਮੱਗਰੀ ਉਤਪਾਦਨ: ਇੱਕ ਫੋਟੋ ਸੰਪਾਦਨ ਐਪ ਦੀ ਕਲਪਨਾ ਕਰੋ ਜੋ ਉਹਨਾਂ ਦੀ ਸਮੱਗਰੀ ਦੇ ਅਧਾਰ ਤੇ ਚਿੱਤਰਾਂ ਲਈ ਆਪਣੇ ਆਪ ਹੀ ਆਕਰਸ਼ਕ ਸੁਰਖੀਆਂ ਤਿਆਰ ਕਰ ਸਕਦੀ ਹੈ। ਜਾਂ ਇੱਕ ਨੋਟ ਲੈਣ ਵਾਲੀ ਐਪ ਜੋ ਲੰਬੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਸੰਖੇਪ ਬੁਲੇਟ ਪੁਆਇੰਟਾਂ ਵਿੱਚ ਸੰਖੇਪ ਕਰ ਸਕਦੀ ਹੈ।
• ਗੱਲਬਾਤ ਸਹਾਇਤਾ: ਇੱਕ ਮੋਬਾਈਲ ਬੈਂਕਿੰਗ ਐਪ ਵਿੱਚ ਏਮਬੈਡ ਕੀਤੇ ਇੱਕ ਗਾਹਕ ਸੇਵਾ ਚੈਟਬੋਟ ਬਾਰੇ ਸੋਚੋ, ਜੋ ਮਨੁੱਖੀ ਦਖਲ ਤੋਂ ਬਿਨਾਂ ਕਈ ਤਰ੍ਹਾਂ ਦੀਆਂ ਪੁੱਛਗਿੱਛਾਂ ਨੂੰ ਸੰਭਾਲਣ ਦੇ ਸਮਰੱਥ ਹੈ। ਜਾਂ ਇੱਕ ਯਾਤਰਾ ਐਪ ਜੋ ਮੰਜ਼ਿਲਾਂ, ਯਾਤਰਾਵਾਂ ਅਤੇ ਸਥਾਨਕ ਰੀਤੀ-ਰਿਵਾਜਾਂ ਬਾਰੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਕੁਦਰਤੀ, ਗੱਲਬਾਤ ਵਾਲੇ ਤਰੀਕੇ ਨਾਲ ਦੇ ਸਕਦੀ ਹੈ।
• ਡੇਟਾ-ਸੰਚਾਲਿਤ ਸੂਝ: ਇੱਕ ਫਿਟਨੈਸ ਐਪ ਦੀ ਕਲਪਨਾ ਕਰੋ ਜੋ ਕਸਰਤ ਦੇ ਡੇਟਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰ ਸਕਦੀ ਹੈ ਅਤੇ ਸਾਦੀ ਅੰਗਰੇਜ਼ੀ ਵਿੱਚ ਵਿਅਕਤੀਗਤ ਸਿਫ਼ਾਰਸ਼ਾਂ ਪ੍ਰਦਾਨ ਕਰ ਸਕਦੀ ਹੈ। ਜਾਂ ਇੱਕ ਵਿੱਤੀ ਯੋਜਨਾਬੰਦੀ ਟੂਲ ਜੋ ਗੁੰਝਲਦਾਰ ਨਿਵੇਸ਼ ਰਣਨੀਤੀਆਂ ਨੂੰ ਇਸ ਤਰੀਕੇ ਨਾਲ ਸਮਝਾ ਸਕਦਾ ਹੈ ਜੋ ਸਮਝਣ ਵਿੱਚ ਆਸਾਨ ਹੋਵੇ।
• ਸੰਦਰਭ-ਜਾਗਰੂਕ ਸੰਵਾਦ: ਇੱਕ ਸਮਾਰਟ ਹੋਮ ਐਪ ਦੀ ਤਸਵੀਰ ਬਣਾਓ ਜੋ ਕਨੈਕਟ ਕੀਤੇ ਡਿਵਾਈਸਾਂ ਦੀ ਮੌਜੂਦਾ ਸਥਿਤੀ ਦੇ ਅਧਾਰ ਤੇ ਵੌਇਸ ਕਮਾਂਡਾਂ ਦਾ ਜਵਾਬ ਦੇ ਸਕਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ‘ਜੇ ਲਿਵਿੰਗ ਰੂਮ ਖਾਲੀ ਹੈ ਤਾਂ ਲਾਈਟਾਂ ਬੰਦ ਕਰ ਦਿਓ’ ਲਈ ਐਪ ਨੂੰ ਕਮਾਂਡ ਅਤੇ ਸੰਦਰਭ ਦੋਵਾਂ ਨੂੰ ਸਮਝਣ ਦੀ ਲੋੜ ਹੋਵੇਗੀ।

ਅਨੁਕੂਲ ਪ੍ਰਦਰਸ਼ਨ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ

ਜਦੋਂ ਕਿ ਜੇਮਾ 3 1B ਬਾਕਸ ਤੋਂ ਬਾਹਰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਮਰੱਥਾਵਾਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ, ਇਸਦੀ ਅਸਲ ਸੰਭਾਵਨਾ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੁਆਰਾ ਅਨਲੌਕ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਡਿਵੈਲਪਰ ਮਾਡਲ ਨੂੰ ਖਾਸ ਕਾਰਜਾਂ ਅਤੇ ਡੇਟਾਸੈਟਾਂ ਦੇ ਅਨੁਕੂਲ ਬਣਾ ਸਕਦੇ ਹਨ, ਉਹਨਾਂ ਦੇ ਖਾਸ ਐਪਲੀਕੇਸ਼ਨ ਲਈ ਇਸਦੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾ ਸਕਦੇ ਹਨ। ਗੂਗਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਲਈ ਕਈ ਤਰੀਕੇ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਸਿੰਥੈਟਿਕ ਰੀਜ਼ਨਿੰਗ ਡੇਟਾਸੈਟਸ: ਇਹ ਡੇਟਾਸੈਟ ਖਾਸ ਤੌਰ ‘ਤੇ ਮਾਡਲ ਦੀ ਤਰਕ ਕਰਨ ਅਤੇ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਯੋਗਤਾ ਨੂੰ ਵਧਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ।
• LoRA ਅਡਾਪਟਰ: ਲੋ-ਰੈਂਕ ਅਡੈਪਟੇਸ਼ਨ (LoRA) ਇੱਕ ਤਕਨੀਕ ਹੈ ਜੋ ਮਾਡਲ ਦੇ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਸਿਰਫ ਇੱਕ ਛੋਟੇ ਸਬਸੈੱਟ ਨੂੰ ਸੋਧ ਕੇ ਕੁਸ਼ਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ। ਇਹ ਕਸਟਮਾਈਜ਼ੇਸ਼ਨ ਲਈ ਲੋੜੀਂਦੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਰੋਤਾਂ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ‘ਤੇ ਘਟਾਉਂਦਾ ਹੈ।

ਫਾਈਨ-ਟਿਊਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਦੀ ਸਹੂਲਤ ਲਈ, ਗੂਗਲ ਇੱਕ ਵਰਤੋਂ ਲਈ ਤਿਆਰ Colab ਨੋਟਬੁੱਕ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ। ਇਹ ਇੰਟਰਐਕਟਿਵ ਵਾਤਾਵਰਣ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਸਿੰਥੈਟਿਕ ਰੀਜ਼ਨਿੰਗ ਡੇਟਾਸੈਟਾਂ ਅਤੇ LoRA ਅਡਾਪਟਰਾਂ ਨੂੰ ਕਿਵੇਂ ਜੋੜਿਆ ਜਾਵੇ, ਅਤੇ ਫਿਰ ਨਤੀਜੇ ਵਜੋਂ ਮਾਡਲ ਨੂੰ LiteRT ਫਾਰਮੈਟ (ਪਹਿਲਾਂ TensorFlow Lite ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਸੀ) ਵਿੱਚ ਬਦਲਿਆ ਜਾਵੇ। ਇਹ ਸੁਚਾਰੂ ਵਰਕਫਲੋ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਉਹਨਾਂ ਦੀਆਂ ਖਾਸ ਲੋੜਾਂ ਲਈ ਜੇਮਾ 3 1B ਨੂੰ ਤੇਜ਼ੀ ਅਤੇ ਆਸਾਨੀ ਨਾਲ ਅਨੁਕੂਲਿਤ ਕਰਨ ਲਈ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਨਮੂਨਾ ਐਪਸ ਨਾਲ ਸੁਚਾਰੂ ਏਕੀਕਰਣ

ਵਿਕਾਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਹੋਰ ਸਰਲ ਬਣਾਉਣ ਲਈ, ਗੂਗਲ ਨੇ ਐਂਡਰਾਇਡ ਲਈ ਇੱਕ ਨਮੂਨਾ ਚੈਟ ਐਪਲੀਕੇਸ਼ਨ ਜਾਰੀ ਕੀਤੀ ਹੈ। ਇਹ ਐਪ ਵੱਖ-ਵੱਖ ਸਥਿਤੀਆਂ ਵਿੱਚ ਜੇਮਾ 3 1B ਦੀ ਵਿਹਾਰਕ ਵਰਤੋਂ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ: ਮੂਲ ਟੈਕਸਟ ਸਮੱਗਰੀ ਬਣਾਉਣਾ, ਜਿਵੇਂ ਕਿ ਸੰਖੇਪ, ਰਚਨਾਤਮਕ ਲਿਖਤ ਦੇ ਟੁਕੜੇ, ਜਾਂ ਉਪਭੋਗਤਾ ਪ੍ਰੋਂਪਟਾਂ ਦੇ ਜਵਾਬ।
• ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤੀ ਅਤੇ ਸੰਖੇਪ: ਵੱਡੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚੋਂ ਮੁੱਖ ਜਾਣਕਾਰੀ ਕੱਢਣਾ ਅਤੇ ਇਸਨੂੰ ਸੰਖੇਪ ਅਤੇ ਸਮਝਣ ਯੋਗ ਫਾਰਮੈਟ ਵਿੱਚ ਪੇਸ਼ ਕਰਨਾ।
• ਈਮੇਲ ਡਰਾਫਟਿੰਗ: ਵਾਕਾਂਸ਼ਾਂ ਦਾ ਸੁਝਾਅ ਦੇ ਕੇ, ਵਾਕਾਂ ਨੂੰ ਪੂਰਾ ਕਰਕੇ, ਜਾਂ ਕੁਝ ਕੀਵਰਡਸ ਦੇ ਅਧਾਰ ਤੇ ਪੂਰੇ ਡਰਾਫਟ ਤਿਆਰ ਕਰਕੇ ਉਪਭੋਗਤਾਵਾਂ ਦੀ ਈਮੇਲ ਲਿਖਣ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰਨਾ।

ਐਂਡਰਾਇਡ ਨਮੂਨਾ ਐਪ MediaPipe LLM Inference API ਦਾ ਲਾਭ ਉਠਾਉਂਦੀ ਹੈ, ਜੋ ਕਿ ਮੋਬਾਈਲ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਜੋੜਨ ਲਈ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਾਧਨ ਹੈ। ਹਾਲਾਂਕਿ, ਡਿਵੈਲਪਰਾਂ ਕੋਲ ਸਿੱਧੇ ਤੌਰ ‘ਤੇ LiteRT ਸਟੈਕ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦਾ ਵਿਕਲਪ ਵੀ ਹੈ, ਜੋ ਏਕੀਕਰਣ ਪ੍ਰਕਿਰਿਆ ‘ਤੇ ਵਧੇਰੇ ਲਚਕਤਾ ਅਤੇ ਨਿਯੰਤਰਣ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਜਦੋਂ ਕਿ iOS ਲਈ ਇੱਕ ਸਮਾਨ ਨਮੂਨਾ ਐਪ ਅਜੇ ਉਪਲਬਧ ਨਹੀਂ ਹੈ, ਗੂਗਲ ਨਵੇਂ ਮਾਡਲ ਲਈ ਸਮਰਥਨ ਵਧਾਉਣ ‘ਤੇ ਸਰਗਰਮੀ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ। ਵਰਤਮਾਨ ਵਿੱਚ, iOS ਡਿਵੈਲਪਰਾਂ ਲਈ ਜੇਮਾ 2 ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਇੱਕ ਪੁਰਾਣਾ ਨਮੂਨਾ ਐਪ ਉਪਲਬਧ ਹੈ, ਪਰ ਇਹ ਅਜੇ ਤੱਕ MediaPipe LLM Inference API ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦਾ ਹੈ।

ਪ੍ਰਦਰਸ਼ਨ ਬੈਂਚਮਾਰਕ: ਇੱਕ ਲੀਪ ਫਾਰਵਰਡ

ਗੂਗਲ ਨੇ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਅੰਕੜੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ ਹਨ ਜੋ ਜੇਮਾ 3 1B ਨਾਲ ਪ੍ਰਾਪਤ ਕੀਤੀਆਂ ਮਹੱਤਵਪੂਰਨ ਤਰੱਕੀਆਂ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ। ਮਾਡਲ ਆਪਣੇ ਪੂਰਵਵਰਤੀ, ਜੇਮਾ 2 2B ਨਾਲੋਂ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਤੈਨਾਤੀ ਦੇ ਆਕਾਰ ਦੇ ਸਿਰਫ 20% ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਹ ਕਮਾਲ ਦਾ ਸੁਧਾਰ ਗੂਗਲ ਦੇ ਇੰਜੀਨੀਅਰਾਂ ਦੁਆਰਾ ਕੀਤੇ ਗਏ ਵਿਆਪਕ ਅਨੁਕੂਲਨ ਯਤਨਾਂ ਦਾ ਪ੍ਰਮਾਣ ਹੈ।

ਮੁੱਖ ਅਨੁਕੂਲਨ ਰਣਨੀਤੀਆਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ-ਅਵੇਅਰ ਟ੍ਰੇਨਿੰਗ: ਇਹ ਤਕਨੀਕ ਮਾਡਲ ਦੇ ਵਜ਼ਨ ਅਤੇ ਐਕਟੀਵੇਸ਼ਨਾਂ ਦੀ ਸ਼ੁੱਧਤਾ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ, ਜਿਸਦੇ ਨਤੀਜੇ ਵਜੋਂ ਇੱਕ ਛੋਟਾ ਮੈਮੋਰੀ ਫੁਟਪ੍ਰਿੰਟ ਅਤੇ ਸ਼ੁੱਧਤਾ ਦੇ ਮਹੱਤਵਪੂਰਨ ਨੁਕਸਾਨ ਤੋਂ ਬਿਨਾਂ ਤੇਜ਼ ਅਨੁਮਾਨ ਹੁੰਦਾ ਹੈ।
• ਸੁਧਾਰਿਆ KV ਕੈਸ਼ ਪ੍ਰਦਰਸ਼ਨ: ਕੀ-ਵੈਲਯੂ (KV) ਕੈਸ਼ ਟ੍ਰਾਂਸਫਾਰਮਰ ਮਾਡਲਾਂ ਦਾ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਾ ਹੈ, ਜੋ ਉਤਪਾਦਨ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ ਵਿਚਕਾਰਲੇ ਗਣਨਾਵਾਂ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਇਸਦੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਗਤੀ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਸੁਧਾਰਾਂ ਵੱਲ ਲੈ ਜਾਂਦਾ ਹੈ।
• ਅਨੁਕੂਲਿਤ ਵਜ਼ਨ ਲੇਆਉਟ: ਮੈਮੋਰੀ ਵਿੱਚ ਮਾਡਲ ਦੇ ਵਜ਼ਨ ਨੂੰ ਧਿਆਨ ਨਾਲ ਵਿਵਸਥਿਤ ਕਰਨਾ ਲੋਡਿੰਗ ਸਮੇਂ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਅਤੇ ਸਮੁੱਚੀ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦਾ ਹੈ।
• ਵਜ਼ਨ ਸਾਂਝਾਕਰਨ: ਮਾਡਲ ਦੇ ਪ੍ਰੀਫਿਲ ਅਤੇ ਡੀਕੋਡ ਪੜਾਵਾਂ ਵਿੱਚ ਵਜ਼ਨ ਸਾਂਝਾ ਕਰਨਾ ਮੈਮੋਰੀ ਦੀ ਵਰਤੋਂ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤ ਨੂੰ ਹੋਰ ਘਟਾਉਂਦਾ ਹੈ।

ਇਹ ਨੋਟ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਜਦੋਂ ਕਿ ਇਹ ਅਨੁਕੂਲਤਾ ਆਮ ਤੌਰ ‘ਤੇ ਸਾਰੇ ਓਪਨ-ਵੇਟ ਮਾਡਲਾਂ ‘ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ, ਖਾਸ ਪ੍ਰਦਰਸ਼ਨ ਲਾਭ ਮਾਡਲ ਨੂੰ ਚਲਾਉਣ ਲਈ ਵਰਤੇ ਗਏ ਡਿਵਾਈਸ ਅਤੇ ਇਸਦੇ ਰਨਟਾਈਮ ਕੌਂਫਿਗਰੇਸ਼ਨ ਦੇ ਅਧਾਰ ‘ਤੇ ਵੱਖ-ਵੱਖ ਹੋ ਸਕਦੇ ਹਨ। CPU/GPU ਸਮਰੱਥਾਵਾਂ, ਮੈਮੋਰੀ ਉਪਲਬਧਤਾ, ਅਤੇ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਵਰਗੇ ਕਾਰਕ ਸਾਰੇ ਅੰਤਮ ਨਤੀਜਿਆਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ।

ਹਾਰਡਵੇਅਰ ਲੋੜਾਂ ਅਤੇ ਉਪਲਬਧਤਾ

ਜੇਮਾ 3 1B ਨੂੰ ਘੱਟੋ-ਘੱਟ 4GB ਮੈਮੋਰੀ ਵਾਲੇ ਮੋਬਾਈਲ ਡਿਵਾਈਸਾਂ ‘ਤੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਚਲਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ CPU ਜਾਂ GPU ਦੋਵਾਂ ਦਾ ਲਾਭ ਲੈ ਸਕਦਾ ਹੈ, GPU ਆਮ ਤੌਰ ‘ਤੇ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਮਾਡਲ Hugging Face ਤੋਂ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ ਆਸਾਨੀ ਨਾਲ ਉਪਲਬਧ ਹੈ, ਜੋ ਕਿ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲਾਂ ਨੂੰ ਸਾਂਝਾ ਕਰਨ ਅਤੇ ਸਹਿਯੋਗ ਕਰਨ ਲਈ ਇੱਕ ਪ੍ਰਸਿੱਧ ਪਲੇਟਫਾਰਮ ਹੈ। ਇਹ ਗੂਗਲ ਦੇ ਵਰਤੋਂ ਲਾਇਸੈਂਸ ਦੇ ਅਧੀਨ ਜਾਰੀ ਕੀਤਾ ਗਿਆ ਹੈ, ਜੋ ਇਸਦੀ ਵਰਤੋਂ ਲਈ ਨਿਯਮਾਂ ਅਤੇ ਸ਼ਰਤਾਂ ਦੀ ਰੂਪਰੇਖਾ ਦਿੰਦਾ ਹੈ।

ਜੇਮਾ 3 1B ਦੀ ਸ਼ੁਰੂਆਤ ਆਨ-ਡਿਵਾਈਸ AI ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਮੀਲ ਪੱਥਰ ਹੈ। ਇਸਦਾ ਸੰਖੇਪ ਆਕਾਰ, ਔਫਲਾਈਨ ਸਮਰੱਥਾਵਾਂ, ਗੋਪਨੀਯਤਾ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ, ਅਤੇ ਸ਼ਕਤੀਸ਼ਾਲੀ ਪ੍ਰਦਰਸ਼ਨ ਇਸਨੂੰ ਮੋਬਾਈਲ ਅਤੇ ਵੈੱਬ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਲਈ ਇੱਕ ਆਦਰਸ਼ ਹੱਲ ਬਣਾਉਂਦੇ ਹਨ। ਜਿਵੇਂ ਕਿ ਡਿਵੈਲਪਰ ਇਸਦੀ ਸੰਭਾਵਨਾ ਦੀ ਪੜਚੋਲ ਕਰਨਾ ਜਾਰੀ ਰੱਖਦੇ ਹਨ, ਅਸੀਂ ਜੇਮਾ 3 1B ਦੀ ਬੁੱਧੀ ਦੁਆਰਾ ਸੰਚਾਲਿਤ ਨਵੀਨਤਾਕਾਰੀ ਅਤੇ ਆਕਰਸ਼ਕ ਉਪਭੋਗਤਾ ਅਨੁਭਵਾਂ ਦੀ ਇੱਕ ਨਵੀਂ ਲਹਿਰ ਦੇਖਣ ਦੀ ਉਮੀਦ ਕਰ ਸਕਦੇ ਹਾਂ।