ਮੈਟਾ ਲਾਮਾ 4: ਇੱਕ ਡੂੰਘੀ ਜਾਣਕਾਰੀ

ਮੈਟਾ ਲਾਮਾ, ਜਿਸਨੂੰ ਪਹਿਲਾਂ LLaMA (Large Language Model Meta AI) ਵਜੋਂ ਜਾਣਿਆ ਜਾਂਦਾ ਸੀ, ਫਰਵਰੀ 2023 ਵਿੱਚ ਸਾਹਮਣੇ ਆਇਆ, ਜਿਸ ਨਾਲ ਮੈਟਾ ਦੀ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਦੀ ਦੁਨੀਆ ਵਿੱਚ ਸ਼ੁਰੂਆਤ ਹੋਈ। ਜੁਲਾਈ 2023 ਵਿੱਚ ਲਾਮਾ 2 ਦੀ ਰਿਲੀਜ਼ ਇੱਕ ਗੇਮ-ਚੇਂਜਰ ਸੀ, ਕਿਉਂਕਿ ਮੈਟਾ ਨੇ ਇੱਕ ਖੁੱਲ੍ਹਾ ਆਗਿਆਕਾਰੀ ਲਾਇਸੈਂਸ ਅਪਣਾਇਆ, ਜਿਸ ਨਾਲ ਵਿਆਪਕ ਪਹੁੰਚ ਅਤੇ ਵਿਆਪਕ ਗ੍ਰਹਿਣ ਨੂੰ ਉਤਸ਼ਾਹ ਮਿਲਿਆ। ਨਿਰੰਤਰ ਸੁਧਾਈ ਅਤੇ ਕਈ ਦੁਹਰਾਓ ਦੇ ਜ਼ਰੀਏ, ਲਾਮਾ ਨੇ ਆਪਣੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਲਗਾਤਾਰ ਵਧਾਇਆ ਹੈ, ਜਿਸ ਨਾਲ OpenAI, Anthropic ਅਤੇ Google ਵਰਗੀਆਂ ਉਦਯੋਗਿਕ ਦਿੱਗਜਾਂ ਵਿੱਚ ਆਪਣੀ ਸਥਿਤੀ ਮਜ਼ਬੂਤ ਹੋਈ ਹੈ।

ਲਾਮਾ ਪਰਿਵਾਰ 5 ਅਪ੍ਰੈਲ, 2025 ਨੂੰ ਲਾਮਾ 4 ਮਾਡਲ ਪਰਿਵਾਰ, ਜਿਸਨੂੰ ਲਾਮਾ 4 ਝੁੰਡ ਵੀ ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਦੀ ਸ਼ੁਰੂਆਤ ਨਾਲ ਹੋਰ ਅੱਗੇ ਵਧਿਆ, ਜਿਸ ਨਾਲ ਮਲਟੀਮੋਡਲ LLMs ਦੇ ਇੱਕ ਨਵੇਂ ਯੁੱਗ ਦੀ ਸ਼ੁਰੂਆਤ ਹੋਈ।

ਮੈਟਾ ਲਾਮਾ 4 ਕੀ ਹੈ?

ਮੈਟਾ ਲਾਮਾ 4 LLM ਤਕਨਾਲੋਜੀ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਛਾਲ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਮਲਟੀਮੋਡਲ ਸਮਰੱਥਾਵਾਂ ਹਨ ਜੋ ਇਸਨੂੰ ਟੈਕਸਟ, ਤਸਵੀਰਾਂ ਅਤੇ ਵੀਡੀਓ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਅਤੇ ਵਿਆਖਿਆ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦੀਆਂ ਹਨ। ਇਹ ਚੌਥੀ ਪੀੜ੍ਹੀ ਦਾ ਮਾਡਲ ਦੁਨੀਆ ਭਰ ਦੀਆਂ ਕਈ ਭਾਸ਼ਾਵਾਂ ਦਾ ਸਮਰਥਨ ਕਰਕੇ ਭਾਸ਼ਾਈ ਰੁਕਾਵਟਾਂ ਨੂੰ ਪਾਰ ਕਰਦਾ ਹੈ।

ਲਾਮਾ 4 ਮਾਡਲਾਂ ਵਿੱਚ ਇੱਕ ਮੁੱਖ ਨਵੀਨਤਾ ਮਿਕਸਚਰ-ਆਫ-ਐਕਸਪਰਟਸ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਅਪਣਾਉਣਾ ਹੈ, ਜੋ ਕਿ ਲਾਮਾ ਪਰਿਵਾਰ ਲਈ ਪਹਿਲਾ ਹੈ। ਇਹ ਆਰਕੀਟੈਕਚਰ ਹਰੇਕ ਇਨਪੁਟ ਟੋਕਨ ਲਈ ਕੁੱਲ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਸਿਰਫ ਇੱਕ ਸਬਸੈੱਟ ਨੂੰ ਗਤੀਸ਼ੀਲ ਰੂਪ ਵਿੱਚ ਕਿਰਿਆਸ਼ੀਲ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਸ਼ਕਤੀ ਅਤੇ ਕੁਸ਼ਲਤਾ ਵਿਚਕਾਰ ਇੱਕ ਸੁਮੇਲ ਵਾਲਾ ਸੰਤੁਲਨ ਪ੍ਰਾਪਤ ਹੁੰਦਾ ਹੈ।

ਜਦੋਂ ਕਿ ਲਾਮਾ 4 ਕਮਿਊਨਿਟੀ ਲਾਇਸੈਂਸ ਨੂੰ ਅਧਿਕਾਰਤ ਤੌਰ ‘ਤੇ ਓਪਨ ਸੋਰਸ ਇਨੀਸ਼ੀਏਟਿਵ-ਮਨਜ਼ੂਰਸ਼ੁਦਾ ਲਾਇਸੈਂਸ ਵਜੋਂ ਮਾਨਤਾ ਪ੍ਰਾਪਤ ਨਹੀਂ ਹੈ, ਮੈਟਾ ਆਪਣੇ ਲਾਮਾ 4 ਮਾਡਲਾਂ ਨੂੰ ਓਪਨ ਸੋਰਸ ਵਜੋਂ ਦਰਸਾਉਂਦਾ ਹੈ। ਲਾਇਸੈਂਸ ਲਾਮਾ 4 ਮਾਡਲਾਂ ਨੂੰ ਮੁਫਤ ਵਰਤੋਂ ਅਤੇ ਸੋਧ ਦੇ ਅਧਿਕਾਰ ਦਿੰਦਾ ਹੈ, ਕੁਝ ਸੀਮਾਵਾਂ ਦੇ ਅਧੀਨ। ਅਪ੍ਰੈਲ 2025 ਤੱਕ, ਸੀਮਾ 700 ਮਿਲੀਅਨ ਮਹੀਨਾਵਾਰ ਉਪਭੋਗਤਾਵਾਂ ‘ਤੇ ਸੀ, ਜਿਸ ਤੋਂ ਬਾਅਦ ਇੱਕ ਵਪਾਰਕ ਲਾਇਸੈਂਸ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਲਾਮਾ 4 ਲਾਈਨਅੱਪ ਵਿੱਚ ਤਿੰਨ ਪ੍ਰਾਇਮਰੀ ਸੰਸਕਰਣ ਸ਼ਾਮਲ ਹਨ: ਸਕਾਊਟ, ਮਾਵੇਰਿਕ ਅਤੇ ਬੇਹੇਮੋਥ। ਸਕਾਊਟ ਅਤੇ ਮਾਵੇਰਿਕ ਨੂੰ ਇੱਕੋ ਸਮੇਂ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਦੋਂ ਕਿ ਬੇਹੇਮੋਥ ਅਜੇ ਵੀ ਵਿਕਾਸ ਅਧੀਨ ਹੈ। ਇਹ ਮਾਡਲ ਆਪਣੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ‘ਤੇ ਵੱਖਰੇ ਹਨ:

• ਲਾਮਾ 4 ਸਕਾਊਟ: ਇਸ ਵਿੱਚ 17 ਬਿਲੀਅਨ ਐਕਟਿਵ ਪੈਰਾਮੀਟਰ, 16 ਮਾਹਰ, 109 ਬਿਲੀਅਨ ਕੁੱਲ ਪੈਰਾਮੀਟਰ, 10 ਮਿਲੀਅਨ-ਟੋਕਨ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਅਤੇ ਅਗਸਤ 2024 ਦੀ ਜਾਣਕਾਰੀ ਕੱਟਆਫ ਹੈ।
• ਲਾਮਾ 4 ਮਾਵੇਰਿਕ: ਇਸ ਵਿੱਚ ਵੀ 17 ਬਿਲੀਅਨ ਐਕਟਿਵ ਪੈਰਾਮੀਟਰ ਹਨ, ਪਰ ਇਸ ਵਿੱਚ 128 ਮਾਹਰ, 400 ਬਿਲੀਅਨ ਕੁੱਲ ਪੈਰਾਮੀਟਰ, 1 ਮਿਲੀਅਨ-ਟੋਕਨ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਅਤੇ ਸਕਾਊਟ ਵਾਂਗ ਹੀ ਜਾਣਕਾਰੀ ਕੱਟਆਫ ਹੈ।
• ਲਾਮਾ 4 ਬੇਹੇਮੋਥ: ਤਿੰਨਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਸ਼ਕਤੀਸ਼ਾਲੀ, ਜਿਸ ਵਿੱਚ 288 ਬਿਲੀਅਨ ਐਕਟਿਵ ਪੈਰਾਮੀਟਰ, 16 ਮਾਹਰ, 2 ਟ੍ਰਿਲੀਅਨ ਕੁੱਲ ਪੈਰਾਮੀਟਰ ਅਤੇ ਇੱਕ ਅਨਿਸ਼ਚਿਤ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਅਤੇ ਜਾਣਕਾਰੀ ਕੱਟਆਫ ਹੈ।

ਮੈਟਾ ਲਾਮਾ 4 ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ

ਮੈਟਾ ਲਾਮਾ 4 ਮਾਡਲ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਇੱਕ ਵਿਭਿੰਨ ਸਪੈਕਟ੍ਰਮ ਨੂੰ ਅਨਲੌਕ ਕਰਦੇ ਹਨ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਮੂਲ ਮਲਟੀਮੋਡੈਲਿਟੀ: ਟੈਕਸਟ, ਤਸਵੀਰਾਂ ਅਤੇ ਵੀਡੀਓ ਨੂੰ ਇੱਕੋ ਸਮੇਂ ਸਮਝਣ ਦੀ ਸਮਰੱਥਾ। ਇਹ ਮਾਡਲ ਨੂੰ ਜਾਣਕਾਰੀ ਦੇ ਵਿਭਿੰਨ ਸਰੋਤਾਂ ਤੋਂ ਸੰਦਰਭ ਅਤੇ ਅਰਥ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।
• ਸਮੱਗਰੀ ਦਾ ਸੰਖੇਪਕਰਨ: ਲਾਮਾ 4 ਮਾਡਲ ਵੱਖ-ਵੱਖ ਸਮੱਗਰੀ ਕਿਸਮਾਂ ਤੋਂ ਜਾਣਕਾਰੀ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸੰਘਣਾ ਕਰ ਸਕਦੇ ਹਨ, ਜੋ ਕਿ ਮਲਟੀਮੋਡਲ ਸਮਝ ਦਾ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਪਹਿਲੂ ਹੈ। ਉਦਾਹਰਨ ਵਜੋਂ, ਮਾਡਲ ਇੱਕ ਵੀਡੀਓ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰ ਸਕਦਾ ਹੈ, ਮੁੱਖ ਦ੍ਰਿਸ਼ਾਂ ਨੂੰ ਐਕਸਟਰੈਕਟ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਸਮੱਗਰੀ ਦਾ ਇੱਕ ਸੰਖੇਪ ਸਾਰ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ।
• ਲੰਬੇ-ਸੰਦਰਭ ਪ੍ਰੋਸੈਸਿੰਗ: ਲਾਮਾ 4 ਸਕਾਊਟ ਨੂੰ ਵਿਸ਼ੇਸ਼ ਤੌਰ ‘ਤੇ ਜਾਣਕਾਰੀ ਦੀ ਮਹੱਤਵਪੂਰਨ ਮਾਤਰਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਜਿਸਦੀ ਇਸਦੀ ਵਿਸ਼ਾਲ 10 ਮਿਲੀਅਨ-ਟੋਕਨ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਦੁਆਰਾ ਸਹੂਲਤ ਦਿੱਤੀ ਗਈ ਹੈ। ਇਹ ਸਮਰੱਥਾ ਵਿਆਪਕ ਖੋਜ ਪੱਤਰਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਜਾਂ ਲੰਬੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਵਰਗੇ ਕੰਮਾਂ ਲਈ ਅਨਮੋਲ ਹੈ।
• ਬਹੁਭਾਸ਼ਾਈ ਵਿਧੀ: ਸਾਰੇ ਲਾਮਾ 4 ਮਾਡਲ ਬਹੁਭਾਸ਼ਾਈ ਮੁਹਾਰਤ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ, ਜੋ ਟੈਕਸਟ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਕਈ ਤਰ੍ਹਾਂ ਦੀਆਂ ਭਾਸ਼ਾਵਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ: ਅਰਬੀ, ਅੰਗਰੇਜ਼ੀ, ਫਰਾਂਸੀਸੀ, ਜਰਮਨ, ਹਿੰਦੀ, ਇੰਡੋਨੇਸ਼ੀਆਈ, ਇਤਾਲਵੀ, ਪੁਰਤਗਾਲੀ, ਸਪੈਨਿਸ਼, ਟੈਗਾਲੋਗ, ਥਾਈ ਅਤੇ ਵੀਅਤਨਾਮੀ। ਹਾਲਾਂਕਿ, ਤਸਵੀਰ ਦੀ ਸਮਝ ਵਰਤਮਾਨ ਵਿੱਚ ਸਿਰਫ ਅੰਗਰੇਜ਼ੀ ਤੱਕ ਸੀਮਿਤ ਹੈ।
• ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ: ਲਾਮਾ 4 ਮਾਡਲ ਇਕਸਾਰ ਅਤੇ ਸੰਦਰਭਿਕ ਤੌਰ ‘ਤੇ ਢੁਕਵਾਂ ਟੈਕਸਟ ਤਿਆਰ ਕਰਨ ਵਿੱਚ ਉੱਤਮ ਹਨ, ਜਿਸ ਵਿੱਚ ਰਚਨਾਤਮਕ ਲਿਖਤ ਦੇ ਯਤਨ ਸ਼ਾਮਲ ਹਨ। ਮਾਡਲ ਵੱਖ-ਵੱਖ ਲਿਖਣ ਸ਼ੈਲੀਆਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾ ਸਕਦਾ ਹੈ ਅਤੇ ਮਨੁੱਖੀ-ਗੁਣਵੱਤਾ ਵਾਲਾ ਟੈਕਸਟ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ।
• ਉੱਨਤ ਤਰਕ: ਇਨ੍ਹਾਂ ਮਾਡਲਾਂ ਵਿੱਚ ਗੁੰਝਲਦਾਰ ਵਿਗਿਆਨਕ ਅਤੇ ਗਣਿਤਿਕ ਸਮੱਸਿਆਵਾਂ ਦੁਆਰਾ ਤਰਕ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਹੈ। ਉਹ ਗੁੰਝਲਦਾਰ ਤਰਕ ਨੂੰ ਸਮਝ ਸਕਦੇ ਹਨ ਅਤੇ ਸਹੀ ਸਿੱਟਿਆਂ ‘ਤੇ ਪਹੁੰਚ ਸਕਦੇ ਹਨ।
• ਕੋਡ ਜਨਰੇਸ਼ਨ: ਲਾਮਾ 4 ਐਪਲੀਕੇਸ਼ਨ ਕੋਡ ਨੂੰ ਸਮਝਣ ਅਤੇ ਤਿਆਰ ਕਰਨ ਦੇ ਸਮਰੱਥ ਹੈ, ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਵਰਕਫਲੋ ਨੂੰ ਸੁਚਾਰੂ ਬਣਾਉਣ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰਦਾ ਹੈ। ਮਾਡਲ ਕੋਡ ਸਨਿੱਪਟ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ, ਫੰਕਸ਼ਨਾਂ ਨੂੰ ਪੂਰਾ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਪੂਰੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵੀ ਵਿਕਸਤ ਕਰ ਸਕਦਾ ਹੈ।
• ਮੂਲ ਮਾਡਲ ਕਾਰਜਕੁਸ਼ਲਤਾ: ਇੱਕ ਓਪਨ ਮਾਡਲ ਹੋਣ ਦੇ ਨਾਤੇ, ਲਾਮਾ 4 ਡੈਰੀਵੇਟਿਵ ਮਾਡਲਾਂ ਦੇ ਵਿਕਾਸ ਲਈ ਇੱਕ ਬੁਨਿਆਦੀ ਤੱਤ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਖੋਜਕਰਤਾ ਅਤੇ ਡਿਵੈਲਪਰ ਖਾਸ ਕੰਮਾਂ ਲਈ ਲਾਮਾ 4 ਨੂੰ ਵਧੀਆ-ਟਿਊਨ ਕਰ ਸਕਦੇ ਹਨ, ਵਿਸ਼ੇਸ਼ ਐਪਲੀਕੇਸ਼ਨਾਂ ਬਣਾਉਣ ਲਈ ਇਸਦੀਆਂ ਮੌਜੂਦਾ ਸਮਰੱਥਾਵਾਂ ਦਾ ਲਾਭ ਉਠਾ ਸਕਦੇ ਹਨ।

ਮੈਟਾ ਲਾਮਾ 4 ਦੀ ਸਿਖਲਾਈ ਵਿਧੀ

ਮੈਟਾ ਨੇ ਆਪਣੀ ਚੌਥੀ ਪੀੜ੍ਹੀ ਦੇ ਲਾਮਾ ਪਰਿਵਾਰ LLMs ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਉੱਨਤ ਤਕਨੀਕਾਂ ਦੇ ਇੱਕ ਸੂਟ ਦੀ ਵਰਤੋਂ ਕੀਤੀ, ਜਿਸਦਾ ਉਦੇਸ਼ ਪਹਿਲੇ ਸੰਸਕਰਣਾਂ ਦੇ ਮੁਕਾਬਲੇ ਸ਼ੁੱਧਤਾ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਵਧਾਉਣਾ ਸੀ। ਇਨ੍ਹਾਂ ਤਕਨੀਕਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• ਸਿਖਲਾਈ ਡੇਟਾ: ਕਿਸੇ ਵੀ LLM ਦਾ ਮੁੱਖ ਆਧਾਰ ਇਸਦਾ ਸਿਖਲਾਈ ਡੇਟਾ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਮੈਟਾ ਨੇ ਮੰਨਿਆ ਕਿ ਵੱਧ ਡੇਟਾ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਬਦਲਦਾ ਹੈ। ਇਸ ਲਈ, ਲਾਮਾ 4 ਨੂੰ 30 ਟ੍ਰਿਲੀਅਨ ਤੋਂ ਵੱਧ ਟੋਕਨਾਂ ‘ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ, ਜੋ ਕਿ ਲਾਮਾ 3 ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤੇ ਗਏ ਡੇਟਾ ਦੀ ਮਾਤਰਾ ਤੋਂ ਦੁੱਗਣੀ ਹੈ।
• ਅਰਲੀ ਫਿਊਜ਼ਨ ਮਲਟੀਮੋਡੈਲਿਟੀ: ਲਾਮਾ 4 ਸੀਰੀਜ਼ ਨੇ “ਅਰਲੀ ਫਿਊਜ਼ਨ” ਪਹੁੰਚ ਨੂੰ ਅਪਣਾਇਆ, ਜੋ ਟੈਕਸਟ ਅਤੇ ਵਿਜ਼ਨ ਟੋਕਨਾਂ ਨੂੰ ਇੱਕ ਏਕੀਕ੍ਰਿਤ ਮਾਡਲ ਵਿੱਚ ਜੋੜਦਾ ਹੈ। ਮੈਟਾ ਦੇ ਅਨੁਸਾਰ, ਇਹ ਪਹੁੰਚ ਵਿਜ਼ੂਅਲ ਅਤੇ ਟੈਕਸਟ ਜਾਣਕਾਰੀ ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਵਧੇਰੇ ਕੁਦਰਤੀ ਸਮਝ ਨੂੰ ਉਤਸ਼ਾਹਤ ਕਰਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਵੱਖਰੇ ਐਨਕੋਡਰਾਂ ਅਤੇ ਡੀਕੋਡਰਾਂ ਦੀ ਲੋੜ ਖਤਮ ਹੋ ਜਾਂਦੀ ਹੈ।
• ਹਾਈਪਰਪੈਰਾਮੀਟਰ ਅਨੁਕੂਲਤਾ: ਇਸ ਤਕਨੀਕ ਵਿੱਚ ਨਾਜ਼ੁਕ ਮਾਡਲ ਹਾਈਪਰਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਵਧੀਆ-ਟਿਊਨ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ, ਜਿਵੇਂ ਕਿ ਪ੍ਰਤੀ-ਲੇਅਰ ਸਿੱਖਣ ਦੀਆਂ ਦਰਾਂ, ਵਧੇਰੇ ਭਰੋਸੇਯੋਗ ਅਤੇ ਇਕਸਾਰ ਸਿਖਲਾਈ ਨਤੀਜੇ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ। ਇਨ੍ਹਾਂ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾ ਕੇ, ਮੈਟਾ ਲਾਮਾ 4 ਦੀ ਸਮੁੱਚੀ ਸਥਿਰਤਾ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਦੇ ਯੋਗ ਸੀ।
• iRoPE ਆਰਕੀਟੈਕਚਰ: ਪੋਜੀਸ਼ਨਲ ਏਮਬੈਡਿੰਗ ਆਰਕੀਟੈਕਚਰ ਤੋਂ ਬਿਨਾਂ ਇੰਟਰਲੀਵਡ ਅਟੈਂਸ਼ਨ ਲੇਅਰਾਂ, ਜਾਂ iRoPE ਆਰਕੀਟੈਕਚਰ, ਸਿਖਲਾਈ ਦੌਰਾਨ ਲੰਬੇ ਸੀਕਵੈਂਸਾਂ ਦੇ ਪ੍ਰਬੰਧਨ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ ਅਤੇ ਲਾਮਾ 4 ਸਕਾਊਟ ਵਿੱਚ 10 ਮਿਲੀਅਨ-ਟੋਕਨ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਦੀ ਸਹੂਲਤ ਦਿੰਦਾ ਹੈ। ਇਹ ਆਰਕੀਟੈਕਚਰ ਮਾਡਲ ਨੂੰ ਇਨਪੁਟ ਸੀਕਵੈਂਸ ਦੇ ਦੂਰ ਦੇ ਹਿੱਸਿਆਂ ਤੋਂ ਜਾਣਕਾਰੀ ਬਰਕਰਾਰ ਰੱਖਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਲੰਬੇ ਅਤੇ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦੇ ਯੋਗ ਹੋ ਜਾਂਦਾ ਹੈ।
• MetaCLIP ਵਿਜ਼ਨ ਐਨਕੋਡਰ: ਨਵਾਂ ਮੈਟਾ ਵਿਜ਼ਨ ਐਨਕੋਡਰ ਤਸਵੀਰਾਂ ਨੂੰ ਟੋਕਨ ਪ੍ਰਤੀਨਿਧਤਾਵਾਂ ਵਿੱਚ ਅਨੁਵਾਦ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਮਲਟੀਮੋਡਲ ਸਮਝ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ। ਇਹ ਐਨਕੋਡਰ ਲਾਮਾ 4 ਨੂੰ ਵਿਜ਼ੂਅਲ ਜਾਣਕਾਰੀ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਪ੍ਰੋਸੈਸ ਅਤੇ ਵਿਆਖਿਆ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ।
• GOAT ਸੁਰੱਖਿਆ ਸਿਖਲਾਈ: ਮੈਟਾ ਨੇ LLM ਕਮਜ਼ੋਰੀਆਂ ਦੀ ਪਛਾਣ ਕਰਨ ਅਤੇ ਮਾਡਲ ਸੁਰੱਖਿਆ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਸਿਖਲਾਈ ਦੌਰਾਨ ਜਨਰੇਟਿਵ ਅਫੈਂਸਿਵ ਏਜੰਟ ਟੈਸਟਰ (GOAT) ਨੂੰ ਲਾਗੂ ਕੀਤਾ। ਇਹ ਤਕਨੀਕ ਮਾਡਲ ਦੁਆਰਾ ਨੁਕਸਾਨਦੇਹ ਜਾਂ ਪੱਖਪਾਤੀ ਸਮੱਗਰੀ ਪੈਦਾ ਕਰਨ ਦੇ ਜੋਖਮ ਨੂੰ ਘਟਾਉਣ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰਦੀ ਹੈ।

ਲਾਮਾ ਮਾਡਲਾਂ ਦਾ ਵਿਕਾਸ

ਨਵੰਬਰ 2022ਵਿੱਚ ChatGPT ਦੀ ਜ਼ਬਰਦਸਤ ਸ਼ੁਰੂਆਤ ਤੋਂ ਬਾਅਦ, ਉਦਯੋਗ ਭਰ ਦੀਆਂ ਕੰਪਨੀਆਂ ਨੇ LLM ਮਾਰਕੀਟ ਵਿੱਚ ਇੱਕ ਮਜ਼ਬੂਤ ਸਥਾਨ ਸਥਾਪਤ ਕਰਨ ਲਈ ਦੌੜ ਲਗਾਈ। ਮੈਟਾ ਸ਼ੁਰੂਆਤੀ ਜਵਾਬਦੇਹਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸੀ, ਜਿਸਨੇ 2023 ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਆਪਣੇ ਸ਼ੁਰੂਆਤੀ ਲਾਮਾ ਮਾਡਲਾਂ ਨੂੰ ਪੇਸ਼ ਕੀਤਾ, ਹਾਲਾਂਕਿ ਸੀਮਤ ਪਹੁੰਚ ਨਾਲ। 2023 ਦੇ ਅੱਧ ਵਿੱਚ ਲਾਮਾ 2 ਦੀ ਰਿਲੀਜ਼ ਨਾਲ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋਏ, ਸਾਰੇ ਬਾਅਦ ਵਾਲੇ ਮਾਡਲਾਂ ਨੂੰ ਓਪਨ ਲਾਇਸੈਂਸਾਂ ਦੇ ਅਧੀਨ ਉਪਲਬਧ ਕਰਵਾਇਆ ਗਿਆ ਹੈ।

• ਲਾਮਾ 1: ਮੂਲ ਲਾਮਾ ਮਾਡਲ, ਜੋ ਫਰਵਰੀ 2023 ਵਿੱਚ ਸੀਮਤ ਪਹੁੰਚ ਨਾਲ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ਸੀ।
• ਲਾਮਾ 2: ਜੁਲਾਈ 2023 ਵਿੱਚ ਇੱਕ ਓਪਨ ਲਾਇਸੈਂਸ ਦੇ ਨਾਲ ਪਹਿਲੇ ਲਾਮਾ ਮਾਡਲ ਵਜੋਂ ਰਿਲੀਜ਼ ਕੀਤਾ ਗਿਆ, ਲਾਮਾ 2 ਨੇ ਮੁਫਤ ਪਹੁੰਚ ਅਤੇ ਵਰਤੋਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕੀਤੀ। ਇਸ ਦੁਹਰਾਓ ਵਿੱਚ ਵਿਭਿੰਨ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲੋੜਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ 7B, 13B ਅਤੇ 70B ਪੈਰਾਮੀਟਰ ਸੰਸਕਰਣ ਸ਼ਾਮਲ ਸਨ।
• ਲਾਮਾ 3: ਲਾਮਾ 3 ਮਾਡਲ ਅਪ੍ਰੈਲ 2024 ਵਿੱਚ ਸ਼ੁਰੂ ਹੋਏ, ਸ਼ੁਰੂ ਵਿੱਚ 8B ਅਤੇ 70B ਪੈਰਾਮੀਟਰ ਸੰਸਕਰਣਾਂ ਦੇ ਨਾਲ।
• ਲਾਮਾ 3.1: ਜੁਲਾਈ 2024 ਵਿੱਚ ਲਾਂਚ ਕੀਤਾ ਗਿਆ, ਲਾਮਾ 3.1 ਨੇ 405B ਪੈਰਾਮੀਟਰ ਮਾਡਲ ਜੋੜਿਆ, ਜਿਸ ਨਾਲ LLM ਸਮਰੱਥਾਵਾਂ ਦੀਆਂ ਸੀਮਾਵਾਂ ਵਧ ਗਈਆਂ।
• ਲਾਮਾ 3.2: ਇਹ ਮਾਡਲ, ਮੈਟਾ ਦਾ ਪਹਿਲਾ ਪੂਰੀ ਤਰ੍ਹਾਂ ਮਲਟੀਮੋਡਲ LLM, ਅਕਤੂਬਰ 2024 ਵਿੱਚ ਰਿਲੀਜ਼ ਹੋਇਆ, ਜਿਸ ਨਾਲ ਲਾਮਾ ਪਰਿਵਾਰ ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਮੀਲਪੱਥਰ ਸਥਾਪਤ ਹੋਇਆ।
• ਲਾਮਾ 3.3: ਮੈਟਾ ਨੇ ਦਸੰਬਰ 2024 ਵਿੱਚ ਆਪਣੀ ਰਿਲੀਜ਼ ਵਿੱਚ ਦਾਅਵਾ ਕੀਤਾ ਕਿ ਲਾਮਾ 3.3 ਦਾ 70B ਰੂਪ 3.1 ਦੇ 405B ਰੂਪ ਦੇ ਸਮਾਨ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ ਘੱਟ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜੋ ਨਿਰੰਤਰ ਅਨੁਕੂਲਤਾ ਯਤਨਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।

ਹੋਰ ਮਾਡਲਾਂ ਦੇ ਮੁਕਾਬਲੇ ਲਾਮਾ 4

ਉਤਪਾਦਕ AI ਦਾ ਲੈਂਡਸਕੇਪ ਤੇਜ਼ੀ ਨਾਲ ਮੁਕਾਬਲੇ ਵਾਲਾ ਹੁੰਦਾ ਜਾ ਰਿਹਾ ਹੈ, ਜਿਸ ਵਿੱਚ OpenAI ਦੇ GPT-4o, Google Gemini 2.0 ਅਤੇ DeepSeek ਸਮੇਤ ਕਈ ਓਪਨ-ਸੋਰਸ ਪ੍ਰੋਜੈਕਟ ਵਰਗੇ ਪ੍ਰਮੁੱਖ ਖਿਡਾਰੀ ਸ਼ਾਮਲ ਹਨ।

ਲਾਮਾ 4 ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਮੁਲਾਂਕਣ ਕਈ ਬੈਂਚਮਾਰਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:

• MMMU (Massive Multi-discipline Multimodal Understanding): ਤਸਵੀਰ ਤਰਕ ਸਮਰੱਥਾਵਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ।
• LiveCodeBench: ਕੋਡਿੰਗ ਮੁਹਾਰਤ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ।
• GPQA Diamond (Graduate-Level Google-Proof Q&A Diamond): ਤਰਕ ਅਤੇ ਗਿਆਨ ਨੂੰ ਮਾਪਦਾ ਹੈ।

ਇਨ੍ਹਾਂ ਬੈਂਚਮਾਰਕਾਂ ‘ਤੇ ਉੱਚ ਸਕੋਰ ਬਿਹਤਰ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ।

ਇਹ ਬੈਂਚਮਾਰਕ ਤਸਵੀਰ ਤਰਕ, ਕੋਡਿੰਗ ਅਤੇ ਆਮ ਗਿਆਨ ਵਿੱਚ ਲਾਮਾ 4 ਮਾਵੇਰਿਕ ਦੀਆਂ ਸ਼ਕਤੀਆਂ ਨੂੰ ਉਜਾਗਰ ਕਰਦੇ ਹਨ, ਇਸਨੂੰ LLM ਖੇਤਰ ਵਿੱਚ ਇੱਕ ਮਜ਼ਬੂਤ ਦਾਅਵੇਦਾਰ ਵਜੋਂ ਸਥਾਪਤ ਕਰਦੇ ਹਨ।

ਲਾਮਾ 4 ਤੱਕ ਪਹੁੰਚ ਕਰਨਾ

ਮੈਟਾ ਲਾਮਾ 4 ਮਾਵੇਰਿਕ ਅਤੇ ਸਕਾਊਟ ਕਈ ਚੈਨਲਾਂ ਰਾਹੀਂ ਆਸਾਨੀ ਨਾਲ ਉਪਲਬਧ ਹਨ:

• Llama.com: ਮੈਟਾ ਦੁਆਰਾ ਸੰਚਾਲਿਤ llama.com ਵੈੱਬਸਾਈਟ ਤੋਂ ਸਕਾਊਟ ਅਤੇ ਮਾਵੇਰਿਕ ਨੂੰ ਸਿੱਧਾ ਮੁਫ਼ਤ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰੋ।
• Meta.ai: Meta.ai ਵੈੱਬ ਇੰਟਰਫੇਸ ਲਾਮਾ 4 ਤੱਕ ਬ੍ਰਾਊਜ਼ਰ-ਅਧਾਰਿਤ ਪਹੁੰਚ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਕਿਸੇ ਵੀ ਸਥਾਨਕ ਸਥਾਪਨਾ ਦੀ ਲੋੜ ਤੋਂ ਬਿਨਾਂ ਮਾਡਲ ਨਾਲ ਗੱਲਬਾਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਮਿਲਦੀ ਹੈ।
• Hugging Face: ਲਾਮਾ 4 https://huggingface.co/meta-llama ‘ਤੇ ਵੀ ਉਪਲਬਧ ਹੈ, ਜੋ ਕਿ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲਾਂ ਨੂੰ ਸਾਂਝਾ ਕਰਨ ਅਤੇ ਖੋਜਣ ਲਈ ਇੱਕ ਪ੍ਰਸਿੱਧ ਪਲੇਟਫਾਰਮ ਹੈ।
• Meta AI App: ਲਾਮਾ 4 ਮੈਟਾ ਦੇ AI ਵਰਚੁਅਲ ਸਹਾਇਕ ਨੂੰ ਪਾਵਰ ਦਿੰਦਾ ਹੈ, ਜੋ ਵੱਖ-ਵੱਖ ਪਲੇਟਫਾਰਮਾਂ ‘ਤੇ ਵੌਇਸ ਜਾਂ ਟੈਕਸਟ ਰਾਹੀਂ ਉਪਲਬਧ ਹੈ। ਉਪਭੋਗਤਾ ਟੈਕਸਟ ਦਾ ਸਾਰ ਦੇਣ, ਸਮੱਗਰੀ ਤਿਆਰ ਕਰਨ ਅਤੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਵਰਗੇ ਕੰਮ ਕਰਨ ਲਈ ਸਹਾਇਕ ਦਾ ਲਾਭ ਲੈ ਸਕਦੇ ਹਨ।