ਮਾਈਕਰੋਸਾਫਟ ਦਾ ਫਾਈ-4 ਤਰਕ ਸੰਖੇਪ, ਖੁੱਲ੍ਹਾ-ਵਜ਼ਨ (MIT ਲਾਇਸੈਂਸਸ਼ੁਦਾ), ਤੇਜ਼, ਕੁਸ਼ਲ SLM ਪੇਸ਼ ਕਰਦਾ ਹੈ ਜੋ ਉੱਨਤ ਤਰਕ ਦੇ ਸਮਰੱਥ ਹਨ।
ਮਾਈਕਰੋਸਾਫਟ, ਜਦੋਂ ਕਿ OpenAI ਦਾ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰਤ ਭਾਈਵਾਲ ਹੈ ਅਤੇ Azure AI Foundry ਵਿੱਚ ਆਪਣੇ AI ਮਾਡਲਾਂ ਨੂੰ ਜੋੜਨ ਲਈ ਜ਼ਿਆਦਾਤਰ ਖਿਡਾਰੀਆਂ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ, ਆਪਣੇ ਤਕਨੀਕੀ ਮਾਰਗਾਂ ਦਾ ਪਿੱਛਾ ਕਰਨ ਤੋਂ ਸੰਕੋਚ ਨਹੀਂ ਕਰਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਨਿਊਰਲ ਨੈਟਵਰਕ ਦੇ ਮੂਲ ਵਿੱਚ ਨਵੀਨਤਾਵਾਂ ‘ਤੇ ਕੰਮ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ, ਜਿਵੇਂ ਕਿ Trit ‘ਤੇ ਅਧਾਰਤ ਦਿਲਚਸਪ BitNet b1.58 ਮਾਡਲ, ਇਸਦੇ ਆਪਣੇ ਓਪਨ-ਸੋਰਸ SLM, ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਫਰੰਟੀਅਰ ਮਾਡਲ ਵੀ ਗੁਪਤ ਰੱਖੇ ਗਏ ਹਨ (ਪ੍ਰੋਜੈਕਟ MAI-1)।
ਆਪਣੇ ਛੋਟੇ AI ਮਾਡਲਾਂ (SLM) ਦੀ ਰੇਂਜ Phi-3 ਪੇਸ਼ ਕਰਨ ਤੋਂ ਇੱਕ ਸਾਲ ਬਾਅਦ ਅਤੇ ਇੱਕ ਮਲਟੀਮੋਡਲ SLM (Phi-4-Multimodal) ਅਤੇ ਇੱਕ ਛੋਟੇ ਮਾਡਲ (Phi-4-mini) ਨਾਲ 4ਵੀਂ ਪੀੜ੍ਹੀ ਦੀ ਸ਼ੁਰੂਆਤ ਕਰਨ ਤੋਂ ਦੋ ਮਹੀਨੇ ਬਾਅਦ, ਮਾਈਕਰੋਸਾਫਟ ਆਪਣੇ ਨਵੀਨਤਮ ਪੀੜ੍ਹੀ ਦੇ SLM ਦੇ ਤਿੰਨ ਨਵੇਂ ਰੂਪਾਂ ਦਾ ਐਲਾਨ ਕਰਦਾ ਹੈ: Phi-4-reasoning, Phi-4-reasoning-plus, ਅਤੇ Phi-4-mini-reasoning।
30 ਅਪ੍ਰੈਲ, 2025 ਨੂੰ ਜਾਰੀ ਕੀਤੇ ਗਏ, ਇਹ "ਤਰਕ-ਏਕੀਕ੍ਰਿਤ" ਸੰਸਕਰਣ ਡਿਵੈਲਪਰਾਂ ਲਈ ਸੰਖੇਪ ਮਾਡਲਾਂ ਦੀ ਓਪਨ-ਵਜ਼ਨ ਪੇਸ਼ਕਸ਼ ਦਾ ਵਿਸਤਾਰ ਕਰਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਗੁੰਝਲਦਾਰ ਤਰਕ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਜਦੋਂ ਕਿ ਘੱਟ ਲੇਟੈਂਸੀ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਮਾਈਕਰੋਸਾਫਟ ਇੰਜੀਨੀਅਰਾਂ ਦੇ ਆਪਣੇ SLM ਨੂੰ "ਤਰਕ" ਬਣਾਉਣ ਦੇ ਤਰੀਕੇ ਦੇ ਮੂਲ ਵਿੱਚ: OpenAI ਦੀ ਤਰਕ ਚੇਨ o3-mini ਤੋਂ ਵਧੀਆ ਨਿਗਰਾਨੀ (SFT) ‘ਤੇ ਭਰੋਸਾ ਕਰਨਾ, ਅਤੇ "ਪਲੱਸ" ਸੰਸਕਰਣ ਲਈ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ (RL) ਦਾ ਲਾਭ ਉਠਾਉਣਾ। ਮਾਈਕਰੋਸਾਫਟ ਦੱਸਦਾ ਹੈ, "ਡਿਸਟੀਲੇਸ਼ਨ, ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਅਤੇ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਡੇਟਾ ਦੁਆਰਾ, ਇਹ ਮਾਡਲ ਆਕਾਰ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਸੁਲਝਾਉਂਦੇ ਹਨ।”
ਛੋਟਾ ਪਰ ਹੁਨਰਮੰਦ
ਮਾਰਕੀਟ ਦੇ ਵੱਖ-ਵੱਖ ਪ੍ਰਮੁੱਖ ਬੈਂਚਮਾਰਕਾਂ ‘ਤੇ ਨਤੀਜੇ ਮੁਕਾਬਲੇ ਨੂੰ ਫਿੱਕਾ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਹਨ: ਆਮ ਤੌਰ ‘ਤੇ ਸਿਰਫ 14 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਨਾਲ, Phi-4-reasoning AIME 2025, MMLU-Pro ਜਾਂ HumanEval-Plus ਸੀਰੀਜ਼ ‘ਤੇ DeepSeek-R1-Distill-Llama-70B (70 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ) ਤੋਂ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ, ਅਤੇ ਸੰਪੂਰਨ DeepSeek-R1 ਮਾਡਲ (671 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ) ਤੱਕ ਪਹੁੰਚਦਾ ਹੈ! Phi-4-reasoning-plus ਰੂਪ, ਉਸੇ 14 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ‘ਤੇ ਇਕਸਾਰ ਪਰ 1.5 ਗੁਣਾ ਜ਼ਿਆਦਾ ਟੋਕਨਾਂ ਨਾਲ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ, ਓਮਨੀਮੈਥ ‘ਤੇ OpenAI ਦੇ o3-mini ਸਕੋਰਾਂ ਨਾਲ ਲਗਭਗ ਮੇਲ ਖਾਂਦਾ ਹੈ! ਜਾਣਕਾਰੀ ਲਈ, Phi-4-reasoning ਇੱਕ ਕਲਾਸਿਕ 128,000 ਟੋਕਨ ਸੰਦਰਭ ਵਿੰਡੋ ਤੋਂ ਲਾਭ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ ਜਿਸਨੂੰ Phi-4-reasoning-plus ਸੰਸਕਰਣ ਲਈ 256,000 ਟੋਕਨਾਂ ਤੱਕ ਵਧਾਇਆ ਗਿਆ ਹੈ।
ਏਮਬੈਡਡ ਸਿਸਟਮਾਂ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ, Phi-4-mini-reasoning 3.8 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ, DeepSeek-R1 ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਗਏ ਇੱਕ ਮਿਲੀਅਨ ਗਣਿਤਿਕ ਸਮੱਸਿਆਵਾਂ ਦਾ ਇੱਕ ਸਿੰਥੈਟਿਕ ਸੈੱਟ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਅਤੇ Math-500 ‘ਤੇ o1-mini ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ ਜਦੋਂ ਕਿ 7 ਤੋਂ 8 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਵਾਲੇ ਕਈ ਮਾਡਲਾਂ ਤੋਂ ਵੱਧ ਜਾਂਦਾ ਹੈ। ਇਸਦੇ ਬਹੁਤ ਛੋਟੇ ਆਕਾਰ ਦੇ ਨਾਲ, ਇਹ ਮਾਡਲ ਸਥਾਨਕ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਲਈ ਆਦਰਸ਼ ਹੈ, ਜਿਸ ਵਿੱਚ ਮੋਬਾਈਲ ਡਿਵਾਈਸਾਂ ‘ਤੇ ਅਤੇ ਲਗਭਗ ਤੁਰੰਤ ਜਵਾਬਾਂ ਦੀ ਜ਼ਰੂਰਤ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਸ਼ਾਮਲ ਹੈ। ਇਹ ਖਾਸ ਤੌਰ ‘ਤੇ ਵਿਦਿਅਕ ਉਪਯੋਗਾਂ ਅਤੇ ਸਥਾਨਕ ਚੈਟਬੋਟਸ ਲਈ ਢੁਕਵਾਂ ਹੈ।
ਵੱਖ-ਵੱਖ ਉਪਯੋਗਾਂ ਲਈ ਓਪਨ ਮਾਡਲ
ਤੈਨਾਤੀ ਵਾਲੇ ਪਾਸੇ, CISOs ਨੂੰ ਇਹ ਮਾਡਲ Copilot+ PCs ਲਈ ਪਹਿਲਾਂ ਹੀ ਅਨੁਕੂਲਿਤ ਮਿਲਣਗੇ: NPU ਰੂਪ "Phi Silica" ਮੈਮੋਰੀ ਵਿੱਚ ਪਹਿਲਾਂ ਤੋਂ ਲੋਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਲਗਭਗ ਤੁਰੰਤ ਜਵਾਬ ਸਮਾਂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਕਾਰੋਬਾਰੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨਾਲ ਊਰਜਾ-ਕੁਸ਼ਲ ਸਹਿਵਾਸ ਦੀ ਗਰੰਟੀ ਦਿੰਦਾ ਹੈ। ਵਿੰਡੋਜ਼ APIs ਔਫਲਾਈਨ ਜਨਰੇਸ਼ਨ ਨੂੰ ਆਉਟਲੁੱਕ ਜਾਂ ਅੰਦਰੂਨੀ ਟੂਲਸ ਵਿੱਚ ਜੋੜਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ।
ਸੁਰੱਖਿਆ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਮਾਈਕਰੋਸਾਫਟ ਜ਼ਿੰਮੇਵਾਰੀ ਦੇ ਆਪਣੇ ਸਿਧਾਂਤਾਂ - ਜਵਾਬਦੇਹੀ, ਨਿਰਪੱਖਤਾ, ਭਰੋਸੇਯੋਗਤਾ, ਸੁਰੱਖਿਆ ਅਤੇ ਸਮਾਵੇਸ਼ ਦੇ ਨਾਲ ਇੱਕ ਪਾਈਪਲਾਈਨ ਦਾ ਦਾਅਵਾ ਕਰਦਾ ਹੈ। ਮਾਡਲ ਜਨਤਕ ਅਤੇ ਅੰਦਰੂਨੀ "ਮਦਦਗਾਰਤਾ/ਨੁਕਸਾਨ ਰਹਿਤਤਾ" ਮੁਖੀ ਸੈੱਟਾਂ ਤੋਂ SFT, ਡਾਇਰੈਕਟ ਪ੍ਰੈਫਰੈਂਸ ਓਪਟੀਮਾਈਜੇਸ਼ਨ, ਅਤੇ RLHF ਨੂੰ ਜੋੜ ਕੇ ਪੋਸਟ-ਟ੍ਰੇਨਿੰਗ ਕਰਦੇ ਹਨ। ਮਾਈਕਰੋਸਾਫਟ ਆਪਣੇ ਮਾਡਲਾਂ ਦੇ "ਕਾਰਡ" ਵੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਜੋ ਬਾਕੀ ਸੀਮਾਵਾਂ ਅਤੇ ਕਮੀ ਦੇ ਉਪਾਵਾਂ ਦਾ ਵੇਰਵਾ ਦਿੰਦੇ ਹਨ।
ਹੁਣ Azure AI Foundry, Hugging Face, ਅਤੇ GitHub Models ‘ਤੇ ਉਪਲਬਧ, ਤਿੰਨੋਂ ਮਾਡਲ ਬਹੁਤ ਹੀ ਇਜਾਜ਼ਤ ਵਾਲੇ MIT ਲਾਇਸੈਂਸ ਦੇ ਅਧੀਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ ਗਏ ਹਨ, ਸਥਾਨਕ ਅਨੁਮਾਨ ਦੇ ਨਾਲ-ਨਾਲ ਹਾਈਬ੍ਰਿਡ ਕਲਾਉਡ ਤੈਨਾਤੀਆਂ ਦਾ ਰਾਹ ਖੋਲ੍ਹਦੇ ਹਨ। ਸੁਰੱਖਿਆ ਅਤੇ ਆਰਕੀਟੈਕਚਰ ਟੀਮਾਂ ਲਈ, SLMs ਦੀ ਇਹ ਨਵੀਂ ਪੀੜ੍ਹੀ ਵਿਸ਼ਾਲ LLMs ਲਈ ਇੱਕ ਭਰੋਸੇਯੋਗ ਵਿਕਲਪ ਪੇਸ਼ ਕਰਦੀ ਹੈ, ਇੱਕ ਘੱਟ TCO, ਸਥਾਨਕ ਤੌਰ ‘ਤੇ ਅਤੇ ਨਾਲ ਹੀ Edge ‘ਤੇ ਐਗਜ਼ੀਕਿਊਸ਼ਨ, ਅਤੇ ਡੇਟਾ ਦਾ ਵਧਿਆ ਹੋਇਆ ਨਿਯੰਤਰਣ। ਇਹ ਮਾਡਲ ਇੱਕ ਸਾਲ ਵਿੱਚ SLMs ਦੁਆਰਾ ਕੀਤੀ ਗਈ ਸ਼ਾਨਦਾਰ ਤਰੱਕੀ ਅਤੇ ਘੱਟ ਮਹਿੰਗੀ ਅਤੇ ਵਧੇਰੇ ਊਰਜਾ ਅਤੇ ਸਰੋਤ ਸੰਜਮ AI ਦੀ ਖੋਜ ਵਿੱਚ ਇੱਕ ਬ੍ਰਹਿਮੰਡ ਵਿੱਚ ਉਨ੍ਹਾਂ ਦੀ ਸ਼ਾਨਦਾਰ ਸੰਭਾਵਨਾ ਦਾ ਸਬੂਤ ਹਨ।
ਫਾਈ-4 ਦੀ ਤਰਕ ਸਮਰੱਥਾਵਾਂ ਵਿੱਚ ਇੱਕ ਡੂੰਘੀ ਡੁਬਕੀ
ਫਾਈ-4 ਮਾਡਲਾਂ ਦੇ ਪਰਿਵਾਰ ਦਾ ਆਉਣਾ ਛੋਟੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (SLMs) ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਇਹਨਾਂ ਮਾਡਲਾਂ ਨੂੰ ਕੀ ਵੱਖਰਾ ਕਰਦਾ ਹੈ ਉਹਨਾਂ ਦੀ ਵਧੀ ਹੋਈ ਤਰਕ ਸਮਰੱਥਾ ਹੈ, ਜੋ ਕਿ ਨਵੀਨਤਾਕਾਰੀ ਸਿਖਲਾਈ ਤਕਨੀਕਾਂ ਅਤੇ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਡੇਟਾ ‘ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਕੇ ਪ੍ਰਾਪਤ ਕੀਤੀ ਗਈ ਹੈ। ਓਪਨ-ਸੋਰਸ ਸਿਧਾਂਤਾਂ ਲਈ ਮਾਈਕਰੋਸਾਫਟ ਦੀ ਵਚਨਬੱਧਤਾ ਇਹਨਾਂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਾਧਨਾਂ ਤੱਕ ਪਹੁੰਚ ਨੂੰ ਹੋਰ ਜਮਹੂਰੀਅਤ ਬਣਾਉਂਦੀ ਹੈ, ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਉੱਨਤ AI ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਜੋੜਨ ਲਈ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ।
ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਸਮਝਣਾ
ਫਾਈ-4 ਮਾਡਲ ਇੱਕ ਟ੍ਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰ ‘ਤੇ ਬਣਾਏ ਗਏ ਹਨ, ਜੋ ਕਿ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਇੱਕ ਸਾਬਤ ਢਾਂਚਾ ਹੈ। ਹਾਲਾਂਕਿ, ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਤਰਕ ਕਾਰਜਾਂ ਲਈ ਮਾਡਲਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਕਈ ਮੁੱਖ ਨਵੀਨਤਾਵਾਂ ਨੂੰ ਲਾਗੂ ਕੀਤਾ ਹੈ।
- ਵਧੀਆ ਨਿਗਰਾਨੀ (SFT): ਮਾਡਲਾਂ ਨੂੰ ਵਧੀਆ ਨਿਗਰਾਨੀ (SFT) ਨਾਮਕ ਇੱਕ ਤਕਨੀਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ OpenAI ਦੇ o3-mini ਮਾਡਲ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਗਈ ਵਿਸਤ੍ਰਿਤ ਤਰਕ ਚੇਨਾਂ ਤੋਂ ਸਿੱਖਣਾ ਸ਼ਾਮਲ ਹੈ। ਇਹ ਫਾਈ-4 ਮਾਡਲਾਂ ਨੂੰ ਗੁੰਝਲਦਾਰ ਤਰਕ ਪ੍ਰਕਿਰਿਆਵਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਕਦਮਾਂ ਨੂੰ ਸਿੱਖਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
- ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ (RL): ਫਾਈ-4 ਮਾਡਲ ਦਾ "ਪਲੱਸ" ਰੂਪ, Phi-4-reasoning-plus, ਇਸਦੀ ਤਰਕ ਸਮਰੱਥਾ ਨੂੰ ਹੋਰ ਵਧਾਉਣ ਲਈ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ (RL) ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। RL ਵਿੱਚ ਇੱਕ ਇਨਾਮ ਸੰਕੇਤ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨ ਲਈ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਸ਼ਾਮਲ ਹੈ, ਜੋ ਕਿ ਇਸ ਸਥਿਤੀ ਵਿੱਚ ਇਸਦੇ ਤਰਕ ਦੀ ਸ਼ੁੱਧਤਾ ਅਤੇ ਕੁਸ਼ਲਤਾ ‘ਤੇ ਅਧਾਰਤ ਹੈ।
- ਡਿਸਟੀਲੇਸ਼ਨ: ਡਿਸਟੀਲੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਵੱਡੇ, ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਮਾਡਲਾਂ ਤੋਂ ਛੋਟੇ ਫਾਈ-4 ਮਾਡਲਾਂ ਵਿੱਚ ਗਿਆਨ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ SLMs ਨੂੰ ਆਪਣੇ ਸੰਖੇਪ ਆਕਾਰ ਅਤੇ ਕੁਸ਼ਲਤਾ ਨੂੰ ਬਣਾਈ ਰੱਖਦੇ ਹੋਏ, ਬਹੁਤ ਵੱਡੇ ਮਾਡਲਾਂ ਦੇ ਮੁਕਾਬਲੇ ਪ੍ਰਦਰਸ਼ਨ ਪੱਧਰਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
ਬੈਂਚਮਾਰਕਿੰਗ ਪ੍ਰਦਰਸ਼ਨ
ਫਾਈ-4 ਮਾਡਲਾਂ ਨੇ ਵੱਖ-ਵੱਖ ਤਰਕ ਬੈਂਚਮਾਰਕਾਂ ‘ਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਪ੍ਰਦਰਸ਼ਨ ਦਿਖਾਇਆ ਹੈ, ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਪਛਾੜ ਦਿੱਤਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਫਾਈ-4-ਤਰਕ, ਸਿਰਫ 14 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਨਾਲ, ਕਈ ਚੁਣੌਤੀਪੂਰਨ ਡੇਟਾਸੈਟਾਂ ‘ਤੇ DeepSeek-R1-Distill-Llama-70B (70 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰ) ਤੋਂ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ AIME 2025, MMLU-Pro, ਅਤੇ HumanEval-Plus ਸ਼ਾਮਲ ਹਨ। ਇਹ ਫਾਈ-4 ਦੇ ਆਰਕੀਟੈਕਚਰ ਅਤੇ ਸਿਖਲਾਈ ਤਕਨੀਕਾਂ ਦੀ ਕੁਸ਼ਲਤਾ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ।
ਫਾਈ-4-ਤਰਕ-ਪਲੱਸ ਰੂਪ, 1.5 ਗੁਣਾ ਜ਼ਿਆਦਾ ਟੋਕਨਾਂ ਨਾਲ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ, ਓਮਨੀਮੈਥ ਬੈਂਚਮਾਰਕ ‘ਤੇ OpenAI ਦੇ o3-mini ਦੇ ਨੇੜੇ ਸਕੋਰ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ, ਜੋ ਗੁੰਝਲਦਾਰ ਗਣਿਤਿਕ ਤਰਕ ਸਮੱਸਿਆਵਾਂ ਨਾਲ ਨਜਿੱਠਣ ਦੀ ਇਸਦੀ ਯੋਗਤਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।
ਐਪਲੀਕੇਸ਼ਨਾਂ ਅਤੇ ਵਰਤੋਂ ਦੇ ਮਾਮਲੇ
ਫਾਈ-4 ਮਾਡਲ ਕਈ ਤਰ੍ਹਾਂ ਦੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਅਨੁਕੂਲ ਹਨ ਜਿਨ੍ਹਾਂ ਲਈ ਉੱਨਤ ਤਰਕ ਸਮਰੱਥਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
- ਵਿਦਿਅਕ ਸਾਧਨ: ਫਾਈ-4-ਮਿਨੀ-ਤਰਕ ਮਾਡਲ, ਇਸਦੇ ਛੋਟੇ ਆਕਾਰ ਅਤੇ ਉੱਚ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਨਾਲ, ਵਿਦਿਅਕ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਆਦਰਸ਼ ਹੈ। ਇਸਦੀ ਵਰਤੋਂ ਇੰਟਰਐਕਟਿਵ ਸਿਖਲਾਈ ਸਾਧਨ ਬਣਾਉਣ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜੋ ਵਿਦਿਆਰਥੀਆਂ ਨੂੰ ਵਿਅਕਤੀਗਤ ਫੀਡਬੈਕ ਅਤੇ ਸਹਾਇਤਾ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ।
- ਸਥਾਨਕ ਚੈਟਬੋਟਸ: ਫਾਈ-4 ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਸਥਾਨਕ ਚੈਟਬੋਟਸ ਬਣਾਉਣ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜੋ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਜਾਣਕਾਰੀ ਅਤੇ ਸਹਾਇਤਾ ਤੱਕ ਤੁਰੰਤ ਪਹੁੰਚ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ। ਉਹਨਾਂ ਦਾ ਛੋਟਾ ਆਕਾਰ ਉਹਨਾਂ ਨੂੰ ਮੋਬਾਈਲ ਡਿਵਾਈਸਾਂ ਅਤੇ ਹੋਰ ਸਰੋਤ-ਪਾਬੰਦ ਵਾਤਾਵਰਣਾਂ ‘ਤੇ ਤੈਨਾਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
- ਕੋਪਾਇਲਟ+ ਪੀਸੀ: ਫਾਈ-4 ਮਾਡਲ ਕੋਪਾਇਲਟ+ ਪੀਸੀ ਲਈ ਅਨੁਕੂਲਿਤ ਹਨ, ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਇੱਕ ਸਹਿਜ AI ਅਨੁਭਵ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ। "ਫਾਈ ਸਿਲਿਕਾ" ਰੂਪ ਮੈਮੋਰੀ ਵਿੱਚ ਪਹਿਲਾਂ ਤੋਂ ਲੋਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਲਗਭਗ ਤੁਰੰਤ ਜਵਾਬ ਸਮਾਂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
- ਔਫਲਾਈਨ ਜਨਰੇਸ਼ਨ: ਵਿੰਡੋਜ਼ APIs ਔਫਲਾਈਨ ਜਨਰੇਸ਼ਨ ਨੂੰ ਆਉਟਲੁੱਕ ਜਾਂ ਅੰਦਰੂਨੀ ਟੂਲਸ ਵਿੱਚ ਜੋੜਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ, ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ AI ਸਮਰੱਥਾਵਾਂ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦੇ ਹਨ ਭਾਵੇਂ ਉਹ ਇੰਟਰਨੈਟ ਨਾਲ ਕਨੈਕਟ ਨਹੀਂ ਹਨ।
ਸੁਰੱਖਿਆ ਅਤੇ ਜ਼ਿੰਮੇਵਾਰੀ
ਮਾਈਕਰੋਸਾਫਟ ਇੱਕ ਜ਼ਿੰਮੇਵਾਰ ਅਤੇ ਨੈਤਿਕ ਢੰਗ ਨਾਲ AI ਮਾਡਲਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਅਤੇ ਤੈਨਾਤ ਕਰਨ ਲਈ ਵਚਨਬੱਧ ਹੈ। ਫਾਈ-4 ਮਾਡਲ ਕੋਈ ਅਪਵਾਦ ਨਹੀਂ ਹਨ।
- ਜ਼ਿੰਮੇਵਾਰੀ ਦੇ ਸਿਧਾਂਤ: ਮਾਈਕਰੋਸਾਫਟ ਦੀ AI ਵਿਕਾਸ ਪਾਈਪਲਾਈਨ ਜ਼ਿੰਮੇਵਾਰੀ ਦੇ ਆਪਣੇ ਸਿਧਾਂਤਾਂ ਨਾਲ ਇਕਸਾਰ ਹੈ, ਜਿਸ ਵਿੱਚ ਜਵਾਬਦੇਹੀ, ਨਿਰਪੱਖਤਾ, ਭਰੋਸੇਯੋਗਤਾ, ਸੁਰੱਖਿਆ ਅਤੇ ਸਮਾਵੇਸ਼ ਸ਼ਾਮਲ ਹਨ।
- ਪੋਸਟ-ਟ੍ਰੇਨਿੰਗ: ਫਾਈ-4 ਮਾਡਲ ਜਨਤਕ ਅਤੇ ਅੰਦਰੂਨੀ "ਮਦਦਗਾਰਤਾ/ਨੁਕਸਾਨ ਰਹਿਤਤਾ" ਮੁਖੀ ਡੇਟਾਸੈਟਾਂ ਤੋਂ SFT, ਡਾਇਰੈਕਟ ਪ੍ਰੈਫਰੈਂਸ ਓਪਟੀਮਾਈਜੇਸ਼ਨ, ਅਤੇ RLHF ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪੋਸਟ-ਟ੍ਰੇਨਿੰਗ ਕਰਦੇ ਹਨ। ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਸੁਰੱਖਿਅਤ ਅਤੇ ਭਰੋਸੇਯੋਗ ਹਨ।
- ਮਾਡਲ ਕਾਰਡ: ਮਾਈਕਰੋਸਾਫਟ ਆਪਣੇ ਮਾਡਲਾਂ ਲਈ "ਕਾਰਡ" ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਜੋ ਬਾਕੀ ਸੀਮਾਵਾਂ ਅਤੇ ਕਮੀ ਦੇ ਉਪਾਵਾਂ ਦਾ ਵੇਰਵਾ ਦਿੰਦੇ ਹਨ। ਇਹ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਪਾਰਦਰਸ਼ਤਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰਨੀ ਹੈ ਬਾਰੇ ਸੂਚਿਤ ਫੈਸਲੇ ਲੈਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
SLMs ਦਾ ਭਵਿੱਖ
ਫਾਈ-4 ਮਾਡਲ ਛੋਟੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (SLMs) ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ। ਉਹਨਾਂ ਦੀ ਵਧੀ ਹੋਈ ਤਰਕ ਸਮਰੱਥਾ, ਉਹਨਾਂ ਦੇ ਛੋਟੇ ਆਕਾਰ ਅਤੇ ਕੁਸ਼ਲਤਾ ਦੇ ਨਾਲ ਮਿਲ ਕੇ, ਉਹਨਾਂ ਨੂੰ ਕਈ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਦਾ ਇੱਕ ਮਜਬੂਤ ਵਿਕਲਪ ਬਣਾਉਂਦੀ ਹੈ।
ਜਿਵੇਂ ਕਿ SLMs ਵਿੱਚ ਸੁਧਾਰ ਜਾਰੀ ਹੈ, ਉਹਨਾਂ ਦੀ AI ਲੈਂਡਸਕੇਪ ਵਿੱਚ ਇੱਕ ਵੱਧ ਤੋਂ ਵੱਧ ਮਹੱਤਵਪੂਰਨ ਭੂਮਿਕਾ ਨਿਭਾਉਣ ਦੀ ਸੰਭਾਵਨਾ ਹੈ। ਸਰੋਤ-ਪਾਬੰਦ ਡਿਵਾਈਸਾਂ ‘ਤੇ ਚੱਲਣ ਅਤੇ ਤੇਜ਼, ਕੁਸ਼ਲ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਨ ਦੀ ਉਹਨਾਂ ਦੀ ਯੋਗਤਾ ਉਹਨਾਂ ਨੂੰ ਵਿਦਿਅਕ ਸਾਧਨਾਂ ਤੋਂ ਲੈ ਕੇ ਸਥਾਨਕ ਚੈਟਬੋਟਸ ਤੋਂ ਲੈ ਕੇ ਐਜ ਕੰਪਿਊਟਿੰਗ ਡਿਵਾਈਸਾਂ ਤੱਕ, ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਅਨੁਕੂਲ ਬਣਾਉਂਦੀ ਹੈ।
ਓਪਨ-ਸੋਰਸ ਸਿਧਾਂਤਾਂ ਅਤੇ ਜ਼ਿੰਮੇਵਾਰ AI ਵਿਕਾਸ ਲਈ ਮਾਈਕਰੋਸਾਫਟ ਦੀ ਵਚਨਬੱਧਤਾ ਫਾਈ-4 ਮਾਡਲਾਂ ਨੂੰ AI ਭਾਈਚਾਰੇ ਲਈ ਇੱਕ ਕੀਮਤੀ ਸਰੋਤ ਵਜੋਂ ਸਥਾਪਤ ਕਰਦੀ ਹੈ। ਇਹਨਾਂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਾਧਨਾਂ ਤੱਕ ਪਹੁੰਚ ਨੂੰ ਜਮਹੂਰੀਅਤ ਬਣਾ ਕੇ, ਮਾਈਕਰੋਸਾਫਟ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਨਵੀਨਤਾਕਾਰੀ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਬਣਾਉਣ ਲਈ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰ ਰਿਹਾ ਹੈ ਜੋ ਸਮੁੱਚੇ ਤੌਰ ‘ਤੇ ਸਮਾਜ ਨੂੰ ਲਾਭ ਪਹੁੰਚਾ ਸਕਦੀਆਂ ਹਨ।
ਤਕਨੀਕੀ ਪਹਿਲੂਆਂ ‘ਤੇ ਇੱਕ ਡੂੰਘੀ ਨਜ਼ਰ
ਫਾਈ-4 ਆਰਕੀਟੈਕਚਰ ਅਤੇ ਸਿਖਲਾਈ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿੱਚ ਡੂੰਘਾਈ ਨਾਲ ਖੋਜ ਕਰਨਾ ਉਹਨਾਂ ਨਵੀਨਤਾਕਾਰੀ ਤਕਨੀਕਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਜੋ ਇਹਨਾਂ SLMs ਨੂੰ ਅਜਿਹੀਆਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਤਰਕ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦੀਆਂ ਹਨ। ਧਿਆਨ ਨਾਲ ਤਿਆਰ ਕੀਤੇ ਡੇਟਾਸੈਟਾਂ, ਵਧੀਆ ਸਿਖਲਾਈ ਐਲਗੋਰਿਦਮ, ਅਤੇ ਕੁਸ਼ਲਤਾ ‘ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਨ ਦੇ ਸੁਮੇਲ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਮਾਡਲਾਂ ਦਾ ਇੱਕ ਪਰਿਵਾਰ ਬਣਿਆ ਹੈ ਜੋ ਸ਼ਕਤੀਸ਼ਾਲੀ ਅਤੇ ਵਿਹਾਰਕ ਦੋਵੇਂ ਹਨ।
ਡੇਟਾ ਕਿਊਰੇਸ਼ਨ ਅਤੇ ਤਿਆਰੀ
ਕਿਸੇ ਵੀ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲ ਦੀ ਸਫਲਤਾ ਉਸ ਡੇਟਾ ਦੀ ਗੁਣਵੱਤਾ ਅਤੇ ਪ੍ਰਸੰਗਿਕਤਾ ‘ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ ਜਿਸ ‘ਤੇ ਇਸਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਮਾਈਕਰੋਸਾਫਟ ਨੇ ਫਾਈ-4 ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤੇ ਗਏ ਡੇਟਾਸੈਟਾਂ ਨੂੰ ਤਿਆਰ ਕਰਨ ਅਤੇ ਤਿਆਰ ਕਰਨ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਯਤਨ ਕੀਤੇ।
- OpenAI ਦੇ o3-mini ਤੋਂ ਤਰਕ ਚੇਨਾਂ: ਮਾਡਲ ਗੁੰਝਲਦਾਰ ਤਰਕ ਪ੍ਰਕਿਰਿਆਵਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਕਦਮਾਂ ਨੂੰ ਸਿੱਖਣ ਲਈ OpenAI ਦੇ o3-mini ਮਾਡਲ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਗਈ ਤਰਕ ਚੇਨਾਂ ਦਾ ਲਾਭ ਉਠਾਉਂਦੇ ਹਨ। ਇਹ ਚੇਨਾਂ SLMs ਦੀ ਪਾਲਣਾ ਕਰਨ ਲਈ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਰੋਡਮੈਪ ਪ੍ਰਦਾਨ ਕਰਦੀਆਂ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਅੰਤਰੀਵ ਤਰਕ ਦੀ ਡੂੰਘੀ ਸਮਝ ਵਿਕਸਤ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦੀਆਂ ਹਨ।
- ਸਿੰਥੈਟਿਕ ਗਣਿਤਿਕ ਸਮੱਸਿਆਵਾਂ: ਫਾਈ-4-ਮਿਨੀ-ਤਰਕ ਮਾਡਲ ਨੂੰ DeepSeek-R1 ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀਆਂ ਇੱਕ ਮਿਲੀਅਨ ਗਣਿਤਿਕ ਸਮੱਸਿਆਵਾਂ ਦੇ ਇੱਕ ਸਿੰਥੈਟਿਕ ਡੇਟਾਸੈਟ ‘ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਡੇਟਾਸੈਟ ਗਣਿਤਿਕ ਚੁਣੌਤੀਆਂ ਦੀ ਇੱਕ ਵਿਭਿੰਨ ਸ਼੍ਰੇਣੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਮਾਡਲ ਨੂੰ ਮਜ਼ਬੂਤ ਸਮੱਸਿਆ-ਹੱਲ ਕਰਨ ਦੇ ਹੁਨਰ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਮਿਲਦੀ ਹੈ।
- ਮਦਦਗਾਰਤਾ/ਨੁਕਸਾਨ ਰਹਿਤਤਾ ਡੇਟਾਸੈਟ: ਮਾਡਲ ਮਦਦਗਾਰਤਾ ਅਤੇ ਨੁਕਸਾਨ ਰਹਿਤਤਾ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਡੇਟਾਸੈਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪੋਸਟ-ਟ੍ਰੇਨਿੰਗ ਕਰਦੇ ਹਨ। ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਸੁਰੱਖਿਅਤ ਅਤੇ ਜ਼ਿੰਮੇਵਾਰ ਆਉਟਪੁੱਟ ਤਿਆਰ ਕਰਦੇ ਹਨ।
ਸਿਖਲਾਈ ਐਲਗੋਰਿਦਮ
ਫਾਈ-4 ਮਾਡਲਾਂ ਨੂੰ ਨਿਗਰਾਨੀ ਵਾਲੀ ਸਿਖਲਾਈ, ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ, ਅਤੇ ਡਿਸਟੀਲੇਸ਼ਨ ਦੇ ਸੁਮੇਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਤਕਨੀਕਾਂ ਤਰਕ ਕਾਰਜਾਂ ਲਈ ਮਾਡਲਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਇਕੱਠੇ ਕੰਮ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦੀਆਂ ਹਨ ਕਿ ਉਹ ਸਹੀ ਅਤੇ ਕੁਸ਼ਲ ਦੋਵੇਂ ਹਨ।
- ਨਿਗਰਾਨੀ ਵਾਲੀ ਵਧੀਆ ਟਿਊਨਿੰਗ (SFT): SFT ਦੀ ਵਰਤੋਂ OpenAI ਦੇ o3-mini ਮਾਡਲ ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੀ ਗਈ ਤਰਕ ਚੇਨਾਂ ‘ਤੇ ਮਾਡਲਾਂ ਨੂੰ ਵਧੀਆ ਟਿਊਨ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਮਾਡਲਾਂ ਨੂੰ ਖਾਸ ਪੈਟਰਨਾਂ ਅਤੇ ਸਬੰਧਾਂ ਨੂੰ ਸਿੱਖਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜੋ ਗੁੰਝਲਦਾਰ ਤਰਕ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੀ ਵਿਸ਼ੇਸ਼ਤਾ ਹਨ।
- ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ (RL): RL ਦੀ ਵਰਤੋਂ ਫਾਈ-4-ਤਰਕ-ਪਲੱਸ ਮਾਡਲ ਨੂੰ ਇਸਦੇ ਤਰਕ ਦੀ ਸ਼ੁੱਧਤਾ ਅਤੇ ਕੁਸ਼ਲਤਾ ‘ਤੇ ਅਧਾਰਤ ਇਨਾਮ ਸੰਕੇਤ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰਨ ਲਈ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਮਾਡਲ ਨੂੰ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਰਣਨੀਤੀਆਂ ਵਿਕਸਤ ਕਰਨ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕਰਦਾ ਹੈ ਜੋ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਤੌਰ ‘ਤੇ ਕੁਸ਼ਲ ਦੋਵੇਂ ਹਨ।
- ਡਿਸਟੀਲੇਸ਼ਨ: ਡਿਸਟੀਲੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਵੱਡੇ, ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਮਾਡਲਾਂ ਤੋਂ ਛੋਟੇ ਫਾਈ-4 ਮਾਡਲਾਂ ਵਿੱਚ ਗਿਆਨ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ SLMs ਨੂੰ ਆਪਣੇ ਸੰਖੇਪ ਆਕਾਰ ਅਤੇ ਕੁਸ਼ਲਤਾ ਨੂੰ ਬਣਾਈ ਰੱਖਦੇ ਹੋਏ, ਬਹੁਤ ਵੱਡੇ ਮਾਡਲਾਂ ਦੇ ਮੁਕਾਬਲੇ ਪ੍ਰਦਰਸ਼ਨ ਪੱਧਰਾਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
ਕੁਸ਼ਲਤਾ ਲਈ ਅਨੁਕੂਲਤਾ
ਫਾਈ-4 ਮਾਡਲਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਿੱਚ ਮੁੱਖ ਟੀਚਿਆਂ ਵਿੱਚੋਂ ਇੱਕ ਇਹਨਾਂ ਨੂੰ ਕੁਸ਼ਲਤਾ ਲਈ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਸੀ। ਇਹ ਉਹਨਾਂ ਦੇ ਡਿਜ਼ਾਈਨ ਅਤੇ ਸਿਖਲਾਈ ਦੇ ਕਈ ਪਹਿਲੂਆਂ ਵਿੱਚ ਪ੍ਰਤੀਬਿੰਬਤ ਹੁੰਦਾ ਹੈ।
- ਸੰਖੇਪ ਆਰਕੀਟੈਕਚਰ: ਫਾਈ-4 ਮਾਡਲਾਂ ਨੂੰ ਇੱਕ ਸੰਖੇਪ ਆਰਕੀਟੈਕਚਰ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਜੋ ਲੋੜੀਂਦੇ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਸੰਖਿਆ ਨੂੰ ਘੱਟ ਕਰਦਾ ਹੈ। ਇਹ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਦੀ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਸਰੋਤ-ਪਾਬੰਦ ਡਿਵਾਈਸਾਂ ‘ਤੇ ਤੈਨਾਤੀ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਅਨੁਕੂਲ ਬਣਾਉਂਦਾ ਹੈ।
- ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ: ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਮਾਡਲਾਂ ਦੇ ਮੈਮੋਰੀ ਫੁੱਟਪ੍ਰਿੰਟ ਨੂੰ ਘਟਾਉਣ ਅਤੇ ਉਹਨਾਂ ਦੀ ਅਨੁਮਾਨ ਦੀ ਗਤੀ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਵਿੱਚ ਮਾਡਲ ਦੇ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਘੱਟ ਬਿੱਟਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਦਰਸਾਉਣਾ ਸ਼ਾਮਲ ਹੈ, ਜੋ ਮਾਡਲ ਨੂੰ ਚਲਾਉਣ ਦੀ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ‘ਤੇ ਘਟਾ ਸਕਦਾ ਹੈ।
- ਹਾਰਡਵੇਅਰ ਐਕਸਲਰੇਸ਼ਨ: ਫਾਈ-4 ਮਾਡਲ CPUs, GPUs, ਅਤੇ NPUs ਸਮੇਤ ਕਈ ਪਲੇਟਫਾਰਮਾਂ ‘ਤੇ ਹਾਰਡਵੇਅਰ ਐਕਸਲਰੇਸ਼ਨ ਲਈ ਅਨੁਕੂਲਿਤ ਹਨ। ਇਹ ਉਹਨਾਂ ਨੂੰ ਡਿਵਾਈਸਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ‘ਤੇ ਵੱਧ ਤੋਂ ਵੱਧ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
AI ਦੇ ਭਵਿੱਖ ਲਈ ਪ੍ਰਭਾਵ
ਫਾਈ-4 ਮਾਡਲ AI ਦੇ ਵਿਕਾਸ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ, ਜਿਸਦੇ ਪ੍ਰਭਾਵ ਉਹਨਾਂ ਖਾਸ ਐਪਲੀਕੇਸ਼ਨਾਂ ਤੋਂ ਪਰੇ ਹਨ ਜਿਨ੍ਹਾਂ ਲਈ ਉਹਨਾਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਗਿਆ ਹੈ। ਉਹਨਾਂ ਦੀ ਮੁਕਾਬਲਤਨ ਛੋਟੇ ਆਕਾਰ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਰੋਤਾਂ ਦੇ ਨਾਲ ਉੱਚ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਯੋਗਤਾ ਵਿਆਪਕ ਸ਼੍ਰੇਣੀ ਦੀਆਂ ਸੈਟਿੰਗਾਂ ਵਿੱਚ AI ਨੂੰ ਤੈਨਾਤ ਕਰਨ ਲਈ ਨਵੀਆਂ ਸੰਭਾਵਨਾਵਾਂ ਖੋਲ੍ਹਦੀ ਹੈ।
AI ਦਾ ਜਮਹੂਰੀਕਰਨ
ਫਾਈ-4 ਮਾਡਲ ਇਸ ਤੱਥ ਦਾ ਇੱਕ ਪ੍ਰਮਾਣ ਹਨ ਕਿ ਸ਼ਕਤੀਸ਼ਾਲੀ AI ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਵਿਸ਼ਾਲ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਰੋਤਾਂ ਜਾਂ ਮਲਕੀਅਤ ਡੇਟਾਸੈਟਾਂ ਤੱਕ ਪਹੁੰਚ ਦੀ ਲੋੜ ਤੋਂ ਬਿਨਾਂ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ AI ਤੱਕ ਪਹੁੰਚ ਨੂੰ ਜਮਹੂਰੀਅਤ ਬਣਾਉਂਦਾ ਹੈ, ਡਿਵੈਲਪਰਾਂ ਅਤੇ ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਸੀਮਤ ਸਰੋਤਾਂ ਦੇ ਨਾਲ ਵੀ ਨਵੀਨਤਾਕਾਰੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਬਣਾਉਣ ਲਈ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਐਜ ਕੰਪਿਊਟਿੰਗ
ਫਾਈ-4 ਮਾਡਲਾਂ ਦਾ ਛੋਟਾ ਆਕਾਰ ਅਤੇ ਕੁਸ਼ਲਤਾ ਉਹਨਾਂ ਨੂੰ ਐਜ ਕੰਪਿਊਟਿੰਗ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਚੰਗੀ ਤਰ੍ਹਾਂ ਅਨੁਕੂਲ ਬਣਾਉਂਦੀ ਹੈ। ਇਹ AI ਨੂੰ ਡੇਟਾ ਸਰੋਤ ਦੇ ਨੇੜੇ ਤੈਨਾਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਲੇਟੈਂਸੀ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਅਤੇ ਜਵਾਬਦੇਹੀ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦਾ ਹੈ। ਐਜ ਕੰਪਿਊਟਿੰਗ ਵਿੱਚ ਨਿਰਮਾਣ ਤੋਂ ਲੈ ਕੇ ਸਿਹਤ ਸੰਭਾਲ ਤੋਂ ਲੈ ਕੇ ਆਵਾਜਾਈ ਤੱਕ, ਉਦਯੋਗਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਕ੍ਰਾਂਤੀ ਲਿਆਉਣ ਦੀ ਸੰਭਾਵਨਾ ਹੈ।
ਵਿਅਕਤੀਗਤ AI
ਫਾਈ-4 ਮਾਡਲਾਂ ਨੂੰ ਵਿਅਕਤੀਗਤ ਉਪਭੋਗਤਾਵਾਂ ਜਾਂ ਸੰਸਥਾਵਾਂ ਦੀਆਂ ਖਾਸ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਅਨੁਕੂਲਿਤ ਅਤੇ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਵਿਅਕਤੀਗਤ AI ਅਨੁਭਵਾਂ ਦੀ ਰਚਨਾ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜੋ ਹਰੇਕ ਉਪਭੋਗਤਾ ਦੀਆਂ ਵਿਲੱਖਣ ਲੋੜਾਂ ਦੇ ਅਨੁਸਾਰ ਬਣਾਏ ਜਾਂਦੇ ਹਨ। ਵਿਅਕਤੀਗਤ AI ਵਿੱਚ ਉਤਪਾਦਕਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ, ਸਿਖਲਾਈ ਨੂੰ ਵਧਾਉਣ ਅਤੇ ਸਮੁੱਚੀ ਭਲਾਈ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਦੀ ਸੰਭਾਵਨਾ ਹੈ।
ਟਿਕਾਊ AI
ਫਾਈ-4 ਮਾਡਲ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦਾ ਇੱਕ ਵਧੇਰੇ ਟਿਕਾਊ ਵਿਕਲਪ ਹਨ, ਜਿਸ ਲਈ ਘੱਟ ਊਰਜਾ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। AI ਦੇ ਵਾਤਾਵਰਣ ਪ੍ਰਭਾਵ ਨੂੰ ਘਟਾਉਣ ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਇਹ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਇਸਨੂੰ ਇੱਕ ਜ਼ਿੰਮੇਵਾਰ ਅਤੇ ਟਿਕਾਊ ਢੰਗ ਨਾਲ ਤੈਨਾਤ ਕੀਤਾ ਜਾ ਸਕੇ।
ਮਾਈਕਰੋਸਾਫਟ ਫਾਈ-4-ਤਰਕ ਮਾਡਲ AI ਦੀ ਸਦਾ-ਵਿਕਸਤ ਦੁਨੀਆ ਵਿੱਚ ਸਿਰਫ਼ ਇੱਕ ਹੋਰ ਦੁਹਰਾਓ ਨਹੀਂ ਹਨ; ਉਹ ਇੱਕ ਪੈਰਾਡਾਈਮ ਤਬਦੀਲੀ ਹਨ। ਉਹ ਇਹ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ ਬੁੱਧੀ ਸਿਰਫ਼ ਆਕਾਰ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸ਼ਕਤੀ ਦਾ ਇੱਕ ਕਾਰਜ ਨਹੀਂ ਹੈ, ਸਗੋਂ ਚਲਾਕ ਡਿਜ਼ਾਈਨ, ਡੇਟਾ ਦੇ ਧਿਆਨ ਨਾਲ ਕਿਊਰੇਸ਼ਨ, ਅਤੇ ਨਵੀਨਤਾਕਾਰੀ ਸਿਖਲਾਈ ਤਕਨੀਕਾਂ ਦੁਆਰਾ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਜਿਵੇਂ ਕਿ ਇਹ ਮਾਡਲ ਵਿਕਸਤ ਹੁੰਦੇ ਰਹਿੰਦੇ ਹਨ, ਉਹ AI ਲਈ ਨਵੀਆਂ ਸੰਭਾਵਨਾਵਾਂ ਨੂੰ ਅਨਲੌਕ ਕਰਨ ਅਤੇ ਤਕਨਾਲੋਜੀ ਨਾਲ ਸਾਡੇ ਤਰੀਕੇ ਨੂੰ ਬਦਲਣ ਲਈ ਤਿਆਰ ਹਨ।