ਅਲੀਬਾਬਾ ਦੇ ਕਿਊਵੇਨ (Qwen) ਨੇ ਕਿਊਵੇਨ3 ਏਆਈ (Qwen3 AI) ਦੇ ਮਾਤਰਾਤਮਕ ਮਾਡਲ ਜਾਰੀ ਕੀਤੇ ਹਨ, ਜਿਹੜੇ ਹੁਣ ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio), ਓਲਾਮਾ (Ollama), ਐੱਸਜੀਲੈਂਗ (SGLang) ਅਤੇ ਵੀਐੱਲਐੱਲਐੱਮ (vLLM) ਵਰਗੇ ਪਲੇਟਫਾਰਮਾਂ ‘ਤੇ ਵਰਤੋਂ ਲਈ ਉਪਲਬਧ ਹਨ। ਉਪਭੋਗਤਾ ਆਪਣੀਆਂ ਲੋੜਾਂ ਮੁਤਾਬਕ ਕਈ ਫਾਰਮੈਟਾਂ ਵਿੱਚੋਂ ਚੋਣ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਜੀਜੀਯੂਐੱਫ (GGUF), ਏਡਬਲਿਊਕਿਊ (AWQ) ਅਤੇ ਜੀਪੀਟੀਕਿਊ (GPTQ) ਸ਼ਾਮਲ ਹਨ। ਇਹ ਮਾਡਲ ਕਿਊਵੇਨ3-235ਬੀ-ਏ22ਬੀ (Qwen3-235B-A22B) ਤੋਂ ਲੈ ਕੇ ਕਿਊਵੇਨ3-0.6ਬੀ (Qwen3-0.6B) ਤੱਕ ਵੱਖ-ਵੱਖ ਆਕਾਰਾਂ ਵਿਚ ਮੌਜੂਦ ਹਨ।
ਕਿਊਵੇਨ3 ਮਾਤਰਾਤਮਕ ਮਾਡਲ: ਸਥਾਨਕ ਤੌਰ ‘ਤੇ ਤੈਨਾਤੀ ਲਈ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਵਿਕਲਪ
ਅਲੀਬਾਬਾ (Alibaba) ਦੇ ਕਿਊਵੇਨ (Qwen) ਨੇ ਅੱਜ ਕਿਊਵੇਨ3 ਏਆਈ (Qwen3 AI) ਦੇ ਮਾਤਰਾਤਮਕ ਮਾਡਲ ਜਾਰੀ ਕਰਨ ਦਾ ਐਲਾਨ ਕੀਤਾ ਹੈ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio), ਓਲਾਮਾ (Ollama), ਐੱਸਜੀਲੈਂਗ (SGLang) ਅਤੇ ਵੀਐੱਲਐੱਲਐੱਮ (vLLM) ਵਰਗੇ ਪਲੇਟਫਾਰਮਾਂ ‘ਤੇ ਤੈਨਾਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਦਿਲਚਸਪੀ ਰੱਖਣ ਵਾਲੇ ਉਪਭੋਗਤਾ ਕਈ ਫਾਰਮੈਟਾਂ ਵਿੱਚੋਂ ਚੋਣ ਕਰ ਸਕਦੇ ਹਨ, ਜਿਵੇਂ ਕਿ ਜੀਜੀਯੂਐੱਫ (GGUF) (ਜੀਪੀਟੀ ਦੁਆਰਾ ਤਿਆਰ ਯੂਨੀਫਾਈਡ ਫਾਰਮੈਟ), ਏਡਬਲਿਊਕਿਊ (AWQ) (ਐਕਟੀਵੇਸ਼ਨ-ਅਵੇਅਰ ਵੇਟ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ) ਅਤੇ ਜੀਪੀਟੀਕਿਊ (GPTQ) (ਗਰੇਡੀਐਂਟ ਪੋਸਟ-ਟ੍ਰੇਨਿੰਗ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ)। ਕਿਊਵੇਨ3 ਮਾਤਰਾਤਮਕ ਮਾਡਲਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
- ਕਿਊਵੇਨ3-235ਬੀ-ਏ22ਬੀ (Qwen3-235B-A22B)
- ਕਿਊਵੇਨ3-30ਬੀ-ਏ3ਬੀ (Qwen3-30B-A3B)
- ਕਿਊਵੇਨ3-32ਬੀ (Qwen3-32B)
- ਕਿਊਵੇਨ3-14ਬੀ (Qwen3-14B)
- ਕਿਊਵੇਨ3-8ਬੀ (Qwen3-8B)
- ਕਿਊਵੇਨ3-4ਬੀ (Qwen3-4B)
- ਕਿਊਵੇਨ3-1.7ਬੀ (Qwen3-1.7B)
- ਕਿਊਵੇਨ3-0.6ਬੀ (Qwen3-0.6B)
ਇਨ੍ਹਾਂ ਮਾਤਰਾਤਮਕ ਮਾਡਲਾਂ ਦੀ ਸ਼ੁਰੂਆਤ ਏਆਈ (AI) ਮਾਡਲ ਤੈਨਾਤੀ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਕਿਊਵੇਨ (Qwen) ਵੱਲੋਂ ਚੁੱਕਿਆ ਗਿਆ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਹੈ, ਜਿਸ ਨਾਲ ਡਿਵੈਲਪਰਾਂ ਅਤੇ ਖੋਜਕਾਰਾਂ ਨੂੰ ਵਧੇਰੇ ਲਚਕਤਾ ਅਤੇ ਵਿਕਲਪ ਮਿਲਦੇ ਹਨ। ਪੂਰੀ ਸ਼ੁੱਧਤਾ ਵਾਲੇ ਮਾਡਲਾਂ ਦੇ ਮੁਕਾਬਲੇ, ਮਾਤਰਾਤਮਕ ਮਾਡਲਾਂ ਦਾ ਆਕਾਰ ਛੋਟਾ ਹੁੰਦਾ ਹੈ ਅਤੇ ਉਨ੍ਹਾਂ ਲਈ ਕੰਪਿਊਟਿੰਗ ਦੀਆਂ ਲੋੜਾਂ ਘੱਟ ਹੁੰਦੀਆਂ ਹਨ, ਜਿਸ ਕਰਕੇ ਉਨ੍ਹਾਂ ਨੂੰ ਸੀਮਤ ਸਰੋਤਾਂ ਵਾਲੇ ਡਿਵਾਈਸਾਂ ‘ਤੇ ਤੈਨਾਤ ਕਰਨਾ ਅਤੇ ਚਲਾਉਣਾ ਸੌਖਾ ਹੋ ਜਾਂਦਾ ਹੈ। ਇਹ ਐਜ ਕੰਪਿਊਟਿੰਗ (edge computing), ਮੋਬਾਈਲ ਡਿਵਾਈਸ ਐਪਲੀਕੇਸ਼ਨਾਂ ਅਤੇ ਵੱਡੇ ਪੱਧਰ ‘ਤੇ ਅਨੁਮਾਨ ਲਗਾਉਣ ਵਾਲੀਆਂ ਸੇਵਾਵਾਂ ਵਰਗੇ ਦ੍ਰਿਸ਼ਾਂ ਲਈ ਖਾਸ ਤੌਰ ‘ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੈ।
ਕਿਊਵੇਨ3 ਮਾਤਰਾਤਮਕ ਮਾਡਲ ਦੀ ਡੂੰਘਾਈ ਨਾਲ ਜਾਂਚ
ਕਿਊਵੇਨ3 ਲੜੀ ਦੇ ਮਾਡਲ ਅਲੀਬਾਬਾ ਕਿਊਵੇਨ ਟੀਮ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤੇ ਗਏ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦੀ ਨਵੀਨਤਮ ਪੀੜ੍ਹੀ ਹਨ। ਇਨ੍ਹਾਂ ਮਾਡਲਾਂ ਨੂੰ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ‘ਤੇ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਹੈ, ਜਿਸ ਨਾਲ ਉਨ੍ਹਾਂ ਵਿੱਚ ਭਾਸ਼ਾ ਨੂੰ ਸਮਝਣ ਅਤੇ ਪੈਦਾ ਕਰਨ ਦੀਆਂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਮਰੱਥਾਵਾਂ ਹਨ। ਮਾਤਰਾਤਮਕ ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਕਿਊਵੇਨ3 ਮਾਡਲ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦੇ ਹੋਏ ਮੈਮੋਰੀ ਦੀ ਵਰਤੋਂ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਗੁੰਝਲਤਾ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਰੂਪ ਵਿੱਚ ਘਟਾ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਉਨ੍ਹਾਂ ਦੀ ਵਿਆਪਕ ਵਰਤੋਂ ਨੂੰ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।
ਮਾਤਰਾਤਮਕ ਤਕਨੀਕ: ਮਾਡਲ ਕੰਪਰੈਸ਼ਨ ਦੀ ਕੁੰਜੀ
ਮਾਤਰਾਤਮਕ ਇੱਕ ਮਾਡਲ ਕੰਪਰੈਸ਼ਨ ਤਕਨੀਕ ਹੈ, ਜਿਸਦਾ ਉਦੇਸ਼ ਮਾਡਲ ਵਿੱਚ ਪੈਰਾਮੀਟਰਾਂ ਲਈ ਲੋੜੀਂਦੀ ਸਟੋਰੇਜ ਸਪੇਸ ਅਤੇ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਨੂੰ ਘਟਾਉਣਾ ਹੈ। ਇਹ ਮਾਡਲ ਵਿੱਚ ਫਲੋਟਿੰਗ-ਪੁਆਇੰਟ ਨੁਮਾਇੰਦਗੀ ਨੂੰ ਘੱਟ ਸ਼ੁੱਧਤਾ ਵਾਲੀ ਇੰਟਜਰ ਨੁਮਾਇੰਦਗੀ ਵਿੱਚ ਬਦਲ ਕੇ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, 32-ਬਿਟ ਫਲੋਟਿੰਗ ਪੁਆਇੰਟ ਨੰਬਰ (float32) ਨੂੰ 8-ਬਿਟ ਇੰਟਜਰ (int8) ਵਿੱਚ ਬਦਲਣਾ। ਇਹ ਤਬਦੀਲੀ ਮਾਡਲ ਦੇ ਆਕਾਰ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਰੂਪ ਵਿੱਚ ਘਟਾ ਸਕਦੀ ਹੈ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰ ਸਕਦੀ ਹੈ।
ਹਾਲਾਂਕਿ, ਮਾਤਰਾਤਮਕ ਨਾਲ ਕੁਝ ਚੁਣੌਤੀਆਂ ਵੀ ਆਉਂਦੀਆਂ ਹਨ। ਜਾਣਕਾਰੀ ਦੇ ਨੁਕਸਾਨ ਕਾਰਨ, ਮਾਤਰਾਤਮਕ ਮਾਡਲ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਘਟਾ ਸਕਦੀ ਹੈ। ਇਸ ਲਈ, ਕਾਰਗੁਜ਼ਾਰੀ ਦੇ ਨੁਕਸਾਨ ਨੂੰ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਘਟਾਉਣ ਲਈ ਵਿਸ਼ੇਸ਼ ਮਾਤਰਾਤਮਕ ਤਰੀਕਿਆਂ ਨੂੰ ਅਪਣਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ। ਆਮ ਮਾਤਰਾਤਮਕ ਤਰੀਕਿਆਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
- ਸਿਖਲਾਈ ਤੋਂ ਬਾਅਦ ਮਾਤਰਾਤਮਕ (Post-Training Quantization, PTQ): ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਤੋਂ ਬਾਅਦ, ਮਾਡਲ ਦੀ ਮਾਤਰਾਤਮਕ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਤਰੀਕਾ ਸਧਾਰਨ ਅਤੇ ਲਾਗੂ ਕਰਨਾ ਆਸਾਨ ਹੈ, ਪਰ ਕਾਰਗੁਜ਼ਾਰੀ ਦਾ ਨੁਕਸਾਨ ਵਧੇਰੇ ਹੋ ਸਕਦਾ ਹੈ।
- ਮਾਤਰਾਤਮਕ-ਜਾਗਰੂਕ ਸਿਖਲਾਈ (Quantization-Aware Training, QAT): ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਦੌਰਾਨ, ਮਾਤਰਾਤਮਕ ਕਾਰਵਾਈਆਂ ਦੀ ਨਕਲ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਹ ਤਰੀਕਾ ਮਾਤਰਾਤਮਕ ਮਾਡਲ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਸੁਧਾਰ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਇਸਨੂੰ ਸਿਖਲਾਈ ਲਈ ਵਧੇਰੇ ਸਰੋਤਾਂ ਦੀ ਜ਼ਰੂਰਤ ਹੁੰਦੀ ਹੈ।
ਕਿਊਵੇਨ3 ਮਾਡਲ ਦੀ ਮਾਤਰਾਤਮਕ ਵਿੱਚ ਉੱਨਤ ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਹੈ, ਤਾਂ ਜੋ ਉੱਚ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਬਣਾਈ ਰੱਖਦਿਆਂ ਵੱਧ ਤੋਂ ਵੱਧ ਕੰਪਰੈਸ਼ਨ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾ ਸਕੇ।
ਕਈ ਮਾਤਰਾਤਮਕ ਫਾਰਮੈਟ: ਲਚਕਦਾਰ ਵਿਕਲਪ
ਕਿਊਵੇਨ3 ਮਾਤਰਾਤਮਕ ਮਾਡਲ ਵੱਖ-ਵੱਖ ਉਪਭੋਗਤਾਵਾਂ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ ਕਈ ਫਾਰਮੈਟ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ:
- ਜੀਜੀਯੂਐੱਫ (GPT-Generated Unified Format): ਮਾਤਰਾਤਮਕ ਮਾਡਲਾਂ ਨੂੰ ਸਟੋਰ ਕਰਨ ਅਤੇ ਵੰਡਣ ਲਈ ਇੱਕ ਆਮ ਫਾਰਮੈਟ ਹੈ, ਜੋ ਸੀਪੀਯੂ ਅਨੁਮਾਨਾਂ ਲਈ ਢੁਕਵਾਂ ਹੈ। ਜੀਜੀਯੂਐੱਫ ਫਾਰਮੈਟ ਵਾਲੇ ਮਾਡਲਾਂ ਨੂੰ ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio) ਵਰਗੇ ਪਲੇਟਫਾਰਮਾਂ ‘ਤੇ ਆਸਾਨੀ ਨਾਲ ਤੈਨਾਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
- ਏਡਬਲਿਊਕਿਊ (Activation-aware Weight Quantisation): ਇੱਕ ਉੱਨਤ ਮਾਤਰਾਤਮਕ ਤਕਨੀਕ ਹੈ, ਜੋ ਵਜ਼ਨ ਦੀ ਮਾਤਰਾਤਮਕ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਲਈ ਐਕਟੀਵੇਸ਼ਨ ਮੁੱਲਾਂ ਦੀ ਵੰਡ ‘ਤੇ ਵਿਚਾਰ ਕਰਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਮਾਤਰਾਤਮਕ ਮਾਡਲ ਦੀ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ।
- ਜੀਪੀਟੀਕਿਊ (Gradient Post-Training Quantisation): ਇਕ ਹੋਰ ਪ੍ਰਸਿੱਧ ਮਾਤਰਾਤਮਕ ਤਕਨੀਕ ਹੈ, ਜੋ ਕਾਰਗੁਜ਼ਾਰੀ ਦੇ ਨੁਕਸਾਨ ਨੂੰ ਘਟਾਉਣ ਲਈ ਭਾਰ ਦੀ ਮਾਤਰਾਤਮਕ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਲਈ ਗਰੇਡੀਐਂਟ ਜਾਣਕਾਰੀ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ।
ਉਪਭੋਗਤਾ ਆਪਣੇ ਹਾਰਡਵੇਅਰ ਪਲੇਟਫਾਰਮ ਅਤੇ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਦੇ ਅਨੁਸਾਰ ਇੱਕ ਢੁਕਵਾਂ ਮਾਤਰਾਤਮਕ ਫਾਰਮੈਟ ਚੁਣ ਸਕਦੇ ਹਨ।
ਕਿਊਵੇਨ3 ਮਾਡਲ ਦੇ ਐਪਲੀਕੇਸ਼ਨ ਦ੍ਰਿਸ਼
ਕਿਊਵੇਨ3 ਮਾਡਲ ਵਿੱਚ ਐਪਲੀਕੇਸ਼ਨ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸੰਭਾਵਨਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
- ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਪ੍ਰੋਸੈਸਿੰਗ (Natural Language Processing, NLP): ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਵੱਖ-ਵੱਖ ਐੱਨਐੱਲਪੀ ਕਾਰਜਾਂ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਟੈਕਸਟ ਵਰਗੀਕਰਨ, ਭਾਵਨਾਵਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ, ਮਸ਼ੀਨੀ ਅਨੁਵਾਦ, ਟੈਕਸਟ ਸੰਖੇਪ ਆਦਿ।
- ਡਾਇਲਾਗ ਪ੍ਰਣਾਲੀ: (Conversation system) ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਇੱਕ ਬੁੱਧੀਮਾਨ ਡਾਇਲਾਗ ਪ੍ਰਣਾਲੀ ਬਣਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਜੋ ਕੁਦਰਤੀ ਅਤੇ ਸੁਚਾਰੂ ਡਾਇਲਾਗ ਅਨੁਭਵ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
- ਸਮੱਗਰੀ ਉਤਪਾਦਨ: ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਵੱਖ-ਵੱਖ ਕਿਸਮਾਂ ਦੀ ਟੈਕਸਟ ਸਮੱਗਰੀ ਪੈਦਾ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਲੇਖ, ਕਹਾਣੀਆਂ, ਕਵਿਤਾਵਾਂ ਆਦਿ।
- ਕੋਡ ਉਤਪਾਦਨ: ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਕੋਡ ਪੈਦਾ ਕਰਨ ਅਤੇ ਸਾਫਟਵੇਅਰ ਵਿਕਾਸ ਵਿੱਚ ਸਹਾਇਤਾ ਕਰਨ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ।
ਮਾਤਰਾਤਮਕ ਦੀ ਵਰਤੋਂ ਨਾਲ, ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਵੱਖ-ਵੱਖ ਡਿਵਾਈਸਾਂ ‘ਤੇ ਤੈਨਾਤ ਕਰਨਾ ਸੌਖਾ ਹੋ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਸਦੀ ਵਿਆਪਕ ਵਰਤੋਂ ਨੂੰ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।
ਕਿਊਵੇਨ3 ਮਾਤਰਾਤਮਕ ਮਾਡਲ ਨੂੰ ਤੈਨਾਤ ਕਰਨਾ
ਕਿਊਵੇਨ3 ਮਾਤਰਾਤਮਕ ਮਾਡਲ ਨੂੰ ਕਈ ਪਲੇਟਫਾਰਮਾਂ ਰਾਹੀਂ ਤੈਨਾਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
- ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio): ਇੱਕ ਵਰਤੋਂ ਵਿੱਚ ਆਸਾਨ ਜੀਯੂਆਈ ਟੂਲ ਹੈ, ਜਿਸਨੂੰ ਵੱਖ-ਵੱਖ ਮਾਤਰਾਤਮਕ ਮਾਡਲਾਂ ਨੂੰ ਡਾਊਨਲੋਡ, ਸਥਾਪਿਤ ਅਤੇ ਚਲਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ।
- ਓਲਾਮਾ (Ollama): ਇੱਕ ਕਮਾਂਡ-ਲਾਈਨ ਟੂਲ ਹੈ, ਜਿਸਨੂੰ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਡਾਊਨਲੋਡ ਅਤੇ ਚਲਾਉਣ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ।
- ਐੱਸਜੀਲੈਂਗ (SGLang): ਏਆਈ ਐਪਲੀਕੇਸ਼ਨਾਂ ਬਣਾਉਣ ਅਤੇ ਤੈਨਾਤ ਕਰਨ ਲਈ ਇੱਕ ਪਲੇਟਫਾਰਮ ਹੈ।
- ਵੀਐੱਲਐੱਲਐੱਮ (vLLM): ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਅਨੁਮਾਨਾਂ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ ਇੱਕ ਲਾਇਬ੍ਰੇਰੀ ਹੈ।
ਉਪਭੋਗਤਾ ਆਪਣੀ ਤਕਨੀਕੀ ਪਿਛੋਕੜ ਅਤੇ ਜ਼ਰੂਰਤਾਂ ਦੇ ਅਨੁਸਾਰ ਇੱਕ ਢੁਕਵਾਂ ਤੈਨਾਤੀ ਪਲੇਟਫਾਰਮ ਚੁਣ ਸਕਦੇ ਹਨ।
ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਤੈਨਾਤ ਕਰਨਾ
ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio) ਸ਼ੁਰੂਆਤ ਕਰਨ ਵਾਲਿਆਂ ਲਈ ਬਹੁਤ ਵਧੀਆ ਚੋਣ ਹੈ। ਇਹ ਇੱਕ ਗ੍ਰਾਫੀਕਲ ਇੰਟਰਫੇਸ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਡਾਊਨਲੋਡ ਅਤੇ ਚਲਾਉਣਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ।
- **ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio) ਨੂੰ ਡਾਊਨਲੋਡ ਅਤੇ ਸਥਾਪਿਤ ਕਰੋ: ** ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio) ਦੀ ਅਧਿਕਾਰਤ ਵੈੱਬਸਾਈਟ ਤੋਂ ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio) ਨੂੰ ਡਾਊਨਲੋਡ ਕਰੋ ਅਤੇ ਸਥਾਪਿਤ ਕਰੋ।
- **ਕਿਊਵੇਨ3 ਮਾਡਲ ਦੀ ਖੋਜ ਕਰੋ: ** ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio) ਵਿੱਚ ਕਿਊਵੇਨ3 ਮਾਡਲ ਦੀ ਖੋਜ ਕਰੋ।
- **ਮਾਡਲ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰੋ: ** ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ ਕਿਊਵੇਨ3 ਮਾਡਲ ਦਾ ਸੰਸਕਰਣ (ਉਦਾਹਰਨ ਲਈ, ਕਿਊਵੇਨ3-4ਬੀ (Qwen3-4B)) ਚੁਣੋ ਅਤੇ ਡਾਊਨਲੋਡ ‘ਤੇ ਕਲਿੱਕ ਕਰੋ।
- **ਮਾਡਲ ਚਲਾਓ: ** ਡਾਊਨਲੋਡ ਪੂਰਾ ਹੋਣ ਤੋਂ ਬਾਅਦ, ਐੱਲਐੱਮ ਸਟੂਡੀਓ (LM Studio) ਮਾਡਲ ਨੂੰ ਆਪਣੇ ਆਪ ਲੋਡ ਕਰ ਲਵੇਗਾ। ਤੁਸੀਂ ਮਾਡਲ ਨਾਲ ਗੱਲਬਾਤ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ, ਜਿਵੇਂ ਕਿ ਸਵਾਲ ਪੁੱਛਣਾ ਜਾਂ ਟੈਕਸਟ ਤਿਆਰ ਕਰਨਾ।
ਓਲਾਮਾ (Ollama) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਤੈਨਾਤ ਕਰਨਾ
ਓਲਾਮਾ (Ollama) ਇੱਕ ਕਮਾਂਡ ਲਾਈਨ ਟੂਲ ਹੈ, ਜੋ ਕੁਝ ਹੱਦ ਤਕ ਤਕਨੀਕੀ ਗਿਆਨ ਰੱਖਣ ਵਾਲੇ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਢੁਕਵਾਂ ਹੈ।
- **ਓਲਾਮਾ (Ollama) ਨੂੰ ਸਥਾਪਿਤ ਕਰੋ: ** ਓਲਾਮਾ (Ollama) ਦੀ ਅਧਿਕਾਰਤ ਵੈੱਬਸਾਈਟ ‘ਤੇ ਦਿੱਤੀ ਹਦਾਇਤਾਂ ਦੀ ਪਾਲਣਾ ਕਰਕੇ ਓਲਾਮਾ (Ollama) ਨੂੰ ਸਥਾਪਿਤ ਕਰੋ।
- **ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰੋ: ** ਕਿਊਵੇਨ3 ਮਾਡਲ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ ਓਲਾਮਾ (Ollama) ਕਮਾਂਡ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਉਦਾਹਰਨ ਲਈ, ਕਿਊਵੇਨ3-4ਬੀ (Qwen3-4B) ਮਾਡਲ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ, ਤੁਸੀਂ ਹੇਠ ਦਿੱਤੀ ਕਮਾਂਡ ਚਲਾ ਸਕਦੇ ਹੋ: