ਜਾਣ-ਪਛਾਣ
ਇਹ ਗਾਈਡ ਇੱਕ ਦੋ-ਭਾਸ਼ਾਈ (ਅਰਬੀ ਅਤੇ ਅੰਗਰੇਜ਼ੀ) ਚੈਟ ਸਹਾਇਕ ਬਣਾਉਣ ਦੇ ਤਰੀਕੇ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਅਸੀਂ Arcee ਦੇ Meraj-Mini ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਾਂਗੇ, ਜੋ ਕਿ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਓਪਨ-ਸੋਰਸ ਭਾਸ਼ਾ ਮਾਡਲ ਹੈ, ਅਤੇ ਇਸਨੂੰ Google Colab ਉੱਤੇ T4 GPU ਨਾਲ ਤੈਨਾਤ ਕਰਾਂਗੇ। ਇਹ ਪ੍ਰੋਜੈਕਟ ਮੁਫਤ ਕਲਾਉਡ ਕੰਪਿਊਟਿੰਗ ਸਰੋਤਾਂ ਦੀਆਂ ਸੀਮਾਵਾਂ ਦੇ ਅੰਦਰ ਵੀ, ਪਹੁੰਚਯੋਗ AI ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਅਸੀਂ ਅਤਿ-ਆਧੁਨਿਕ ਸਾਧਨਾਂ ਦੇ ਇੱਕ ਸਮੂਹ ਦਾ ਲਾਭ ਉਠਾਵਾਂਗੇ:
- Arcee ਦਾ Meraj-Mini ਮਾਡਲ: ਸਾਡੇ ਚੈਟ ਸਹਾਇਕ ਦਾ ਕੇਂਦਰ।
- Transformers ਲਾਇਬ੍ਰੇਰੀ: ਸਹਿਜ ਮਾਡਲ ਲੋਡਿੰਗ ਅਤੇ ਕੁਸ਼ਲ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ ਲਈ।
- Accelerate ਅਤੇ bitsandbytes: ਸਰੋਤ ਪ੍ਰਬੰਧਨ ਲਈ ਅਨੁਕੂਲਿਤ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਨੂੰ ਸਮਰੱਥ ਕਰਨਾ।
- PyTorch: ਸਾਰੇ ਕੰਪਿਊਟੇਸ਼ਨਾਂ ਲਈ ਬੁਨਿਆਦੀ ਡੂੰਘੀ ਸਿਖਲਾਈ ਫਰੇਮਵਰਕ।
- Gradio: ਇੱਕ ਅਨੁਭਵੀ ਅਤੇ ਇੰਟਰਐਕਟਿਵ ਵੈੱਬ-ਅਧਾਰਿਤ ਉਪਭੋਗਤਾ ਇੰਟਰਫੇਸ ਤਿਆਰ ਕਰਨ ਲਈ।
ਭਾਗਾਂ ਨੂੰ ਸਮਝਣਾ
ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਡੂੰਘਾਈ ਨਾਲ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ, ਆਓ ਇਸ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਮੁੱਖ ਭਾਗਾਂ ਅਤੇ ਉਹਨਾਂ ਦੀਆਂ ਭੂਮਿਕਾਵਾਂ ਦੀ ਪੜਚੋਲ ਕਰੀਏ।
Arcee ਦਾ Meraj-Mini ਮਾਡਲ
Meraj-Mini ਆਸਾਨੀ ਨਾਲ ਉਪਲਬਧ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। Arcee ਦੁਆਰਾ ਵਿਕਸਤ, ਇਹ ਮਾਡਲ ਵਿਸ਼ੇਸ਼ ਤੌਰ ‘ਤੇ ਅਰਬੀ ਅਤੇ ਅੰਗਰੇਜ਼ੀ ਦੋਵਾਂ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਹੈ, ਇਸ ਨੂੰ ਸਾਡੇ ਦੋਭਾਸ਼ੀ ਚੈਟ ਸਹਾਇਕ ਲਈ ਸੰਪੂਰਨ ਬਣਾਉਂਦਾ ਹੈ। ਇਸਦਾ ਓਪਨ-ਸੋਰਸ ਸੁਭਾਅ ਪ੍ਰਯੋਗ ਅਤੇ ਅਨੁਕੂਲਤਾ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇਸ ਨੂੰ ਖਾਸ ਲੋੜਾਂ ਮੁਤਾਬਕ ਢਾਲਣ ਦੀ ਇਜਾਜ਼ਤ ਮਿਲਦੀ ਹੈ। ਮਾਡਲ ਦਾ ਆਰਕੀਟੈਕਚਰ ਕੁਸ਼ਲਤਾ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ Google Colab ਦੇ T4 GPU ਵਰਗੇ ਸਰੋਤ-ਪ੍ਰਤੀਬੰਧਿਤ ਵਾਤਾਵਰਣਾਂ ‘ਤੇ ਵੀ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਚੱਲ ਸਕਦਾ ਹੈ।
The Transformers ਲਾਇਬ੍ਰੇਰੀ
Hugging Face ਦੀ Transformers ਲਾਇਬ੍ਰੇਰੀ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਮਿਆਰੀ ਬਣ ਗਈ ਹੈ। ਇਹ Meraj-Mini ਸਮੇਤ, ਮਾਡਲਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਨੂੰ ਲੋਡ ਕਰਨ, ਵਧੀਆ-ਟਿਊਨਿੰਗ ਕਰਨ ਅਤੇ ਉਪਯੋਗ ਕਰਨ ਲਈ ਇੱਕ ਯੂਨੀਫਾਈਡ ਅਤੇ ਉਪਭੋਗਤਾ-ਅਨੁਕੂਲ ਇੰਟਰਫੇਸ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਸਾਡੇ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ, ਅਸੀਂ Meraj-Mini ਮਾਡਲ ਅਤੇ ਇਸਦੇ ਨਾਲ ਜੁੜੇ ਟੋਕਨਾਈਜ਼ਰ ਨੂੰ ਲੋਡ ਕਰਨ ਲਈ Transformers ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ। ਟੋਕਨਾਈਜ਼ਰ ਟੈਕਸਟ ਇਨਪੁਟ ਨੂੰ ਇੱਕ ਸੰਖਿਆਤਮਕ ਫਾਰਮੈਟ ਵਿੱਚ ਬਦਲਣ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ ਜਿਸਨੂੰ ਮਾਡਲ ਸਮਝ ਸਕਦਾ ਹੈ, ਅਤੇ ਇਸਦੇ ਉਲਟ।
Accelerate ਅਤੇ BitsAndBytes: ਕੁਸ਼ਲਤਾ ਲਈ ਅਨੁਕੂਲਤਾ
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣਾ ਕੰਪਿਊਟੇਸ਼ਨਲ ਤੌਰ ‘ਤੇ ਮਹਿੰਗਾ ਹੋ ਸਕਦਾ ਹੈ। Accelerate ਅਤੇ BitsAndBytes ਦੋ ਲਾਇਬ੍ਰੇਰੀਆਂ ਹਨ ਜੋ ਇਸ ਚੁਣੌਤੀ ਨੂੰ ਦੂਰ ਕਰਨ ਵਿੱਚ ਸਾਡੀ ਮਦਦ ਕਰਦੀਆਂ ਹਨ।
- Accelerate: Hugging Face ਦੀ ਇਹ ਲਾਇਬ੍ਰੇਰੀ GPUs ਅਤੇ TPUs ਸਮੇਤ, ਵੱਖ-ਵੱਖ ਹਾਰਡਵੇਅਰ ਕੌਂਫਿਗਰੇਸ਼ਨਾਂ ‘ਤੇ PyTorch ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਨੂੰ ਆਸਾਨ ਬਣਾਉਂਦੀ ਹੈ। ਇਹ ਆਪਣੇ ਆਪ ਹੀ ਵੰਡੇ ਹੋਏ ਸਿਖਲਾਈ ਅਤੇ ਮਿਸ਼ਰਤ-ਸ਼ੁੱਧਤਾ ਸਿਖਲਾਈ ਦੀਆਂ ਬਹੁਤ ਸਾਰੀਆਂ ਜਟਿਲਤਾਵਾਂ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਅਸੀਂ ਆਪਣੇ ਉਪਲਬਧ ਹਾਰਡਵੇਅਰ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਵੱਧ ਤੋਂ ਵੱਧ ਕਰ ਸਕਦੇ ਹਾਂ।
- BitsAndBytes: ਇਹ ਲਾਇਬ੍ਰੇਰੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਲਈ ਟੂਲ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ, ਇੱਕ ਤਕਨੀਕ ਜੋ ਮਾਡਲ ਵਜ਼ਨ ਦੀ ਸ਼ੁੱਧਤਾ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ (ਉਦਾਹਰਨ ਲਈ, 32-ਬਿੱਟ ਫਲੋਟਿੰਗ-ਪੁਆਇੰਟ ਤੋਂ 8-ਬਿੱਟ ਪੂਰਨ ਅੰਕ)। ਇਹ ਮਾਡਲ ਦੇ ਮੈਮੋਰੀ ਫੁੱਟਪ੍ਰਿੰਟ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ‘ਤੇ ਘਟਾਉਂਦਾ ਹੈ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਘੱਟ ਸ਼ਕਤੀਸ਼ਾਲੀ ਹਾਰਡਵੇਅਰ ‘ਤੇ ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣਾ ਸੰਭਵ ਹੋ ਜਾਂਦਾ ਹੈ।
PyTorch: ਡੀਪ ਲਰਨਿੰਗ ਫਾਊਂਡੇਸ਼ਨ
PyTorch ਇੱਕ ਵਿਆਪਕ ਤੌਰ ‘ਤੇ ਵਰਤਿਆ ਜਾਣ ਵਾਲਾ ਓਪਨ-ਸੋਰਸ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਫਰੇਮਵਰਕ ਹੈ ਜੋ ਇਸਦੀ ਲਚਕਤਾ ਅਤੇ ਗਤੀਸ਼ੀਲ ਕੰਪਿਊਟੇਸ਼ਨਲ ਗ੍ਰਾਫ ਲਈ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ Meraj-Mini ਮਾਡਲ ਸਮੇਤ, ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ, ਸਿਖਲਾਈ ਦੇਣ ਅਤੇ ਤੈਨਾਤ ਕਰਨ ਲਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। PyTorch ਦਾ ਅਨੁਭਵੀ API ਅਤੇ ਵਿਆਪਕ ਕਮਿਊਨਿਟੀ ਸਮਰਥਨ ਇਸਨੂੰ ਖੋਜ ਅਤੇ ਉਤਪਾਦਨ ਦੋਵਾਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਇੱਕ ਪ੍ਰਸਿੱਧ ਵਿਕਲਪ ਬਣਾਉਂਦੇ ਹਨ।
Gradio: ਯੂਜ਼ਰ ਇੰਟਰਫੇਸ ਬਣਾਉਣਾ
Gradio ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲਾਂ ਲਈ ਇੰਟਰਐਕਟਿਵ ਵੈੱਬ ਇੰਟਰਫੇਸ ਬਣਾਉਣ ਲਈ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਲਾਇਬ੍ਰੇਰੀ ਹੈ। ਇਹ ਸਾਨੂੰ ਆਸਾਨੀ ਨਾਲ ਇੱਕ ਉਪਭੋਗਤਾ-ਅਨੁਕੂਲ ਚੈਟ ਇੰਟਰਫੇਸ ਬਣਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜਿੱਥੇ ਉਪਭੋਗਤਾ ਅਰਬੀ ਜਾਂ ਅੰਗਰੇਜ਼ੀ ਵਿੱਚ ਆਪਣੇ ਸਵਾਲ ਟਾਈਪ ਕਰ ਸਕਦੇ ਹਨ ਅਤੇ Meraj-Mini ਮਾਡਲ ਤੋਂ ਜਵਾਬ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਨ। Gradio ਵੈੱਬ ਵਿਕਾਸ ਦੀਆਂ ਜਟਿਲਤਾਵਾਂ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਅਸੀਂ ਆਪਣੇ ਚੈਟ ਸਹਾਇਕ ਦੀ ਮੁੱਖ ਕਾਰਜਕੁਸ਼ਲਤਾ ‘ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰ ਸਕਦੇ ਹਾਂ।
ਲਾਗੂ ਕਰਨ ਦੇ ਪੜਾਅ
ਹੁਣ, ਆਓ ਆਪਣੇ ਦੋਭਾਸ਼ੀ ਚੈਟ ਸਹਾਇਕ ਨੂੰ ਬਣਾਉਣ ਦੇ ਪੜਾਵਾਂ ‘ਤੇ ਚੱਲੀਏ।
ਵਾਤਾਵਰਣ ਸਥਾਪਤ ਕਰਨਾ
ਪਹਿਲਾਂ, ਸਾਨੂੰ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ ਕਿ ਸਾਡੇ ਕੋਲ ਲੋੜੀਂਦੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਸਥਾਪਤ ਹਨ। Google Colab ਨੋਟਬੁੱਕ ਦੇ ਅੰਦਰ, ਅਸੀਂ ਉਹਨਾਂ ਨੂੰ ਸਥਾਪਤ ਕਰਨ ਲਈ pip ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹਾਂ: