ਜਾਣ-ਪਛਾਣ
ਆਰਟੀਫਿਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ (AI) ਦੇ ਤੇਜ਼ੀ ਨਾਲ ਬਦਲਦੇ ਖੇਤਰ ਵਿੱਚ, ਮਾਈਕ੍ਰੋਸਾਫਟ ਰਿਸਰਚ ਦੁਆਰਾ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਾਢ ਸਾਹਮਣੇ ਆਈ ਹੈ, ਜੋ ਜਨਰੇਟਿਵ AI ਦੀ ਪਹੁੰਚ ਅਤੇ ਕੁਸ਼ਲਤਾ ਨੂੰ ਮੁੜ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਦਾ ਵਾਅਦਾ ਕਰਦੀ ਹੈ। ਉਹਨਾਂ ਦੇ ਹਾਲ ਹੀ ਦੇ ਪੇਪਰ ਵਿੱਚ BitNet b1.58 2B4T ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਪਾਇਨੀਅਰਿੰਗ ਲਾਰਜ ਲੈਂਗਵੇਜ ਮਾਡਲ (LLM) ਹੈ, ਜੋ ਕਿ ‘1-ਬਿੱਟ’ ਵੇਟਸ, ਜਾਂ ਵਧੇਰੇ ਸਹੀ ਢੰਗ ਨਾਲ, 1-ਟ੍ਰਿਟ ਵੇਟਸ ਨਾਲ ਇਸਦੀ ਮੂਲ ਸਿਖਲਾਈ ਦੁਆਰਾ ਵੱਖਰਾ ਹੈ। ਇਹ ਨਵੀਨਤਾਕਾਰੀ ਪਹੁੰਚ ਰਵਾਇਤੀ ਤਰੀਕਿਆਂ ਤੋਂ ਇੱਕ ਵਿਦਾਇਗੀ ਹੈ ਜੋ ਸ਼ੁਰੂ ਵਿੱਚ ਪੂਰੀ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲਾਂ ਨੂੰ ਕੁਆਂਟਾਈਜ਼ ਕਰਨ ‘ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ।
ਰਵਾਇਤੀ LLMs ਦੀਆਂ ਸੀਮਾਵਾਂ ‘ਤੇ ਕਾਬੂ ਪਾਉਣਾ
ਰਵਾਇਤੀ LLMs, ਆਪਣੀ ਸ਼ਾਨਦਾਰ ਕਾਰਗੁਜ਼ਾਰੀ ਦੇ ਬਾਵਜੂਦ, ਮਹੱਤਵਪੂਰਨ ਰੁਕਾਵਟਾਂ ਨਾਲ ਜੂਝਦੇ ਹਨ ਜੋ ਉਹਨਾਂ ਦੇ ਵਿਆਪਕ ਗ੍ਰਹਿਣ ਨੂੰ ਰੋਕਦੀਆਂ ਹਨ। ਇਹ ਸੀਮਾਵਾਂ ਮੁੱਖ ਤੌਰ ‘ਤੇ ਉਹਨਾਂ ਦੇ ਵੱਡੇ ਮੈਮੋਰੀ ਫੁੱਟਪ੍ਰਿੰਟਸ, ਵੱਡੀ ਊਰਜਾ ਦੀ ਖਪਤ, ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਅਨੁਮਾਨ ਲੇਟੈਂਸੀ ਤੋਂ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ। ਨਤੀਜੇ ਵਜੋਂ, ਇਹਨਾਂ ਮਾਡਲਾਂ ਨੂੰ ਐਜ ਡਿਵਾਈਸਾਂ ‘ਤੇ, ਸਰੋਤ-ਨਿਰਭਰ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ, ਅਤੇ ਰੀਅਲ-ਟਾਈਮ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਤਾਇਨਾਤ ਕਰਨਾ ਅਵਿਵਹਾਰਕ ਹੋ ਜਾਂਦਾ ਹੈ।
ਇਹਨਾਂ ਚੁਣੌਤੀਆਂ ਨੂੰ ਘਟਾਉਣ ਲਈ, AI ਕਮਿਊਨਿਟੀ ਨੇ ਤੇਜ਼ੀ ਨਾਲ ਕੁਆਂਟਾਈਜ਼ਡ ਮਾਡਲਾਂ ਦੀ ਖੋਜ ‘ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕੀਤਾ ਹੈ। ਇਹ ਮਾਡਲ ਪੂਰੀ-ਸ਼ੁੱਧਤਾ ਵਾਲੇ ਹਮਰੁਤਬਾ ਤੋਂ ਉਹਨਾਂ ਦੇ ਵੇਟਸ ਨੂੰ ਹੇਠਲੇ-ਬਿੱਟ ਫਾਰਮੈਟ ਵਿੱਚ ਬਦਲ ਕੇ ਲਏ ਗਏ ਹਨ। ਜਦੋਂ ਕਿ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਮਾਡਲ ਦੇ ਆਕਾਰ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਮੰਗਾਂ ਨੂੰ ਘਟਾਉਣ ਲਈ ਇੱਕ ਮਾਰਗ ਪੇਸ਼ ਕਰਦਾ ਹੈ, ਇਹ ਅਕਸਰ ਸ਼ੁੱਧਤਾ ਦੇ ਨੁਕਸਾਨ ਦੀ ਕੀਮਤ ‘ਤੇ ਆਉਂਦਾ ਹੈ, ਸੰਭਾਵੀ ਤੌਰ ‘ਤੇ ਮਾਡਲ ਦੀ ਸ਼ੁੱਧਤਾ ਅਤੇ ਸਮੁੱਚੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨਾਲ ਸਮਝੌਤਾ ਕਰਦਾ ਹੈ।
BitNet b1.58 2B4T ਆਰਕੀਟੈਕਚਰ
BitNet b1.58 2B4T LLM ਡਿਜ਼ਾਈਨ ਵਿੱਚ ਇੱਕ ਪੈਰਾਡਾਈਮ ਸ਼ਿਫਟ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਜੋ ਕਿ 1-ਬਿੱਟ ਵੇਟਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਡਲ ਨੂੰ ਜ਼ਮੀਨ ਤੋਂ ਸਿਖਲਾਈ ਦੇ ਕੇ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਨਾਲ ਜੁੜੇ ਸ਼ੁੱਧਤਾ ਦੇ ਨੁਕਸਾਨ ਤੋਂ ਬਚਦਾ ਹੈ। ਇਹ ਪਹੁੰਚ ਮਾਡਲ ਨੂੰ ਛੋਟੇ ਵੇਟਸ ਦੇ ਫਾਇਦਿਆਂ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਘੱਟ ਮੈਮੋਰੀ ਫੁੱਟਪ੍ਰਿੰਟ ਅਤੇ ਘੱਟ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤਾਂ ਸ਼ਾਮਲ ਹਨ।
ਮਾਈਕ੍ਰੋਸਾਫਟ ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਨੇ 4 ਟ੍ਰਿਲੀਅਨ ਟੋਕਨਾਂ ਦੇ ਇੱਕ ਵਿਸ਼ਾਲ ਕਾਰਪਸ ‘ਤੇ BitNet b1.58 2B4T ਨੂੰ ਸਿਖਲਾਈ ਦੇ ਕੇ ਇਸ ਅਭਿਲਾਸ਼ੀ ਯਤਨ ਦੀ ਸ਼ੁਰੂਆਤ ਕੀਤੀ। ਇਸ ਵਿਆਪਕ ਸਿਖਲਾਈ ਡੇਟਾਸੈਟ ਨੇ ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕੀਤਾ ਕਿ ਮਾਡਲ ਗੁੰਝਲਦਾਰ ਭਾਸ਼ਾ ਪੈਟਰਨਾਂ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਸਿੱਖ ਸਕਦਾ ਹੈ ਅਤੇ ਮਨੁੱਖੀ ਸੰਚਾਰ ਦੀਆਂ ਬਾਰੀਕੀਆਂ ਦੀ ਇੱਕ ਵਿਆਪਕ ਸਮਝ ਵਿਕਸਿਤ ਕਰ ਸਕਦਾ ਹੈ।
ਕਾਰਗੁਜ਼ਾਰੀ ਮੁਲਾਂਕਣ ਅਤੇ ਬੈਂਚਮਾਰਕਿੰਗ
BitNet b1.58 2B4T ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ, ਮਾਈਕ੍ਰੋਸਾਫਟ ਨੇ ਸਖ਼ਤ ਬੈਂਚਮਾਰਕ ਕਰਵਾਏ, ਇਸਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਤੁਲਨਾ ਸਮਾਨ ਆਕਾਰ ਦੇ ਪ੍ਰਮੁੱਖ ਓਪਨ-ਵੇਟ, ਪੂਰੀ-ਸ਼ੁੱਧਤਾ ਵਾਲੇ ਮਾਡਲਾਂ ਨਾਲ ਕੀਤੀ। ਨਤੀਜਿਆਂ ਤੋਂ ਪਤਾ ਚੱਲਿਆ ਹੈ ਕਿ ਨਵੇਂ ਮਾਡਲ ਨੇ ਭਾਸ਼ਾ ਦੀ ਸਮਝ ਅਤੇ ਤਰਕ, ਸੰਸਾਰ ਗਿਆਨ, ਰੀਡਿੰਗ ਕੰਪਰੀਹੈਨਸ਼ਨ, ਗਣਿਤ ਅਤੇ ਕੋਡ, ਅਤੇ ਹਦਾਇਤ ਦੀ ਪਾਲਣਾ ਅਤੇ ਗੱਲਬਾਤ ਨੂੰ ਸ਼ਾਮਲ ਕਰਦੇ ਹੋਏ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਕੰਮਾਂ ਵਿੱਚ ਤੁਲਨਾਤਮਕ ਤੌਰ ‘ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ।
ਇਹ ਖੋਜਾਂ 1-ਬਿੱਟ LLMs ਦੀ ਸੰਭਾਵਨਾ ਨੂੰ ਉਜਾਗਰ ਕਰਦੀਆਂ ਹਨ ਕਿ ਉਹ ਕੁਸ਼ਲਤਾ ਅਤੇ ਸਰੋਤ ਉਪਯੋਗਤਾ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਫਾਇਦੇ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹੋਏ, ਆਪਣੇ ਪੂਰੀ-ਸ਼ੁੱਧਤਾ ਵਾਲੇ ਹਮਰੁਤਬਾ ਦੇ ਨਾਲ ਕਾਰਗੁਜ਼ਾਰੀ ਸਮਾਨਤਾ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਨ।
ਮੁੱਖ ਆਰਕੀਟੈਕਚਰਲ ਕਾਢਾਂ
BitNet b1.58 2B4T ਦੇ ਦਿਲ ਵਿੱਚ ਇਸਦਾ ਨਵੀਨਤਾਕਾਰੀ ਆਰਕੀਟੈਕਚਰ ਹੈ, ਜੋ ਮਿਆਰੀ ਪੂਰੀ-ਸ਼ੁੱਧਤਾ ਵਾਲੀਆਂ ਲੀਨੀਅਰ ਲੇਅਰਾਂ ਨੂੰ ਕਸਟਮ BitLinear ਲੇਅਰਾਂ ਨਾਲ ਬਦਲਦਾ ਹੈ। ਇਹ ਲੇਅਰਾਂ ਫਾਰਵਰਡ ਪਾਸ ਦੌਰਾਨ ਵੇਟਸ ਨੂੰ ਟਰਨਰੀ ਵੈਲਯੂਜ਼ (trits) ਦੇ ਤੌਰ ‘ਤੇ ਇੰਕੋਡ ਕਰਨ ਲਈ 1.58-ਬਿੱਟ ਪ੍ਰਸਤੁਤੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੀਆਂ ਹਨ।
ਟਰਨਰੀ ਵੈਲਯੂਜ਼ ਦੀ ਵਰਤੋਂ, ਜਿਸਨੂੰ {-1, 0, +1} ਵਜੋਂ ਦਰਸਾਇਆ ਗਿਆ ਹੈ, ਮਾਡਲ ਦੇ ਆਕਾਰ ਵਿੱਚ ਇੱਕ ਭਾਰੀ ਕਮੀ ਅਤੇ ਕੁਸ਼ਲ ਗਣਿਤਿਕ ਕਾਰਵਾਈਆਂ ਦੀ ਸਹੂਲਤ ਦਿੰਦੀ ਹੈ। ਇਹ ਇੱਕ ਐਬਸੋਲਿਊਟ ਮੀਨ (absmean) ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਸਕੀਮ ਦੁਆਰਾ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਵੇਟਸ ਨੂੰ ਇਹਨਾਂ ਟਰਨਰੀ ਵੈਲਯੂਜ਼ ਵਿੱਚ ਮੈਪ ਕਰਦਾ ਹੈ।
BitLinear ਲੇਅਰਾਂ ਤੋਂ ਇਲਾਵਾ, BitNet b1.58 2B4T ਕਈ ਸਥਾਪਿਤ LLM ਤਕਨੀਕਾਂ ਨੂੰ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਵਰਗ ReLU ਐਕਟੀਵੇਸ਼ਨ ਫੰਕਸ਼ਨ, ਰੋਟਰੀ ਪੋਜ਼ੀਸ਼ਨਲ ਐਮਬੈਡਿੰਗਜ਼, ਅਤੇ ਬਾਇਸ ਟਰਮ ਰੀਮੂਵਲ। ਇਹ ਤਕਨੀਕਾਂ ਅੱਗੇ ਮਾਡਲ ਦੇ ਆਕਾਰ ਨੂੰ ਘਟਾਉਣ ਅਤੇ ਸਿਖਲਾਈ ਸਥਿਰਤਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾਉਂਦੀਆਂ ਹਨ।
ਸਿਖਲਾਈ ਸਥਿਰਤਾ ਅਤੇ ਕੁਸ਼ਲਤਾ ਨੂੰ ਵਧਾਉਣਾ
BitLinear ਲੇਅਰਾਂ—ਐਕਟੀਵੇਸ਼ਨ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਅਤੇ ਨਾਰਮਲਾਈਜ਼ੇਸ਼ਨ—ਵਿੱਚ ਵਰਤੀਆਂ ਗਈਆਂ ਦੋ ਵਾਧੂ ਤਕਨੀਕਾਂ ਮਾਡਲ ਦੇ ਆਕਾਰ ਨੂੰ ਘਟਾਉਣ ਅਤੇ ਸਿਖਲਾਈ ਸਥਿਰਤਾ ਨੂੰ ਵਧਾਉਣ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਭੂਮਿਕਾ ਨਿਭਾਉਂਦੀਆਂ ਹਨ। ਐਕਟੀਵੇਸ਼ਨ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਐਕਟੀਵੇਸ਼ਨਾਂ ਦੀ ਸ਼ੁੱਧਤਾ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ, ਜਦੋਂ ਕਿ ਨਾਰਮਲਾਈਜ਼ੇਸ਼ਨ ਤਕਨੀਕਾਂ ਐਕਟੀਵੇਸ਼ਨਾਂ ਨੂੰ ਬਹੁਤ ਵੱਡਾ ਜਾਂ ਬਹੁਤ ਛੋਟਾ ਹੋਣ ਤੋਂ ਰੋਕਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ।
ਇਹ ਤਕਨੀਕਾਂ, 1-ਬਿੱਟ ਵੇਟਸ ਦੀ ਵਰਤੋਂ ਨਾਲ ਜੋੜ ਕੇ, BitNet b1.58 2B4T ਨੂੰ ਵੱਡੇ ਡੇਟਾਸੈਟਾਂ ‘ਤੇ ਵੀ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਸਿਖਲਾਈ ਦੇਣ ਦੇ ਯੋਗ ਬਣਾਉਂਦੀਆਂ ਹਨ।
ਸਿਖਲਾਈ ਵਿਧੀਆਂ
ਸਿਖਲਾਈ ਲਈ, BitNet b1.58 2B4T ਤਿੰਨ ਮੁੱਖ ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ: ਵੱਡੇ ਪੱਧਰ ‘ਤੇ ਪੂਰਵ-ਸਿਖਲਾਈ, ਨਿਗਰਾਨੀ ਵਾਲੀ ਵਧੀਆ-ਟਿਊਨਿੰਗ, ਅਤੇ ਸਿੱਧੀ ਤਰਜੀਹੀ ਅਨੁਕੂਲਤਾ।
ਵੱਡੇ ਪੱਧਰ ‘ਤੇ ਪੂਰਵ-ਸਿਖਲਾਈ
ਇਸ ਸ਼ੁਰੂਆਤੀ ਪੜਾਅ ਵਿੱਚ ਮਾਡਲ ਨੂੰ ਟੈਕਸਟ ਅਤੇ ਕੋਡ ਦੇ ਇੱਕ ਵਿਸ਼ਾਲ ਡੇਟਾਸੈਟ ‘ਤੇ ਸਿਖਲਾਈ ਦੇਣਾ ਸ਼ਾਮਲ ਹੈ, ਜਿਸ ਨਾਲ ਇਸਨੂੰ ਆਮ ਭਾਸ਼ਾ ਪੈਟਰਨ ਸਿੱਖਣ ਅਤੇ ਦੁਨੀਆ ਦੀ ਇੱਕ ਵਿਆਪਕ ਸਮਝ ਵਿਕਸਿਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਮਿਲਦੀ ਹੈ।
ਨਿਗਰਾਨੀ ਵਾਲੀ ਵਧੀਆ-ਟਿਊਨਿੰਗ
ਇਸ ਪੜਾਅ ਵਿੱਚ, ਮਾਡਲ ਨੂੰ ਇੱਕ ਛੋਟੇ, ਵਧੇਰੇ ਖਾਸ ਡੇਟਾਸੈਟ ‘ਤੇ ਵਧੀਆ-ਟਿਊਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਇੱਕ ਖਾਸ ਟਾਸਕ ਜਾਂ ਡੋਮੇਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਨੂੰ ਟਾਸਕ ਦੀਆਂ ਖਾਸ ਲੋੜਾਂ ਅਨੁਸਾਰ ਆਪਣੇ ਗਿਆਨ ਅਤੇ ਹੁਨਰਾਂ ਨੂੰ ਅਨੁਕੂਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
ਸਿੱਧੀ ਤਰਜੀਹੀ ਅਨੁਕੂਲਤਾ
ਇਸ ਤਕਨੀਕ ਵਿੱਚ ਮਨੁੱਖੀ ਤਰਜੀਹਾਂ ਲਈ ਸਿੱਧੇ ਤੌਰ ‘ਤੇ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਸ਼ਾਮਲ ਹੈ, ਜਿਵੇਂ ਕਿ ਫੀਡਬੈਕ ਜਾਂ ਰੇਟਿੰਗਾਂ ਦੁਆਰਾ ਪ੍ਰਗਟ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਦੇ ਆਉਟਪੁੱਟ ਮਨੁੱਖੀ ਕਦਰਾਂ-ਕੀਮਤਾਂ ਅਤੇ ਉਮੀਦਾਂ ਦੇ ਅਨੁਸਾਰ ਹਨ।
ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਨੋਟ ਕੀਤਾ ਕਿ ਵਧੇਰੇ ਉੱਨਤ ਤਕਨੀਕਾਂ, ਜਿਵੇਂ ਕਿ ਪ੍ਰੌਕਸੀਮਲ ਪਾਲਿਸੀ ਆਪਟੀਮਾਈਜੇਸ਼ਨ ਜਾਂ ਗਰੁੱਪ ਰਿਲੇਟਿਵ ਪਾਲਿਸੀ ਆਪਟੀਮਾਈਜੇਸ਼ਨ, ਦੀ ਵਰਤੋਂ ਭਵਿੱਖ ਵਿੱਚ ਗਣਿਤਿਕ ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਚੇਨ-ਆਫ-ਥੋਟ ਤਰਕ ਨੂੰ ਵਧਾਉਣ ਲਈ ਕੀਤੀ ਜਾਵੇਗੀ।
Bitnet.cpp ਇਨਫੇਰੈਂਸ ਲਾਇਬ੍ਰੇਰੀ
BitNet b1.58 2B4T ਦੀ ਵਿਲੱਖਣ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਸਕੀਮ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਮਾਡਲ ਨੂੰ ਲਾਮਾ.cpp ਵਰਗੀਆਂ ਸਟੈਂਡਰਡ ਡੂੰਘੀ ਸਿਖਲਾਈ ਲਾਇਬ੍ਰੇਰੀਆਂ ਨਾਲ ਨਹੀਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਇਸਦੇ ਲਈ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਕਰਨਲ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਚੁਣੌਤੀ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਮਾਈਕ੍ਰੋਸਾਫਟ ਨੇ ਇੱਕ ਓਪਨ-ਸੋਰਸ ਸਮਰਪਿਤ ਇਨਫੇਰੈਂਸ ਲਾਇਬ੍ਰੇਰੀ, bitnet.cpp ਵਿਕਸਿਤ ਕੀਤੀ ਹੈ।
bitnet.cpp 1-ਬਿੱਟ LLMs ਲਈ ਅਧਿਕਾਰਤ ਇਨਫੇਰੈਂਸ ਫਰੇਮਵਰਕ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ BitNet b1.58। ਇਹ ਅਨੁਕੂਲਿਤ ਕਰਨਲਸ ਦਾ ਇੱਕ ਸੂਟ ਪੇਸ਼ ਕਰਦਾ ਹੈ ਜੋ CPUs ‘ਤੇ 1.58-ਬਿੱਟ ਮਾਡਲਾਂ ਦੇ ਤੇਜ਼ ਅਤੇ ਨੁਕਸਾਨ ਰਹਿਤ ਇਨਫੇਰੈਂਸ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ, ਭਵਿੱਖ ਵਿੱਚ NPUs ਅਤੇ GPUs ਲਈ ਸਮਰਥਨ ਵਧਾਉਣ ਦੀਆਂ ਯੋਜਨਾਵਾਂ ਦੇ ਨਾਲ।
ਇਹ ਇਨਫੇਰੈਂਸ ਲਾਇਬ੍ਰੇਰੀ BitNet b1.58 2B4T ਨੂੰ ਡਿਵਾਈਸਾਂ ਅਤੇ ਪਲੇਟਫਾਰਮਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ‘ਤੇ ਤਾਇਨਾਤ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਣ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਡਿਵੈਲਪਰਾਂ ਅਤੇ ਖੋਜਕਰਤਾਵਾਂ ਲਈ ਵਧੇਰੇ ਪਹੁੰਚਯੋਗ ਹੋ ਜਾਂਦਾ ਹੈ।
ਭਵਿੱਖੀ ਖੋਜ ਦਿਸ਼ਾਵਾਂ
ਖੋਜਕਰਤਾਵਾਂ ਦਾ ਮੰਨਣਾ ਹੈ ਕਿ ਮੌਜੂਦਾ GPU ਹਾਰਡਵੇਅਰ 1-ਬਿੱਟ ਮਾਡਲਾਂ ਲਈ ਅਨੁਕੂਲ ਨਹੀਂ ਹੈ ਅਤੇ ਇਹ ਕਿ ਘੱਟ-ਬਿੱਟ ਓਪਰੇਸ਼ਨਾਂ ਲਈ ਸਮਰਪਿਤ ਤਰਕ ਨੂੰ ਸ਼ਾਮਲ ਕਰਕੇ ਹੋਰ ਕਾਰਗੁਜ਼ਾਰੀ ਲਾਭ ਪ੍ਰਾਪਤ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਇਸ ਤੋਂ ਪਤਾ ਚੱਲਦਾ ਹੈ ਕਿ ਭਵਿੱਖ ਦੇ ਹਾਰਡਵੇਅਰ ਆਰਕੀਟੈਕਚਰ ਖਾਸ ਤੌਰ ‘ਤੇ 1-ਬਿੱਟ LLMs ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਹੋਰ ਵੀ ਵੱਧ ਕੁਸ਼ਲਤਾ ਅਤੇ ਕਾਰਗੁਜ਼ਾਰੀ ਹੋਵੇਗੀ।
ਹਾਰਡਵੇਅਰ ਅਨੁਕੂਲਤਾਵਾਂ ਤੋਂ ਇਲਾਵਾ, ਭਵਿੱਖੀ ਖੋਜ ਦਿਸ਼ਾਵਾਂ ਵਿੱਚ ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ, ਬਹੁ-ਭਾਸ਼ਾਈ ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਬਹੁ-ਮੋਡਲ ਏਕੀਕਰਣ ਜੋੜਨਾ, ਅਤੇ ਸੰਦਰਭ ਵਿੰਡੋ ਦੀ ਲੰਬਾਈ ਨੂੰ ਵਧਾਉਣਾ ਸ਼ਾਮਲ ਹੈ। ਇਹ ਤਰੱਕੀ BitNet b1.58 2B4T ਅਤੇ ਹੋਰ 1-ਬਿੱਟ LLMs ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਬਹੁਪੱਖੀਤਾ ਨੂੰ ਹੋਰ ਵਧਾਏਗੀ।
ਪ੍ਰਭਾਵ ਅਤੇ ਸੰਭਾਵੀ ਅਸਰ
BitNet b1.58 2B4T ਦੇ ਵਿਕਾਸ ਦੇ AI ਦੇ ਭਵਿੱਖ ਲਈ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਭਾਵ ਹਨ, ਖਾਸ ਕਰਕੇ ਜਨਰੇਟਿਵ AI ਦੇ ਖੇਤਰ ਵਿੱਚ। ਇਹ ਦਰਸਾ ਕੇ ਕਿ ਸਿਰਫ਼ 1-ਬਿੱਟ ਵੇਟਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲੇ LLMs ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਸੰਭਵ ਹੈ, ਮਾਈਕ੍ਰੋਸਾਫਟ ਨੇ ਵਧੇਰੇ ਕੁਸ਼ਲ ਅਤੇ ਪਹੁੰਚਯੋਗ AI ਸਿਸਟਮ ਬਣਾਉਣ ਲਈ ਨਵੀਆਂ ਸੰਭਾਵਨਾਵਾਂ ਖੋਲ੍ਹੀਆਂ ਹਨ।
ਇਸ ਸਫਲਤਾ ਨਾਲ ਸਮਾਰਟਫ਼ੋਨ, IoT ਡਿਵਾਈਸਾਂ, ਅਤੇ ਹੋਰ ਸਰੋਤ-ਨਿਰਭਰ ਪਲੇਟਫਾਰਮਾਂ ਸਮੇਤ, ਡਿਵਾਈਸਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ‘ਤੇ AI ਮਾਡਲਾਂ ਦੀ ਤਾਇਨਾਤੀ ਹੋ ਸਕਦੀ ਹੈ। ਇਹ ਵਧੇਰੇ ਊਰਜਾ-ਕੁਸ਼ਲ AI ਸਿਸਟਮਾਂ ਦੇ ਵਿਕਾਸ ਨੂੰ ਵੀ ਸਮਰੱਥ ਬਣਾ ਸਕਦਾ ਹੈ, ਉਹਨਾਂ ਦੇ ਵਾਤਾਵਰਣ ਪ੍ਰਭਾਵ ਨੂੰ ਘਟਾ ਸਕਦਾ ਹੈ।
ਇਸ ਤੋਂ ਇਲਾਵਾ, 1-ਬਿੱਟ ਵੇਟਸ ਨਾਲ LLMs ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਦੀ ਸਮਰੱਥਾ ਖਾਸ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ AI ਮਾਡਲਾਂ ਨੂੰ ਕਸਟਮਾਈਜ਼ ਅਤੇ ਵਿਅਕਤੀਗਤ ਬਣਾਉਣਾ ਆਸਾਨ ਬਣਾ ਸਕਦੀ ਹੈ। ਇਸ ਨਾਲ ਵਧੇਰੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਅਤੇ ਉਪਭੋਗਤਾ-ਅਨੁਕੂਲ AI ਸਿਸਟਮਾਂ ਦਾ ਵਿਕਾਸ ਹੋ ਸਕਦਾ ਹੈ ਜੋ ਵਿਅਕਤੀਗਤ ਉਪਭੋਗਤਾਵਾਂ ਅਤੇ ਸੰਗਠਨਾਂ ਦੀਆਂ ਵਿਲੱਖਣ ਲੋੜਾਂ ਅਨੁਸਾਰ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ।
ਸਿੱਟਾ
ਮਾਈਕ੍ਰੋਸਾਫਟ ਦਾ BitNet b1.58 2B4T ਵਧੇਰੇ ਕੁਸ਼ਲ ਅਤੇ ਪਹੁੰਚਯੋਗ AI ਦੀ ਖੋਜ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਇਹ ਦਰਸਾ ਕੇ ਕਿ ਸਿਰਫ਼ 1-ਬਿੱਟ ਵੇਟਸ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲੇ LLMs ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਸੰਭਵ ਹੈ, ਮਾਈਕ੍ਰੋਸਾਫਟ ਨੇ ਰਵਾਇਤੀ ਗਿਆਨ ਨੂੰ ਚੁਣੌਤੀ ਦਿੱਤੀ ਹੈ ਅਤੇ AI ਦੇ ਭਵਿੱਖ ਲਈ ਨਵੀਆਂ ਸੰਭਾਵਨਾਵਾਂ ਖੋਲ੍ਹੀਆਂ ਹਨ।
ਜਿਵੇਂ ਕਿ ਇਸ ਖੇਤਰ ਵਿੱਚ ਖੋਜ ਜਾਰੀ ਹੈ, ਅਸੀਂ 1-ਬਿੱਟ LLMs ਦੀਆਂ ਹੋਰ ਵੀ ਨਵੀਨਤਾਕਾਰੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇਖਣ ਦੀ ਉਮੀਦ ਕਰ ਸਕਦੇ ਹਾਂ, ਜਿਸ ਨਾਲ ਇੱਕ ਅਜਿਹਾ ਭਵਿੱਖ ਆਵੇਗਾ ਜਿੱਥੇ AI ਸਮੁੱਚੇ ਤੌਰ ‘ਤੇ ਸਮਾਜ ਲਈ ਵਧੇਰੇ ਵਿਆਪਕ, ਕੁਸ਼ਲ ਅਤੇ ਲਾਭਦਾਇਕ ਹੋਵੇਗਾ।