ਗਿਆਨ ਏਕੀਕਰਣ ਲਈ ਇੱਕ ਨਵੀਂ ਆਰਕੀਟੈਕਚਰ
ਮਾਈਕ੍ਰੋਸਾਫਟ ਦੇ ਖੋਜ ਵਿਭਾਗ ਨੇ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਵਿੱਚ ਬਾਹਰੀ ਗਿਆਨ ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨ ਲਈ ਇੱਕ ਬੇਮਿਸਾਲ ਤਰੀਕਾ ਵਿਕਸਤ ਕੀਤਾ ਹੈ। ਇਹ ਨਵੀਨਤਾਕਾਰੀ ਪ੍ਰਣਾਲੀ, ਜਿਸਨੂੰ Knowledge Base-Augmented Language Models (KBLaM) ਕਿਹਾ ਜਾਂਦਾ ਹੈ, ਇੱਕ ‘ਪਲੱਗ-ਐਂਡ-ਪਲੇ’ ਫਲਸਫੇ ਨੂੰ ਅਪਣਾਉਂਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਪਹਿਲਾਂ ਤੋਂ ਮੌਜੂਦ ਮਾਡਲਾਂ ਨੂੰ ਬਦਲਣ ਦੀ ਲੋੜ ਖਤਮ ਹੋ ਜਾਂਦੀ ਹੈ। ਇਹ ਰਵਾਇਤੀ ਤਕਨੀਕਾਂ ਤੋਂ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਵਿਦਾਇਗੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਜੋ ਗਿਆਨ ਵਧਾਉਣ ਲਈ ਇੱਕ ਵਧੇਰੇ ਸੁਚਾਰੂ ਅਤੇ ਕੁਸ਼ਲ ਪਹੁੰਚ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ।
ਰਵਾਇਤੀ ਤਰੀਕਿਆਂ ਤੋਂ ਵਿਦਾਇਗੀ
ਮੌਜੂਦਾ ਕਾਰਜ-ਪ੍ਰਣਾਲੀਆਂ, ਜਿਵੇਂ ਕਿ Retrieval-Augmented Generation (RAG) ਅਤੇ In-Context Learning, ਆਮ ਤੌਰ ‘ਤੇ ਬਾਹਰੀ ਜਾਣਕਾਰੀ ਤੱਕ ਪਹੁੰਚਣ ਅਤੇ ਸ਼ਾਮਲ ਕਰਨ ਲਈ ਵੱਖਰੇ ਪੁਨਰ-ਪ੍ਰਾਪਤੀ ਪ੍ਰਣਾਲੀਆਂ ‘ਤੇ ਨਿਰਭਰ ਕਰਦੀਆਂ ਹਨ। ਇਸਦੇ ਉਲਟ, KBLaM ਇਹਨਾਂ ਬਾਹਰੀ ਪ੍ਰਣਾਲੀਆਂ ਤੋਂ ਪਰਹੇਜ਼ ਕਰਦਾ ਹੈ। ਇਹ ਚਤੁਰਾਈ ਨਾਲ ਗਿਆਨ ਨੂੰ ਵੈਕਟਰ ਜੋੜਿਆਂ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਮਾਡਲ ਦੇ ਮੁੱਖ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਇੱਕ ਨਵੀਂ ਤਕਨੀਕ ਰਾਹੀਂ ਸਹਿਜੇ ਹੀ ਜੋੜਦਾ ਹੈ ਜਿਸਨੂੰ ਮਾਈਕ੍ਰੋਸਾਫਟ ‘rectangular attention’ ਕਹਿੰਦਾ ਹੈ।
ਮਾਡਲ ਦੇ ਅੰਦਰ ਹੀ ਗਿਆਨ ਦਾ ਇਹ ਸਿੱਧਾ ਏਕੀਕਰਣ, ਬਾਹਰੀ ਪੁਨਰ-ਪ੍ਰਾਪਤੀ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਬਾਈਪਾਸ ਕਰਨਾ, ਨਤੀਜੇ ਵਜੋਂ ਤੇਜ਼ ਅਤੇ ਵਧੇਰੇ ਕੁਸ਼ਲ ਪ੍ਰਤੀਕਿਰਿਆਵਾਂ ਦਿੰਦਾ ਹੈ। ਇਹ ਰਵਾਇਤੀ ਪ੍ਰਣਾਲੀਆਂ ਨਾਲੋਂ ਇੱਕ ਮੁੱਖ ਫਾਇਦਾ ਹੈ, ਜੋ ਅਕਸਰ ਬਾਹਰੀ ਡੇਟਾਬੇਸਾਂ ਨੂੰ ਪੁੱਛਣ ਦੀ ਲੋੜ ਕਾਰਨ ਲੇਟੈਂਸੀ ਅਤੇ ਕੰਪਿਊਟੇਸ਼ਨਲ ਓਵਰਹੈੱਡ ਤੋਂ ਪੀੜਤ ਹੁੰਦੇ ਹਨ।
ਕਵਾਡਰੈਟਿਕ ਸਕੇਲਿੰਗ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨਾ
ਮੌਜੂਦਾ RAG ਸਿਸਟਮ ਅਕਸਰ ਇੱਕ ਕਵਾਡਰੈਟਿਕ ਸਕੇਲਿੰਗ ਸਮੱਸਿਆ ਦੁਆਰਾ ਰੁਕਾਵਟ ਬਣਦੇ ਹਨ, ਜੋ ਉਹਨਾਂ ਦੇ ਸਵੈ-ਧਿਆਨ ਵਿਧੀ ਦਾ ਇੱਕ ਅੰਦਰੂਨੀ ਨਤੀਜਾ ਹੈ। ਇਸ ਵਿਧੀ ਲਈ ਇਹ ਜ਼ਰੂਰੀ ਹੈ ਕਿ ਹਰੇਕ ਟੋਕਨ ਹਰ ਦੂਜੇ ਟੋਕਨ ਨਾਲ ਇੰਟਰੈਕਟ ਕਰੇ, ਜਿਸ ਨਾਲ ਇਨਪੁਟ ਆਕਾਰ ਵਧਣ ਦੇ ਨਾਲ ਕੰਪਿਊਟੇਸ਼ਨਲ ਮੰਗਾਂ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਵਾਧਾ ਹੁੰਦਾ ਹੈ।
ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਅਜਿਹੀ ਸਥਿਤੀ ‘ਤੇ ਵਿਚਾਰ ਕਰੋ ਜਿੱਥੇ ਇੱਕ ਗਿਆਨ ਅਧਾਰ ਤੋਂ 1,000 ਟੋਕਨਾਂ ਨੂੰ ਸੰਦਰਭ ਵਿੱਚ ਪੇਸ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਫਿਰ ਮਾਡਲ ਨੂੰ ਇੱਕ ਹੈਰਾਨਕੁਨ ਇੱਕ ਮਿਲੀਅਨ ਟੋਕਨ ਜੋੜਿਆਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਜੇਕਰ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ 10,000 ਤੱਕ ਵਧ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਕੰਪਿਊਟੇਸ਼ਨਲ ਬੋਝ 100 ਮਿਲੀਅਨ ਇੰਟਰੈਕਸ਼ਨਾਂ ਤੱਕ ਫੈਲ ਜਾਂਦਾ ਹੈ। ਇਹ ਕਵਾਡਰੈਟਿਕ ਸਕੇਲਿੰਗ ਤੇਜ਼ੀ ਨਾਲ ਇੱਕ ਰੁਕਾਵਟ ਬਣ ਜਾਂਦੀ ਹੈ, ਵੱਡੇ ਗਿਆਨ ਅਧਾਰਾਂ ਵਾਲੇ RAG ਸਿਸਟਮਾਂ ਦੀ ਵਿਹਾਰਕ ਵਰਤੋਂ ਨੂੰ ਸੀਮਤ ਕਰਦੀ ਹੈ।
Rectangular Attention ਦੀ ਕੁਸ਼ਲਤਾ
KBLaM ਇਸ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸਮੱਸਿਆ ਨੂੰ ਚਲਾਕੀ ਨਾਲ ਹੱਲ ਕਰਦਾ ਹੈ। ਇਸਦੀ ਨਵੀਨਤਾਕਾਰੀ ‘rectangular attention’ ਵਿਧੀ ਉਪਭੋਗਤਾ ਦੇ ਇਨਪੁਟ ਨੂੰ ਸਾਰੇ ਗਿਆਨ ਟੋਕਨਾਂ ਤੱਕ ਪਹੁੰਚਣ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ, ਪਰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ‘ਤੇ, ਇਹ ਗਿਆਨ ਟੋਕਨ ਇੱਕ ਦੂਜੇ ਨਾਲ ਜਾਂ ਇਨਪੁਟ ਨਾਲ ਇੰਟਰੈਕਟ ਨਹੀਂ ਕਰਦੇ ਹਨ। ਇਸ ਰਣਨੀਤਕ ਡਿਜ਼ਾਈਨ ਦੀ ਚੋਣ ਦੇ ਸਕੇਲੇਬਿਲਟੀ ਲਈ ਡੂੰਘੇ ਪ੍ਰਭਾਵ ਹਨ।
ਜਿਵੇਂ ਕਿ ਗਿਆਨ ਅਧਾਰ ਫੈਲਦਾ ਹੈ, ਲੋੜੀਂਦੀ ਕੰਪਿਊਟੇਸ਼ਨਲ ਸ਼ਕਤੀ ਸਿਰਫ ਰੇਖਿਕ ਤੌਰ ‘ਤੇ ਵਧਦੀ ਹੈ, ਜੋ ਕਿ ਰਵਾਇਤੀ ਤਰੀਕਿਆਂ ਦੀ ਕਵਾਡਰੈਟਿਕ ਸਕੇਲਿੰਗ ਦੇ ਬਿਲਕੁਲ ਉਲਟ ਹੈ। KBLaM ਦੇ ਪਿੱਛੇ ਖੋਜਕਰਤਾਵਾਂ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਇੱਕ ਸਿੰਗਲ GPU ਆਰਾਮ ਨਾਲ 10,000 ਤੋਂ ਵੱਧ ਗਿਆਨ ਟ੍ਰਿਪਲਸ ਨੂੰ ਸੰਭਾਲ ਸਕਦਾ ਹੈ, ਜਿਸਦਾ ਅਨੁਵਾਦ ਲਗਭਗ 200,000 ਟੋਕਨਾਂ ਵਿੱਚ ਹੁੰਦਾ ਹੈ। ਇਹ ਗਿਆਨ ਏਕੀਕਰਣ ਦੀ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਛਲਾਂਗ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।
ਪ੍ਰੋਮਿਸਿੰਗ ਪ੍ਰਯੋਗਾਤਮਕ ਨਤੀਜੇ
KBLaM ਦੇ ਸ਼ੁਰੂਆਤੀ ਟੈਸਟਿੰਗ ਨੇ ਉਤਸ਼ਾਹਜਨਕ ਨਤੀਜੇ ਦਿੱਤੇ ਹਨ। ਲਗਭਗ 200 ਗਿਆਨ ਆਈਟਮਾਂ ਵਾਲੇ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ, KBLaM ਨੇ ਰਵਾਇਤੀ ਮਾਡਲਾਂ ਦੇ ਮੁਕਾਬਲੇ ਭੁਲੇਖਿਆਂ ਨੂੰ ਘੱਟ ਕਰਨ ਦੀ ਇੱਕ ਉੱਤਮ ਯੋਗਤਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ - ਗਲਤ ਜਾਂ ਬੇਹੂਦਾ ਜਾਣਕਾਰੀ ਦੀ ਉਤਪਤੀ।
ਇਸ ਤੋਂ ਇਲਾਵਾ, KBLaM ਨੇ ਉਹਨਾਂ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਤੋਂ ਪਰਹੇਜ਼ ਕਰਨ ਦੀ ਵਧੇਰੇ ਪ੍ਰਵਿਰਤੀ ਦਿਖਾਈ ਜਿਨ੍ਹਾਂ ਲਈ ਇਸ ਕੋਲ ਲੋੜੀਂਦੀ ਜਾਣਕਾਰੀ ਨਹੀਂ ਸੀ। ਇਹ “ਗਿਆਨ ਸੰਬੰਧੀ ਨਿਮਰਤਾ” LLMs ਵਿੱਚ ਇੱਕ ਲੋੜੀਂਦਾ ਗੁਣ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਸ਼ੁੱਧਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਦਾ ਹੈ।
KBLaM ਦਾ ਇੱਕ ਹੋਰ ਮਹੱਤਵਪੂਰਨ ਫਾਇਦਾ ਇਸਦੀ ਵਧੀ ਹੋਈ ਪਾਰਦਰਸ਼ਤਾ ਹੈ। ਇਨ-ਕੰਟੈਕਸਟ ਲਰਨਿੰਗ ਦੇ ਉਲਟ, KBLaM ਖਾਸ ਗਿਆਨ ਤੱਤਾਂ ਨੂੰ ਸੰਬੰਧਿਤ ਟੋਕਨਾਂ ਨਾਲ ਆਸਾਨੀ ਨਾਲ ਜੋੜ ਸਕਦਾ ਹੈ, ਜੋ ਮਾਡਲ ਦੀ ਤਰਕ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਓਪਨ ਸੋਰਸ ਉਪਲਬਧਤਾ ਅਤੇ ਭਵਿੱਖ ਦੀਆਂ ਦਿਸ਼ਾਵਾਂ
KBLaM ਨੂੰ ਦਰਸਾਉਣ ਵਾਲਾ ਕੋਡ ਅਤੇ ਡੇਟਾਸੈੱਟ GitHub ‘ਤੇ ਜਨਤਕ ਤੌਰ ‘ਤੇ ਉਪਲਬਧ ਕਰਵਾਏ ਗਏ ਹਨ, ਜੋ ਕਮਿਊਨਿਟੀ ਦੇ ਅੰਦਰ ਸਹਿਯੋਗ ਅਤੇ ਹੋਰ ਖੋਜ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਦੇ ਹਨ। ਸਿਸਟਮ ਨੂੰ ਕਈ ਵਿਆਪਕ ਤੌਰ ‘ਤੇ ਵਰਤੇ ਜਾਣ ਵਾਲੇ ਮਾਡਲਾਂ ਦੇ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਜਿਸ ਵਿੱਚ Meta’s Llama 3 ਅਤੇ Microsoft’s Phi-3 ਸ਼ਾਮਲ ਹਨ। Hugging Face Transformers, LLMs ਨੂੰ ਬਣਾਉਣ ਅਤੇ ਤੈਨਾਤ ਕਰਨ ਲਈ ਇੱਕ ਪ੍ਰਸਿੱਧ ਪਲੇਟਫਾਰਮ, ਲਈ ਸਮਰਥਨ ਵਧਾਉਣ ਦੀਆਂ ਯੋਜਨਾਵਾਂ ਵੀ ਹਨ।
ਜਦੋਂ ਕਿ ਸ਼ੁਰੂਆਤੀ ਨਤੀਜੇ ਆਸ਼ਾਜਨਕ ਹਨ, ਖੋਜਕਰਤਾ ਇਸ ਗੱਲ ‘ਤੇ ਜ਼ੋਰ ਦਿੰਦੇ ਹਨ ਕਿ KBLaM ਅਜੇ ਵਿਆਪਕ ਤੈਨਾਤੀ ਲਈ ਪੱਕਾ ਨਹੀਂ ਹੈ। ਇਹ ਸਿੱਧੇ ਸਵਾਲ-ਜਵਾਬ ਦੇ ਦ੍ਰਿਸ਼ਾਂ ਨੂੰ ਸੰਭਾਲਣ ਵਿੱਚ ਉੱਤਮ ਹੈ, ਪਰ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਤਰਕ ਕਾਰਜਾਂ ਨਾਲ ਨਜਿੱਠਣ ਲਈ ਹੋਰ ਵਿਕਾਸ ਦੀ ਲੋੜ ਹੈ।
ਸੰਦਰਭ ਵਿੰਡੋਜ਼ ਦਾ ਵਿਰੋਧਾਭਾਸ ਅਤੇ RAG ਦਾ ਉਭਾਰ
LLMs ਇੱਕ ਦਿਲਚਸਪ ਵਿਰੋਧਾਭਾਸ ਦਾ ਸਾਹਮਣਾ ਕਰਦੇ ਹਨ: ਉਹਨਾਂ ਦੀਆਂ ਸੰਦਰਭ ਵਿੰਡੋਜ਼ - ਜਾਣਕਾਰੀ ਦੀ ਮਾਤਰਾ ਜਿਸ ‘ਤੇ ਉਹ ਇੱਕੋ ਸਮੇਂ ਪ੍ਰਕਿਰਿਆ ਕਰ ਸਕਦੇ ਹਨ - ਲਗਾਤਾਰ ਫੈਲ ਰਹੀਆਂ ਹਨ, ਫਿਰ ਵੀ ਡੇਟਾ ਦੀ ਇਸ ਵਧ ਰਹੀ ਮਾਤਰਾ ‘ਤੇ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਪ੍ਰਕਿਰਿਆ ਕਰਨਾ ਇੱਕ ਵੱਡੀ ਚੁਣੌਤੀ ਬਣੀ ਹੋਈ ਹੈ।
ਇਸ ਚੁਣੌਤੀ ਨੇ Retrieval-Augmented Generation (RAG) ਨੂੰ ਭਰੋਸੇਯੋਗਤਾ ਦੀ ਇੱਕ ਵਾਜਬ ਡਿਗਰੀ ਦੇ ਨਾਲ ਮਾਡਲਾਂ ਵਿੱਚ ਖਾਸ ਜਾਣਕਾਰੀ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਲਈ ਤਰਜੀਹੀ ਹੱਲ ਵਜੋਂ ਅੱਗੇ ਵਧਾਇਆ ਹੈ। RAG ਸਿਸਟਮ ਵਿਚੋਲੇ ਵਜੋਂ ਕੰਮ ਕਰਦੇ ਹਨ, ਬਾਹਰੀ ਸਰੋਤਾਂ ਤੋਂ ਸੰਬੰਧਿਤ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ ਅਤੇ ਇਸਨੂੰ LLM ਵਿੱਚ ਫੀਡ ਕਰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਇਸਦੇ ਗਿਆਨ ਅਤੇ ਸ਼ੁੱਧਤਾ ਵਿੱਚ ਵਾਧਾ ਹੁੰਦਾ ਹੈ।
KBLaM: ਇੱਕ ਸੰਭਾਵੀ ਪੈਰਾਡਾਈਮ ਸ਼ਿਫਟ
ਹਾਲਾਂਕਿ, KBLaM ਇੱਕ ਮਜਬੂਰ ਕਰਨ ਵਾਲਾ ਵਿਕਲਪ ਪੇਸ਼ ਕਰਦਾ ਹੈ, ਜੋ ਇੱਕ ਸੰਭਾਵੀ ਤੌਰ ‘ਤੇ ਵਧੇਰੇ ਕੁਸ਼ਲ ਅਤੇ ਸ਼ਾਨਦਾਰ ਮਾਰਗ ਦਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ। ਗਿਆਨ ਨੂੰ ਸਿੱਧੇ ਮਾਡਲ ਦੇ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਏਕੀਕ੍ਰਿਤ ਕਰਕੇ, KBLaM ਤੇਜ਼, ਵਧੇਰੇ ਸਕੇਲੇਬਲ, ਅਤੇ ਵਧੇਰੇ ਪਾਰਦਰਸ਼ੀ ਗਿਆਨ-ਵਧਾਉਣ ਵਾਲੇ LLMs ਦੀ ਸੰਭਾਵਨਾ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ।
KBLaM ਦੇ ਮਕੈਨਿਕਸ ਵਿੱਚ ਡੂੰਘਾਈ ਨਾਲ ਖੋਜ ਕਰਨਾ
KBLaM ਦੀ ਮੁੱਖ ਨਵੀਨਤਾ ਇਸਦੀ ‘rectangular attention’ ਵਿਧੀ ਵਿੱਚ ਹੈ। ਇਸ ਨੂੰ ਸਮਝਣ ਲਈ, ਪਹਿਲਾਂ ਬਹੁਤ ਸਾਰੇ LLMs ਦੁਆਰਾ ਵਰਤੀ ਜਾਂਦੀ ਮਿਆਰੀ ਸਵੈ-ਧਿਆਨ ਵਿਧੀ ‘ਤੇ ਵਿਚਾਰ ਕਰਨਾ ਮਦਦਗਾਰ ਹੈ।
ਸਵੈ-ਧਿਆਨ ਵਿੱਚ, ਇਨਪੁਟ ਕ੍ਰਮ ਵਿੱਚ ਹਰੇਕ ਟੋਕਨ ਹਰ ਦੂਜੇ ਟੋਕਨ ਵੱਲ ਧਿਆਨ ਦਿੰਦਾ ਹੈ, ਆਪਣੇ ਆਪ ਸਮੇਤ। ਇਹ ਮਾਡਲ ਨੂੰ ਇਨਪੁਟ ਦੇ ਵੱਖ-ਵੱਖ ਹਿੱਸਿਆਂ ਵਿਚਕਾਰ ਸਬੰਧਾਂ ਨੂੰ ਹਾਸਲ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਪਰ ਇਹ ਪਹਿਲਾਂ ਦੱਸੀ ਗਈ ਕਵਾਡਰੈਟਿਕ ਸਕੇਲਿੰਗ ਸਮੱਸਿਆ ਵੱਲ ਵੀ ਲੈ ਜਾਂਦਾ ਹੈ।
Rectangular attention, ਇਸਦੇ ਉਲਟ, ਧਿਆਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਦੋ ਵੱਖ-ਵੱਖ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡਦਾ ਹੈ:
- ਉਪਭੋਗਤਾ ਇਨਪੁਟ ਧਿਆਨ: ਉਪਭੋਗਤਾ ਦਾ ਇਨਪੁਟ ਸਾਰੇ ਗਿਆਨ ਟੋਕਨਾਂ ਵੱਲ ਧਿਆਨ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਮਾਡਲ ਗਿਆਨ ਅਧਾਰ ਤੋਂ ਸੰਬੰਧਿਤ ਜਾਣਕਾਰੀ ਤੱਕ ਪਹੁੰਚ ਕਰ ਸਕਦਾ ਹੈ।
- ਗਿਆਨ ਟੋਕਨ ਧਿਆਨ: ਗਿਆਨ ਟੋਕਨ ਇੱਕ ਦੂਜੇ ਵੱਲ ਜਾਂ ਉਪਭੋਗਤਾ ਇਨਪੁਟ ਵੱਲ ਧਿਆਨ ਨਹੀਂ ਦਿੰਦੇ ਹਨ। ਇਹ KBLaM ਦੀ ਕੁਸ਼ਲਤਾ ਦੀ ਕੁੰਜੀ ਹੈ।
ਗਿਆਨ ਟੋਕਨਾਂ ਵਿਚਕਾਰ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਨੂੰ ਰੋਕ ਕੇ, KBLaM ਲੋੜੀਂਦੀਆਂ ਗਣਨਾਵਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਬਹੁਤ ਘੱਟ ਕਰਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਨੂੰ ਗਿਆਨ ਅਧਾਰ ਦੇ ਆਕਾਰ ਦੇ ਨਾਲ ਰੇਖਿਕ ਤੌਰ ‘ਤੇ ਸਕੇਲ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਬਾਹਰੀ ਜਾਣਕਾਰੀ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨਾ ਸੰਭਵ ਹੋ ਜਾਂਦਾ ਹੈ।
ਸਿੱਧੇ ਗਿਆਨ ਏਕੀਕਰਣ ਦੇ ਲਾਭ
ਮਾਡਲ ਦੇ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਗਿਆਨ ਦਾ ਸਿੱਧਾ ਏਕੀਕਰਣ ਕਈ ਫਾਇਦੇ ਪੇਸ਼ ਕਰਦਾ ਹੈ:
- ਘੱਟ ਲੇਟੈਂਸੀ: ਕਿਉਂਕਿ KBLaM ਬਾਹਰੀ ਪੁਨਰ-ਪ੍ਰਾਪਤੀ ਪ੍ਰਣਾਲੀਆਂ ‘ਤੇ ਨਿਰਭਰ ਨਹੀਂ ਕਰਦਾ ਹੈ, ਇਹ RAG-ਅਧਾਰਤ ਮਾਡਲਾਂ ਨਾਲੋਂ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਜਵਾਬ ਦੇ ਸਕਦਾ ਹੈ।
- ਵਧੀ ਹੋਈ ਕੁਸ਼ਲਤਾ: KBLaM ਦੀ ਰੇਖਿਕ ਸਕੇਲਿੰਗ ਇਸਨੂੰ ਰਵਾਇਤੀ ਤਰੀਕਿਆਂ ਨਾਲੋਂ ਕਾਫ਼ੀ ਜ਼ਿਆਦਾ ਕੰਪਿਊਟੇਸ਼ਨਲ ਤੌਰ ‘ਤੇ ਕੁਸ਼ਲ ਬਣਾਉਂਦੀ ਹੈ।
- ਵਧੀ ਹੋਈ ਪਾਰਦਰਸ਼ਤਾ: KBLaM ਗਿਆਨ ਨੂੰ ਖਾਸ ਟੋਕਨਾਂ ਨਾਲ ਜੋੜ ਸਕਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਸਮਝਣਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ ਕਿ ਮਾਡਲ ਆਪਣੇ ਜਵਾਬ ‘ਤੇ ਕਿਵੇਂ ਪਹੁੰਚਿਆ।
- ਘੱਟ ਭੁਲੇਖੇ: KBLaM ਨੇ ਗਲਤ ਜਾਂ ਬੇਹੂਦਾ ਜਾਣਕਾਰੀ ਪੈਦਾ ਕਰਨ ਤੋਂ ਬਚਣ ਦੀ ਵਧੇਰੇ ਯੋਗਤਾ ਦਿਖਾਈ ਹੈ।
ਸੀਮਾਵਾਂ ਅਤੇ ਭਵਿੱਖ ਦੀ ਖੋਜ
ਜਦੋਂ ਕਿ KBLaM ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਤਰੱਕੀ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਇਸਦੀਆਂ ਮੌਜੂਦਾ ਸੀਮਾਵਾਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ:
- ਗੁੰਝਲਦਾਰ ਤਰਕ: KBLaM ਵਰਤਮਾਨ ਵਿੱਚ ਸਿੱਧੇ ਸਵਾਲ-ਜਵਾਬ ਦੇ ਕੰਮਾਂ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਹੈ। ਇਸਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਤਰਕ ਦ੍ਰਿਸ਼ਾਂ ਤੱਕ ਵਧਾਉਣ ਲਈ ਹੋਰ ਖੋਜ ਦੀ ਲੋੜ ਹੈ।
- ਗਿਆਨ ਪ੍ਰਤੀਨਿਧਤਾ: KBLaM ਦਾ ਮੌਜੂਦਾ ਅਮਲ ਗਿਆਨ ਟ੍ਰਿਪਲਸ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਜੋ ਕਿ ਸਾਰੀਆਂ ਕਿਸਮਾਂ ਦੇ ਗਿਆਨ ਲਈ ਢੁਕਵਾਂ ਨਹੀਂ ਹੋ ਸਕਦਾ ਹੈ। ਵਿਕਲਪਕ ਗਿਆਨ ਪ੍ਰਤੀਨਿਧਤਾ ਫਾਰਮੈਟਾਂ ਦੀ ਪੜਚੋਲ ਕਰਨਾ ਭਵਿੱਖ ਦੇ ਕੰਮ ਲਈ ਇੱਕ ਖੇਤਰ ਹੈ।
- ਅਸਲ-ਸੰਸਾਰ ਤੈਨਾਤੀ: KBLaM ਅਜੇ ਵੀ ਇੱਕ ਖੋਜ ਪ੍ਰੋਜੈਕਟ ਹੈ ਅਤੇ ਅਜੇ ਵਿਆਪਕ ਤੈਨਾਤੀ ਲਈ ਤਿਆਰ ਨਹੀਂ ਹੈ। ਇਸਨੂੰ ਅਸਲ-ਸੰਸਾਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਵਰਤਣ ਤੋਂ ਪਹਿਲਾਂ ਹੋਰ ਟੈਸਟਿੰਗ ਅਤੇ ਸੁਧਾਈ ਦੀ ਲੋੜ ਹੈ।
AI ਦੇ ਖੇਤਰ ‘ਤੇ ਵਿਆਪਕ ਪ੍ਰਭਾਵ
KBLaM ਦੇ ਵਿਕਾਸ ਦੇ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਦੇ ਵਿਆਪਕ ਖੇਤਰ ਲਈ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਭਾਵ ਹਨ। ਇਹ LLMs ਬਣਾਉਣ ਵੱਲ ਇੱਕ ਕਦਮ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਜੋ ਨਾ ਸਿਰਫ ਸ਼ਕਤੀਸ਼ਾਲੀ ਹਨ ਬਲਕਿ ਇਹ ਵੀ:
- ਵਧੇਰੇ ਗਿਆਨਵਾਨ: ਬਾਹਰੀ ਗਿਆਨ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਕਰਕੇ, KBLaM LLMs ਦੀ ਤੱਥਾਂ ਦੀ ਸ਼ੁੱਧਤਾ ਅਤੇ ਵਿਆਪਕਤਾ ਨੂੰ ਵਧਾ ਸਕਦਾ ਹੈ।
- ਵਧੇਰੇ ਭਰੋਸੇਯੋਗ: KBLaM ਦੀ ਘੱਟ ਭੁਲੇਖੇ ਦੀ ਦਰ ਅਤੇ ਵਧੀ ਹੋਈ ਪਾਰਦਰਸ਼ਤਾ ਵਧੇਰੇ ਭਰੋਸੇਯੋਗਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾਉਂਦੀ ਹੈ।
- ਵਧੇਰੇ ਸਕੇਲੇਬਲ: KBLaM ਦੀ ਰੇਖਿਕ ਸਕੇਲਿੰਗ LLMs ਬਣਾਉਣ ਦੀਆਂ ਸੰਭਾਵਨਾਵਾਂ ਨੂੰ ਖੋਲ੍ਹਦੀ ਹੈ ਜੋ ਜਾਣਕਾਰੀ ਦੀ ਅਸਲ ਵਿੱਚ ਵੱਡੀ ਮਾਤਰਾ ਨੂੰ ਸੰਭਾਲ ਸਕਦੇ ਹਨ।
KBLaM ਅਤੇ ਸਮਾਨ ਪਹੁੰਚਾਂ ਦੀ ਚੱਲ ਰਹੀ ਖੋਜ ਅਤੇ ਵਿਕਾਸ LLMs ਅਤੇ ਗਿਆਨ ਅਧਾਰਾਂ ਵਿਚਕਾਰ ਲਾਈਨਾਂ ਨੂੰ ਹੋਰ ਧੁੰਦਲਾ ਕਰਨ ਦਾ ਵਾਅਦਾ ਕਰਦੇ ਹਨ, AI ਸਿਸਟਮਾਂ ਦੀ ਇੱਕ ਨਵੀਂ ਪੀੜ੍ਹੀ ਲਈ ਰਾਹ ਪੱਧਰਾ ਕਰਦੇ ਹਨ ਜੋ ਬੁੱਧੀਮਾਨ ਅਤੇ ਡੂੰਘਾਈ ਨਾਲ ਜਾਣੂ ਦੋਵੇਂ ਹਨ। ਪ੍ਰੋਜੈਕਟ ਦੀ ਓਪਨ-ਸੋਰਸ ਪ੍ਰਕਿਰਤੀ ਸਹਿਯੋਗ ਨੂੰ ਉਤਸ਼ਾਹਿਤ ਕਰਦੀ ਹੈ ਅਤੇ ਇਸ ਦਿਲਚਸਪ ਖੇਤਰ ਵਿੱਚ ਨਵੀਨਤਾ ਦੀ ਗਤੀ ਨੂੰ ਤੇਜ਼ ਕਰਦੀ ਹੈ।