ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਦਾ ਦ੍ਰਿਸ਼ ਲਗਾਤਾਰ ਵਿਕਸਤ ਹੋ ਰਿਹਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLMs) ਨਵੀਨਤਾ ਵਿੱਚ ਸਭ ਤੋਂ ਅੱਗੇ ਹਨ। ਇਹ ਮਾਡਲ ਮਨੁੱਖੀ ਭਾਸ਼ਾ ਨੂੰ ਸਮਝਣ, ਤਿਆਰ ਕਰਨ ਅਤੇ ਹੇਰਾਫੇਰੀ ਕਰਨ ਵਿੱਚ ਵੱਧ ਤੋਂ ਵੱਧ ਸਮਰੱਥ ਹਨ, ਸੰਭਾਵੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਲੜੀ ਖੋਲ੍ਹਦੇ ਹਨ। ਹਾਲਾਂਕਿ, ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਚੁਣੌਤੀ ਬਾਕੀ ਹੈ: LLMs ਨੂੰ ਬਹੁਤ ਲੰਬੇ ਅਤੇ ਗੁੰਝਲਦਾਰ ਇਨਪੁਟਸ ‘ਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਤਰਕ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਣਾ। ਅਲੀਬਾਬਾ ਗਰੁੱਪ ਨੇ QwenLong-L1 ਦੀ ਸ਼ੁਰੂਆਤ ਦੇ ਨਾਲ ਇਸ ਚੁਣੌਤੀ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਕਦਮ ਵਧਾਇਆ ਹੈ, ਇੱਕ ਨਾਵਲ ਫਰੇਮਵਰਕ ਜੋ LLMs ਨੂੰ ਲੰਬੇ ਸੰਦਰਭ ਤਰਕ ਦੀਆਂ ਯੋਗਤਾਵਾਂ ਨਾਲ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਸ ਸਫਲਤਾ ਵਿੱਚ ਉੱਦਮ ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੇ ਇੱਕ ਨਵੇਂ ਯੁੱਗ ਨੂੰ ਅਨਲੌਕ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਹੈ, ਜੋ AI ਨੂੰ ਵਿਸ਼ਾਲ ਡੇਟਾ, ਜਿਵੇਂ ਕਿ ਗੁੰਝਲਦਾਰ ਕਾਰਪੋਰੇਟ ਫਾਈਲਿੰਗਾਂ, ਵਿਆਪਕ ਵਿੱਤੀ ਬਿਆਨਾਂ, ਅਤੇ ਗੁੰਝਲਦਾਰ ਕਾਨੂੰਨੀ ਇਕਰਾਰਨਾਮਿਆਂ ਤੋਂ ਕੀਮਤੀ ਜਾਣਕਾਰੀ ਕੱਢਣ ਦੇ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ।
AI ਵਿੱਚ ਲੰਬੇ-ਰੂਪ ਤਰਕ ਦੀ ਚੁਣੌਤੀ
ਵੱਡੇ ਤਰਕ ਮਾਡਲਾਂ (LRMs) ਵਿੱਚ ਹਾਲੀਆ ਤਰੱਕੀ, ਖਾਸ ਤੌਰ ‘ਤੇ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ (RL) ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ, ਨੇ ਉਹਨਾਂ ਦੀਆਂ ਸਮੱਸਿਆ-ਹੱਲ ਕਰਨ ਦੀਆਂ ਯੋਗਤਾਵਾਂ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਸੁਧਾਰ ਕੀਤੇ ਹਨ। ਖੋਜ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ RL ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨਾਲ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ LRMs ਮਨੁੱਖੀ “ਧੀਮੀ ਸੋਚ” ਵਰਗੇ ਬੋਧਾਤਮਕ ਹੁਨਰਾਂ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਗੁੰਝਲਦਾਰ ਕੰਮਾਂ ਨਾਲ ਨਜਿੱਠਣ ਲਈ ਵਧੀਆ ਰਣਨੀਤੀਆਂ ਵਿਕਸਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ। ਇਸ ਵਿੱਚ ਇੱਕ ਜਾਣਬੁੱਝ ਕੇ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਪਹੁੰਚ ਸ਼ਾਮਲ ਹੈ, ਜਿੱਥੇ ਮਾਡਲ ਧਿਆਨ ਨਾਲ ਜਾਣਕਾਰੀ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦਾ ਹੈ, ਵੱਖ-ਵੱਖ ਸੰਭਾਵਨਾਵਾਂ ‘ਤੇ ਵਿਚਾਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਅੰਤ ਵਿੱਚ ਇੱਕ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸੋਚਿਆ-ਸਮਝਿਆ ਹੱਲ ‘ਤੇ ਪਹੁੰਚਦਾ ਹੈ।
LRM ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਪ੍ਰਾਪਤ ਕੀਤੀ ਤਰੱਕੀ ਮੁੱਖ ਤੌਰ ‘ਤੇ ਉਦੋਂ ਦੇਖੀ ਜਾਂਦੀ ਹੈ ਜਦੋਂ ਮਾਡਲ ਮੁਕਾਬਲਤਨ ਛੋਟੇ ਟੈਕਸਟ ‘ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ, ਆਮ ਤੌਰ ‘ਤੇ ਲਗਭਗ 4,000 ਟੋਕਨ। ਹਾਲਾਂਕਿ, ਅਸਲ ਟੈਸਟ ਇਹਨਾਂ ਤਰਕ ਯੋਗਤਾਵਾਂ ਨੂੰ ਬਹੁਤ ਲੰਬੇ ਸੰਦਰਭਾਂ ਵਿੱਚ ਸਕੇਲ ਕਰਨ ਵਿੱਚ ਹੈ, ਜਿਵੇਂ ਕਿ 120,000 ਟੋਕਨ ਜਾਂ ਇਸ ਤੋਂ ਵੱਧ। ਇਹ ਇੱਕ ਵੱਡੀ ਚੁਣੌਤੀ ਪੇਸ਼ ਕਰਦਾ ਹੈ, ਕਿਉਂਕਿ ਲੰਬੇ-ਰੂਪ ਤਰਕ ਲਈ ਪੂਰੇ ਸੰਦਰਭ ਦੀ ਵਿਆਪਕ ਸਮਝ ਅਤੇ ਬਹੁ-ਪੜਾਵੀ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੀ ਯੋਗਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। QwenLong-L1 ਦੇ ਡਿਵੈਲਪਰਾਂ ਨੇ ਜ਼ੋਰ ਦਿੱਤਾ ਕਿ ਇਹ ਸੀਮਾ ਅਸਲ-ਸੰਸਾਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਇੱਕ ਗੰਭੀਰ ਰੁਕਾਵਟ ਪੈਦਾ ਕਰਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਬਾਹਰੀ ਗਿਆਨ ਨਾਲ ਗੱਲਬਾਤ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਡੂੰਘਾਈ ਨਾਲ ਖੋਜ, ਜਿੱਥੇ LRMs ਨੂੰ ਗਿਆਨ-ਗਹਿਣੇ ਵਾਤਾਵਰਣ ਤੋਂ ਜਾਣਕਾਰੀ ਇਕੱਠੀ ਕਰਨੀ ਅਤੇ ਪ੍ਰਕਿਰਿਆ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।
ਇਸ ਚੁਣੌਤੀ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ, ਖੋਜਕਰਤਾ ਇਸਨੂੰ “ਲੰਬੇ-ਸੰਦਰਭ ਤਰਕ RL” ਦੇ ਸੰਕਲਪ ਵਿੱਚ ਰਸਮੀ ਬਣਾਉਂਦੇ ਹਨ। ਛੋਟੇ-ਸੰਦਰਭ ਤਰਕ ਦੇ ਉਲਟ, ਜੋ ਅਕਸਰ ਮਾਡਲ ਦੇ ਅੰਦਰ ਸਟੋਰ ਕੀਤੇ ਪੂਰਵ-ਮੌਜੂਦ ਗਿਆਨ ‘ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਲੰਬੇ-ਸੰਦਰਭ ਤਰਕ RL ਲਈ ਲੰਬੇ ਇਨਪੁਟਸ ਤੋਂ ਢੁਕਵੀਂ ਜਾਣਕਾਰੀ ਦੀ ਸਹੀ ਪ੍ਰਾਪਤੀ ਅਤੇ ਆਧਾਰ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਮਾਡਲ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਟੈਕਸਟ ਵਿੱਚੋਂ ਲੰਘਣ, ਸਭ ਤੋਂ ਢੁਕਵੇਂ ਵੇਰਵਿਆਂ ਦੀ ਪਛਾਣ ਕਰਨ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਕੰਮ ਨਾਲ ਜੋੜਨ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਜਾਣਕਾਰੀ ਨੂੰ ਸਫਲਤਾਪੂਰਵਕ ਸ਼ਾਮਲ ਕਰਨ ਤੋਂ ਬਾਅਦ ਹੀ ਮਾਡਲ ਤਰਕ ਦੀਆਂ ਇਕਸਾਰ ਅਤੇ ਤਰਕਪੂਰਨ ਲੜੀਆਂ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ।
RL ਦੁਆਰਾ ਇਸ ਪੱਧਰ ਦੀ ਮੁਹਾਰਤ ਹਾਸਲ ਕਰਨ ਲਈ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਇੱਕ ਗੁੰਝਲਦਾਰ ਕੰਮ ਹੈ, ਅਕਸਰ ਗੈਰ-ਕੁਸ਼ਲ ਸਿਖਲਾਈ ਅਤੇ ਅਸਥਿਰ ਅਨੁਕੂਲਤਾ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੇ ਨਤੀਜੇ ਵਜੋਂ। ਮਾਡਲ ਅਨੁਕੂਲ ਹੱਲ ਲੱਭਣ ਲਈ ਸੰਘਰਸ਼ ਕਰ ਸਕਦੇ ਹਨ ਜਾਂ ਵਿਭਿੰਨ ਤਰਕ ਮਾਰਗਾਂ ਦੀ ਖੋਜ ਕਰਨ ਦੀ ਯੋਗਤਾ ਗੁਆ ਸਕਦੇ ਹਨ, ਉਹਨਾਂ ਦੇ ਸਮੁੱਚੇ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ ਰੁਕਾਵਟ ਪੈਦਾ ਕਰਦੇ ਹਨ।
QwenLong-L1: ਇੱਕ ਬਹੁ-ਪੜਾਵੀ ਹੱਲ
QwenLong-L1 ਇੱਕ ਵਿਆਪਕ, ਬਹੁ-ਪੜਾਵੀ ਪਹੁੰਚ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ ਜੋ LRMs ਨੂੰ ਛੋਟੇ-ਟੈਕਸਟ ਮੁਹਾਰਤ ਤੋਂ ਲੰਬੇ ਸੰਦਰਭਾਂ ਵਿੱਚ ਮਜਬੂਤ ਆਮਕਰਨ ਵਿੱਚ ਨਿਰਵਿਘਨ ਤਬਦੀਲੀ ਕਰਨ ਦੀ ਯੋਗਤਾ ਨਾਲ ਲੈਸ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਫਰੇਮਵਰਕ ਇੱਕ ਧਿਆਨ ਨਾਲ ਢਾਂਚਾਗਤ ਪ੍ਰਕਿਰਿਆ ਦੁਆਰਾ ਮੌਜੂਦਾ ਛੋਟੇ-ਸੰਦਰਭ LRMs ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਕਈ ਮੁੱਖ ਤੱਤ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ:
ਵਾਰਮ-ਅੱਪ ਸੁਪਰਵਾਈਜ਼ਡ ਫਾਈਨ-ਟਿਊਨਿੰਗ (SFT): ਇਸ ਸ਼ੁਰੂਆਤੀ ਪੜਾਅ ਵਿੱਚ ਲੰਬੇ-ਸੰਦਰਭ ਤਰਕ ਦੀਆਂ ਉਦਾਹਰਣਾਂ ਦੇ ਇੱਕ ਕਿਉਰੇਟਿਡ ਡੇਟਾਸੈੱਟ ‘ਤੇ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਸ਼ਾਮਲ ਹੈ। SFT ਦਾ ਉਦੇਸ਼ ਇੱਕ ਸਥਿਰ ਨੀਂਹ ਸਥਾਪਤ ਕਰਨਾ ਹੈ ਜਿਸ ‘ਤੇ ਮਾਡਲ ਆਪਣੀ ਲੰਬੇ-ਸੰਦਰਭ ਤਰਕ ਹੁਨਰ ਬਣਾ ਸਕਦਾ ਹੈ। ਮਾਡਲ ਨੂੰ ਲੰਬੇ ਟੈਕਸਟਾਂ ਅਤੇ ਸੰਬੰਧਿਤ ਤਰਕ ਕਾਰਜਾਂ ਦੀ ਵਿਭਿੰਨ ਸ਼੍ਰੇਣੀ ਨਾਲ ਪਰਦਾਫਾਸ਼ ਕਰਕੇ, SFT ਪੜਾਅ ਮਾਡਲ ਨੂੰ ਲੰਬੇ ਇਨਪੁਟਸ ਤੋਂ ਜਾਣਕਾਰੀ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਆਧਾਰ ਬਣਾਉਣ, ਸੰਦਰਭ ਨੂੰ ਸਮਝਣ ਵਿੱਚ ਬੁਨਿਆਦੀ ਯੋਗਤਾਵਾਂ ਵਿਕਸਤ ਕਰਨ, ਤਰਕ ਦੀਆਂ ਤਰਕਪੂਰਨ ਲੜੀਆਂ ਤਿਆਰ ਕਰਨ, ਅਤੇ ਸਾਰਥਕ ਜਵਾਬ ਕੱਢਣ ਦੇ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ।
ਪਾਠਕ੍ਰਮ-ਗਾਈਡਿਡ ਫੇਜ਼ਡ RL: ਇਹ ਪੜਾਅ ਕਈ ਪੜਾਵਾਂ ਦੁਆਰਾ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਇੱਕ ਯੋਜਨਾਬੱਧ, ਕਦਮ-ਦਰ-ਕਦਮ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਹੌਲੀ-ਹੌਲੀ ਇਨਪੁਟ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਲੰਬਾਈ ਵਧਾਉਂਦਾ ਹੈ। ਇਹ ਪਾਠਕ੍ਰਮ-ਗਾਈਡਿਡ ਪਹੁੰਚ ਮਾਡਲ ਨੂੰ ਥੋੜ੍ਹੇ ਸਮੇਂ ਤੋਂ ਹੌਲੀ-ਹੌਲੀ ਲੰਬੇ ਸੰਦਰਭਾਂ ਵਿੱਚ ਆਪਣੀਆਂ ਤਰਕ ਰਣਨੀਤੀਆਂ ਨੂੰ ਸਥਿਰ ਰੂਪ ਵਿੱਚ ਅਨੁਕੂਲ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ, ਅਕਸਰ ਉਸ ਅਸਥਿਰਤਾ ਨੂੰ ਘਟਾਉਂਦੀ ਹੈ ਜਦੋਂ ਮਾਡਲਾਂ ਨੂੰ ਅਚਾਨਕ ਬਹੁਤ ਲੰਬੇ ਟੈਕਸਟ ‘ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ। ਸਿਖਲਾਈ ਡੇਟਾ ਦੀ ਗੁੰਝਲਤਾ ਨੂੰ ਹੌਲੀ-ਹੌਲੀ ਵਧਾ ਕੇ, ਮਾਡਲ ਜਾਣਕਾਰੀ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਦੁਆਰਾ ਦੱਬੇ ਬਿਨਾਂ ਲੰਬੇ ਸੰਦਰਭਾਂ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਸੰਭਾਲਣਾ ਸਿੱਖ ਸਕਦਾ ਹੈ।
ਮੁਸ਼ਕਲ-ਸੂਚਿਤ ਰੀਟਰੋਸਪੈਕਟਿਵ ਸੈਂਪਲਿੰਗ: ਇਹ ਅੰਤਿਮ ਸਿਖਲਾਈ ਪੜਾਅ ਪਿਛਲੇ ਸਿਖਲਾਈ ਪੜਾਵਾਂ ਤੋਂ ਚੁਣੌਤੀਪੂਰਨ ਉਦਾਹਰਣਾਂ ਨੂੰ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ, ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕਰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਸਭ ਤੋਂ ਮੁਸ਼ਕਲ ਸਮੱਸਿਆਵਾਂ ਤੋਂ ਸਿੱਖਣਾ ਜਾਰੀ ਰੱਖਦਾ ਹੈ। ਇਹਨਾਂ ਮੁਸ਼ਕਲ ਉਦਾਹਰਣਾਂ ਨੂੰ ਤਰਜੀਹ ਦੇ ਕੇ, ਮਾਡਲ ਨੂੰ ਵਧੇਰੇ ਵਿਭਿੰਨ ਅਤੇ ਗੁੰਝਲਦਾਰ ਤਰਕ ਮਾਰਗਾਂ ਦੀ ਖੋਜ ਕਰਨ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਅੰਤ ਵਿੱਚ ਲੰਬੇ-ਸੰਦਰਭ ਤਰਕ ਕਾਰਜਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਨੂੰ ਸੰਭਾਲਣ ਦੀ ਆਪਣੀ ਯੋਗਤਾ ਨੂੰ ਮਜ਼ਬੂਤ ਕਰਦਾ ਹੈ। ਇਹ ਰੀਟਰੋਸਪੈਕਟਿਵ ਸੈਂਪਲਿੰਗ ਤਕਨੀਕ ਮਾਡਲ ਨੂੰ ਆਪਣੇ ਤਰਕ ਹੁਨਰਾਂ ਨੂੰ ਸੁਧਾਰਨ ਅਤੇ ਸਥਾਨਕ ਅਨੁਕੂਲਤਾ ਵਿੱਚ ਫਸਣ ਤੋਂ ਬਚਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ।
ਇਨਾਮ ਪ੍ਰਣਾਲੀ
ਇਸਦੀ ਢਾਂਚਾਗਤ ਸਿਖਲਾਈ ਵਿਧੀ ਤੋਂ ਇਲਾਵਾ, QwenLong-L1 ਇੱਕ ਆਧੁਨਿਕ ਇਨਾਮ ਪ੍ਰਣਾਲੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜੋ ਨਿਯਮ-ਅਧਾਰਿਤ ਤਸਦੀਕ ਨੂੰ “LLM-as-a-judge” ਪਹੁੰਚ ਨਾਲ ਜੋੜਦਾ ਹੈ। ਜਦੋਂ ਕਿ ਛੋਟੇ-ਸੰਦਰਭ ਤਰਕ ਕਾਰਜਾਂ ਲਈ ਸਿਖਲਾਈ ਅਕਸਰ ਸਖ਼ਤ ਨਿਯਮ-ਅਧਾਰਿਤ ਇਨਾਮਾਂ ‘ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ (ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਗਣਿਤ ਸਮੱਸਿਆ ਵਿੱਚ ਇੱਕ ਸਹੀ ਜਵਾਬ), QwenLong-L1 ਇੱਕ ਹਾਈਬ੍ਰਿਡ ਇਨਾਮ ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਜੋ ਲੰਬੇ-ਸੰਦਰਭ ਤਰਕ ਦੀਆਂ ਬਾਰੀਕੀਆਂ ਲਈ ਵਧੇਰੇ ਲਚਕਦਾਰ ਅਤੇ ਅਨੁਕੂਲ ਹੈ।
ਨਿਯਮ-ਅਧਾਰਤ ਤਸਦੀਕ ਸਹੀ ਮਾਪਦੰਡਾਂ ਦੀ ਸਖ਼ਤੀ ਨਾਲ ਪਾਲਣਾ ਦੀ ਜਾਂਚ ਕਰਕੇ ਸ਼ੁੱਧਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ। ਇਨਾਮ ਪ੍ਰਣਾਲੀ ਦਾ ਇਹ ਹਿੱਸਾ ਮਾਡਲ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਇੱਕ ਸਪੱਸ਼ਟ ਅਤੇ ਉਦੇਸ਼ ਮਾਪ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕਰਦਾ ਹੈ ਕਿ ਇਹ ਸਹੀ ਅਤੇ ਭਰੋਸੇਮੰਦ ਜਵਾਬ ਤਿਆਰ ਕਰ ਰਿਹਾ ਹੈ।
“LLM-as-a-judge” ਮਾਡਲ ਤਿਆਰ ਕੀਤੇ ਜਵਾਬ ਦੀ ਸੇਮੈਂਟਿਕਤਾ ਦੀ ਤੁਲਨਾ ਜ਼ਮੀਨੀ ਸੱਚਾਈ ਨਾਲ ਕਰਦਾ ਹੈ, ਲੰਬੇ, ਬਾਰੀਕ ਦਸਤਾਵੇਜ਼ਾਂ ਨਾਲ ਨਜਿੱਠਣ ਵੇਲੇ ਸਹੀ ਜਵਾਬਾਂ ਨੂੰ ਪ੍ਰਗਟ ਕਰਨ ਦੇ ਵਿਭਿੰਨ ਤਰੀਕਿਆਂ ਦੀ ਵਧੇਰੇ ਲਚਕਤਾ ਅਤੇ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਸੰਭਾਲਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਇਨਾਮ ਪ੍ਰਣਾਲੀ ਦਾ ਇਹ ਹਿੱਸਾ ਮੰਨਦਾ ਹੈ ਕਿ ਇੱਕ ਲੰਬੇ ਸੰਦਰਭ ਦੇ ਆਧਾਰ ‘ਤੇ ਇੱਕ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦੇਣ ਦੇ ਕਈ ਵੈਧ ਤਰੀਕੇ ਹੋ ਸਕਦੇ ਹਨ ਅਤੇ ਮਾਡਲ ਨੂੰ ਉਹ ਜਵਾਬ ਤਿਆਰ ਕਰਨ ਲਈ ਇਨਾਮ ਦਿੰਦਾ ਹੈ ਜੋ ਜ਼ਮੀਨੀ ਸੱਚਾਈ ਦੇ ਸਮਾਨ ਹਨ, ਭਾਵੇਂ ਉਹ ਇੱਕੋ ਜਿਹੇ ਨਾ ਹੋਣ। ਇਹ ਮਾਡਲ ਨੂੰ ਵਧੇਰੇ ਰਚਨਾਤਮਕ ਅਤੇ ਬਾਰੀਕ ਪ੍ਰਤੀਕਿਰਿਆਵਾਂ ਪੈਦਾ ਕਰਨ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕਰਦਾ ਹੈ।
QwenLong-L1 ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਮੁਲਾਂਕਣ
QwenLong-L1 ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ, ਅਲੀਬਾਬਾ ਟੀਮ ਨੇ ਦਸਤਾਵੇਜ਼ ਪ੍ਰਸ਼ਨ-ਉੱਤਰ (DocQA) ਨੂੰ ਮੁੱਖ ਕੰਮ ਵਜੋਂ ਵਰਤ ਕੇ ਪੂਰੇ ਮੁਲਾਂਕਣ ਕੀਤੇ। ਇਹ ਦ੍ਰਿਸ਼ ਉੱਦਮ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਵਿਸ਼ੇਸ਼ ਤੌਰ ‘ਤੇ ਢੁਕਵਾਂ ਹੈ, ਜਿੱਥੇ AI ਨੂੰ ਅਕਸਰ ਗੁੰਝਲਦਾਰ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਲਈ ਸੰਘਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਸਮਝਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। DocQA ਕਾਰਜਾਂ ਵਿੱਚ ਇੱਕ ਮਾਡਲ ਨੂੰ ਇੱਕ ਦਸਤਾਵੇਜ਼ ਅਤੇ ਇੱਕ ਸਵਾਲ ਪ੍ਰਦਾਨ ਕਰਨਾ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ ਅਤੇ ਇਸਨੂੰ ਦਸਤਾਵੇਜ਼ ਦੇ ਅੰਦਰ ਸਵਾਲ ਦਾ ਜਵਾਬ ਲੱਭਣ ਲਈ ਕਹਿਣਾ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ। ਇਸਦੇ ਲਈ ਮਾਡਲ ਨੂੰ ਸਵਾਲ, ਦਸਤਾਵੇਜ਼ ਅਤੇ ਦੋਵਾਂ ਵਿਚਕਾਰ ਸਬੰਧ ਨੂੰ ਸਮਝਣ ਦੀ ਲੋੜ ਹੈ।
ਸੱਤ ਲੰਬੇ-ਸੰਦਰਭ DocQA ਬੈਂਚਮਾਰਕਾਂ ਵਿੱਚ ਪ੍ਰਯੋਗਾਤਮਕ ਨਤੀਜਿਆਂ ਨੇ QwenLong-L1 ਦੀਆਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਯੋਗਤਾਵਾਂ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ। ਡੀਪਸੀਕ-R1-ਡਿਸਟਿਲ-ਕਵੇਂ-32B ‘ਤੇ ਆਧਾਰਿਤ QWENLONG-L1-32B ਮਾਡਲ ਨੇ ਐਂਥਰੋਪਿਕ ਦੇ ਕਲਾਉਡ-3.7 ਸੋਨੇਟ ਥਿੰਕਿੰਗ ਦੇ ਮੁਕਾਬਲੇ ਪ੍ਰਦਰਸ਼ਨ ਪ੍ਰਾਪਤ ਕੀਤਾ ਅਤੇ ਓਪਨਏਆਈ ਦੇ o3-mini ਅਤੇ Qwen3-235B-A22B ਵਰਗੇ ਮਾਡਲਾਂ ਨੂੰ ਪਛਾੜ ਦਿੱਤਾ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਛੋਟੇ QWENLONG-L1-14B ਮਾਡਲ ਨੇ ਗੂਗਲ ਦੇ ਜੇਮਿਨੀ 2.0 ਫਲੈਸ਼ ਥਿੰਕਿੰਗ ਅਤੇ Qwen3-32B ਨੂੰ ਪਛਾੜ ਦਿੱਤਾ। ਇਹ ਨਤੀਜੇ ਲੰਬੇ ਅਤੇ ਗੁੰਝਲਦਾਰ ਦਸਤਾਵੇਜ਼ਾਂ ‘ਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਤਰਕ ਕਰਨ ਲਈ LLMs ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਣ ਵਿੱਚ QwenLong-L1 ਦੀ ਪ੍ਰਭਾਵਸ਼ੀਲਤਾ ਨੂੰ ਉਜਾਗਰ ਕਰਦੇ ਹਨ।
ਅਸਲ-ਸੰਸਾਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਢੁਕਵਾਂ ਇੱਕ ਮੁੱਖ ਖੋਜ ਇਹ ਹੈ ਕਿ RL ਸਿਖਲਾਈ ਮਾਡਲ ਦੇ ਅੰਦਰ ਵਿਸ਼ੇਸ਼ ਲੰਬੀ-ਸੰਦਰਭ ਤਰਕ ਵਿਵਹਾਰਾਂ ਦੇ ਵਿਕਾਸ ਵੱਲ ਲੈ ਜਾਂਦੀ ਹੈ। QwenLong-L1 ਨਾਲ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲ ਹੇਠਾਂ ਦਿੱਤੇ ਖੇਤਰਾਂ ਵਿੱਚ ਸੁਧਾਰੀ ਯੋਗਤਾਵਾਂ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦੇ ਹਨ:
ਗਰਾਊਂਡਿੰਗ: ਜਵਾਬਾਂ ਨੂੰ ਦਸਤਾਵੇਜ਼ ਦੇ ਖਾਸ ਹਿੱਸਿਆਂ ਨਾਲ ਜੋੜਨਾ। ਇਹ ਲੰਬੇ ਟੈਕਸਟ ਦੇ ਅੰਦਰ ਸਭ ਤੋਂ ਢੁਕਵੀਂ ਜਾਣਕਾਰੀ ਦੀ ਪਛਾਣ ਕਰਨ ਅਤੇ ਇਸਨੂੰ ਪੁੱਛੇ ਜਾ ਰਹੇ ਸਵਾਲ ਨਾਲ ਜੋੜਨ ਦੀ ਮਾਡਲ ਦੀ ਯੋਗਤਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਗਰਾਊਂਡਿੰਗ ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕਰਨ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਮਾਡਲ ਦੇ ਜਵਾਬ ਸਹੀ ਹਨ ਅਤੇ ਦਸਤਾਵੇਜ਼ ਵਿੱਚ ਸਬੂਤਾਂ ਦੁਆਰਾ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਮਰਥਤ ਹਨ।
ਉਪ-ਟੀਚਾ ਸੈਟਿੰਗ: ਗੁੰਝਲਦਾਰ ਸਵਾਲਾਂ ਨੂੰ ਛੋਟੇ, ਵਧੇਰੇ ਪ੍ਰਬੰਧਨਯੋਗ ਉਪ-ਸਵਾਲਾਂ ਵਿੱਚ ਤੋੜਨਾ। ਇਹ ਮਾਡਲ ਨੂੰ ਵਧੇਰੇ ਢਾਂਚਾਗਤ ਅਤੇ ਸੰਗਠਿਤ ਢੰਗ ਨਾਲ ਗੁੰਝਲਦਾਰ ਤਰਕ ਕਾਰਜਾਂ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਕੰਮ ਨੂੰ ਛੋਟੇ ਕਦਮਾਂ ਵਿੱਚ ਤੋੜ ਕੇ, ਮਾਡਲ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦੇਣ ਅਤੇ ਤਰਕ ਦੀ ਇੱਕ ਇਕਸਾਰ ਅਤੇ ਤਰਕਪੂਰਨ ਲੜੀ ਪੈਦਾ ਕਰਨ ਲਈ ਲੋੜੀਂਦੀ ਜਾਣਕਾਰੀ ਨੂੰ ਵਧੇਰੇ ਆਸਾਨੀ ਨਾਲ ਪਛਾਣ ਸਕਦਾ ਹੈ।
ਬੈਕਟ੍ਰੈਕਿੰਗ: ਤਰਕ ਪ੍ਰਕਿਰਿਆ ਦੇ ਦੌਰਾਨ ਸਵੈ-ਕੀਤੀਆਂ ਗਲਤੀਆਂ ਨੂੰ ਪਛਾਣਨਾ ਅਤੇ ਠੀਕ ਕਰਨਾ। ਇਹ ਸਵੈ-ਨਿਗਰਾਨੀ ਕਰਨ ਅਤੇ ਇਸਦੀ ਤਰਕ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਸੰਭਾਵੀ ਗਲਤੀਆਂ ਦੀ ਪਛਾਣ ਕਰਨ ਦੀ ਮਾਡਲ ਦੀ ਯੋਗਤਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਬੈਕਟ੍ਰੈਕਿੰਗ ਅਤੇ ਇਹਨਾਂ ਗਲਤੀਆਂ ਨੂੰ ਠੀਕ ਕਰਕੇ, ਮਾਡਲ ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕਰ ਸਕਦਾ ਹੈ ਕਿ ਇਸਦਾ ਅੰਤਿਮ ਜਵਾਬ ਸਹੀ ਅਤੇ ਭਰੋਸੇਮੰਦ ਹੈ।
ਤਸਦੀਕ: ਸ਼ੁੱਧਤਾ ਅਤੇ ਸੰਪੂਰਨਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਉਹਨਾਂ ਦੇ ਜਵਾਬਾਂ ਦੀ ਦੋ ਵਾਰ ਜਾਂਚ ਕਰਨਾ। ਇਹ ਸਹੀ ਅਤੇ ਭਰੋਸੇਯੋਗ ਜਾਣਕਾਰੀ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਮਾਡਲ ਦੀ ਵਚਨਬੱਧਤਾ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਆਪਣੇ ਜਵਾਬਾਂ ਦੀ ਦੋ ਵਾਰ ਜਾਂਚ ਕਰਕੇ, ਮਾਡਲ ਕਿਸੇ ਵੀ ਬਾਕੀ ਗਲਤੀਆਂ ਦੀ ਪਛਾਣ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਠੀਕ ਕਰ ਸਕਦਾ ਹੈ, ਇਹ ਸੁਨਿਸ਼ਚਿਤ ਕਰਦਾ ਹੈ ਕਿ ਅੰਤਿਮ ਜਵਾਬ ਉੱਚ ਗੁਣਵੱਤਾ ਵਾਲਾ ਹੈ।
ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਬੇਸ ਮਾਡਲ ਕਿਸੇ ਵਿੱਤੀ ਦਸਤਾਵੇਜ਼ ਵਿੱਚ ਗੈਰ-ਸਾਰਥਕ ਵੇਰਵਿਆਂ ਦੁਆਰਾ ਦੂਰ ਹੋ ਸਕਦਾ ਹੈ ਜਾਂ ਗੈਰ-ਸੰਬੰਧਿਤ ਜਾਣਕਾਰੀ ਦਾ ਜ਼ਿਆਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੇ ਇੱਕ ਲੂਪ ਵਿੱਚ ਫਸ ਸਕਦਾ ਹੈ। ਹਾਲਾਂਕਿ, QwenLong-L1 ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਵੈ-ਪ੍ਰਤੀਬਿੰਬ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ, ਇਹਨਾਂ ਵਿਘਨਕਾਰੀ ਵੇਰਵਿਆਂ ਨੂੰ ਸਫਲਤਾਪੂਰਵਕ ਫਿਲਟਰ ਕਰਨ, ਗਲਤ ਮਾਰਗਾਂ ਤੋਂ ਪਿੱਛੇ ਹਟਣ ਅਤੇ ਸਹੀ ਜਵਾਬ ‘ਤੇ ਪਹੁੰਚਣ ਦੀ ਯੋਗਤਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ। ਇਹ ਲੰਬੇ-ਸੰਦਰਭ ਤਰਕ ਦੀ ਮਜ਼ਬੂਤੀ ਅਤੇ ਸ਼ੁੱਧਤਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਵਿੱਚ QwenLong-L1 ਸਿਖਲਾਈ ਫਰੇਮਵਰਕ ਦੇ ਫਾਇਦਿਆਂ ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ।
ਸੰਭਾਵੀ ਐਪਲੀਕੇਸ਼ਨਾਂ
QwenLong-L1 ਵਰਗੀਆਂ ਤਕਨੀਕਾਂ ਵਿੱਚ ਉੱਦਮ ਵਿੱਚ AI ਦੀ ਉਪਯੋਗਤਾ ਨੂੰ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ‘ਤੇ ਵਧਾਉਣ ਦੀ ਸਮਰੱਥਾ ਹੈ। ਕੁਝ ਸੰਭਾਵੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
- ਕਾਨੂੰਨੀ ਤਕਨੀਕ: ਮੁੱਖ ਧਾਰਾਵਾਂ, ਮਿਸਾਲਾਂ ਅਤੇ ਸੰਭਾਵੀ ਜੋਖਮਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਲਈ ਹਜ਼ਾਰਾਂ ਪੰਨਿਆਂ ਦੇ ਕਾਨੂੰਨੀ ਦਸਤਾਵੇਜ਼ਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ। ਇਹ ਵਕੀਲਾਂ ਨੂੰ ਕਾਨੂੰਨੀ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਵਧੇਰੇ ਕੁਸ਼ਲਤਾ ਅਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਸਮੀਖਿਆ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ, ਉਹਨਾਂ ਦਾ ਸਮਾਂ ਅਤੇ ਪੈਸਾ ਬਚਾ ਸਕਦਾ ਹੈ।
- ਵਿੱਤ: ਜੋਖਮ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਅਤੇ ਨਿਵੇਸ਼ ਦੇ ਮੌਕਿਆਂ ਦੀ ਪਛਾਣ ਕਰਨ ਲਈ ਸਾਲਾਨਾ ਰਿਪੋਰਟਾਂ ਅਤੇ ਵਿੱਤੀ ਫਾਈਲਿੰਗਾਂ ‘ਤੇ ਡੂੰਘਾਈ ਨਾਲ ਖੋਜ ਕਰਨਾ। ਇਹ ਵਿੱਤੀ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਨੂੰ ਵਧੇਰੇ ਸੂਚਿਤ ਨਿਵੇਸ਼ ਫੈਸਲੇ ਲੈਣ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ।
- ਗਾਹਕ ਸੇਵਾ: ਵਧੇਰੇ ਸੂਚਿਤ ਅਤੇ ਵਿਅਕਤੀਗਤ ਸਹਾਇਤਾ ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਗਾਹਕਾਂ ਦੇ ਲੰਬੇ ਪਰਸਪਰ ਪ੍ਰਭਾਵ ਇਤਿਹਾਸ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ। ਇਹ ਗਾਹਕ ਸੇਵਾ ਪ੍ਰਤੀਨਿਧੀਆਂ ਨੂੰ ਗਾਹਕਾਂ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਸਮਝਣ ਅਤੇ ਵਧੇਰੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੱਲ ਪ੍ਰਦਾਨ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ।
AI ਨੂੰ ਲੰਬੇ ਅਤੇ ਗੁੰਝਲਦਾਰ ਦਸਤਾਵੇਜ਼ਾਂ ‘ਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਤਰਕ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾ ਕੇ, QwenLong-L1 ਅਤੇ ਸਮਾਨ ਤਕਨੀਕਾਂ ਉੱਦਮ ਐਪਲੀਕੇਸ਼ਨਾਂ, ਡ੍ਰਾਇਵਿੰਗ ਨਵੀਨਤਾ, ਅਤੇ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਉਦਯੋਗਾਂ ਵਿੱਚ ਕੁਸ਼ਲਤਾ ਵਿੱਚ ਸੁਧਾਰ ਲਈ ਨਵੀਆਂ ਸੰਭਾਵਨਾਵਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਨੂੰ ਅਨਲੌਕ ਕਰ ਸਕਦੀਆਂ ਹਨ। ਖੋਜਕਰਤਾਵਾਂ ਨੇ QwenLong-L1 ਵਿਅੰਜਨ ਲਈ ਕੋਡ ਅਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲਾਂ ਲਈ ਵਜ਼ਨ ਜਾਰੀ ਕੀਤੇ ਹਨ।