ਨਕਲੀ ਬੋਧ ਦਾ ਰਹੱਸ: ਗਣਨਾ ਤੋਂ ਪਰੇ
ਇਹ ਲੁਭਾਉਣਾ ਹੈ, ਲਗਭਗ ਅਟੱਲ ਹੈ, ਕਿ ਅਸੀਂ ਵੱਡੇ ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ (LLMs) ਕਹੇ ਜਾਣ ਵਾਲੇ ਗੁੰਝਲਦਾਰ ਪ੍ਰਣਾਲੀਆਂ ਦਾ ਮਾਨਵੀਕਰਨ ਕਰੀਏ। ਅਸੀਂ ਉਹਨਾਂ ਨਾਲ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਰਾਹੀਂ ਗੱਲਬਾਤ ਕਰਦੇ ਹਾਂ, ਉਹ ਇਕਸਾਰ ਪਾਠ ਤਿਆਰ ਕਰਦੇ ਹਨ, ਭਾਸ਼ਾਵਾਂ ਦਾ ਅਨੁਵਾਦ ਕਰਦੇ ਹਨ, ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਪ੍ਰਤੀਤ ਤੌਰ ‘ਤੇ ਰਚਨਾਤਮਕ ਕੰਮਾਂ ਵਿੱਚ ਵੀ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ। ਉਹਨਾਂ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਕੋਈ ਆਮ ਤੌਰ ‘ਤੇ ਟਿੱਪਣੀ ਕਰ ਸਕਦਾ ਹੈ ਕਿ ਉਹ ‘ਸੋਚਦੇ’ ਹਨ। ਹਾਲਾਂਕਿ, ਪਰਤਾਂ ਨੂੰ ਹਟਾਉਣ ਨਾਲ ਇੱਕ ਅਜਿਹੀ ਹਕੀਕਤ ਸਾਹਮਣੇ ਆਉਂਦੀ ਹੈ ਜੋ ਮਨੁੱਖੀ ਚੇਤਨਾ ਜਾਂ ਜੀਵ-ਵਿਗਿਆਨਕ ਤਰਕ ਤੋਂ ਬਹੁਤ ਦੂਰ ਹੈ। ਆਪਣੇ ਮੂਲ ਰੂਪ ਵਿੱਚ, LLMs ਵਧੀਆ ਅੰਕੜਾਤਮਕ ਇੰਜਣ ਹਨ, ਵਿਸ਼ਾਲ ਡੇਟਾਸੈਟਾਂ ਤੋਂ ਲਏ ਗਏ ਪੈਟਰਨਾਂ ਦੇ ਮਾਹਰ ਹੇਰਾਫੇਰੀ ਕਰਨ ਵਾਲੇ। ਉਹ ਸਮਝ ਜਾਂ ਸੰਵੇਦਨਾ ਦੁਆਰਾ ਨਹੀਂ, ਬਲਕਿ ਗੁੰਝਲਦਾਰ ਸੰਭਾਵੀ ਗਣਨਾਵਾਂ ਦੁਆਰਾ ਕੰਮ ਕਰਦੇ ਹਨ।
ਇਹ ਮਾਡਲ ਭਾਸ਼ਾ ਨੂੰ ਬੁਨਿਆਦੀ ਇਕਾਈਆਂ ਵਿੱਚ ਵੰਡ ਕੇ ਕੰਮ ਕਰਦੇ ਹਨ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਅਕਸਰ ‘ਟੋਕਨ’ ਕਿਹਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਟੋਕਨ ਸ਼ਬਦ, ਸ਼ਬਦਾਂ ਦੇ ਹਿੱਸੇ, ਜਾਂ ਵਿਰਾਮ ਚਿੰਨ੍ਹ ਵੀ ਹੋ ਸਕਦੇ ਹਨ। ‘ਐਮਬੈਡਿੰਗ’ ਵਜੋਂ ਜਾਣੀ ਜਾਂਦੀ ਪ੍ਰਕਿਰਿਆ ਦੁਆਰਾ, ਹਰੇਕ ਟੋਕਨ ਨੂੰ ਇੱਕ ਉੱਚ-ਅਯਾਮੀ ਵੈਕਟਰ ਨਾਲ ਮੈਪ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਇੱਕ ਸੰਖਿਆਤਮਕ ਪ੍ਰਤੀਨਿਧਤਾ ਜੋ ਇਸਦੇ ਅਰਥਾਂ ਅਤੇ ਹੋਰ ਟੋਕਨਾਂ ਨਾਲ ਸਬੰਧਾਂ ਦੇ ਪਹਿਲੂਆਂ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਜਾਦੂ ਗੁੰਝਲਦਾਰ ਆਰਕੀਟੈਕਚਰ ਦੇ ਅੰਦਰ ਹੁੰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਆਮ ਤੌਰ ‘ਤੇ ਟਰਾਂਸਫਾਰਮਰ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ, ਜਿੱਥੇ ਧਿਆਨ ਦੇਣ ਵਾਲੇ ਤੰਤਰ (attention mechanisms) ਇੱਕ ਜਵਾਬ ਤਿਆਰ ਕਰਦੇ ਸਮੇਂ ਇੱਕ ਦੂਜੇ ਦੇ ਸਬੰਧ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਟੋਕਨਾਂ ਦੀ ਮਹੱਤਤਾ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਹਨ। ਅਰਬਾਂ, ਕਈ ਵਾਰ ਖਰਬਾਂ, ਪੈਰਾਮੀਟਰ - ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਨਕਲੀ ਨਿਊਰੋਨਾਂ ਵਿਚਕਾਰ ਕੁਨੈਕਸ਼ਨ ਦੀ ਤਾਕਤ - ਇੱਕ ਗਣਨਾਤਮਕ ਤੌਰ ‘ਤੇ ਤੀਬਰ ਸਿਖਲਾਈ ਪੜਾਅ ਦੌਰਾਨ ਵਿਵਸਥਿਤ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਨਤੀਜਾ ਇੱਕ ਅਜਿਹਾ ਸਿਸਟਮ ਹੈ ਜੋ ਪਿਛਲੇ ਟੋਕਨਾਂ ਅਤੇ ਸ਼ੁਰੂਆਤੀ ਪ੍ਰੋਂਪਟ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਇੱਕ ਕ੍ਰਮ ਵਿੱਚ ਅਗਲੇ ਸਭ ਤੋਂ ਸੰਭਾਵਿਤ ਟੋਕਨ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨ ਵਿੱਚ ਮਾਹਰ ਹੈ। ਇਹ ਭਵਿੱਖਬਾਣੀ ਸ਼ਕਤੀ, ਪਾਠ ਅਤੇ ਕੋਡ ਦੀਆਂ ਵਿਸ਼ਾਲ ਮਾਤਰਾਵਾਂ ਵਿੱਚ ਨਿਖਾਰੀ ਗਈ, LLMs ਨੂੰ ਕਮਾਲ ਦੀ ਮਨੁੱਖੀ-ਵਰਗੀ ਭਾਸ਼ਾ ਤਿਆਰ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ। ਫਿਰ ਵੀ, ਇਹ ਪ੍ਰਕਿਰਿਆ ਬੁਨਿਆਦੀ ਤੌਰ ‘ਤੇ ਭਵਿੱਖਬਾਣੀ ਵਾਲੀ ਹੈ, ਬੋਧਾਤਮਕ ਨਹੀਂ। ਕੋਈ ਅੰਦਰੂਨੀ ਸੰਸਾਰ ਨਹੀਂ ਹੈ, ਕੋਈ ਵਿਅਕਤੀਗਤ ਅਨੁਭਵ ਨਹੀਂ ਹੈ, ਸਿਰਫ਼ ਇਨਪੁਟਸ ਤੋਂ ਸੰਭਾਵਿਤ ਆਉਟਪੁੱਟ ਤੱਕ ਇੱਕ ਅਸਾਧਾਰਨ ਤੌਰ ‘ਤੇ ਗੁੰਝਲਦਾਰ ਮੈਪਿੰਗ ਹੈ। ਇਸ ਅੰਤਰ ਨੂੰ ਸਮਝਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਅਸੀਂ ਉਹਨਾਂ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਸੀਮਾਵਾਂ ਦੀ ਡੂੰਘਾਈ ਵਿੱਚ ਜਾਂਦੇ ਹਾਂ।
ਬਲੈਕ ਬਾਕਸ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ: ਵਿਆਖਿਆਯੋਗਤਾ ਦੀ ਲੋੜ
ਉਹਨਾਂ ਦੀਆਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਮਰੱਥਾਵਾਂ ਦੇ ਬਾਵਜੂਦ, ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਚੁਣੌਤੀ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ (AI) ਦੇ ਖੇਤਰ ਨੂੰ ਪਰੇਸ਼ਾਨ ਕਰਦੀ ਹੈ: ‘ਬਲੈਕ ਬਾਕਸ’ ਸਮੱਸਿਆ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਇਹਨਾਂ ਵਿਸ਼ਾਲ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਦੇ ਇਨਪੁਟਸ ਅਤੇ ਆਉਟਪੁੱਟ ਨੂੰ ਦੇਖ ਸਕਦੇ ਹਾਂ, ਮਾਡਲ ਦੇ ਅੰਦਰ ਡੇਟਾ ਦੁਆਰਾ ਕੀਤੀ ਗਈ ਗੁੰਝਲਦਾਰ ਯਾਤਰਾ - ਅਰਬਾਂ ਪੈਰਾਮੀਟਰਾਂ ਵਿੱਚ ਗਣਨਾਵਾਂ ਅਤੇ ਪਰਿਵਰਤਨਾਂ ਦਾ ਸਹੀ ਕ੍ਰਮ - ਵੱਡੇ ਪੱਧਰ ‘ਤੇ ਅਸਪਸ਼ਟ ਰਹਿੰਦਾ ਹੈ। ਅਸੀਂ ਉਹਨਾਂ ਨੂੰ ਬਣਾਉਂਦੇ ਹਾਂ, ਅਸੀਂ ਉਹਨਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦਿੰਦੇ ਹਾਂ, ਪਰ ਅਸੀਂ ਉਹਨਾਂ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤੇ ਗਏ ਉੱਭਰਦੇ ਅੰਦਰੂਨੀ ਤਰਕ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਹੀਂ ਸਮਝਦੇ। ਇਹ ਰਵਾਇਤੀ ਅਰਥਾਂ ਵਿੱਚ ਪ੍ਰੋਗਰਾਮਿੰਗ ਨਹੀਂ ਹੈ, ਜਿੱਥੇ ਹਰ ਕਦਮ ਇੱਕ ਮਨੁੱਖੀ ਇੰਜੀਨੀਅਰ ਦੁਆਰਾ ਸਪਸ਼ਟ ਤੌਰ ‘ਤੇ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਸ ਦੀ ਬਜਾਏ, ਇਹ ਇੱਕ ਖਗੋਲੀ ਪੈਮਾਨੇ ‘ਤੇ ਬਾਗਬਾਨੀ ਦੇ ਸਮਾਨ ਹੈ; ਅਸੀਂ ਬੀਜ (ਡੇਟਾ) ਅਤੇ ਵਾਤਾਵਰਣ (ਆਰਕੀਟੈਕਚਰ ਅਤੇ ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ) ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਾਂ, ਪਰ ਵਿਕਾਸ ਦੇ ਸਹੀ ਪੈਟਰਨ (ਅੰਦਰੂਨੀ ਪ੍ਰਤੀਨਿਧਤਾਵਾਂ ਅਤੇ ਰਣਨੀਤੀਆਂ) ਡੇਟਾ ਅਤੇ ਐਲਗੋਰਿਦਮ ਦੇ ਆਪਸੀ ਤਾਲਮੇਲ ਤੋਂ ਜੈਵਿਕ ਤੌਰ ‘ਤੇ, ਅਤੇ ਕਈ ਵਾਰ ਅਣਪਛਾਤੇ ਤੌਰ ‘ਤੇ ਪੈਦਾ ਹੁੰਦੇ ਹਨ।
ਪਾਰਦਰਸ਼ਤਾ ਦੀ ਇਹ ਘਾਟ ਸਿਰਫ਼ ਇੱਕ ਅਕਾਦਮਿਕ ਉਤਸੁਕਤਾ ਨਹੀਂ ਹੈ; ਇਸਦੇ AI ਦੀ ਸੁਰੱਖਿਅਤ ਅਤੇ ਭਰੋਸੇਮੰਦ ਤੈਨਾਤੀ ਲਈ ਡੂੰਘੇ ਪ੍ਰਭਾਵ ਹਨ। ਅਸੀਂ ਇੱਕ ਅਜਿਹੇ ਸਿਸਟਮ ‘ਤੇ ਸੱਚਮੁੱਚ ਕਿਵੇਂ ਭਰੋਸਾ ਕਰ ਸਕਦੇ ਹਾਂ ਜਿਸਦੀ ਫੈਸਲਾ ਲੈਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਦੀ ਅਸੀਂ ਜਾਂਚ ਨਹੀਂ ਕਰ ਸਕਦੇ? ਐਲਗੋਰਿਦਮਿਕ ਪੱਖਪਾਤ ਵਰਗੇ ਮੁੱਦੇ, ਜਿੱਥੇ ਮਾਡਲ ਉਹਨਾਂ ਦੇ ਸਿਖਲਾਈ ਡੇਟਾ ਵਿੱਚ ਮੌਜੂਦ ਸਮਾਜਿਕ ਪੱਖਪਾਤਾਂ ਨੂੰ ਕਾਇਮ ਰੱਖਦੇ ਹਨ ਜਾਂ ਵਧਾਉਂਦੇ ਹਨ, ਇਹ ਸਮਝੇ ਬਿਨਾਂ ਕਿ ਪੱਖਪਾਤ ਨੂੰ ਕਿਵੇਂ ਏਨਕੋਡ ਅਤੇ ਕਿਰਿਆਸ਼ੀਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਦਾ ਨਿਦਾਨ ਅਤੇ ਸੁਧਾਰ ਕਰਨਾ ਔਖਾ ਹੋ ਜਾਂਦਾ ਹੈ। ਇਸੇ ਤਰ੍ਹਾਂ, ‘ਹੈਲੂਸੀਨੇਸ਼ਨਜ਼’ ਦੀ ਘਟਨਾ - ਜਿੱਥੇ ਮਾਡਲ ਭਰੋਸੇਮੰਦ ਪਰ ਤੱਥਾਂ ਪੱਖੋਂ ਗਲਤ ਜਾਂ ਬੇਤੁਕੇ ਬਿਆਨ ਤਿਆਰ ਕਰਦੇ ਹਨ - ਡੂੰਘੀ ਸਮਝ ਦੀ ਲੋੜ ਨੂੰ ਰੇਖਾਂਕਿਤ ਕਰਦੀ ਹੈ। ਜੇਕਰ ਕੋਈ ਮਾਡਲ ਨੁਕਸਾਨਦੇਹ, ਗੁੰਮਰਾਹਕੁੰਨ, ਜਾਂ ਸਿਰਫ਼ ਗਲਤ ਜਾਣਕਾਰੀ ਪੈਦਾ ਕਰਦਾ ਹੈ, ਤਾਂ ਅੰਦਰੂਨੀ ਅਸਫਲਤਾ ਬਿੰਦੂਆਂ ਨੂੰ ਸਮਝਣਾ ਮੁੜ ਵਾਪਰਨ ਤੋਂ ਰੋਕਣ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਜਿਵੇਂ ਕਿ AI ਸਿਸਟਮ ਸਿਹਤ ਸੰਭਾਲ, ਵਿੱਤ, ਅਤੇ ਆਟੋਨੋਮਸ ਸਿਸਟਮ ਵਰਗੇ ਉੱਚ-ਦਾਅ ਵਾਲੇ ਡੋਮੇਨਾਂ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਹੁੰਦੇ ਜਾ ਰਹੇ ਹਨ, ਵਿਆਖਿਆਯੋਗਤਾ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਦੀ ਮੰਗ ਤੇਜ਼ ਹੁੰਦੀ ਜਾ ਰਹੀ ਹੈ। ਮਜ਼ਬੂਤ ਸੁਰੱਖਿਆ ਪ੍ਰੋਟੋਕੋਲ ਸਥਾਪਤ ਕਰਨਾ ਅਤੇ ਭਰੋਸੇਯੋਗ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਗਰੰਟੀ ਦੇਣਾ ਇਹਨਾਂ ਮਾਡਲਾਂ ਨੂੰ ਅਸਪਸ਼ਟ ਬਲੈਕ ਬਾਕਸ ਵਜੋਂ ਮੰਨਣ ਤੋਂ ਪਰੇ ਜਾਣ ਅਤੇ ਉਹਨਾਂ ਦੇ ਅੰਦਰੂਨੀ ਤੰਤਰਾਂ ਦਾ ਸਪਸ਼ਟ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਸਾਡੀ ਯੋਗਤਾ ‘ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। ਵਿਆਖਿਆਯੋਗਤਾ ਦੀ ਖੋਜ, ਇਸ ਲਈ, ਸਿਰਫ਼ ਵਿਗਿਆਨਕ ਉਤਸੁਕਤਾ ਨੂੰ ਸੰਤੁਸ਼ਟ ਕਰਨ ਬਾਰੇ ਨਹੀਂ ਹੈ, ਬਲਕਿ ਇੱਕ ਅਜਿਹੇ ਭਵਿੱਖ ਦਾ ਨਿਰਮਾਣ ਕਰਨ ਬਾਰੇ ਹੈ ਜਿੱਥੇ AI ਇੱਕ ਭਰੋਸੇਯੋਗ ਅਤੇ ਲਾਭਦਾਇਕ ਭਾਈਵਾਲ ਹੈ।
Anthropic ਦੀ ਨਵੀਨਤਾ: ਨਿਊਰਲ ਮਾਰਗਾਂ ਦਾ ਨਕਸ਼ਾ ਬਣਾਉਣਾ
ਪਾਰਦਰਸ਼ਤਾ ਦੀ ਇਸ ਨਾਜ਼ੁਕ ਲੋੜ ਨੂੰ ਸੰਬੋਧਿਤ ਕਰਦੇ ਹੋਏ, AI ਸੁਰੱਖਿਆ ਅਤੇ ਖੋਜ ਕੰਪਨੀ Anthropic ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਨੇ LLMs ਦੇ ਲੁਕੇ ਹੋਏ ਕੰਮਕਾਜ ਨੂੰ ਰੋਸ਼ਨ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤੀ ਗਈ ਇੱਕ ਨਵੀਂ ਤਕਨੀਕ ਦੀ ਅਗਵਾਈ ਕੀਤੀ ਹੈ। ਉਹ ਆਪਣੇ ਪਹੁੰਚ ਨੂੰ ਮਾਡਲ ਦੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਦੇ ਅੰਦਰ ‘ਸਰਕਟ ਟਰੇਸ’ ਕਰਨ ਦੇ ਰੂਪ ਵਿੱਚ ਸੰਕਲਪਿਤ ਕਰਦੇ ਹਨ। ਇਹ ਵਿਧੀ ਉਹਨਾਂ ਖਾਸ ਸਰਗਰਮੀ ਮਾਰਗਾਂ ਨੂੰ ਵੱਖ ਕਰਨ ਅਤੇ ਉਹਨਾਂ ਦਾ ਪਾਲਣ ਕਰਨ ਦਾ ਇੱਕ ਤਰੀਕਾ ਪੇਸ਼ ਕਰਦੀ ਹੈ ਜਿਹਨਾਂ ਦੀ ਵਰਤੋਂ ਇੱਕ ਮਾਡਲ ਜਾਣਕਾਰੀ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਸਮੇਂ ਕਰਦਾ ਹੈ, ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਪ੍ਰੋਂਪਟ ਤੋਂ ਇੱਕ ਤਿਆਰ ਕੀਤੇ ਜਵਾਬ ਵੱਲ ਵਧਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਦੇ ਵਿਸ਼ਾਲ ਅੰਦਰੂਨੀ ਲੈਂਡਸਕੇਪ ਦੇ ਅੰਦਰ ਵੱਖ-ਵੱਖ ਸਿੱਖੇ ਗਏ ਸੰਕਲਪਾਂ ਜਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿਚਕਾਰ ਪ੍ਰਭਾਵ ਦੇ ਪ੍ਰਵਾਹ ਦਾ ਨਕਸ਼ਾ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਹੈ।
ਇਸਦੀ ਤੁਲਨਾ ਅਕਸਰ ਨਿਊਰੋਸਾਇੰਸ ਵਿੱਚ ਵਰਤੀ ਜਾਂਦੀ ਫੰਕਸ਼ਨਲ ਮੈਗਨੈਟਿਕ ਰੈਜ਼ੋਨੈਂਸ ਇਮੇਜਿੰਗ (fMRI) ਨਾਲ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਜਿਵੇਂ ਇੱਕ fMRI ਸਕੈਨ ਦੱਸਦਾ ਹੈ ਕਿ ਮਨੁੱਖੀ ਦਿਮਾਗ ਦੇ ਕਿਹੜੇ ਖੇਤਰ ਖਾਸ ਉਤੇਜਨਾ ਦੇ ਜਵਾਬ ਵਿੱਚ ਜਾਂ ਖਾਸ ਬੋਧਾਤਮਕ ਕਾਰਜਾਂ ਦੌਰਾਨ ਸਰਗਰਮ ਹੁੰਦੇ ਹਨ, ਉਸੇ ਤਰ੍ਹਾਂ Anthropic ਦੀ ਤਕਨੀਕ ਦਾ ਉਦੇਸ਼ ਇਹ ਪਛਾਣ ਕਰਨਾ ਹੈ ਕਿ ਨਕਲੀ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਦੇ ਕਿਹੜੇ ਹਿੱਸੇ ‘ਰੋਸ਼ਨ’ ਹੁੰਦੇ ਹਨ ਅਤੇ ਮਾਡਲ ਦੇ ਆਉਟਪੁੱਟ ਦੇ ਖਾਸ ਪਹਿਲੂਆਂ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾਉਂਦੇ ਹਨ। ਇਹਨਾਂ ਸਰਗਰਮੀ ਮਾਰਗਾਂ ਨੂੰ ਸਾਵਧਾਨੀ ਨਾਲ ਟਰੈਕ ਕਰਕੇ, ਖੋਜਕਰਤਾ ਇਸ ਬਾਰੇ ਬੇਮਿਸਾਲ ਸਮਝ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਨ ਕਿ ਮਾਡਲ ਸੰਕਲਪਾਂ ਨੂੰ ਕਿਵੇਂ ਦਰਸਾਉਂਦਾ ਅਤੇ ਹੇਰਾਫੇਰੀ ਕਰਦਾ ਹੈ। ਇਹ ਹਰ ਇੱਕ ਪੈਰਾਮੀਟਰ ਦੇ ਕਾਰਜ ਨੂੰ ਸਮਝਣ ਬਾਰੇ ਨਹੀਂ ਹੈ - ਉਹਨਾਂ ਦੀ ਵੱਡੀ ਗਿਣਤੀ ਦੇ ਮੱਦੇਨਜ਼ਰ ਲਗਭਗ ਅਸੰਭਵ ਕੰਮ - ਬਲਕਿ ਖਾਸ ਸਮਰੱਥਾਵਾਂ ਜਾਂ ਵਿਵਹਾਰਾਂ ਲਈ ਜ਼ਿੰਮੇਵਾਰ ਅਰਥਪੂਰਨ ਸਰਕਟਾਂ ਜਾਂ ਸਬਨੈੱਟਵਰਕਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਬਾਰੇ ਹੈ। ਉਹਨਾਂ ਦਾ ਹਾਲ ਹੀ ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਪੇਪਰ ਇਸ ਪਹੁੰਚ ਦਾ ਵੇਰਵਾ ਦਿੰਦਾ ਹੈ, ਪਹਿਲਾਂ ਤੋਂ ਅਸਪਸ਼ਟ ‘ਤਰਕ’ ਪ੍ਰਕਿਰਿਆਵਾਂ, ਜਾਂ ਵਧੇਰੇ ਸਹੀ ਢੰਗ ਨਾਲ, ਪੈਟਰਨ ਪਰਿਵਰਤਨਾਂ ਦੇ ਗੁੰਝਲਦਾਰ ਕ੍ਰਮ, ਜੋ ਇੱਕ LLM ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਆਧਾਰ ਬਣਾਉਂਦੇ ਹਨ, ਦੀ ਇੱਕ ਝਲਕ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਅੰਦਰ ਝਾਤੀ ਮਾਰਨ ਦੀ ਇਹ ਯੋਗਤਾ ਇਹਨਾਂ ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਾਧਨਾਂ ਨੂੰ ਸਪਸ਼ਟ ਕਰਨ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਕਦਮ ਦਰਸਾਉਂਦੀ ਹੈ।
ਸੰਕਲਪਿਕ ਕੁਨੈਕਸ਼ਨਾਂ ਨੂੰ ਸਮਝਣਾ: ਭਾਸ਼ਾ ਇੱਕ ਲਚਕੀਲੀ ਸਤ੍ਹਾ ਵਜੋਂ
Anthropic ਦੀਆਂ ਸਰਕਟ-ਟਰੇਸਿੰਗ ਜਾਂਚਾਂ ਤੋਂ ਪੈਦਾ ਹੋਏ ਸਭ ਤੋਂ ਮਜਬੂਰ ਕਰਨ ਵਾਲੇ ਖੁਲਾਸਿਆਂ ਵਿੱਚੋਂ ਇੱਕ ਭਾਸ਼ਾ ਅਤੇ ਉਹਨਾਂ ਅੰਤਰੀਵ ਸੰਕਲਪਾਂ ਵਿਚਕਾਰ ਸਬੰਧਾਂ ਨਾਲ ਸਬੰਧਤ ਹੈ ਜਿਹਨਾਂ ਨੂੰ ਮਾਡਲ ਹੇਰਾਫੇਰੀ ਕਰਦਾ ਹੈ। ਖੋਜ ਭਾਸ਼ਾਈ ਸਤ੍ਹਾ ਅਤੇ ਡੂੰਘੀ ਸੰਕਲਪਿਕ ਪ੍ਰਤੀਨਿਧਤਾ ਵਿਚਕਾਰ ਸੁਤੰਤਰਤਾ ਦੀ ਇੱਕ ਕਮਾਲ ਦੀ ਡਿਗਰੀ ਦਾ ਸੁਝਾਅ ਦਿੰਦੀ ਹੈ। ਇਹ ਮਾਡਲ ਲਈ ਇੱਕ ਭਾਸ਼ਾ ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਪੁੱਛਗਿੱਛ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਅਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵੱਖਰੀ ਭਾਸ਼ਾ ਵਿੱਚ ਇੱਕ ਇਕਸਾਰ ਅਤੇ ਸਹੀ ਜਵਾਬ ਤਿਆਰ ਕਰਨ ਲਈ ਮੁਕਾਬਲਤਨ ਸਿੱਧਾ ਜਾਪਦਾ ਹੈ।
ਇਹ ਨਿਰੀਖਣ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ ਮਾਡਲ ਸਿਰਫ਼ ਇੱਕ ਸਤਹੀ ਤਰੀਕੇ ਨਾਲ ਵੱਖ-ਵੱਖ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਸ਼ਬਦਾਂ ਵਿਚਕਾਰ ਅੰਕੜਾਤਮਕ ਸਬੰਧਾਂ ਨੂੰ ਨਹੀਂ ਸਿੱਖ ਰਿਹਾ ਹੈ। ਇਸ ਦੀ ਬਜਾਏ, ਇਹ ਵੱਖ-ਵੱਖ ਭਾਸ਼ਾਵਾਂ ਦੇ ਸ਼ਬਦਾਂ ਨੂੰ ਇੱਕ ਸਾਂਝੇ, ਵਧੇਰੇ ਅਮੂਰਤ ਸੰਕਲਪਿਕ ਸਥਾਨ ‘ਤੇ ਮੈਪ ਕਰਦਾ ਜਾਪਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਅੰਗਰੇਜ਼ੀ ਸ਼ਬਦ ‘small’, ਫ੍ਰੈਂਚ ਸ਼ਬਦ ‘petit’, ਅਤੇ ਸਪੈਨਿਸ਼ ਸ਼ਬਦ ‘pequeño’ ਸਾਰੇ ਨਿਊਰੋਨਾਂ ਜਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਸਮਾਨ ਸਮੂਹ ਨੂੰ ਸਰਗਰਮ ਕਰ ਸਕਦੇ ਹਨ ਜੋ ਛੋਟੇਪਣ ਦੇ ਅੰਤਰੀਵ ਸੰਕਲਪ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ। ਮਾਡਲ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਇਨਪੁਟ ਭਾਸ਼ਾ ਨੂੰ ਇਸ ਅੰਦਰੂਨੀ ਸੰਕਲਪਿਕ ਪ੍ਰਤੀਨਿਧਤਾ ਵਿੱਚ ਅਨੁਵਾਦ ਕਰਦਾ ਹੈ, ਉਸ ਅਮੂਰਤ ਸਥਾਨ ਦੇ ਅੰਦਰ ਆਪਣਾ ‘ਤਰਕ’ ਜਾਂ ਪੈਟਰਨ ਹੇਰਾਫੇਰੀ ਕਰਦਾ ਹੈ, ਅਤੇ ਫਿਰ ਨਤੀਜੇ ਵਜੋਂ ਸੰਕਲਪ ਨੂੰ ਵਾਪਸ ਟੀਚਾ ਆਉਟਪੁੱਟ ਭਾਸ਼ਾ ਵਿੱਚ ਅਨੁਵਾਦ ਕਰਦਾ ਹੈ। ਇਸ ਖੋਜ ਦੇ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਭਾਵ ਹਨ। ਇਹ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਅਜਿਹੀਆਂ ਪ੍ਰਤੀਨਿਧਤਾਵਾਂ ਵਿਕਸਤ ਕਰ ਰਹੇ ਹਨ ਜੋ ਖਾਸ ਭਾਸ਼ਾਈ ਰੂਪਾਂ ਤੋਂ ਪਰੇ ਹਨ, ਸਮਝ ਦੀ ਇੱਕ ਵਧੇਰੇ ਸਰਵ ਵਿਆਪਕ ਪਰਤ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਹਨ, ਭਾਵੇਂ ਕਿ ਇਹ ਮਨੁੱਖੀ-ਵਰਗੀ ਬੋਧ ਦੀ ਬਜਾਏ ਅੰਕੜਾਤਮਕ ਸਿਖਲਾਈ ਦੁਆਰਾ ਬਣਾਈ ਗਈ ਹੋਵੇ। ਇਹ ਸਮਰੱਥਾ ਆਧੁਨਿਕ LLMs ਦੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਬਹੁ-ਭਾਸ਼ਾਈ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਆਧਾਰ ਬਣਾਉਂਦੀ ਹੈ ਅਤੇ ਨਕਲੀ ਪ੍ਰਣਾਲੀਆਂ ਦੇ ਅੰਦਰ ਸੰਕਲਪਿਕ ਪ੍ਰਤੀਨਿਧਤਾ ਦੀ ਪ੍ਰਕਿਰਤੀ ਦੀ ਪੜਚੋਲ ਕਰਨ ਲਈ ਰਾਹ ਖੋਲ੍ਹਦੀ ਹੈ। ਇਹ ਇਸ ਵਿਚਾਰ ਨੂੰ ਮਜ਼ਬੂਤ ਕਰਦਾ ਹੈ ਕਿ ਭਾਸ਼ਾ, ਇਹਨਾਂ ਮਾਡਲਾਂ ਲਈ, ਮੁੱਖ ਤੌਰ ‘ਤੇ ਸਿੱਖੇ ਗਏ ਸਬੰਧਾਂ ਦੀ ਇੱਕ ਡੂੰਘੀ ਪਰਤ ਦਾ ਇੱਕ ਇੰਟਰਫੇਸ ਹੈ, ਨਾ ਕਿ ਉਹਨਾਂ ਦੀ ਅੰਦਰੂਨੀ ਪ੍ਰਕਿਰਿਆ ਦਾ ਪਦਾਰਥ।
ਤਰਕ ਦਾ ਨਕਾਬ: ਜਦੋਂ ਚੇਨ-ਆਫ-ਥੌਟ ਅੰਦਰੂਨੀ ਹਕੀਕਤ ਤੋਂ ਵੱਖ ਹੋ ਜਾਂਦੀ ਹੈ
ਆਧੁਨਿਕ ਪ੍ਰੋਂਪਟਿੰਗ ਤਕਨੀਕਾਂ ਅਕਸਰ LLMs ਨੂੰ ‘ਚੇਨ-ਆਫ-ਥੌਟ’ (CoT) ਤਰਕ ਨਾਮਕ ਵਿਧੀ ਦੁਆਰਾ ‘ਆਪਣਾ ਕੰਮ ਦਿਖਾਉਣ’ ਲਈ ਉਤਸ਼ਾਹਿਤ ਕਰਦੀਆਂ ਹਨ। ਉਪਭੋਗਤਾ ਮਾਡਲ ਨੂੰ ਕਿਸੇ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਦੇ ਸਮੇਂ ‘ਕਦਮ-ਦਰ-ਕਦਮ ਸੋਚਣ’ ਲਈ ਨਿਰਦੇਸ਼ ਦੇ ਸਕਦੇ ਹਨ, ਅਤੇ ਮਾਡਲ ਅੰਤਿਮ ਜਵਾਬ ਵੱਲ ਲੈ ਜਾਣ ਵਾਲੇ ਵਿਚਕਾਰਲੇ ਤਰਕ ਕਦਮਾਂ ਦੇ ਕ੍ਰਮ ਨੂੰ ਆਉਟਪੁੱਟ ਕਰਕੇ ਪਾਲਣਾ ਕਰੇਗਾ। ਇਸ ਅਭਿਆਸ ਨੂੰ ਗੁੰਝਲਦਾਰ ਕਾਰਜਾਂ ‘ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਲਈ ਦਿਖਾਇਆ ਗਿਆ ਹੈ ਅਤੇ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਮਾਡਲ ਦੀ ਪ੍ਰਕਿਰਿਆ ਦਾ ਇੱਕ ਪ੍ਰਤੀਤ ਤੌਰ ‘ਤੇ ਪਾਰਦਰਸ਼ੀ ਦ੍ਰਿਸ਼ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਹਾਲਾਂਕਿ, Anthropic ਦੀ ਖੋਜ ਇਸ ਸਮਝੀ ਗਈ ਪਾਰਦਰਸ਼ਤਾ ਲਈ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਚੇਤਾਵਨੀ ਪੇਸ਼ ਕਰਦੀ ਹੈ। ਉਹਨਾਂ ਦੀ ਸਰਕਟ ਟਰੇਸਿੰਗ ਨੇ ਅਜਿਹੇ ਮਾਮਲਿਆਂ ਦਾ ਖੁਲਾਸਾ ਕੀਤਾ ਜਿੱਥੇ ਸਪਸ਼ਟ ਤੌਰ ‘ਤੇ ਦੱਸੀ ਗਈ ਚੇਨ-ਆਫ-ਥੌਟ ਅਸਲ ਗਣਨਾਤਮਕ ਮਾਰਗਾਂ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਨਹੀਂ ਦਰਸਾਉਂਦੀ ਸੀ ਜੋ ਸਮੱਸਿਆ-ਹੱਲ ਕਰਨ ਦੌਰਾਨ ਮਾਡਲ ਦੇ ਅੰਦਰ ਸਰਗਰਮ ਕੀਤੇ ਜਾ ਰਹੇ ਸਨ।
ਸੰਖੇਪ ਵਿੱਚ, ਮਾਡਲ ਵੱਖ-ਵੱਖ, ਸੰਭਾਵੀ ਤੌਰ ‘ਤੇ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ ਜਾਂ ਘੱਟ ਵਿਆਖਿਆਯੋਗ ਅੰਦਰੂਨੀ ਤੰਤਰਾਂ ਦੁਆਰਾ ਜਵਾਬ ‘ਤੇ ਪਹੁੰਚਣ ਤੋਂ ਬਾਅਦ ਇੱਕ ਭਰੋਸੇਯੋਗ-ਲੱਗਣ ਵਾਲੀ ਤਰਕ ਕਹਾਣੀ ਤਿਆਰ ਕਰ ਰਿਹਾ ਹੋ ਸਕਦਾ ਹੈ। ਬਿਆਨ ਕੀਤੀ ‘ਚੇਨ ਆਫ ਥੌਟ’ ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ, ਇੱਕ ਪੋਸਟ-ਹਾਕ ਤਰਕਸ਼ੀਲਤਾ ਜਾਂ ਤਰਕ ਨੂੰ ਪੇਸ਼ ਕਰਨ ਦੇ ਤਰੀਕੇ ਦਾ ਇੱਕ ਸਿੱਖਿਆ ਹੋਇਆ ਪੈਟਰਨ ਹੋ ਸਕਦੀ ਹੈ, ਨਾ ਕਿ ਅੰਦਰੂਨੀ ਗਣਨਾਵਾਂ ਦਾ ਇੱਕ ਵਫ਼ਾਦਾਰ ਲੌਗ। ਇਸਦਾ ਮਤਲਬ ਜ਼ਰੂਰੀ ਤੌਰ ‘ਤੇ ਮਨੁੱਖੀ ਅਰਥਾਂ ਵਿੱਚ ਜਾਣਬੁੱਝ ਕੇ ਧੋਖਾਧੜੀ ਨਹੀਂ ਹੈ, ਬਲਕਿ ਇਹ ਕਿ ਕਦਮ-ਦਰ-ਕਦਮ ਵਿਆਖਿਆ ਤਿਆਰ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਹੱਲ ਲੱਭਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਤੋਂ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ। ਮਾਡਲ ਸਿੱਖਦਾ ਹੈ ਕਿ ਅਜਿਹੇ ਕਦਮ ਪ੍ਰਦਾਨ ਕਰਨਾ ਇੱਕ ਵਧੀਆ ਜਵਾਬ ਤਿਆਰ ਕਰਨ ਦਾ ਹਿੱਸਾ ਹੈ, ਪਰ ਕਦਮ ਖੁਦ ਕੋਰ ਹੱਲ ਮਾਰਗ ਨਾਲ ਕਾਰਨ-ਕਾਰਜ ਰੂਪ ਵਿੱਚ ਜੁੜੇ ਨਹੀਂ ਹੋ ਸਕਦੇ ਜਿਵੇਂ ਕਿ ਇੱਕ ਮਨੁੱਖ ਦੇ ਚੇਤੰਨ ਤਰਕ ਕਦਮ ਹੁੰਦੇ ਹਨ। ਇਹ ਖੋਜ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇਹ ਇਸ ਧਾਰਨਾ ਨੂੰ ਚੁਣੌਤੀ ਦਿੰਦੀ ਹੈ ਕਿ CoT ਮਾਡਲ ਦੀ ਅੰਦਰੂਨੀ ਸਥਿਤੀ ਵਿੱਚ ਇੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਵਫ਼ਾਦਾਰ ਝਰੋਖਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਹ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ ਕਿ ਜੋ ਮਾਡਲ ਆਪਣੀ ਤਰਕ ਪ੍ਰਕਿਰਿਆ ਵਜੋਂ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦਾ ਹੈ ਉਹ ਕਈ ਵਾਰ ਇੱਕ ਪ੍ਰਦਰਸ਼ਨ ਹੋ ਸਕਦਾ ਹੈ, ਉਪਭੋਗਤਾ ਲਈ ਤਿਆਰ ਕੀਤੀ ਗਈ ਇੱਕ ਭਰੋਸੇਯੋਗ ਕਹਾਣੀ, ਸੰਭਾਵੀ ਤੌਰ ‘ਤੇ ਸਤ੍ਹਾ ਦੇ ਹੇਠਾਂ ਹੋਣ ਵਾਲੇ ਵਧੇਰੇ ਗੁੰਝਲਦਾਰ, ਅਤੇ ਸ਼ਾਇਦ ਘੱਟ ਸਹਿਜ, ਕਾਰਜਾਂ ਨੂੰ ਛੁਪਾਉਂਦੀ ਹੈ। ਇਹ ਸਰਕਟ ਟਰੇਸਿੰਗ ਵਰਗੀਆਂ ਤਕਨੀਕਾਂ ਦੀ ਮਹੱਤਤਾ ਨੂੰ ਰੇਖਾਂਕਿਤ ਕਰਦਾ ਹੈ ਤਾਂ ਜੋ ਇਹ ਪੁਸ਼ਟੀ ਕੀਤੀ ਜਾ ਸਕੇ ਕਿ ਕੀ ਬਾਹਰੀ ਵਿਆਖਿਆਵਾਂ ਅਸਲ ਵਿੱਚ ਅੰਦਰੂਨੀ ਕਾਰਜ ਨਾਲ ਮੇਲ ਖਾਂਦੀਆਂ ਹਨ।
ਗੈਰ-ਰਵਾਇਤੀ ਮਾਰਗ: ਜਾਣੀਆਂ-ਪਛਾਣੀਆਂ ਸਮੱਸਿਆਵਾਂ ਲਈ AI ਦੇ ਨਵੇਂ ਪਹੁੰਚ
Anthropic ਦੁਆਰਾ ਮਾਡਲ ਦੇ ਅੰਦਰੂਨੀ ਹਿੱਸਿਆਂ ਦੀ ਡੂੰਘੀ ਖੋਜ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੀ ਇੱਕ ਹੋਰ ਦਿਲਚਸਪ ਸਮਝ ਸਮੱਸਿਆ-ਹੱਲ ਕਰਨ ਦੀਆਂ ਰਣਨੀਤੀਆਂ ਨਾਲ ਸਬੰਧਤ ਹੈ, ਖਾਸ ਕਰਕੇ ਗਣਿਤ ਵਰਗੇ ਖੇਤਰਾਂ ਵਿੱਚ। ਜਦੋਂ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਇਹ ਦੇਖਣ ਲਈ ਆਪਣੀਆਂ ਸਰਕਟ-ਟਰੇਸਿੰਗ ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਕਿ ਮਾਡਲਾਂ ਨੇ ਮੁਕਾਬਲਤਨ ਸਧਾਰਨ ਗਣਿਤ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਕਿਵੇਂ ਹੱਲ ਕੀਤਾ, ਤਾਂ ਉਹਨਾਂ ਨੇ ਕੁਝ ਅਚਾਨਕ ਖੋਜਿਆ: ਮਾਡਲਾਂ ਨੇ ਕਈ ਵਾਰ ਸਹੀ ਹੱਲਾਂ ‘ਤੇ ਪਹੁੰਚਣ ਲਈ ਬਹੁਤ ਹੀ ਅਸਾਧਾਰਨ ਅਤੇ ਗੈਰ-ਮਨੁੱਖੀ ਤਰੀਕਿਆਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ। ਇਹ ਉਹ ਐਲਗੋਰਿਦਮ ਜਾਂ ਕਦਮ-ਦਰ-ਕਦਮ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨਹੀਂ ਸਨ ਜੋ ਸਕੂਲਾਂ ਵਿੱਚ ਸਿਖਾਈਆਂ ਜਾਂਦੀਆਂ ਹਨ ਜਾਂ ਆਮ ਤੌਰ ‘ਤੇ ਮਨੁੱਖੀ ਗਣਿਤ ਵਿਗਿਆਨੀਆਂ ਦੁਆਰਾ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ।
ਇਸ ਦੀ ਬਜਾਏ, ਮਾਡਲਾਂ ਨੇ ਆਪਣੇ ਸਿਖਲਾਈ ਡੇਟਾ ਦੇ ਅੰਦਰ ਪੈਟਰਨਾਂ ਅਤੇ ਉਹਨਾਂ ਦੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਦੀ ਬਣਤਰ ਵਿੱਚ ਜੜ੍ਹਾਂ ਵਾਲੀਆਂ ਨਵੀਆਂ, ਉੱਭਰਦੀਆਂ ਰਣਨੀਤੀਆਂ ਦੀ ਖੋਜ ਜਾਂ ਵਿਕਾਸ ਕੀਤਾ ਜਾਪਦਾ ਸੀ। ਇਹ ਤਰੀਕੇ, ਸਹੀ ਜਵਾਬ ਪੈਦਾ ਕਰਨ ਵਿੱਚ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਅਕਸਰ ਮਨੁੱਖੀ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਅਜੀਬ ਲੱਗਦੇ ਸਨ। ਇਹ ਮਨੁੱਖੀ ਸਿਖਲਾਈ, ਜੋ ਅਕਸਰ ਸਥਾਪਿਤ ਸਵੈ-ਸਿੱਧੀਆਂ, ਤਰਕਪੂਰਨ ਕਟੌਤੀ, ਅਤੇ ਢਾਂਚਾਗਤ ਪਾਠਕ੍ਰਮ ‘ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ, ਅਤੇ ਜਿਸ ਤਰੀਕੇ ਨਾਲ LLMs ਵਿਸ਼ਾਲ ਡੇਟਾਸੈਟਾਂ ਵਿੱਚ ਪੈਟਰਨ ਪਛਾਣ ਦੁਆਰਾ ਸਿੱਖਦੇ ਹਨ, ਵਿਚਕਾਰ ਇੱਕ ਬੁਨਿਆਦੀ ਅੰਤਰ ਨੂੰ ਉਜਾਗਰ ਕਰਦਾ ਹੈ। ਮਾਡਲ ਮਨੁੱਖੀ ਸਿੱਖਿਆ ਸ਼ਾਸਤਰੀ ਪਰੰਪਰਾਵਾਂ ਜਾਂ ਬੋਧਾਤਮਕ ਪੱਖਪਾਤਾਂ ਦੁਆਰਾ ਸੀਮਤ ਨਹੀਂ ਹਨ; ਉਹ ਆਪਣੇ ਉੱਚ-ਅਯਾਮੀ ਪੈਰਾਮੀਟਰ ਸਪੇਸ ਦੇ ਅੰਦਰ ਕਿਸੇ ਹੱਲ ਲਈ ਸਭ ਤੋਂ ਵੱਧ ਅੰਕੜਾਤਮਕ ਤੌਰ ‘ਤੇ ਕੁਸ਼ਲ ਮਾਰਗ ਲੱਭਣ ਲਈ ਸੁਤੰਤਰ ਹਨ, ਭਾਵੇਂ ਉਹ ਮਾਰਗ ਸਾਨੂੰ ਅਜੀਬ ਜਾਂ ਉਲਟ-ਸਹਿਜ ਜਾਪਦਾ ਹੋਵੇ। ਇਹ ਖੋਜ ਦਿਲਚਸਪ ਸੰਭਾਵਨਾਵਾਂ ਖੋਲ੍ਹਦੀ ਹੈ। ਕੀ AI, ਇਹਨਾਂ ਗੈਰ-ਰਵਾਇਤੀ ਗਣਨਾਤਮਕ ਮਾਰਗਾਂ ਦੀ ਪੜਚੋਲ ਕਰਕੇ, ਸੱਚਮੁੱਚ ਨਵੀਆਂ ਗਣਿਤਿਕ ਸੂਝਾਂ ਜਾਂ ਵਿਗਿਆਨਕ ਸਿਧਾਂਤਾਂ ਦਾ ਪਰਦਾਫਾਸ਼ ਕਰ ਸਕਦਾ ਹੈ? ਇਹ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ ਕਿ AI ਸਿਰਫ਼ ਮਨੁੱਖੀ ਬੁੱਧੀ ਦੀ ਨਕਲ ਹੀ ਨਹੀਂ ਕਰ ਸਕਦਾ ਬਲਕਿ ਸੰਭਾਵੀ ਤੌਰ ‘ਤੇ ਸਮੱਸਿਆ-ਹੱਲ ਕਰਨ ਦੇ ਬਿਲਕੁਲ ਵੱਖਰੇ ਰੂਪਾਂ ਦੀ ਖੋਜ ਕਰ ਸਕਦਾ ਹੈ, ਅਜਿਹੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਅਤੇ ਤਕਨੀਕਾਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ ਜਿਹਨਾਂ ਬਾਰੇ ਮਨੁੱਖਾਂ ਨੇ ਸ਼ਾਇਦ ਕਦੇ ਸੋਚਿਆ ਵੀ ਨਾ ਹੋਵੇ। ਇਹਨਾਂ ਅਜੀਬ ਗਣਨਾਤਮਕ ਰਣਨੀਤੀਆਂ ਦਾ ਨਿਰੀਖਣ ਬੁੱਧੀ ਦੇ ਵਿਸ਼ਾਲ, ਅਣਪਛਾਤੇ ਖੇਤਰ, ਨਕਲੀ ਅਤੇ ਕੁਦਰਤੀ ਦੋਵਾਂ ਦੀ, ਇੱਕ ਨਿਮਰ ਯਾਦ ਦਿਵਾਉਂਦਾ ਹੈ।
ਧਾਗਿਆਂ ਨੂੰ ਬੁਣਨਾ: ਭਰੋਸੇ, ਸੁਰੱਖਿਆ, ਅਤੇ AI ਦੂਰੀ ਲਈ ਪ੍ਰਭਾਵ
Anthropic ਦੀ ਸਰਕਟ-ਟਰੇਸਿੰਗ ਖੋਜ ਦੁਆਰਾ ਪੈਦਾ ਕੀਤੀਆਂ ਗਈਆਂ ਸੂਝਾਂ ਸਿਰਫ਼ ਤਕਨੀਕੀ ਉਤਸੁਕਤਾ ਤੋਂ ਬਹੁਤ ਪਰੇ ਹਨ। ਉਹ ਸਿੱਧੇ ਤੌਰ ‘ਤੇ ਕੰਪਨੀ ਦੇ ਦੱਸੇ ਗਏ ਮਿਸ਼ਨ ਨਾਲ ਜੁੜੇ ਹੋਏ ਹਨ, ਜੋ AI ਸੁਰੱਖਿਆ ‘ਤੇ ਬਹੁਤ ਜ਼ੋਰ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਵਿਆਪਕ ਉਦਯੋਗ ਦੇ ਸੰਘਰਸ਼ ਨਾਲ ਗੂੰਜਦਾ ਹੈ ਤਾਂ ਜੋ ਅਜਿਹੀ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ ਬਣਾਈ ਜਾ ਸਕੇ ਜੋ ਨਾ ਸਿਰਫ਼ ਸ਼ਕਤੀਸ਼ਾਲੀ ਹੋਵੇ ਬਲਕਿ ਭਰੋਸੇਯੋਗ, ਵਿਸ਼ਵਾਸਯੋਗ, ਅਤੇ ਮਨੁੱਖੀ ਕਦਰਾਂ-ਕੀਮਤਾਂ ਨਾਲ ਇਕਸਾਰ ਵੀ ਹੋਵੇ। ਇਹ ਸਮਝਣਾ ਕਿ ਇੱਕ ਮਾਡਲ ਆਪਣੇ ਸਿੱਟਿਆਂ ‘ਤੇ ਕਿਵੇਂ ਪਹੁੰਚਦਾ ਹੈ, ਇਹਨਾਂ ਟੀਚਿਆਂ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਬੁਨਿਆਦੀ ਹੈ।
ਆਉਟਪੁੱਟ ਨਾਲ ਸਬੰਧਤ ਖਾਸ ਮਾਰਗਾਂ ਨੂੰ ਟਰੇਸ ਕਰਨ ਦੀ ਯੋਗਤਾ ਵਧੇਰੇ ਨਿਸ਼ਾਨਾ ਦਖਲਅੰਦਾਜ਼ੀ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ। ਜੇਕਰ ਕੋਈ ਮਾਡਲ ਪੱਖਪਾਤ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਤਾਂ ਖੋਜਕਰਤਾ ਸੰਭਾਵੀ ਤੌਰ ‘ਤੇ ਜ਼ਿੰਮੇਵਾਰ ਖਾਸ ਸਰਕਟਾਂ ਦੀ ਪਛਾਣ ਕਰ ਸਕ