Janji AGI
Dalam bidang kecerdasan buatan yang semakin berkembang, konsep ‘kecerdasan am buatan’ (AGI) telah menjadi prospek yang menggiurkan. Pemimpin industri semakin mencadangkan bahawa kita berada di ambang mencipta ejen maya yang mampu menandingi, atau bahkan mengatasi, pemahaman dan prestasi manusia merentasi pelbagai tugas kognitif. Jangkaan ini telah memacu perlumbaan di kalangan syarikat teknologi, masing-masing berusaha untuk menjadi yang pertama mencapai kejayaan penting ini.
OpenAI, pemain utama dalam arena AI, secara halus membayangkan ketibaan ejen AI ‘tahap PhD’ yang akan datang. Ejen ini, mereka cadangkan, boleh beroperasi secara autonomi, berprestasi pada tahap ‘pekerja pengetahuan berpendapatan tinggi’. Elon Musk, usahawan yang sentiasa bercita-cita tinggi, telah membuat ramalan yang lebih berani, menyatakan bahawa kita mungkin akan mempunyai AI ‘lebih bijak daripada mana-mana manusia’ menjelang akhir tahun 2025. Dario Amodei, Ketua Pegawai Eksekutif Anthropic, sebuah lagi syarikat AI terkemuka, menawarkan garis masa yang lebih konservatif tetapi berkongsi visi yang sama, mencadangkan bahawa AI boleh menjadi ‘lebih baik daripada manusia dalam hampir semua perkara’ menjelang akhir tahun 2027.
Eksperimen ‘Claude Plays Pokémon’ Anthropic
Di tengah-tengah ramalan yang bercita-cita tinggi ini, Anthropic memperkenalkan eksperimen ‘Claude Plays Pokémon’ bulan lepas. Projek ini, yang dibentangkan sebagai satu langkah ke arah masa depan AGI yang diramalkan, digambarkan sebagai mempamerkan ‘kilauan sistem AI yang menangani cabaran dengan kecekapan yang semakin meningkat, bukan sahaja melalui latihan tetapi dengan penaakulan umum’. Anthropic mendapat perhatian yang ketara dengan menyerlahkan bagaimana ‘keupayaan penaakulan yang dipertingkatkan’ Claude 3.7 Sonnet membolehkan model terbaharu syarikat itu mencapai kemajuan dalam RPG Game Boy klasik, Pokémon, dengan cara yang ‘model lama tidak mempunyai harapan untuk mencapai’.
Syarikat itu menekankan bahawa ‘pemikiran lanjutan’ Claude 3.7 Sonnet membolehkan model baharu itu ‘merancang lebih awal, mengingati objektifnya, dan menyesuaikan diri apabila strategi awal gagal’. Ini, hujah Anthropic, adalah ‘kemahiran kritikal untuk melawan pemimpin gim berpiksel. Dan, kami berpendapat, dalam menyelesaikan masalah dunia sebenar juga’. Implikasinya jelas: Kemajuan Claude dalam Pokémon bukan sekadar permainan; ia adalah demonstrasi keupayaan AI yang semakin berkembang untuk menangani cabaran dunia sebenar yang kompleks.
Semakan Realiti: Perjuangan Claude
Walau bagaimanapun, keterujaan awal mengenai prestasi Pokémon Claude telah dikekang oleh dos realiti. Walaupun Claude 3.7 Sonnet sudah pasti mengatasi pendahulunya, ia belum mencapai penguasaan ke atas permainan itu. Beribu-ribu penonton di Twitch telah menyaksikan perjuangan berterusan Claude, memerhatikan kesilapan dan ketidakcekapannya yang kerap.
Walaupun jeda ‘berfikir’ yang dilanjutkan antara pergerakan – di mana penonton boleh memerhatikan proses penaakulan simulasi sistem – Claude sering mendapati dirinya:
- Melawat semula bandar yang telah siap: AI kerap kembali ke kawasan yang telah diterokainya, nampaknya tanpa tujuan.
- Terperangkap di sudut buta: Claude sering terperangkap di sudut peta untuk tempoh yang lama, tidak dapat menavigasi jalan keluarnya.
- Berinteraksi berulang kali dengan NPC yang tidak membantu: AI telah diperhatikan terlibat dalam perbualan yang tidak berbuah dengan watak bukan pemain yang sama berulang kali.
Contoh-contoh prestasi dalam permainan yang jelas di bawah manusia ini melukis gambaran yang jauh daripada kecerdasan super yang dibayangkan oleh sesetengah pihak. Menyaksikan Claude bergelut dengan permainan yang direka untuk kanak-kanak, menjadi sukar untuk membayangkan bahawa kita sedang menyaksikan permulaan era baharu kecerdasan komputer.
Pengajaran daripada Prestasi Sub-Manusia
Walaupun kekurangannya, tahap prestasi Pokémon Claude semasa menawarkan pandangan berharga ke dalam usaha berterusan untuk kecerdasan buatan peringkat manusia yang umum. Malah perjuangannya memegang pengajaran penting yang boleh memaklumkan usaha pembangunan masa depan.
Dalam erti kata lain, adalah luar biasa bahawa Claude boleh bermain Pokémon sama sekali. Apabila membangunkan sistem AI untuk permainan seperti Go dan Dota 2, jurutera biasanya menyediakan algoritma mereka dengan pengetahuan yang luas tentang peraturan dan strategi permainan, bersama-sama dengan fungsi ganjaran untuk membimbing pembelajaran mereka. Sebaliknya, David Hershey, pembangun di sebalik projek Claude Plays Pokémon, bermula dengan model Claude yang tidak diubah suai dan umum yang belum dilatih atau ditala secara khusus untuk bermain permainan Pokémon.
Hershey menjelaskan kepada Ars, “Ini hanyalah pelbagai perkara lain yang [Claude] fahami tentang dunia yang digunakan untuk menunjuk pada permainan video.” Dia menambah, “Jadi ia mempunyai rasa Pokémon. Jika anda pergi ke claude.ai dan bertanya tentang Pokémon, ia tahu apa itu Pokémon berdasarkan apa yang dibacanya… Jika anda bertanya, ia akan memberitahu anda terdapat lapan lencana gim, ia akan memberitahu anda yang pertama ialah Brock… ia tahu struktur yang luas.”
Cabaran Tafsiran Visual
Selain memantau alamat RAM Game Boy utama untuk maklumat keadaan permainan, Claude mentafsir output visual permainan sama seperti pemain manusia. Walau bagaimanapun, walaupun kemajuan terkini dalam pemprosesan imej AI, Claude masih bergelut untuk mentafsir dunia berpiksel resolusi rendah tangkapan skrin Game Boy dengan ketepatan yang sama seperti manusia.
“Claude masih tidak begitu baik dalam memahami apa yang ada pada skrin sama sekali,” Hershey mengakui. “Anda akan melihat ia cuba berjalan ke dinding sepanjang masa.”
Hershey mengesyaki bahawa data latihan Claude mungkin tidak mempunyai penerangan teks terperinci tentang imej yang menyerupai skrin Game Boy. Ini bermakna, agak bertentangan dengan intuisi, Claude mungkin sebenarnya berprestasi lebih baik dengan imejan yang lebih realistik.
“Ia adalah salah satu perkara lucu tentang manusia yang kita boleh menjeling gumpalan piksel lapan kali lapan orang ini dan berkata, ‘Itu seorang gadis berambut biru,’” kata Hershey. “Orang, saya fikir, mempunyai keupayaan untuk memetakan dari dunia sebenar kita untuk memahami dan semacam grok bahawa… jadi saya benar-benar agak terkejut bahawa Claude adalah sebaik yang dapat melihat ada orang di skrin.”
Kekuatan Berbeza, Kelemahan Berbeza
Walaupun dengan tafsiran visual yang sempurna, Hershey percaya Claude masih akan bergelut dengan cabaran navigasi 2D yang remeh bagi manusia. “Agak mudah bagi saya untuk memahami bahawa bangunan [dalam permainan] ialah bangunan dan saya tidak boleh berjalan melalui bangunan,” katanya. “Dan itu [sesuatu] yang agak mencabar untuk Claude fahami… Ia lucu kerana ia hanya semacam pintar dalam cara yang berbeza, anda tahu?”
Di mana Claude cemerlang, menurut Hershey, adalah dalam aspek permainan yang lebih berasaskan teks. Semasa pertempuran, Claude mudah menyedari apabila permainan menunjukkan bahawa serangan Pokémon jenis elektrik ‘tidak begitu berkesan’ terhadap lawan jenis batu. Ia kemudian menyimpan maklumat ini dalam pangkalan pengetahuan bertulisnya yang luas untuk rujukan masa hadapan. Claude juga boleh menyepadukan pelbagai pengetahuan ke dalam strategi pertempuran yang canggih, malah memanjangkan strategi ini ke dalam rancangan jangka panjang untuk menangkap dan mengurus pasukan Pokémon.
Claude juga menunjukkan ‘kecerdasan’ yang mengejutkan apabila teks permainan itu sengaja mengelirukan atau tidak lengkap. Hershey memetik tugas awal permainan di mana pemain diberitahu untuk mencari Profesor Oak di sebelah, hanya untuk mendapati dia tiada di sana. “Sebagai seorang kanak-kanak berusia 5 tahun, itu sangat mengelirukan saya,” kata Hershey. “Tetapi Claude sebenarnya biasanya melalui set gerakan yang sama di mana ia bercakap dengan ibu, pergi ke makmal, tidak menemui [Oak], berkata, ‘Saya perlu memikirkan sesuatu’… Ia cukup canggih untuk semacam melalui gerakan cara [manusia] sebenarnya sepatutnya mempelajarinya juga.”
Kekuatan dan kelemahan yang berbeza ini, berbanding dengan permainan peringkat manusia, mencerminkan keadaan keseluruhan penyelidikan dan keupayaan AI, jelas Hershey. “Saya fikir ia hanya semacam perkara universal tentang model ini… Kami membina bahagian teksnya dahulu, dan bahagian teksnya pastinya… lebih berkuasa. Bagaimana model ini boleh menaakul tentang imej semakin baik, tetapi saya fikir ia agak jauh di belakang.”
Had Memori
Di luar cabaran dengan tafsiran visual dan teks, Hershey mengakui bahawa Claude bergelut dengan ‘mengingati’ apa yang telah dipelajarinya. Model semasa mempunyai ‘tetingkap konteks’ sebanyak 200,000 token, yang mengehadkan jumlah maklumat hubungan yang boleh disimpannya dalam ‘memorinya’ pada bila-bila masa. Apabila pangkalan pengetahuan sistem yang berkembang memenuhi tetingkap ini, Claude menjalani proses ringkasan yang rumit, memampatkan nota terperinci ke dalam ringkasan yang lebih pendek yang pasti kehilangan beberapa butiran halus.
Ini boleh menyebabkan Claude ‘mengalami kesukaran untuk menjejaki perkara untuk masa yang sangat lama dan benar-benar mempunyai rasa yang hebat tentang apa yang telah dicubanya setakat ini,’ kata Hershey. “Anda pasti akan melihatnya kadangkala memadamkan sesuatu yang tidak sepatutnya. Apa-apa sahaja yang tiada dalam pangkalan pengetahuan anda atau tiada dalam ringkasan anda akan hilang, jadi anda perlu memikirkan perkara yang ingin anda letakkan di sana.”
Bahaya Maklumat yang Salah
Lebih bermasalah daripada melupakan maklumat penting ialah kecenderungan Claude untuk secara tidak sengaja memasukkan maklumat yang salah ke dalam pangkalan pengetahuannya. Seperti ahli teori konspirasi yang membina pandangan dunia berdasarkan premis yang cacat, Claude boleh menjadi sangat perlahan untuk menyedari apabila ralat dalam pangkalan pengetahuan yang dikarang sendiri menyesatkan permainan Pokémonnya.
“Perkara yang ditulis pada masa lalu, ia semacam percaya secara membuta tuli,” kata Hershey. “Saya telah melihatnya menjadi sangat yakin bahawa ia menemui jalan keluar ke [lokasi dalam permainan] Viridian Forest pada beberapa koordinat tertentu, dan kemudian ia menghabiskan berjam-jam meneroka petak kecil di sekeliling koordinat yang salah itu dan bukannya melakukan apa-apa lagi. Ia mengambil masa yang sangat lama untuk ia memutuskan bahawa itu adalah ‘gagal’.”
Walaupun menghadapi cabaran ini, Hershey menyatakan bahawa Claude 3.7 Sonnet adalah jauh lebih baik daripada model terdahulu dalam ‘menyoal andaiannya, mencuba strategi baharu dan menjejaki ufuk panjang pelbagai strategi untuk [melihat] sama ada ia berkesan atau tidak’. Walaupun model baharu itu masih ‘bergelut untuk tempoh masa yang sangat lama’ mencuba semula tindakan yang sama, ia akhirnya cenderung untuk ‘mendapat rasa apa yang sedang berlaku dan apa yang telah dicubanya sebelum ini, dan ia tersandung banyak kali ke dalam kemajuan sebenar daripada itu,’ kata Hershey.
Laluan ke Hadapan
Salah satu aspek yang paling menarik dalam memerhati Claude Plays Pokémon merentasi pelbagai lelaran, kata Hershey, ialah melihat bagaimana kemajuan dan strategi sistem boleh berbeza dengan ketara antara larian. Kadangkala, Claude menunjukkan ‘keupayaannya untuk benar-benar membina strategi yang agak koheren’ dengan ‘menyimpan nota terperinci tentang laluan berbeza untuk dicuba,’ jelasnya. Tetapi ‘kebanyakan masa ia tidak… kebanyakan masa, ia merayau ke dinding kerana ia yakin ia melihat jalan keluar.’
Salah satu batasan utama versi semasa Claude, menurut Hershey, ialah ‘apabila ia memperoleh strategi yang baik itu, saya tidak fikir ia semestinya mempunyai kesedaran diri untuk mengetahui bahawa satu strategi [yang] ia cipta adalah lebih baik daripada yang lain.’ Dan itu, dia mengakui, bukanlah masalah remeh untuk diselesaikan.
Walau bagaimanapun, Hershey melihat ‘buah yang tergantung rendah’ untuk meningkatkan permainan Pokémon Claude dengan meningkatkan pemahaman model tentang tangkapan skrin Game Boy. “Saya fikir ada peluang ia boleh mengalahkan permainan itu jika ia mempunyai rasa yang sempurna tentang apa yang ada pada skrin,” katanya, mencadangkan bahawa model sedemikian mungkin akan berprestasi ‘sedikit kurang daripada manusia’.
Meluaskan tetingkap konteks untuk model Claude masa hadapan juga mungkin akan membolehkan mereka ‘menaakul dalam jangka masa yang lebih lama dan mengendalikan perkara dengan lebih koheren dalam tempoh masa yang lama,’ tambah Hershey. Model masa hadapan akan bertambah baik dengan menjadi ‘sedikit lebih baik dalam mengingati, menjejaki set koheren tentang apa yang perlu dicuba untuk mencapai kemajuan,’ katanya.
Walaupun prospek penambahbaikan yang akan berlaku dalam model AI tidak dapat dinafikan, prestasi Pokémon Claude semasa tidak mencadangkan bahawa ia berada di ambang memulakan era kecerdasan buatan peringkat manusia yang boleh digeneralisasikan sepenuhnya. Hershey mengakui bahawa menonton Claude 3.7 Sonnet terperangkap di Mt. Moon selama 80 jam boleh menjadikannya ‘kelihatan seperti model yang tidak tahu apa yang dilakukannya’.
Walau bagaimanapun, Hershey tetap kagum dengan kilauan kesedaran sekali-sekala yang dipaparkan oleh model penaakulan baharu Claude, sambil menyatakan bahawa ia kadangkala ‘akan memberitahu bahawa ia tidak tahu apa yang dilakukannya dan tahu bahawa ia perlu melakukan sesuatu yang berbeza. Dan perbezaan antara ‘tidak boleh melakukannya sama sekali’ dan ‘boleh melakukannya’ adalah satu yang cukup besar untuk perkara AI ini bagi saya,” sambungnya. “Anda tahu, apabila sesuatu boleh melakukan sesuatu, ia biasanya bermakna kita hampir berjaya untuk membolehkannya melakukan sesuatu dengan sangat, sangat baik.”