Janji AGI
Dalam bidang kecerdasan buatan yang berkembang pesat, konsep ‘artificial general intelligence’ (AGI) telah menjadi prospek yang menarik. Para pemimpin industri semakin menyarankan bahwa kita berada di puncak penciptaan agen virtual yang mampu menyamai, atau bahkan melampaui, pemahaman dan kinerja manusia di berbagai tugas kognitif. Antisipasi ini telah memicu perlombaan di antara perusahaan-perusahaan teknologi, masing-masing berusaha untuk menjadi yang pertama mencapai tonggak terobosan ini.
OpenAI, pemain utama di arena AI, secara halus mengisyaratkan kedatangan agen AI ‘tingkat PhD’ yang akan datang. Agen ini, menurut mereka, dapat beroperasi secara mandiri, bekerja pada tingkat ‘pekerja pengetahuan berpenghasilan tinggi’. Elon Musk, pengusaha yang selalu ambisius, telah membuat prediksi yang lebih berani, menyatakan bahwa kita mungkin akan memiliki AI yang ‘lebih pintar dari manusia mana pun’ pada akhir tahun 2025. Dario Amodei, CEO Anthropic, perusahaan AI terkemuka lainnya, menawarkan lini masa yang sedikit lebih konservatif tetapi memiliki visi yang sama, menunjukkan bahwa AI dapat ‘lebih baik dari manusia dalam hampir segala hal’ pada akhir tahun 2027.
Eksperimen ‘Claude Plays Pokémon’ Anthropic
Di tengah latar belakang prediksi ambisius ini, Anthropic memperkenalkan eksperimen ‘Claude Plays Pokémon’ bulan lalu. Proyek ini, yang disajikan sebagai langkah menuju masa depan AGI yang diprediksi, digambarkan sebagai pameran ‘secercah sistem AI yang mengatasi tantangan dengan kompetensi yang meningkat, tidak hanya melalui pelatihan tetapi dengan penalaran umum’. Anthropic mengumpulkan perhatian yang signifikan dengan menyoroti bagaimana ‘kemampuan penalaran yang ditingkatkan’ Claude 3.7 Sonnet memungkinkan model terbaru perusahaan untuk membuat kemajuan dalam RPG Game Boy klasik, Pokémon, dengan cara yang ‘model lama memiliki sedikit harapan untuk dicapai’.
Perusahaan menekankan bahwa ‘pemikiran yang diperluas’ Claude 3.7 Sonnet memungkinkan model baru untuk ‘merencanakan ke depan, mengingat tujuannya, dan beradaptasi ketika strategi awal gagal’. Ini, menurut Anthropic, adalah ‘keterampilan penting untuk melawan pemimpin gym berpiksel. Dan, kami mendalilkan, dalam memecahkan masalah dunia nyata juga’. Implikasinya jelas: Kemajuan Claude di Pokémon bukan hanya permainan; itu adalah demonstrasi kemampuan AI yang berkembang untuk mengatasi tantangan dunia nyata yang kompleks.
Pemeriksaan Realitas: Perjuangan Claude
Namun, kegembiraan awal seputar kinerja Pokémon Claude telah diredam oleh kenyataan. Sementara Claude 3.7 Sonnet tidak diragukan lagi mengungguli pendahulunya, ia belum mencapai penguasaan atas permainan. Ribuan pemirsa di Twitch telah menyaksikan perjuangan Claude yang sedang berlangsung, mengamati kesalahannya yang sering dan ketidakefisienannya.
Meskipun jeda ‘berpikir’ yang diperpanjang di antara gerakan – di mana pemirsa dapat mengamati proses penalaran simulasi sistem – Claude sering menemukan dirinya:
- Mengunjungi kembali kota yang telah selesai: AI sering kembali ke area yang telah dijelajahi, tampaknya tanpa tujuan.
- Terjebak di sudut buta: Claude sering terjebak di sudut peta untuk waktu yang lama, tidak dapat menavigasi jalan keluarnya.
- Berulang kali berinteraksi dengan NPC yang tidak membantu: AI telah diamati terlibat dalam percakapan yang sia-sia dengan karakter non-pemain yang sama berulang kali.
Contoh-contoh kinerja dalam game yang jelas di bawah manusia ini melukiskan gambaran yang jauh dari kecerdasan super yang dibayangkan oleh beberapa orang. Menyaksikan Claude berjuang dengan permainan yang dirancang untuk anak-anak, menjadi sulit untuk membayangkan bahwa kita sedang menyaksikan awal dari era baru kecerdasan komputer.
Pelajaran dari Performa di Bawah Manusia
Terlepas dari kekurangannya, tingkat kinerja Pokémon Claude saat ini menawarkan wawasan berharga tentang pencarian berkelanjutan untuk kecerdasan buatan tingkat manusia yang umum. Bahkan perjuangannya menyimpan pelajaran penting yang dapat menginformasikan upaya pengembangan di masa depan.
Dalam arti tertentu, sungguh luar biasa bahwa Claude dapat memainkan Pokémon sama sekali. Saat mengembangkan sistem AI untuk game seperti Go dan Dota 2, para insinyur biasanya memberi algoritme mereka pengetahuan luas tentang aturan dan strategi game, bersama dengan fungsi hadiah untuk memandu pembelajaran mereka. Sebaliknya, David Hershey, pengembang di balik proyek Claude Plays Pokémon, memulai dengan model Claude umum yang tidak dimodifikasi yang belum dilatih atau disetel secara khusus untuk memainkan game Pokémon.
Hershey menjelaskan kepada Ars, ‘Ini murni berbagai hal lain yang [Claude] pahami tentang dunia yang digunakan untuk menunjuk video game’. Dia menambahkan, ‘Jadi ia memiliki rasa Pokémon. Jika Anda pergi ke claude.ai dan bertanya tentang Pokémon, ia tahu apa itu Pokémon berdasarkan apa yang telah dibacanya… Jika Anda bertanya, ia akan memberi tahu Anda ada delapan lencana gym, ia akan memberi tahu Anda yang pertama adalah Brock… ia tahu struktur luasnya’.
Tantangan Interpretasi Visual
Selain memantau alamat RAM Game Boy utama untuk informasi status game, Claude menafsirkan output visual game seperti yang dilakukan pemain manusia. Namun, terlepas dari kemajuan terbaru dalam pemrosesan gambar AI, Claude masih berjuang untuk menafsirkan dunia berpiksel beresolusi rendah dari tangkapan layar Game Boy dengan akurasi yang sama seperti manusia.
‘Claude masih belum terlalu bagus dalam memahami apa yang ada di layar sama sekali,’ Hershey mengakui. ‘Anda akan melihatnya mencoba berjalan ke dinding sepanjang waktu’.
Hershey menduga bahwa data pelatihan Claude mungkin tidak memiliki deskripsi tekstual terperinci dari gambar yang menyerupai layar Game Boy. Ini berarti bahwa, agak berlawanan dengan intuisi, Claude mungkin benar-benar bekerja lebih baik dengan citra yang lebih realistis.
‘Ini adalah salah satu hal lucu tentang manusia bahwa kita dapat menyipitkan mata pada gumpalan orang delapan kali delapan piksel ini dan berkata, ‘Itu seorang gadis dengan rambut biru’,’ kata Hershey. ‘Orang-orang, saya pikir, memiliki kemampuan untuk memetakan dari dunia nyata kita untuk memahami dan semacam memahami bahwa… jadi saya sejujurnya agak terkejut bahwa Claude sebagus itu dalam dapat melihat ada orang di layar’.
Kekuatan yang Berbeda, Kelemahan yang Berbeda
Bahkan dengan interpretasi visual yang sempurna, Hershey percaya Claude masih akan berjuang dengan tantangan navigasi 2D yang sepele bagi manusia. ‘Cukup mudah bagi saya untuk memahami bahwa bangunan [dalam game] adalah bangunan dan bahwa saya tidak dapat berjalan melalui bangunan,’ katanya. ‘Dan itu [sesuatu] yang cukup menantang bagi Claude untuk dipahami… Lucu karena itu hanya semacam pintar dengan cara yang berbeda, Anda tahu?’
Di mana Claude unggul, menurut Hershey, adalah dalam aspek permainan yang lebih berbasis teks. Selama pertempuran, Claude dengan mudah memperhatikan ketika permainan menunjukkan bahwa serangan Pokémon tipe listrik ‘tidak terlalu efektif’ terhadap lawan tipe batu. Kemudian menyimpan informasi ini dalam basis pengetahuan tertulisnya yang luas untuk referensi di masa mendatang. Claude juga dapat mengintegrasikan beberapa potong pengetahuan ke dalam strategi pertempuran yang canggih, bahkan memperluas strategi ini ke dalam rencana jangka panjang untuk menangkap dan mengelola tim Pokémon.
Claude bahkan menunjukkan ‘kecerdasan’ yang mengejutkan ketika teks permainan sengaja menyesatkan atau tidak lengkap. Hershey mengutip tugas awal permainan di mana pemain disuruh mencari Profesor Oak di sebelah, hanya untuk menemukan dia tidak ada di sana. ‘Sebagai anak berusia 5 tahun, itu sangat membingungkan bagi saya,’ kata Hershey. ‘Tapi Claude sebenarnya biasanya melalui serangkaian gerakan yang sama di mana ia berbicara dengan ibu, pergi ke lab, tidak menemukan [Oak], mengatakan, ‘Saya perlu mencari tahu sesuatu’… Ini cukup canggih untuk semacam melalui gerakan cara [manusia] sebenarnya seharusnya mempelajarinya juga’.
Kekuatan dan kelemahan yang kontras ini, dibandingkan dengan permainan tingkat manusia, mencerminkan keadaan keseluruhan penelitian dan kemampuan AI, Hershey menjelaskan. ‘Saya pikir itu hanya semacam hal universal tentang model-model ini… Kami membangun sisi teksnya terlebih dahulu, dan sisi teksnya pasti… lebih kuat. Bagaimana model-model ini dapat bernalar tentang gambar semakin baik, tetapi saya pikir itu sedikit di belakang’.
Batas Memori
Di luar tantangan dengan interpretasi visual dan tekstual, Hershey mengakui bahwa Claude berjuang dengan ‘mengingat’ apa yang telah dipelajarinya. Model saat ini memiliki ‘jendela konteks’ 200.000 token, yang membatasi jumlah informasi relasional yang dapat disimpannya dalam ‘memori’ pada waktu tertentu. Ketika basis pengetahuan sistem yang berkembang mengisi jendela ini, Claude menjalani proses ringkasan yang rumit, memadatkan catatan terperinci menjadi ringkasan yang lebih pendek yang pasti kehilangan beberapa detail halus.
Ini dapat menyebabkan Claude ‘mengalami kesulitan melacak sesuatu untuk waktu yang sangat lama dan benar-benar memiliki pemahaman yang baik tentang apa yang telah dicobanya sejauh ini,’ kata Hershey. ‘Anda pasti akan melihatnya sesekali menghapus sesuatu yang seharusnya tidak dihapus. Apa pun yang tidak ada dalam basis pengetahuan Anda atau tidak ada dalam ringkasan Anda akan hilang, jadi Anda harus memikirkan apa yang ingin Anda masukkan ke sana’.
Bahaya Informasi yang Salah
Lebih bermasalah daripada melupakan informasi penting adalah kecenderungan Claude untuk secara tidak sengaja memasukkan informasi yang salah ke dalam basis pengetahuannya. Seperti seorang ahli teori konspirasi yang membangun pandangan dunia pada premis yang cacat, Claude bisa sangat lambat untuk mengenali ketika kesalahan dalam basis pengetahuan yang ditulis sendiri menyesatkan permainan Pokémon-nya.
‘Hal-hal yang tertulis di masa lalu, itu semacam kepercayaan yang cukup membabi buta,’ kata Hershey. ‘Saya telah melihatnya menjadi sangat yakin bahwa ia menemukan jalan keluar ke [lokasi dalam game] Viridian Forest pada koordinat tertentu, dan kemudian menghabiskan berjam-jam menjelajahi kotak kecil kecil di sekitar koordinat yang salah itu alih-alih melakukan hal lain. Butuh waktu yang sangat lama untuk memutuskan bahwa itu adalah ‘kegagalan’’.
Terlepas dari tantangan ini, Hershey mencatat bahwa Claude 3.7 Sonnet secara signifikan lebih baik daripada model sebelumnya dalam ‘mempertanyakan asumsinya, mencoba strategi baru, dan melacak cakrawala panjang dari berbagai strategi untuk [melihat] apakah mereka berhasil atau tidak’. Sementara model baru masih ‘berjuang untuk waktu yang sangat lama’ mencoba kembali tindakan yang sama, pada akhirnya cenderung ‘mendapatkan rasa tentang apa yang sedang terjadi dan apa yang telah dicobanya sebelumnya, dan sering kali tersandung ke dalam kemajuan aktual dari itu,’ kata Hershey.
Jalan ke Depan
Salah satu aspek paling menarik dari mengamati Claude Plays Pokémon di berbagai iterasi, kata Hershey, adalah melihat bagaimana kemajuan dan strategi sistem dapat bervariasi secara signifikan antar run. Terkadang, Claude menunjukkan ‘kemampuannya untuk benar-benar membangun strategi yang cukup koheren’ dengan ‘menyimpan catatan terperinci tentang berbagai jalur untuk dicoba,’ jelasnya. Tapi ‘sebagian besar waktu tidak… sebagian besar waktu, ia berjalan ke dinding karena yakin ia melihat jalan keluar’.
Salah satu keterbatasan utama dari versi Claude saat ini, menurut Hershey, adalah bahwa ‘ketika ia memperoleh strategi yang baik itu, saya tidak berpikir ia memiliki kesadaran diri untuk mengetahui bahwa satu strategi [yang] ia buat lebih baik daripada yang lain’. Dan itu, ia mengakui, bukanlah masalah sepele untuk dipecahkan.
Namun demikian, Hershey melihat ‘buah yang tergantung rendah’ untuk meningkatkan permainan Pokémon Claude dengan meningkatkan pemahaman model tentang tangkapan layar Game Boy. ‘Saya pikir ada kemungkinan ia bisa mengalahkan permainan jika ia memiliki pemahaman yang sempurna tentang apa yang ada di layar,’ katanya, menunjukkan bahwa model seperti itu kemungkinan akan tampil ‘sedikit di bawah manusia’.
Memperluas jendela konteks untuk model Claude di masa depan juga akan memungkinkan mereka untuk ‘bernalar dalam kerangka waktu yang lebih lama dan menangani berbagai hal dengan lebih koheren dalam jangka waktu yang lama,’ tambah Hershey. Model masa depan akan meningkat dengan menjadi ‘sedikit lebih baik dalam mengingat, melacak serangkaian yang koheren tentang apa yang perlu dicoba untuk membuat kemajuan,’ katanya.
Sementara prospek peningkatan yang akan datang dalam model AI tidak dapat disangkal, kinerja Pokémon Claude saat ini tidak menunjukkan bahwa ia berada di ambang mengantarkan era kecerdasan buatan tingkat manusia yang sepenuhnya dapat digeneralisasikan. Hershey mengakui bahwa menonton Claude 3.7 Sonnet terjebak di Mt. Moon selama 80 jam dapat membuatnya ‘tampak seperti model yang tidak tahu apa yang dilakukannya’.
Namun, Hershey tetap terkesan dengan secercah kesadaran sesekali yang ditampilkan oleh model penalaran baru Claude, mencatat bahwa kadang-kadang ‘akan memberi tahu bahwa ia tidak tahu apa yang dilakukannya dan tahu bahwa ia perlu melakukan sesuatu yang berbeda. Dan perbedaan antara ‘tidak bisa melakukannya sama sekali’ dan ‘bisa melakukannya’ adalah perbedaan yang cukup besar untuk hal-hal AI ini bagi saya,’ lanjutnya. ‘Anda tahu, ketika sesuatu dapat melakukan sesuatu, itu biasanya berarti kita cukup dekat untuk membuatnya dapat melakukan sesuatu dengan sangat, sangat baik’.