چرا کلود آنتروپیک هنوز پوکمون را شکست نداده

وعده AGI

در زمینه رو به رشد هوش مصنوعی، مفهوم “هوش مصنوعی عمومی” (AGI) به یک چشم انداز وسوسه انگیز تبدیل شده است. رهبران صنعت به طور فزاینده ای اظهار می دارند که ما در آستانه ایجاد عامل های مجازی هستیم که قادر به تطبیق یا حتی پیشی گرفتن از درک و عملکرد انسان در طیف گسترده ای از وظایف شناختی هستند. این پیش بینی به رقابتی بین شرکت های فناوری دامن زده است که هر کدام تلاش می کنند اولین کسی باشند که به این نقطه عطف دست می یابند.

OpenAI، یک بازیگر اصلی در عرصه هوش مصنوعی، به طور نامحسوس به ورود قریب الوقوع یک عامل هوش مصنوعی “در سطح دکترا” اشاره می کند. آنها پیشنهاد می کنند که این عامل می تواند به طور مستقل عمل کند و در سطح یک “کارگر دانش با درآمد بالا” عمل کند. ایلان ماسک، کارآفرین جاه طلب، پیش بینی های جسورانه تری را ارائه کرده است و اظهار داشته است که ما احتمالاً تا پایان سال 2025 هوش مصنوعی “هوشمندتر از هر انسانی” خواهیم داشت. داریو آمودی، مدیرعامل Anthropic، یکی دیگر از شرکت های برجسته هوش مصنوعی، یک جدول زمانی کمی محافظه کارانه تر ارائه می دهد اما چشم انداز مشابهی را به اشتراک می گذارد و پیشنهاد می کند که هوش مصنوعی می تواند تا پایان سال 2027 “در تقریباً همه چیز بهتر از انسان باشد”.

آزمایش ‘کلود پوکمون بازی می کند’ آنتروپیک

در میان این پیش بینی های بلندپروازانه، Anthropic ماه گذشته آزمایش ‘کلود پوکمون بازی می کند’ خود را معرفی کرد. این پروژه، که به عنوان گامی به سوی آینده پیش بینی شده AGI ارائه شد، به عنوان نمایشی از “بارقه هایی از سیستم های هوش مصنوعی که با چالش ها با شایستگی فزاینده مقابله می کنند، نه فقط از طریق آموزش بلکه با استدلال تعمیم یافته” توصیف شد. Anthropic با برجسته کردن اینکه چگونه “قابلیت های استدلال بهبود یافته” Claude 3.7 Sonnet به آخرین مدل این شرکت امکان پیشرفت در بازی کلاسیک Game Boy RPG، Pokémon را به روش هایی داد که “مدل های قدیمی تر امید کمی به دستیابی به آن داشتند”، توجه قابل توجهی را به خود جلب کرد.

این شرکت تأکید کرد که “تفکر گسترده” Claude 3.7 Sonnet به مدل جدید اجازه می دهد تا “پیشاپیش برنامه ریزی کند، اهداف خود را به خاطر بسپارد و در صورت شکست استراتژی های اولیه، خود را تطبیق دهد.” Anthropic استدلال کرد که اینها “مهارت های حیاتی برای مبارزه با رهبران باشگاه های پیکسلی هستند. و ما فرض می کنیم که در حل مشکلات دنیای واقعی نیز همینطور است.” مفهوم روشن بود: پیشرفت کلود در Pokémon فقط یک بازی نبود. این نمایشی از توانایی رو به رشد هوش مصنوعی برای مقابله با چالش های پیچیده و واقعی بود.

بررسی واقعیت: چالش های کلود

با این حال، هیجان اولیه پیرامون عملکرد کلود در Pokémon با دوزی از واقعیت تعدیل شده است. در حالی که Claude 3.7 Sonnet بدون شک از پیشینیان خود بهتر عمل کرد، اما به تسلط بر بازی دست نیافته است. هزاران بیننده در Twitch شاهد چالش های مداوم کلود بوده اند و اشتباهات مکرر و ناکارآمدی های آن را مشاهده کرده اند.

با وجود مکث های “تفکر” طولانی بین حرکات – که در طی آن بینندگان می توانند فرآیند استدلال شبیه سازی شده سیستم را مشاهده کنند – کلود اغلب خود را در موارد زیر می یابد:

• بازدید مجدد از شهرهای تکمیل شده: هوش مصنوعی مکرراً به مناطقی که قبلاً کاوش کرده است، ظاهراً بدون هدف، باز می گردد.
• گیر کردن در گوشه های کور: کلود اغلب برای مدت طولانی در گوشه های نقشه به دام می افتد و نمی تواند راه خود را پیدا کند.
• تعامل مکرر با NPC های غیر مفید: مشاهده شده است که هوش مصنوعی بارها و بارها با همان شخصیت های غیر بازیکن وارد گفتگوهای بی ثمر می شود.

این نمونه‌ها از عملکرد زیر-انسانی در بازی، تصویری بسیار دور از ابرهوش پیش‌بینی‌شده توسط برخی را ترسیم می‌کنند. با تماشای کلود که با بازی‌ای طراحی‌شده برای کودکان دست و پنجه نرم می‌کند، تصور اینکه شاهد طلوع عصر جدیدی از هوش کامپیوتری هستیم، دشوار می‌شود.

درس هایی از عملکرد زیر-انسانی

با وجود کاستی هایش، سطح فعلی عملکرد کلود در Pokémon بینش های ارزشمندی را در مورد تلاش مداوم برای هوش مصنوعی تعمیم یافته و در سطح انسانی ارائه می دهد. حتی چالش های آن نیز درس های مهمی را در بر دارد که می تواند تلاش های توسعه آینده را آگاه کند.

به یک معنا، قابل توجه است که کلود اصلاً می تواند Pokémon بازی کند. هنگام توسعه سیستم های هوش مصنوعی برای بازی هایی مانند Go و Dota 2، مهندسان معمولاً دانش گسترده ای از قوانین و استراتژی های بازی، همراه با یک تابع پاداش برای هدایت یادگیری، به الگوریتم های خود ارائه می دهند. در مقابل، David Hershey، توسعه دهنده پروژه Claude Plays Pokémon، با یک مدل کلود تعمیم یافته و اصلاح نشده شروع کرد که به طور خاص برای بازی های Pokémon آموزش داده نشده یا تنظیم نشده بود.

هرشی به Ars توضیح داد: “این صرفاً چیزهای مختلف دیگری است که [کلود] در مورد جهان می فهمد و برای اشاره به بازی های ویدیویی استفاده می شود.” او افزود: “بنابراین، درکی از پوکمون دارد. اگر به claude.ai بروید و در مورد پوکمون بپرسید، بر اساس آنچه خوانده است، می داند پوکمون چیست… اگر بپرسید، به شما می گوید که هشت نشان باشگاه وجود دارد، به شما می گوید که اولین نشان Brock است… ساختار کلی را می داند.”

چالش های تفسیر بصری

علاوه بر نظارت بر آدرس های کلیدی RAM Game Boy برای اطلاعات وضعیت بازی، کلود خروجی بصری بازی را بسیار شبیه یک بازیکن انسانی تفسیر می کند. با این حال، با وجود پیشرفت های اخیر در پردازش تصویر هوش مصنوعی، کلود هنوز در تفسیر دنیای پیکسلی و با وضوح پایین یک اسکرین شات Game Boy با همان دقتی که یک انسان دارد، مشکل دارد.

هرشی اعتراف کرد: “کلود هنوز در درک آنچه روی صفحه است، به ویژه خوب نیست.” “شما خواهید دید که دائماً سعی می کند به سمت دیوارها راه برود.”

هرشی گمان می کند که داده های آموزشی کلود احتمالاً فاقد توصیف های متنی دقیق از تصاویر شبیه به صفحه های Game Boy است. این بدان معناست که، تا حدودی غیر شهودی، کلود ممکن است در واقع با تصاویر واقعی تر عملکرد بهتری داشته باشد.

هرشی خاطرنشان کرد: “این یکی از آن چیزهای خنده دار در مورد انسان ها است که ما می توانیم به این لکه های پیکسلی هشت در هشت افراد نگاه کنیم و بگوییم، ‘این یک دختر با موهای آبی است’.” “به نظر من، مردم این توانایی را دارند که از دنیای واقعی ما نقشه برداری کنند تا بفهمند و درک کنند که… بنابراین من صادقانه از اینکه کلود چقدر در دیدن اینکه یک شخص روی صفحه است، خوب است، شگفت زده هستم.”

نقاط قوت متفاوت، نقاط ضعف متفاوت

حتی با تفسیر بصری کامل، هرشی معتقد است که کلود همچنان با چالش های ناوبری دو بعدی که برای انسان ها پیش پا افتاده است، دست و پنجه نرم می کند. او گفت: “برای من بسیار آسان است که بفهمم [یک ساختمان درون بازی] یک ساختمان است و نمی توانم از میان یک ساختمان عبور کنم.” “و این [چیزی] است که درک آن برای کلود بسیار چالش برانگیز است… خنده دار است زیرا به نوعی از راه های مختلف هوشمند است، می دانید؟”

به گفته هرشی، جایی که کلود برتری دارد، در جنبه های متنی تر بازی است. در طول نبردها، کلود به راحتی متوجه می شود که بازی نشان می دهد حمله یک پوکمون از نوع الکتریکی در برابر یک حریف از نوع سنگی “خیلی موثر نیست”. سپس این اطلاعات را در پایگاه دانش نوشتاری گسترده خود برای مراجعات بعدی ذخیره می کند. کلود همچنین می تواند چندین قطعه دانش را در استراتژی های نبرد پیچیده ادغام کند، حتی این استراتژی ها را به برنامه های بلندمدت برای گرفتن و مدیریت تیم های پوکمون گسترش دهد.

کلود حتی زمانی که متن بازی عمداً گمراه کننده یا ناقص باشد، “هوش” شگفت انگیزی از خود نشان می دهد. هرشی به یک وظیفه در اوایل بازی اشاره کرد که در آن به بازیکن گفته می شود پروفسور اوک را در همسایگی پیدا کند، اما متوجه می شود که او آنجا نیست. هرشی گفت: “به عنوان یک کودک 5 ساله، این برای من بسیار گیج کننده بود.” “اما کلود در واقع معمولاً همان مجموعه حرکات را طی می کند که با مادر صحبت می کند، به آزمایشگاه می رود، [اوک] را پیدا نمی کند، می گوید، ‘من باید چیزی را بفهمم’… به اندازه کافی پیچیده است که به نوعی حرکات را به روشی که [انسان ها] واقعاً قرار است آن را یاد بگیرند، طی کند.”

این نقاط قوت و ضعف متضاد، در مقایسه با بازی در سطح انسانی، منعکس کننده وضعیت کلی تحقیقات و قابلیت های هوش مصنوعی است، هرشی توضیح داد. “من فکر می کنم این فقط یک چیز جهانی در مورد این مدل ها است… ما ابتدا قسمت متنی آن را ساختیم، و قسمت متنی قطعاً… قدرتمندتر است. نحوه استدلال این مدل ها در مورد تصاویر در حال بهتر شدن است، اما من فکر می کنم کمی عقب تر است.”

محدودیت های حافظه

فراتر از چالش های تفسیر بصری و متنی، هرشی اذعان کرد که کلود با “به خاطر سپردن” آنچه آموخته است، مشکل دارد. مدل فعلی دارای یک “پنجره زمینه” 200000 توکنی است که میزان اطلاعات رابطه ای را که می تواند در “حافظه” خود در هر زمان معین ذخیره کند، محدود می کند. هنگامی که پایگاه دانش در حال گسترش سیستم این پنجره را پر می کند، کلود تحت یک فرآیند خلاصه سازی دقیق قرار می گیرد و یادداشت های دقیق را در خلاصه های کوتاه تری فشرده می کند که ناگزیر برخی از جزئیات دقیق را از دست می دهند.

هرشی گفت: “این می تواند منجر به این شود که کلود “برای مدت طولانی در به خاطر سپردن چیزها مشکل داشته باشد و واقعاً درک خوبی از آنچه تاکنون امتحان کرده است، نداشته باشد.” “قطعاً خواهید دید که گاهی اوقات چیزی را که نباید حذف می کند. هر چیزی که در پایگاه دانش شما یا در خلاصه شما نباشد، از بین می رود، بنابراین باید در مورد آنچه می خواهید در آنجا قرار دهید فکر کنید.”

خطرات اطلاعات نادرست

مشکل سازتر از فراموش کردن اطلاعات مهم، تمایل کلود به درج ناخواسته اطلاعات نادرست در پایگاه دانش خود است. مانند یک نظریه پرداز توطئه که جهان بینی خود را بر اساس یک فرض معیوب می سازد، کلود می تواند به طرز چشمگیری در تشخیص اینکه یک خطا در پایگاه دانش خود-تألیف شده اش، بازی Pokémon او را به بیراهه می کشاند، کند باشد.

هرشی گفت: “چیزهایی که در گذشته نوشته شده اند، به نوعی به آنها کورکورانه اعتماد می کند.” “من دیده ام که بسیار متقاعد شده است که خروجی [مکان درون بازی] Viridian Forest را در مختصات خاصی پیدا کرده است، و سپس ساعت ها و ساعت ها به کاوش در یک مربع کوچک کوچک در اطراف آن مختصات می پردازد که اشتباه هستند به جای اینکه کار دیگری انجام دهد. زمان بسیار زیادی طول می کشد تا تصمیم بگیرد که این یک ‘شکست’ بوده است.”

با وجود این چالش ها، هرشی خاطرنشان کرد که Claude 3.7 Sonnet به طور قابل توجهی بهتر از مدل های قبلی در “زیر سوال بردن مفروضات خود، امتحان استراتژی های جدید و پیگیری در افق های زمانی طولانی استراتژی های مختلف برای [دیدن] اینکه آیا آنها کار می کنند یا نه” است. در حالی که مدل جدید هنوز “برای مدت زمان بسیار طولانی” در تلاش مجدد برای انجام همان اقدامات “مشکل دارد”، در نهایت تمایل دارد “درک کند که چه خبر است و قبلاً چه چیزی را امتحان کرده است، و بارها به پیشرفت واقعی از آن دست می یابد.” هرشی گفت.

مسیر پیش رو

هرشی گفت، یکی از جذاب ترین جنبه های مشاهده Claude Plays Pokémon در تکرارهای متعدد، دیدن این است که چگونه پیشرفت و استراتژی سیستم می تواند به طور قابل توجهی بین اجراها متفاوت باشد. او توضیح داد، گاهی اوقات، کلود “توانایی خود را در ساختن یک استراتژی کاملاً منسجم” با “نگه داشتن یادداشت های دقیق در مورد مسیرهای مختلف برای امتحان” نشان می دهد. اما “بیشتر اوقات اینطور نیست… بیشتر اوقات، به دلیل اینکه مطمئن است خروجی را می بیند، به دیوار برخورد می کند.”

به گفته هرشی، یکی از محدودیت های اصلی نسخه فعلی کلود این است که “وقتی آن استراتژی خوب را استخراج می کند، فکر نمی کنم لزوماً خودآگاهی داشته باشد که بداند یک استراتژی [که] ارائه کرده است بهتر از دیگری است.” و او اذعان کرد که این یک مشکل پیش پا افتاده برای حل نیست.

با این وجود، هرشی “میوه های کم آویزان” را برای بهبود بازی Pokémon کلود با افزایش درک مدل از اسکرین شات های Game Boy می بیند. او گفت: “من فکر می کنم این شانس وجود دارد که اگر درک کاملی از آنچه روی صفحه است داشته باشد، بتواند بازی را شکست دهد.” او پیشنهاد کرد که چنین مدلی احتمالاً “کمی کمتر از انسان” عمل می کند.

هرشی افزود، گسترش پنجره زمینه برای مدل های آینده کلود نیز احتمالاً آنها را قادر می سازد تا “در بازه های زمانی طولانی تر استدلال کنند و مسائل را به طور منسجم تری در یک دوره زمانی طولانی مدیریت کنند.” او گفت، مدل های آینده با “کمی بهتر شدن در به خاطر سپردن، پیگیری مجموعه ای منسجم از آنچه برای پیشرفت باید امتحان کنند” بهبود خواهند یافت.

در حالی که چشم انداز پیشرفت های قریب الوقوع در مدل های هوش مصنوعی غیرقابل انکار است، عملکرد فعلی کلود در Pokémon نشان نمی دهد که در آستانه ورود به عصر هوش مصنوعی در سطح انسانی و کاملاً تعمیم پذیر است. هرشی اذعان کرد که تماشای گیر کردن Claude 3.7 Sonnet در Mt. Moon به مدت 80 ساعت می تواند باعث شود “به نظر برسد مدلی است که نمی داند چه کار می کند.”

با این حال، هرشی همچنان تحت تأثیر بارقه های گاه به گاه آگاهی است که مدل استدلال جدید کلود نشان می دهد، و خاطرنشان کرد که گاهی اوقات “به نوعی می گوید که نمی داند چه کار می کند و می داند که باید کار متفاوتی انجام دهد. و تفاوت بین ‘اصلاً نمی تواند آن را انجام دهد’ و ‘می تواند به نوعی آن را انجام دهد’ برای من در مورد این چیزهای هوش مصنوعی بسیار بزرگ است.” او ادامه داد: “می دانید، وقتی چیزی می تواند به نوعی کاری را انجام دهد، معمولاً به این معنی است که ما بسیار نزدیک هستیم که بتوانیم آن را واقعاً، واقعاً خوب انجام دهیم.”