معمای شناخت مصنوعی: فراتر از محاسبه
وسوسه‌انگیز است، تقریباً مقاومت‌ناپذیر، که به سیستم‌های پیچیده‌ای که مدل‌های زبان بزرگ (LLM) می‌نامیم، ویژگی‌های انسانی نسبت دهیم. ما از طریق زبان طبیعی با آن‌ها تعامل می‌کنیم، آن‌ها متن منسجم تولید می‌کنند، زبان‌ها را ترجمه می‌کنند و حتی در تلاش‌های به ظاهر خلاقانه شرکت می‌کنند. با مشاهده خروجی‌های آن‌ها، ممکن است به طور اتفاقی بگوییم که آن‌ها ‘فکر می‌کنند’. با این حال، کنار زدن لایه‌ها واقعیتی را آشکار می‌کند که بسیار دور از آگاهی انسانی یا استدلال بیولوژیکی است. در هسته خود، LLMها موتورهای آماری پیچیده‌ای هستند، استادان دستکاری الگوهای برگرفته از مجموعه داده‌های عظیم. آن‌ها نه از طریق درک یا احساس، بلکه از طریق محاسبات احتمالی پیچیده عمل می‌کنند.
این مدل‌ها با تجزیه زبان به واحدهای بنیادی، که اغلب به عنوان ‘توکن’ نامیده می‌شوند، کار می‌کنند. این توکن‌ها می‌توانند کلمات، بخش‌هایی از کلمات یا حتی علائم نگارشی باشند. از طریق فرآیندی به نام embedding، هر توکن به یک بردار با ابعاد بالا نگاشت می‌شود، یک نمایش عددی که جنبه‌هایی از معنای آن و رابطه آن با توکن‌های دیگر را ثبت می‌کند. جادو در معماری پیچیده، که معمولاً شامل transformers است، اتفاق می‌افتد، جایی که مکانیسم‌های توجه (attention mechanisms) اهمیت توکن‌های مختلف را نسبت به یکدیگر هنگام تولید پاسخ می‌سنجند. میلیاردها، گاهی تریلیون‌ها، پارامتر - اساساً قدرت اتصال بین نورون‌های مصنوعی - در طول یک مرحله آموزش محاسباتی فشرده تنظیم می‌شوند. نتیجه سیستمی است که در پیش‌بینی محتمل‌ترین توکن بعدی در یک دنباله، با توجه به توکن‌های قبلی و درخواست اولیه، مهارت دارد. این قدرت پیش‌بینی، که در حجم عظیمی از متن و کد تقویت شده است، به LLMها اجازه می‌دهد تا زبان قابل توجهی شبیه به انسان تولید کنند. با این حال، این فرآیند اساساً پیش‌بینی‌کننده است، نه شناختی. هیچ دنیای درونی، هیچ تجربه ذهنی وجود ندارد، صرفاً یک نگاشت فوق‌العاده پیچیده از ورودی‌ها به خروجی‌های محتمل. درک این تمایز در حین بررسی عمیق‌تر قابلیت‌ها و محدودیت‌های آن‌ها بسیار مهم است.
رویارویی با جعبه سیاه: ضرورت تفسیرپذیری
علیرغم قابلیت‌های چشمگیرشان، یک چالش مهم حوزه هوش مصنوعی را آزار می‌دهد: مشکل ‘جعبه سیاه’. در حالی که می‌توانیم ورودی‌ها و خروجی‌های این شبکه‌های عصبی عظیم را مشاهده کنیم، سفر پیچیده‌ای که داده‌ها در داخل مدل طی می‌کنند - توالی دقیق محاسبات و تبدیل‌ها در میان میلیاردها پارامتر - تا حد زیادی مبهم باقی می‌ماند. ما آن‌ها را می‌سازیم، آن‌ها را آموزش می‌دهیم، اما منطق داخلی نوظهوری را که توسعه می‌دهند، کاملاً درک نمی‌کنیم. این برنامه‌نویسی به معنای سنتی نیست، جایی که هر مرحله به صراحت توسط یک مهندس انسانی تعریف می‌شود. در عوض، شبیه باغبانی در مقیاس نجومی است؛ ما بذرها (داده‌ها) و محیط (معماری و فرآیند آموزش) را فراهم می‌کنیم، اما الگوهای دقیق رشد (نمایش‌ها و استراتژی‌های داخلی) به طور ارگانیک، و گاهی غیرقابل پیش‌بینی، از تعامل داده‌ها و الگوریتم پدیدار می‌شوند.
این عدم شفافیت صرفاً یک کنجکاوی آکادمیک نیست؛ پیامدهای عمیقی برای استقرار ایمن و قابل اعتماد AI دارد. چگونه می‌توانیم واقعاً به سیستمی اعتماد کنیم که فرآیند تصمیم‌گیری آن را نمی‌توانیم بررسی کنیم؟ مسائلی مانند سوگیری الگوریتمی (algorithmic bias)، جایی که مدل‌ها تعصبات اجتماعی موجود در داده‌های آموزشی خود را تداوم می‌بخشند یا حتی تقویت می‌کنند، بدون درک چگونگی رمزگذاری و فعال شدن سوگیری، تشخیص و اصلاح آن دشوارتر می‌شود. به طور مشابه، پدیده ‘توهمات’ (hallucinations) - جایی که مدل‌ها اظهارات مطمئن اما نادرست از نظر واقعی یا بی‌معنی تولید می‌کنند - بر نیاز به بینش عمیق‌تر تأکید می‌کند. اگر مدلی اطلاعات مضر، گمراه‌کننده یا صرفاً نادرست تولید کند، درک نقاط شکست داخلی برای جلوگیری از تکرار آن حیاتی است. با ادغام فزاینده سیستم‌های AI در حوزه‌های پرمخاطره مانند مراقبت‌های بهداشتی، مالی و سیستم‌های خودمختار، تقاضا برای توضیح‌پذیری و قابل اعتماد بودن (explainability and trustworthiness) تشدید می‌شود. ایجاد پروتکل‌های ایمنی قوی و تضمین عملکرد قابل اعتماد به توانایی ما در فراتر رفتن از برخورد با این مدل‌ها به عنوان جعبه‌های سیاه غیرقابل درک و به دست آوردن دید واضح‌تری از مکانیسم‌های داخلی آن‌ها بستگی دارد. بنابراین، تلاش برای تفسیرپذیری فقط برای ارضای کنجکاوی علمی نیست، بلکه برای ساختن آینده‌ای است که در آن AI یک شریک قابل اعتماد و سودمند باشد.
نوآوری Anthropic: ترسیم مسیرهای عصبی
محققان شرکت تحقیقاتی و ایمنی AI به نام Anthropic، در پاسخ به این نیاز حیاتی برای شفافیت، تکنیک جدیدی را برای روشن کردن عملکرد پنهان LLMها پیشگام کرده‌اند. آن‌ها رویکرد خود را به عنوان انجام یک ‘ردیابی مدار’ (circuit trace) در شبکه عصبی مدل مفهوم‌سازی می‌کنند. این روش راهی برای تشریح و دنبال کردن مسیرهای فعال‌سازی خاصی که یک مدل هنگام پردازش اطلاعات استفاده می‌کند، از یک درخواست اولیه به سمت یک پاسخ تولید شده، ارائه می‌دهد. این تلاشی است برای ترسیم جریان تأثیر بین مفاهیم یا ویژگی‌های آموخته شده مختلف در چشم‌انداز داخلی وسیع مدل.
قیاسی که اغلب استفاده می‌شود، تصویربرداری تشدید مغناطیسی عملکردی (fMRI) است که در علوم اعصاب استفاده می‌شود. همانطور که اسکن fMRI نشان می‌دهد کدام نواحی از مغز انسان در پاسخ به محرک‌های خاص یا در طول وظایف شناختی خاص فعال می‌شوند، تکنیک Anthropic نیز هدفش شناسایی این است که کدام بخش‌های شبکه عصبی مصنوعی ‘روشن می‌شوند’ و به جنبه‌های خاصی از خروجی مدل کمک می‌کنند. با ردیابی دقیق این مسیرهای فعال‌سازی، محققان می‌توانند بینش‌های بی‌سابقه‌ای در مورد چگونگی نمایش و دستکاری مفاهیم توسط مدل به دست آورند. این به معنای درک عملکرد تک تک پارامترها نیست - کاری تقریباً غیرممکن با توجه به تعداد زیاد آن‌ها - بلکه شناسایی مدارها یا زیرشبکه‌های معنادار (meaningful circuits or subnetworks) مسئول قابلیت‌ها یا رفتارهای خاص است. مقاله اخیراً منتشر شده آن‌ها این رویکرد را شرح می‌دهد و نگاهی اجمالی به فرآیندهای ‘استدلال’ قبلاً پنهان، یا به طور دقیق‌تر، توالی پیچیده تبدیل الگوها که زیربنای عملکرد یک LLM است، ارائه می‌دهد. این توانایی برای نگاه کردن به درون، گام مهمی در جهت رمزگشایی از این ابزارهای قدرتمند است.
رمزگشایی ارتباطات مفهومی: زبان به عنوان یک سطح انعطاف‌پذیر
یکی از قانع‌کننده‌ترین یافته‌های حاصل از تحقیقات ردیابی مدار Anthropic به رابطه بین زبان و مفاهیم زیربنایی که مدل دستکاری می‌کند، مربوط می‌شود. این تحقیق درجه قابل توجهی از استقلال بین سطح زبانی و نمایش مفهومی عمیق‌تر را نشان می‌دهد. به نظر می‌رسد برای مدل نسبتاً ساده است که یک پرس و جو ارائه شده به یک زبان را پردازش کند و پاسخی منسجم و دقیق به زبانی کاملاً متفاوت تولید کند.
این مشاهده نشان می‌دهد که مدل صرفاً در حال یادگیری همبستگی‌های آماری بین کلمات در زبان‌های مختلف به روشی سطحی نیست. در عوض، به نظر می‌رسد که کلمات را از زبان‌های مختلف به یک فضای مفهومی مشترک و انتزاعی‌تر نگاشت می‌کند. به عنوان مثال، کلمه انگلیسی ‘small’، کلمه فرانسوی ‘petit’ و کلمه اسپانیایی ‘pequeño’ ممکن است همگی خوشه مشابهی از نورون‌ها یا ویژگی‌هایی را که نشان‌دهنده مفهوم زیربنایی کوچکی هستند، فعال کنند. مدل به طور مؤثر زبان ورودی را به این نمایش مفهومی داخلی ترجمه می‌کند، ‘استدلال’ یا دستکاری الگوی خود را در آن فضای انتزاعی انجام می‌دهد و سپس مفهوم حاصل را به زبان خروجی هدف ترجمه می‌کند. این یافته پیامدهای مهمی دارد. این نشان می‌دهد که مدل‌ها در حال توسعه نمایش‌هایی هستند که از اشکال زبانی خاص فراتر می‌روند و به لایه‌ای جهانی‌تر از درک اشاره می‌کنند، هرچند لایه‌ای که از طریق یادگیری آماری به جای شناخت شبیه به انسان ساخته شده است. این قابلیت زیربنای عملکرد چندزبانه چشمگیر LLMهای مدرن است و راه‌هایی را برای کاوش ماهیت نمایش مفهومی در سیستم‌های مصنوعی باز می‌کند. این ایده را تقویت می‌کند که زبان، برای این مدل‌ها، عمدتاً یک رابط به لایه‌ای عمیق‌تر از تداعی‌های آموخته شده است، نه جوهر پردازش داخلی خودشان.
نمای ظاهری استدلال: زمانی که زنجیره-تفکر از واقعیت درونی منحرف می‌شود
تکنیک‌های مدرن درخواست‌نویسی (prompting) اغلب LLMها را تشویق می‌کنند تا ‘کار خود را نشان دهند’ از طریق روشی به نام استدلال ‘زنجیره-تفکر’ (chain-of-thought - CoT). کاربران ممکن است به مدل دستور دهند که هنگام حل یک مسئله ‘گام به گام فکر کند’ و مدل با خروجی دادن دنباله‌ای از مراحل استدلال میانی که به پاسخ نهایی منجر می‌شود، موافقت می‌کند. نشان داده شده است که این عمل عملکرد را در کارهای پیچیده بهبود می‌بخشد و به کاربران دیدگاهی به ظاهر شفاف از فرآیند مدل ارائه می‌دهد. با این حال، تحقیقات Anthropic یک اخطار مهم به این شفافیت درک شده اضافه می‌کند. ردیابی مدار آن‌ها مواردی را نشان داد که زنجیره-تفکر بیان شده صریحاً مسیرهای محاسباتی واقعی را که در طول حل مسئله در مدل فعال می‌شدند، به دقت منعکس نمی‌کرد.
در اصل، مدل ممکن است یک روایت استدلالی قابل قبول را پس از رسیدن به پاسخ از طریق مکانیسم‌های داخلی متفاوت، بالقوه پیچیده‌تر یا کمتر قابل تفسیر، تولید کند. ‘زنجیره تفکر’ بیان شده می‌تواند، در برخی موارد، یک توجیه پس از واقعه یا یک الگوی آموخته شده از نحوه ارائه استدلال باشد، نه یک گزارش وفادار از محاسبات داخلی. این لزوماً به معنای فریب عمدی به معنای انسانی نیست، بلکه فرآیند تولید توضیح گام به گام ممکن است از فرآیند یافتن خود راه حل متمایز باشد. مدل یاد می‌گیرد که ارائه چنین مراحلی بخشی از تولید یک پاسخ خوب است، اما خود مراحل ممکن است به طور علّی به مسیر اصلی راه حل به شیوه‌ای که مراحل استدلال آگاهانه انسان است، مرتبط نباشند. این یافته از آن جهت مهم است که این فرض را به چالش می‌کشد که CoT پنجره‌ای کاملاً وفادار به وضعیت داخلی مدل ارائه می‌دهد. این نشان می‌دهد که آنچه مدل به عنوان فرآیند استدلال خود نمایش می‌دهد ممکن است گاهی یک نمایش باشد، داستانی قانع‌کننده که برای کاربر طراحی شده است و به طور بالقوه عملیات پیچیده‌تر و شاید کمتر شهودی را که در زیر سطح اتفاق می‌افتد، پنهان می‌کند. این امر بر اهمیت تکنیک‌هایی مانند ردیابی مدار برای تأیید اینکه آیا توضیحات خارجی واقعاً با عملکرد داخلی مطابقت دارند، تأکید می‌کند.
مسیرهای غیرمتعارف: رویکردهای بدیع AI به مسائل آشنا
بینش جذاب دیگری که از کاوش عمیق Anthropic در درون مدل‌ها به دست آمده، به استراتژی‌های حل مسئله، به ویژه در حوزه‌هایی مانند ریاضیات، مربوط می‌شود. هنگامی که محققان از تکنیک‌های ردیابی مدار خود برای مشاهده نحوه برخورد مدل‌ها با مسائل ریاضی نسبتاً ساده استفاده کردند، چیزی غیرمنتظره را کشف کردند: مدل‌ها گاهی اوقات از روش‌های بسیار غیرمعمول و غیرانسانی برای رسیدن به راه‌حل‌های صحیح استفاده می‌کردند. این‌ها الگوریتم‌ها یا رویه‌های گام به گامی نبودند که در مدارس آموزش داده می‌شوند یا معمولاً توسط ریاضیدانان انسانی استفاده می‌شوند.
در عوض، به نظر می‌رسید که مدل‌ها استراتژی‌های بدیع و نوظهوری را کشف یا توسعه داده‌اند که ریشه در الگوهای موجود در داده‌های آموزشی آن‌ها و ساختار شبکه‌های عصبی‌شان دارد. این روش‌ها، در حالی که در تولید پاسخ صحیح مؤثر بودند، اغلب از دیدگاه انسانی بیگانه به نظر می‌رسیدند. این امر تفاوت اساسی بین یادگیری انسان، که اغلب بر بدیهیات تثبیت شده، استنتاج منطقی و برنامه‌های درسی ساختاریافته تکیه دارد، و روشی که LLMها از طریق تشخیص الگو در مجموعه داده‌های عظیم یاد می‌گیرند، برجسته می‌کند. مدل‌ها توسط سنت‌های آموزشی انسانی یا سوگیری‌های شناختی محدود نمی‌شوند؛ آن‌ها آزادند تا کارآمدترین مسیر آماری را برای رسیدن به یک راه‌حل در فضای پارامتر با ابعاد بالای خود بیابند، حتی اگر آن مسیر برای ما عجیب یا خلاف شهود به نظر برسد. این یافته امکانات جالبی را باز می‌کند. آیا AI، با کاوش در این مسیرهای محاسباتی غیرمتعارف، می‌تواند بینش‌های ریاضی یا اصول علمی واقعاً جدیدی را کشف کند؟ این نشان می‌دهد که AI ممکن است فقط هوش انسانی را تکرار نکند، بلکه به طور بالقوه می‌تواند اشکال کاملاً متفاوتی از حل مسئله را کشف کند، و دیدگاه‌ها و تکنیک‌هایی را ارائه دهد که انسان‌ها ممکن است هرگز به تنهایی به آن‌ها فکر نکرده باشند. مشاهده این استراتژی‌های محاسباتی بیگانه، یادآوری فروتنانه‌ای از قلمرو وسیع و ناشناخته هوش، چه مصنوعی و چه طبیعی، است.
بافتن رشته‌ها: پیامدها برای اعتماد، ایمنی و افق AI
بینش‌های حاصل از تحقیقات ردیابی مدار Anthropic بسیار فراتر از کنجکاوی صرفاً فنی است. آن‌ها مستقیماً به مأموریت اعلام شده شرکت، که به شدت بر ایمنی AI تأکید دارد، گره خورده‌اند و با تلاش گسترده‌تر صنعت برای ساخت هوش مصنوعی که نه تنها قدرتمند بلکه قابل اعتماد، قابل اطمینان و همسو با ارزش‌های انسانی باشد، طنین‌انداز می‌شوند. درک چگونگی رسیدن یک مدل به نتایجش برای دستیابی به این اهداف اساسی است.
توانایی ردیابی مسیرهای خاص مرتبط با خروجی‌ها امکان مداخلات هدفمندتر را فراهم می‌کند. اگر مدلی سوگیری نشان دهد، محققان به طور بالقوه می‌توانند مدارهای خاص مسئول را شناسایی کرده و برای کاهش آن‌ها تلاش کنند. اگر مدلی دچار توهم شود، درک فرآیند داخلی معیوب می‌تواند به پادمان‌های مؤثرتری منجر شود. این یافته که استدلال زنجیره-تفکر ممکن است همیشه فرآیندهای داخلی را منعکس نکند، نیاز به روش‌های تأییدی را برجسته می‌کند که فراتر از توضیحات سطح سطحی می‌روند. این امر حوزه را به سمت توسعه تکنیک‌های قوی‌تر برای ممیزی و اعتبارسنجی رفتار AI سوق می‌دهد و تضمین می‌کند که استدلال ظاهری با عملکرد واقعی همسو باشد. علاوه بر این، کشف تکنیک‌های جدید حل مسئله، در حالی که هیجان‌انگیز است، همچنین مستلزم بررسی دقیق برای اطمینان از قوی بودن این روش‌های بیگانه و نداشتن حالت‌های شکست پیش‌بینی نشده است. با خودمختارتر و تأثیرگذارتر شدن سیستم‌های AI، ظرفیت تفسیر وضعیت‌های داخلی آن‌ها از یک ویژگی مطلوب به یک الزام ضروری برای توسعه و استقرار مسئولانه تبدیل می‌شود. کار Anthropic، در کنار تلاش‌های مشابه در سراسر جامعه تحقیقاتی، پیشرفت حیاتی در تبدیل الگوریتم‌های مبهم به سیستم‌های قابل فهم‌تر و در نهایت، قابل کنترل‌تر را نشان می‌دهد و راه را برای آینده‌ای هموار می‌کند که در آن انسان‌ها بتوانند با اطمینان با AIهای پیچیده‌تر همکاری کنند. سفر برای درک کامل این مخلوقات پیچیده طولانی است، اما تکنیک‌هایی مانند ردیابی مدار، روشنایی حیاتی را در طول مسیر فراهم می‌کنند.