مطالعات اخیر یک روند نگران‌کننده را آشکار کرده‌اند: مدل‌های جدیدتر ChatGPT در مقایسه با مدل‌های قبلی خود، نرخ بالاتری از توهمات را نشان می‌دهند. این کشف سوالات مهمی را در مورد بده‌بستان‌های بین قابلیت‌های پیشرفته و قابلیت اطمینان در مدل‌های زبانی بزرگ (LLMs) مطرح می‌کند. بیایید به جزئیات این یافته‌ها بپردازیم و پیامدهای بالقوه آن را بررسی کنیم.
درک این پدیده
آزمایش‌های داخلی OpenAI، همانطور که در یک مقاله اخیر به تفصیل شرح داده شده است، افزایش قابل توجهی در نرخ توهمات در مدل‌هایی مانند o3 و o4-mini را نشان می‌دهد. این مدل‌ها که با قابلیت‌های استدلال پیشرفته و چندوجهی طراحی شده‌اند، نشان‌دهنده پیشرفت‌های لبه فناوری هوش مصنوعی هستند. آنها می‌توانند تصاویر تولید کنند، جستجوهای وب را انجام دهند، وظایف را خودکار کنند، مکالمات گذشته را به خاطر بسپارند و مسائل پیچیده را حل کنند. با این حال، به نظر می‌رسد این پیشرفت‌ها هزینه‌ای دارند.
برای تعیین کمیت میزان این توهمات، OpenAI از یک آزمون خاص به نام PersonQA استفاده می‌کند. این آزمون شامل تغذیه مدل با مجموعه‌ای از حقایق در مورد افراد مختلف و سپس طرح سوالاتی در مورد آن افراد است. دقت مدل بر اساس توانایی آن در ارائه پاسخ‌های صحیح ارزیابی می‌شود.
در ارزیابی‌های قبلی، مدل o1 به نرخ دقت قابل توجه 47٪ با نرخ توهم تنها 16٪ دست یافت. با این حال، هنگامی که o3 و o4-mini در معرض همان ارزیابی قرار گرفتند، نتایج به طور محسوسی متفاوت بود.
از مدل o4-mini، به عنوان یک نوع کوچکتر با دانش جهانی کمتر، انتظار می‌رفت که نرخ توهم بالاتری را نشان دهد. با این حال، نرخ واقعی 48٪ به طور شگفت‌انگیزی بالا بود، با توجه به اینکه o4-mini یک محصول تجاری است که به طور گسترده برای جستجوهای وب و بازیابی اطلاعات استفاده می‌شود.
مدل o3 با اندازه کامل نیز تمایل نگران‌کننده‌ای به توهم نشان داد. در 33٪ از پاسخ‌های خود، مدل اطلاعاتی را جعل کرد و به طور موثری نرخ توهم مدل o1 را دو برابر کرد. با وجود این، o3 همچنین به نرخ دقت بالایی دست یافت که OpenAI آن را به تمایل آن به ادعاهای بیشتر نسبت می‌دهد.
تعریف توهمات
اصطلاح ‘توهم’، در چارچوب هوش مصنوعی، به تمایل یک مدل به تولید پاسخ‌هایی اشاره دارد که از نظر واقعی نادرست یا بی‌معنی هستند و هیچ منبع یا توجیه ظاهری ندارند. اینها صرفاً اشتباهاتی نیستند که ناشی از داده‌های بد یا سوءتفسیر باشند. در عوض، توهمات نشان‌دهنده یک نقص اساسی‌تر در فرآیند استدلال مدل هستند.
در حالی که اطلاعات نادرست مطمئناً می‌تواند از منابع مختلفی مانند ورودی‌های ویکی‌پدیا یا موضوعات Reddit ناشی شود، این موارد بیشتر شبیه خطاهای قابل ردیابی هستند که می‌توان آنها را به نقاط داده خاص نسبت داد. از سوی دیگر، توهمات با اختراع حقایق توسط مدل هوش مصنوعی در لحظات عدم اطمینان مشخص می‌شوند، پدیده‌ای که برخی از کارشناسان آن را ‘پر کردن خلاقانه’ نامیده‌اند.
برای نشان دادن این نکته، این سوال را در نظر بگیرید، ‘هفت مدل آیفون 16 که در حال حاضر در دسترس هستند کدامند؟’ از آنجایی که فقط اپل می‌داند آیفون بعدی چه خواهد بود، LLM احتمالاً برخی پاسخ‌های واقعی ارائه می‌دهد - و سپس مدل‌های اضافی را برای تکمیل کار می‌سازد. این یک مثال واضح از توهم است، جایی که مدل اطلاعات را برای تکمیل کار جعل می‌کند، یا آنچه که به عنوان ‘پر کردن خلاقانه’ شناخته می‌شود.
نقش داده‌های آموزشی
چت‌بات‌هایی مانند ChatGPT بر روی مقادیر زیادی از داده‌های اینترنتی آموزش داده می‌شوند. این داده‌ها محتوای پاسخ‌های آنها را اطلاع می‌دهند، اما همچنین نحوه پاسخ آنها را شکل می‌دهند. مدل‌ها در معرض مثال‌های بی‌شماری از پرسش‌ها و پاسخ‌های ایده‌آل مطابق قرار می‌گیرند، که لحن‌ها، نگرش‌ها و سطوح خاصی از ادب را تقویت می‌کند.
این فرآیند آموزشی می‌تواند ناخواسته به مشکل توهمات کمک کند. مدل‌ها تشویق می‌شوند تا پاسخ‌های مطمئنی ارائه دهند که مستقیماً به سوال پاسخ دهند. این می‌تواند منجر به این شود که آنها پاسخ دادن به سوال را در اولویت قرار دهند، حتی اگر مجبور باشند برای انجام این کار اطلاعاتی را اختراع کنند، نه اینکه اعتراف کنند که پاسخ را نمی‌دانند.
در اصل، فرآیند آموزشی ممکن است ناخواسته پاسخ‌های مطمئن و ظاهراً آگاهانه را پاداش دهد، حتی اگر از نظر واقعی نادرست باشند. این می‌تواند یک سوگیری به سمت تولید پاسخ‌ها، صرف نظر از دقت آنها ایجاد کند، که می‌تواند مشکل توهمات را تشدید کند.
ماهیت اشتباهات هوش مصنوعی
وسوسه‌انگیز است که بین اشتباهات هوش مصنوعی و خطاهای انسانی موازی‌سازی کنیم. به هر حال، انسان‌ها معصوم نیستند و نباید انتظار داشته باشیم که هوش مصنوعی نیز کامل باشد. با این حال، مهم است که تشخیص دهیم که اشتباهات هوش مصنوعی از فرآیندهای اساساً متفاوت از خطاهای انسانی ناشی می‌شوند.
مدل‌های هوش مصنوعی در همان روشی که انسان‌ها انجام می‌دهند، دروغ نمی‌گویند، سوءتفاهم ایجاد نمی‌کنند یا اطلاعات را به اشتباه به یاد نمی‌آورند. آنها فاقد توانایی‌های شناختی و آگاهی متنی هستند که زیربنای استدلال انسانی است. در عوض، آنها بر اساس احتمالات عمل می‌کنند و کلمه بعدی را در یک جمله بر اساس الگوهای مشاهده شده در داده‌های آموزشی خود پیش‌بینی می‌کنند.
این رویکرد احتمالی به این معنی است که مدل‌های هوش مصنوعی درک درستی از دقت یا عدم دقت ندارند. آنها به سادگی محتمل‌ترین توالی کلمات را بر اساس روابط آماری که از داده‌های آموزشی خود آموخته‌اند، تولید می‌کنند. این می‌تواند منجر به تولید پاسخ‌های به ظاهر منسجم شود که در واقع از نظر واقعی نادرست هستند.
در حالی که مدل‌ها با ارزش کل اینترنت اطلاعات تغذیه می‌شوند، به آنها گفته نمی‌شود که کدام اطلاعات خوب یا بد، دقیق یا نادرست است - به آنها چیزی گفته نمی‌شود. آنها دانش بنیادی موجود یا مجموعه‌ای از اصول اساسی ندارند که به آنها کمک کند اطلاعات را برای خود مرتب کنند. همه اینها فقط یک بازی اعداد است - الگوهای کلماتی که بیشتر در یک زمینه معین وجود دارند، به ‘حقیقت’ LLM تبدیل می‌شوند.
پرداختن به چالش
افزایش نرخ توهمات در مدل‌های پیشرفته هوش مصنوعی یک چالش مهم را ایجاد می‌کند. OpenAI و سایر توسعه‌دهندگان هوش مصنوعی به طور فعال در تلاش برای درک و کاهش این مشکل هستند. با این حال، علل اساسی توهمات به طور کامل درک نشده‌اند و یافتن راه حل‌های موثر یک تلاش مداوم است.
یک رویکرد بالقوه بهبود کیفیت و تنوع داده‌های آموزشی است. با قرار دادن مدل‌ها در معرض اطلاعات دقیق‌تر و جامع‌تر، توسعه‌دهندگان می‌توانند احتمال یادگیری و تداوم اطلاعات نادرست را کاهش دهند.
رویکرد دیگر توسعه تکنیک‌های پیچیده‌تر برای شناسایی و جلوگیری از توهمات است. این می‌تواند شامل آموزش مدل‌ها برای تشخیص زمانی باشد که در مورد یک قطعه اطلاعات خاص نامطمئن هستند و از ارائه ادعا بدون شواهد کافی خودداری کنند.
در این میان، OpenAI ممکن است نیاز به دنبال کردن یک راه حل کوتاه مدت و همچنین ادامه تحقیقات خود در مورد علت اصلی داشته باشد. به هر حال، این مدل‌ها محصولات درآمدزا هستند و باید در حالت قابل استفاده باشند. یک ایده این است که نوعی محصول تجمیع شده ایجاد شود - یک رابط چت که به چندین مدل مختلف OpenAI دسترسی دارد.
وقتی یک پرسش نیاز به استدلال پیشرفته دارد، از GPT-4o استفاده می‌کند و وقتی می‌خواهد احتمال توهمات را به حداقل برساند، از یک مدل قدیمی‌تر مانند o1 استفاده می‌کند. شاید این شرکت بتواند حتی فانتزی‌تر عمل کند و از مدل‌های مختلف برای مراقبت از عناصر مختلف یک پرسش واحد استفاده کند و سپس از یک مدل اضافی برای چسباندن همه آنها در پایان استفاده کند. از آنجایی که این اساساً کار تیمی بین چندین مدل هوش مصنوعی خواهد بود، شاید نوعی سیستم بررسی واقعیت نیز قابل اجرا باشد.
افزایش نرخ دقت هدف اصلی نیست. هدف اصلی کاهش نرخ توهمات است، به این معنی که ما باید برای پاسخ‌هایی که می‌گویند ‘نمی‌دانم’ و همچنین پاسخ‌هایی با پاسخ‌های صحیح ارزش قائل شویم.
اهمیت بررسی واقعیت
رواج روزافزون توهمات در مدل‌های هوش مصنوعی بر اهمیت بررسی واقعیت تأکید می‌کند. در حالی که این مدل‌ها می‌توانند ابزارهای ارزشمندی برای بازیابی اطلاعات و خودکارسازی وظایف باشند، نباید به عنوان منابع غیرقابل اشتباه حقیقت در نظر گرفته شوند.
کاربران همیشه باید هنگام تفسیر خروجی مدل‌های هوش مصنوعی احتیاط کنند و باید هر اطلاعاتی را که دریافت می‌کنند به طور مستقل تأیید کنند. این امر به ویژه هنگام برخورد با مسائل حساس یا پیامدهای مهم بسیار مهم است.
با اتخاذ یک رویکرد انتقادی و شکاکانه به محتوای تولید شده توسط هوش مصنوعی، می‌توانیم خطرات مرتبط با توهمات را کاهش دهیم و اطمینان حاصل کنیم که تصمیمات آگاهانه بر اساس اطلاعات دقیق می‌گیریم. اگر به LLMها علاقه زیادی دارید، نیازی نیست استفاده از آنها را متوقف کنید - اما اجازه ندهید میل به صرفه‌جویی در زمان بر نیاز به بررسی واقعیت نتایج غلبه کند. همیشه واقعیت را بررسی کنید!
پیامدها برای آینده هوش مصنوعی
چالش توهمات پیامدهای قابل توجهی برای آینده هوش مصنوعی دارد. از آنجایی که مدل‌های هوش مصنوعی بیشتر در زندگی ما ادغام می‌شوند، ضروری است که آنها قابل اعتماد و معتبر باشند. اگر مدل‌های هوش مصنوعی مستعد تولید اطلاعات نادرست یا گمراه‌کننده باشند، می‌تواند اعتماد عمومی را از بین ببرد و مانع از پذیرش گسترده آنها شود.
پرداختن به مشکل توهمات نه تنها برای بهبود دقت مدل‌های هوش مصنوعی، بلکه برای اطمینان از استفاده اخلاقی و مسئولانه از آنها بسیار مهم است. با توسعه سیستم‌های هوش مصنوعی که کمتر مستعد توهم هستند، می‌توانیم از پتانسیل آنها برای خیر استفاده کنیم و در عین حال خطرات اطلاعات نادرست و فریب را کاهش دهیم.