Понимание феномена
Внутренние тесты OpenAI, подробно описанные в недавней статье, показывают значительное увеличение частоты галлюцинаций в моделях, таких как o3 и o4-mini. Эти модели, разработанные с улучшенными возможностями рассуждения и мультимодальными функциями, представляют собой передовые технологии искусственного интеллекта. Они могут генерировать изображения, проводить веб-поиск, автоматизировать задачи, запоминать прошлые разговоры и решать сложные проблемы. Однако эти достижения, по-видимому, имеют свою цену.
Для количественной оценки степени этих галлюцинаций OpenAI использует специальный тест под названием PersonQA. Этот тест включает в себя ввод в модель набора фактов о различных людях и последующую постановку вопросов об этих людях. Точность модели затем оценивается на основе ее способности предоставлять правильные ответы.
В предыдущих оценках модель o1 достигла похвальной точности в 47% при частоте галлюцинаций всего 16%. Однако, когда o3 и o4-mini были подвергнуты той же оценке, результаты были заметно другими.
Ожидалось, что модель o4-mini, будучи меньшим вариантом с меньшим объемом знаний о мире, будет демонстрировать более высокую частоту галлюцинаций. Тем не менее, фактический показатель в 48% был на удивление высоким, учитывая, что o4-mini - это коммерчески доступный продукт, широко используемый для веб-поиска и извлечения информации.
Полноразмерная модель o3 также продемонстрировала тревожную тенденцию к галлюцинациям. В 33% своих ответов модель сфабриковала информацию, фактически удвоив частоту галлюцинаций модели o1. Несмотря на это, o3 также достигла высокой точности, что OpenAI объясняет ее склонностью делать больше заявлений в целом.
Определение галлюцинаций
Термин ‘галлюцинация’ в контексте искусственного интеллекта относится к тенденции модели генерировать ответы, которые являются фактически неверными или бессмысленными без какого-либо видимого источника или обоснования. Это не просто ошибки, возникающие из-за плохих данных или неправильной интерпретации. Вместо этого галлюцинации представляют собой более фундаментальный недостаток в процессе рассуждений модели.
Хотя неточная информация, безусловно, может исходить из различных источников, таких как записи в Википедии или потоки Reddit, эти случаи больше похожи на отслеживаемые ошибки, которые можно отнести к определенным точкам данных. Галлюцинации, с другой стороны, характеризуются изобретением фактов моделью ИИ в моменты неопределенности, явление, которое некоторые эксперты назвали ‘творческим заполнением пробелов’.
Чтобы проиллюстрировать этот момент, рассмотрим вопрос: ‘Какие семь моделей iPhone 16 доступны прямо сейчас?’ Поскольку только Apple знает, каким будет следующий iPhone, LLM, вероятно, предоставит несколько реальных ответов, а затем придумает дополнительные модели, чтобы завершить работу. Это явный пример галлюцинации, когда модель фабрикует информацию для выполнения задачи, или то, что называется ‘творческим заполнением пробелов’.
Роль обучающих данных
Чат-боты, такие как ChatGPT, обучаются на огромных объемах данных в Интернете. Эти данные информируют содержание их ответов, а также формируют то, как они отвечают. Модели подвергаются бесчисленным примерам запросов и соответствующих идеальных ответов, что укрепляет определенные тона, отношения и уровни вежливости.
Этот процесс обучения может непреднамеренно способствовать проблеме галлюцинаций. Моделям рекомендуется давать уверенные ответы, которые напрямую отвечают на вопрос. Это может привести к тому, что они будут отдавать приоритет ответу на вопрос, даже если им придется выдумывать информацию, чтобы сделать это, а не признавать, что они не знают ответа.
По сути, процесс обучения может непреднамеренно вознаграждать уверенные и, казалось бы, осведомленные ответы, даже если они фактически неверны. Это может создать предвзятость в отношении генерации ответов, независимо от их точности, что может усугубить проблему галлюцинаций.
Природа ошибок ИИ
Заманчиво проводить параллели между ошибками ИИ и человеческими ошибками. В конце концов, люди не непогрешимы, и мы не должны ожидать, что ИИ будет идеальным. Однако важно признать, что ошибки ИИ проистекают из принципиально отличных процессов, чем человеческие ошибки.
Модели ИИ не лгут, не развивают недоразумений и не забывают информацию так, как это делают люди. Им не хватает когнитивных способностей и ситуационной осведомленности, которые лежат в основе человеческого мышления. Вместо этого они работают на основе вероятностей, предсказывая следующее слово в предложении на основе закономерностей, наблюдаемых в их обучающих данных.
Этот вероятностный подход означает, что модели ИИ не обладают истинным пониманием точности или неточности. Они просто генерируют наиболее вероятную последовательность слов на основе статистических взаимосвязей, которые они извлекли из своих обучающих данных. Это может привести к генерации, казалось бы, связных ответов, которые на самом деле являются фактически неверными.
В то время как моделям скармливают информацию, содержащуюся во всем Интернете, им не говорят, какая информация хорошая или плохая, точная или неточная - им ничего не говорят. У них также нет существующих базовых знаний или набора основополагающих принципов, которые помогли бы им сортировать информацию самостоятельно. Это всего лишь игра с числами - закономерности слов, которые чаще всего встречаются в данном контексте, становятся ‘истиной’ LLM.
Решение проблемы
Растущая частота галлюцинаций в передовых моделях ИИ представляет собой серьезную проблему. OpenAI и другие разработчики ИИ активно работают над пониманием и смягчением этой проблемы. Однако основные причины галлюцинаций не полностью поняты, и поиск эффективных решений остается постоянным усилием.
Одним из возможных подходов является улучшение качества и разнообразия обучающих данных. Предоставляя моделям более точную и всеобъемлющую информацию, разработчики могут снизить вероятность того, что они будут изучать и увековечивать ложную информацию.
Другой подход заключается в разработке болеесложных методов обнаружения и предотвращения галлюцинаций. Это может включать в себя обучение моделей распознаванию того, когда они не уверены в определенной части информации, и воздерживаться от заявлений без достаточных доказательств.
Тем временем OpenAI, возможно, потребуется реализовать краткосрочное решение, а также продолжить свои исследования основной причины. В конце концов, эти модели - продукты, приносящие деньги, и они должны быть в пригодном для использования состоянии. Одна из идей заключалась бы в создании своего рода совокупного продукта - чат-интерфейса, который имеет доступ к нескольким различным моделям OpenAI.
Когда запрос требует расширенных рассуждений, он будет вызывать GPT-4o, а когда он хочет свести к минимуму шансы на галлюцинации, он будет вызывать более старую модель, такую как o1. Возможно, компания сможет стать еще более причудливой и использовать разные модели для обработки разных элементов одного запроса, а затем использовать дополнительную модель для сшивания всего этого в конце. Поскольку это будет, по сути, командная работа между несколькими моделями ИИ, возможно, можно будет внедрить также своего рода систему проверки фактов.
Повышение показателей точности не является главной целью. Главная цель - снизить частоту галлюцинаций, что означает, что нам нужно ценить ответы, которые говорят ‘Я не знаю’, а также ответы с правильными ответами.
Важность проверки фактов
Растущая распространенность галлюцинаций в моделях ИИ подчеркивает важность проверки фактов. Хотя эти модели могут быть ценными инструментами для поиска информации и автоматизации задач, их не следует рассматривать как непогрешимые источники правды.
Пользователи всегда должны проявлять осторожность при интерпретации результатов моделей ИИ и должны независимо проверять любую полученную ими информацию. Это особенно важно при работе с конфиденциальными или значимыми вопросами.
Приняв критический и скептический подход к контенту, созданному ИИ, мы можем смягчить риски, связанные с галлюцинациями, и убедиться, что мы принимаем обоснованные решения на основе точной информации. Если вы увлекаетесь LLM, нет необходимости прекращать их использование - но не позволяйте желанию сэкономить время одержать победу над необходимостью проверять факты результатов. Всегда проверяйте факты!
Последствия для будущего ИИ
Проблема галлюцинаций имеет серьезные последствия для будущего ИИ. По мере того, как модели ИИ все больше интегрируются в нашу жизнь, важно, чтобы они были надежными и заслуживающими доверия. Если модели ИИ склонны генерировать ложную или вводящую в заблуждение информацию, это может подорвать доверие общественности и затруднить их широкое распространение.
Решение проблемы галлюцинаций имеет решающее значение не только для повышения точности моделей ИИ, но и для обеспечения их этичного и ответственного использования. Разрабатывая системы ИИ, которые менее склонны к галлюцинациям, мы можем использовать их потенциал для добра, смягчая при этом риски дезинформации и обмана.