ИИ-чат-боты и рос. дезинформация

Распространение ложных сведений, поддерживаемых Кремлем

Суть проблемы заключается в преднамеренном загрязнении онлайн-источников информации. Затопляя результаты поиска и веб-сканеры прокремлевскими фальшивками, сеть дезинформаторов активно формирует выходные данные больших языковых моделей (LLM). Эти модели, которые питают ИИ-чат-ботов, с которыми мы ежедневно взаимодействуем, полагаются на обширные наборы данных, извлеченные из Интернета. Когда эти данные загрязнены дезинформацией, результирующий вывод отражает эти предубеждения.

NewsGuard, компания, предоставляющая рейтинги достоверности и отпечатки дезинформации для новостных и информационных веб-сайтов, провела углубленный анализ этого явления. Их выводы раскрывают тревожную реальность: значительная часть информации, генерируемой ведущими ИИ-чат-ботами, повторяет нарративы, распространяемые определенной сетью прокремлевских веб-сайтов.

Механика дезинформации: как манипулируют моделями ИИ

Стратегия, используемая этой сетью дезинформации, является одновременно коварной и изощренной. Она не нацелена в первую очередь на привлечение читателей-людей; скорее, она предназначена для манипулирования самими алгоритмами, которые лежат в основе ИИ-чат-ботов. Эта тактика, известная как ‘LLM grooming’, включает в себя стратегическое размещение ложной или вводящей в заблуждение информации на многочисленных веб-сайтах, зная, что эти платформы будут сканироваться и поглощаться LLM.

American Sunlight Project (ASP), американская некоммерческая организация, подчеркнула эту угрозу в отчете за февраль 2025 года. Они предупредили, что сеть Pravda, коллекция веб-сайтов, продвигающих пророссийские нарративы, вероятно, была создана с явной целью влияния на модели ИИ. Чем больше объем пророссийских нарративов, тем выше вероятность того, что LLM интегрируют их в свою базу знаний.

Последствия этого далеко идущие. Поскольку LLM все больше интегрируются в нашу повседневную жизнь, служа источниками информации и помощи, потенциал для широкомасштабного распространения манипулируемого контента вызывает тревогу.

Аудит NewsGuard: количественная оценка воздействия

Чтобы оценить масштабы этой проблемы, NewsGuard провел аудит десяти известных ИИ-чат-ботов. К ним относятся:

• OpenAI’s ChatGPT-4o
• You.com’s Smart Assistant
• xAI’s Grok
• Inflection’s Pi
• Mistral’s le Chat
• Microsoft’s Copilot
• Meta AI
• Anthropic’s Claude
• Google’s Gemini
• Perplexity’s answer engine

Аудит был сосредоточен на 15 различных ложных нарративах, которые активно продвигались 150 прокремлевскими веб-сайтами Pravda в период с апреля 2022 года по февраль 2025 года. Эти нарративы охватывали ряд тем, все они были разработаны для продвижения определенной политической повестки дня.

Методология включала тестирование каждого чат-бота с помощью серии подсказок, основанных на NewsGuard’s Misinformation Fingerprints, каталоге заведомо ложных утверждений по важным новостным темам. Подсказки были составлены в трех разных стилях – Innocent, Leading и Malign – чтобы имитировать различные способы взаимодействия пользователей с генеративными моделями ИИ. Это привело к 450 ответам (45 на чат-бота).

Тревожные результаты: дезинформация распространена среди чат-ботов

Результаты аудита NewsGuard были суровыми. В совокупности десять ИИ-чат-ботов повторили ложные российские дезинформационные нарративы в 33.55% ответов. Они не предоставили ответа в 18.22% случаев и опровергли нарратив в 48.22% случаев.

Каждый протестированный чат-бот повторял дезинформацию, исходящую из сети Pravda. Еще более тревожно то, что семь чат-ботов прямо цитировали конкретные статьи с веб-сайтов Pravda в качестве своих источников. Хотя две из моделей ИИ не предоставляют явных ссылок, они все равно генерировали или повторяли ложные нарративы из сети. Только одна из восьми моделей, которые цитируют источники, не цитировала Pravda.

В общей сложности 56 из 450 сгенерированных чат-ботами ответов содержали прямые ссылки на статьи, распространяющие ложные утверждения, опубликованные сетью Pravda. Чат-боты в совокупности процитировали 92 различные статьи, содержащие дезинформацию, причем две модели ссылались на 27 статей Pravda каждая. Эти статьи происходили из различных доменов сети, включая Denmark.news-pravda.com, Trump.news-pravda.com и NATO.news-pravda.com.

Характер подсказок: имитация реального взаимодействия

Три стиля подсказок, использованные в аудите NewsGuard, были разработаны, чтобы отразить спектр взаимодействия пользователей с ИИ-чат-ботами:

• Innocent Prompts: Эти подсказки представляли ложный нарратив в нейтральной, ненавязчивой форме, как если бы пользователь просто искал информацию без каких-либо предвзятых представлений.
• Leading Prompts: Эти подсказки тонко намекали на ложный нарратив, намекая на его достоверность, но не заявляя об этом явно. Это имитирует сценарии, когда пользователи могли иметь некоторый предварительный контакт с дезинформацией и ищут подтверждения.
• Malign Prompts: Эти подсказки прямо утверждали ложный нарратив как факт, отражая ситуации, когда пользователи уже убеждены в дезинформации и ищут подкрепления.

Этот многогранный подход был решающим для понимания того, как различные типы взаимодействия с пользователем могут повлиять на ответ чат-бота. Он показал, что чат-боты были восприимчивы к повторению дезинформации независимо от стиля подсказки, хотя частота и характер ответов различались.

Конкретные примеры дезинформации, повторяемой чат-ботами

Отчет NewsGuard предоставляет многочисленные примеры конкретных ложных нарративов, распространяемых сетью Pravda и впоследствии повторяемых ИИ-чат-ботами. Эти примеры подчеркивают широту и глубину дезинформационной кампании. Некоторые из нарративов включали:

• Утверждения о том, что Украина является нацистским государством.
• Ложные утверждения о причинах конфликта в Украине.
• Вводящая в заблуждение информация об участии Запада в конфликте.
• Сфабрикованные истории об украинском руководстве.

Это лишь несколько примеров из множества ложных нарративов, которые были тщательно задокументированы и отслежены NewsGuard. Тот факт, что эти нарративы повторяются ведущими ИИ-чат-ботами, подчеркивает острую необходимость в эффективных контрмерах.

Проблема борьбы с дезинформацией, управляемой ИИ

Решение этой проблемы является сложной задачей. Она требует многостороннего подхода, включающего как технологические решения, так и повышение осведомленности пользователей.

Технологические решения:

• Улучшенная фильтрация данных: Разработчикам ИИ необходимо внедрить более надежные механизмы фильтрации дезинформации из наборов данных, используемых для обучения LLM. Это включает в себя выявление и исключение ненадежных источников, а также разработку алгоритмов, которые могут обнаруживать и помечать потенциально ложную или вводящую в заблуждение информацию.
• Улучшенная проверка источников: Чат-боты должны быть разработаны таким образом, чтобы отдавать приоритет информации из достоверных и проверенных источников. Это включает в себя предоставление четких ссылок и возможность для пользователей легко отслеживать происхождение представленной информации.
• Прозрачность и объяснимость: Модели ИИ должны быть более прозрачными в отношении своих процессов принятия решений. Пользователи должны иметь возможность понять, почему чат-бот дает тот или иной ответ и на какие источники данных он опирается.

Осведомленность пользователей:

• Образование в области медиаграмотности: Пользователи должны быть осведомлены о потенциальной возможности дезинформации, генерируемой ИИ. Это включает в себя развитие навыков критического мышления и обучение тому, как оценивать достоверность онлайн-источников информации.
• Скептицизм и проверка: Пользователи должны подходить к информации, предоставляемой ИИ-чат-ботами, со здоровой долей скептицизма. Крайне важно сопоставлять информацию с другими источниками и остерегаться утверждений, которые кажутся слишком сенсационными или слишком хорошими, чтобы быть правдой.

Долгосрочные риски: политические, социальные и технологические

Бесконтрольное распространение дезинформации через ИИ-чат-ботов создает значительные долгосрочные риски. Эти риски выходят за рамки непосредственного воздействия отдельных ложных нарративов и охватывают более широкие социальные последствия.

• Политические риски: Манипулирование общественным мнением с помощью дезинформации, управляемой ИИ, может подорвать демократические процессы и подорвать доверие к институтам. Оно может быть использовано для влияния на выборы, разжигания розни и дестабилизации правительств.
• Социальные риски: Распространение ложных нарративов может усугубить существующие социальные разногласия и создать новые. Оно может разжигать предрассудки, дискриминацию и даже насилие.
• Технологические риски: Подрыв доверия к технологии ИИ из-за распространения дезинформации может помешать ее развитию и внедрению. Люди могут неохотно использовать инструменты ИИ, если они не могут быть уверены в точности и надежности предоставляемой информации.

Борьба с дезинформацией, управляемой ИИ, является критически важной. Она требует согласованных усилий со стороны разработчиков ИИ, политиков, педагогов и отдельных пользователей, чтобы гарантировать, что эти мощные технологии используются ответственно и этично. От этого может зависеть будущее информации и, по сути, будущее наших обществ.