‘LLMグルーミング’のメカニズム
Pravdaネットワークは、約150の偽ニュースサイトの広大なウェブを通じて運営されています。しかし、これらのサイトは人間の消費のために設計されていません。月間訪問者数が1,000人未満のページがほとんどで、主な目的はAIシステムにコンテンツを提供することです。この戦略は、人間の読者を直接ターゲットとする従来の方法を超えた、偽情報に対する新しいアプローチを示しています。
この戦術は’LLMグルーミング‘として知られており、AIトレーニングデータを意図的に操作することを表す用語です。ネットワークは、検索エンジン最適化(SEO)されたコンテンツを大量に公開することでこれを実現します。これにより、プロパガンダはAIモデルによって容易に取り込まれ、再配布され、その出力に影響を与え、潜在的に世論を形成します。
モスクワ在住のアメリカ人で、NewsGuardによってロシアの偽情報キャンペーンを支援しているとされるJohn Mark Douganは、地方の会議でその基本原理を説明しました。「この情報が多様であればあるほど、トレーニングと将来のAIに影響を与えます。」この声明は、AIシステムの基盤となるデータを巧妙に破損させることを目的とした、この作戦の陰湿な性質を浮き彫りにしています。
作戦の規模と範囲
Pravdaネットワークの活動の規模は驚異的です。2024年だけでも、これらのサイトは49か国で約360万件の記事を公開しました。ドメイン名は、NATO.News-Pravda.com、Trump.News-Pravda.com、Macron.News-Pravda.comなど、正当なニュースソースを模倣するように戦略的に選択されています。この模倣は欺瞞の層を追加し、一般の人が本物のコンテンツと捏造されたコンテンツを区別することをより困難にします。
コンテンツ自体は幅広いトピックに及びますが、一貫して親ロシアの物語を促進し、西側の視点を弱体化させます。ネットワークは少なくとも2022年4月から活動しており、NewsGuardの分析は、2025年2月までの間にPravdaネットワークによって配布された15の検証可能な虚偽のストーリーに焦点を当てました。
AIチャットボットの脆弱性
NewsGuardの調査では、Pravdaネットワークの偽情報に対する脆弱性を評価するために、いくつかの著名なAIチャットボットをテストしました。テストされたシステムは次のとおりです。
- OpenAI’s ChatGPT-4o
- You.com’s Smart Assistant
- xAI’s Grok
- Inflection’s Pi
- Mistral’s le Chat
- Microsoft’s Copilot
- Meta AI
- Anthropic’s Claude
- Google’s Gemini
- Perplexity
結果は憂慮すべきものでした。AIチャットボットは、33.5%のケースでPravdaネットワークからの虚偽の物語を受け入れました。システムは48.2%のケースでロシアのコンテンツを偽情報として正しく識別しましたが、誤解を招く可能性のある情報源を引用する場合があり、不当な信頼性を与えている可能性があります。残りの18.2%の応答は決定的ではなく、AI生成コンテンツの時代に真実と虚偽を識別することの課題をさらに浮き彫りにしています。
AIによる偽情報に対抗する課題
この種の操作に対抗することは、重大な課題を提示します。既知の偽情報ウェブサイトをブロックする従来の方法は、効果がないことが証明されています。当局がPravdaドメインをブロックすると、新しいドメインがすぐに現れ、ネットワークの俊敏性と回復力を示しています。
さらに、偽情報は複数のチャネルを通じて同時に流れ、多くの場合、異なるネットワークサイトが互いのコンテンツを逆流させます。これにより、相互接続されたソースの複雑なウェブが作成され、根本的にプロパガンダを分離して無力化することが困難になります。単にウェブサイトをブロックするだけでは、より広範で協調的なキャンペーンに対する保護は限定的です。
より広範なコンテキスト：国家支援によるAI操作
Pravdaネットワークの活動は、孤立した事件ではありません。これらは、偽情報の目的でAIを活用するための国家支援の取り組みのより広範なパターンと一致しています。最近のOpenAIの調査によると、ロシア、中国、イラン、イスラエルの国家支援を受けたアクターは、すでにプロパガンダキャンペーンにAIシステムを使用しようと試みています。これらの作戦は、AI生成コンテンツと従来の、手動で作成された資料を組み合わせることが多く、本物の情報と操作された情報の境界線を曖昧にします。
政治的操作におけるAIの使用は、国家主体に限定されません。ドイツの極右政党AFDなどの政治団体も、プロパガンダ目的でAI画像モデルを使用していることが観察されています。ドナルド・トランプのような人物でさえ、消費者として、そして逆説的に、本物の情報をAI生成の偽物としてラベル付けすることによって、AI生成コンテンツに関与しています。カウンタープロパガンダの一形態として特定されたこの戦術は、すべてのオンライン情報への不信感を植え付け、事実の正確性に関係なく、個人を信頼できる人物だけに頼らせる可能性があります。
AIモデル自体の設計でさえ、国家の議題の影響を受ける可能性があります。たとえば、中国のAIモデルは、中国政府の政治的優先順位を反映して、検閲とプロパガンダが事前にロードされていることがわかっています。
詳細：虚偽の物語の具体例
NewsGuardのレポートでは、Pravdaネットワークによって伝播されたすべての虚偽の物語が詳細に説明されているわけではありませんが、検証可能な虚偽のストーリーを使用する方法論は、以下を目的とした誤報を広めるパターンを示唆しています。
- 西側機関の弱体化： ストーリーは、NATOを攻撃的または不安定であると誤って描写したり、西側指導者を含むスキャンダルを捏造したりする可能性があります。
- 親ロシア感情の促進： 物語は、ロシアの軍事的成功を誇張したり、人権侵害を軽視したり、国際舞台での行動を正当化したりする可能性があります。
- 不和と分裂の種をまく： コンテンツは、西側諸国における既存の社会的および政治的緊張を悪化させ、分裂的な問題を増幅し、二極化を促進することを目的としている可能性があります。
- 特定のイベントに関する現実の歪曲： 選挙、紛争、国際事件などのイベントについて虚偽の情報が広められ、物語を親ロシアの解釈に有利に歪曲する可能性があります。
一貫したスレッドは、特定の地政学的議題に役立つように情報を操作することです。AIの使用は、これらの物語の範囲と潜在的な影響を増幅し、それらを検出し、対抗することをより困難にします。
長期的な影響
このAI主導の偽情報の影響は広範囲に及びます。情報源への信頼の低下、世論操作の可能性、民主的プロセスの不安定化はすべて深刻な懸念事項です。AIシステムが私たちの日常生活にますます統合されるにつれて、真実と虚偽を区別する能力はますます重要になります。
‘LLMグルーミング’技術は、情報戦の状況における重大なエスカレーションを表しています。これは、AIシステムの操作に対する脆弱性と、この新たな脅威に対する堅牢な防御の必要性を浮き彫りにしています。課題は、偽情報源を特定してブロックするだけでなく、これらの微妙でありながら広範囲にわたる影響力に対してAIモデルを予防接種するための戦略を開発することにもあります。これには、以下を含む多面的なアプローチが必要です。
- AIリテラシーの向上： AI生成の偽情報の可能性について一般の人々を教育し、批判的思考スキルを促進する。
- AI検出ツールの改善： AI生成コンテンツと偽情報を識別およびフラグ付けするための、より洗練された方法を開発する。
- AIトレーニングデータの強化： AIトレーニングデータの整合性と多様性を確保するための対策を実装し、操作に対する耐性を高める。
- 国際協力： この世界的な課題に対処するために、政府、テクノロジー企業、研究者の間の協力を促進する。
- 透明性の向上: AI開発者は、使用されるトレーニングデータと、モデル内に存在する可能性のあるバイアスについて透明性を確保する必要があります。
- アルゴリズムの説明責任: AI開発者は、特にその出力が偽情報の拡散に使用される場合、システムの出力に対して責任を負う必要があります。
AI主導の偽情報との戦いは、複雑で進化し続けるものです。情報 の完全性を保護し、情報に基づいた意思決定の基盤を保護するためには、個人、組織、および政府からの協調的な努力が必要です。Pravdaネットワークの活動は、関係する利害関係と、この増大する脅威に対処することの緊急性をはっきりと示しています。情報に基づいた公の議論の未来、そして潜在的には民主主義社会の安定は、この新しい形態の操作にうまく対抗する私たちの能力にかかっているかもしれません。課題は技術的なものだけではありません。それはまた社会的なものであり、デジタル時代における真実、正確さ、批判的思考への新たなコミットメントを必要とします。