‘LLM Grooming’의 메커니즘
Pravda 네트워크는 약 150개의 가짜 뉴스 사이트로 구성된 방대한 웹을 통해 운영됩니다. 그러나 이러한 사이트는 사람들을 위한 것이 아닙니다. 트래픽이 최소화되어 대부분의 페이지가 월 1,000명 미만의 방문자를 기록하며, 주요 목적은 AI 시스템에 콘텐츠를 제공하는 것입니다. 이 전략은 인간 독자를 직접 대상으로 하는 전통적인 방법을 넘어선 새로운 허위 정보 접근 방식을 나타냅니다.
이 전술은 AI 학습 데이터를 의도적으로 조작하는 것을 설명하는 용어인 ‘LLM grooming‘으로 알려져 있습니다. 이 네트워크는 검색 엔진에 최적화(SEO)된 콘텐츠를 대량으로 게시하여 이를 달성합니다. 이를 통해 선전은 AI 모델에 의해 쉽게 수집되고 재배포되어 출력에 영향을 미치고 잠재적으로 대중의 인식을 형성합니다.
모스크바에 거주하는 미국인이자 NewsGuard가 러시아 허위 정보 캠페인을 지원하는 것으로 알려진 John Mark Dougan은 지역 회의에서 기본 원칙을 설명했습니다. “이 정보가 다양할수록 학습과 미래 AI에 더 많은 영향을 미칩니다.” 이 성명은 AI 시스템이 구축되는 기반 데이터를 미묘하게 손상시키는 것을 목표로 하는 작전의 악의적인 성격을 강조합니다.
운영 규모 및 범위
Pravda 네트워크 활동의 규모는 엄청납니다. 2024년에만 이 사이트는 49개국에서 약 360만 건의 기사를 게시했습니다. 도메인 이름은 NATO.News-Pravda.com, Trump.News-Pravda.com, Macron.News-Pravda.com과 같은 합법적인 뉴스 소스를 모방하도록 전략적으로 선택되었습니다. 이러한 모방은 기만 계층을 추가하여 일반 관찰자가 진정한 콘텐츠와 조작된 콘텐츠를 구별하기 어렵게 만듭니다.
콘텐츠 자체는 광범위한 주제를 다루지만 일관되게 친러시아 내러티브를 홍보하고 서구의 관점을 훼손합니다. 이 네트워크는 적어도 2022년 4월부터 활동해 왔으며 NewsGuard의 분석은 그 시점부터 2025년 2월 사이에 Pravda 네트워크에서 배포한 15개의 검증 가능한 거짓 이야기에 초점을 맞췄습니다.
AI 챗봇의 취약성
NewsGuard의 조사에는 Pravda 네트워크의 허위 정보에 대한 취약성을 평가하기 위해 여러 주요 AI 챗봇을 테스트하는 것이 포함되었습니다. 테스트된 시스템은 다음과 같습니다.
- OpenAI’s ChatGPT-4o
- You.com’s Smart Assistant
- xAI’s Grok
- Inflection’s Pi
- Mistral’s le Chat
- Microsoft’s Copilot
- Meta AI
- Anthropic’s Claude
- Google’s Gemini
- Perplexity
결과는 우려스러웠습니다. AI 챗봇은 33.5%의 경우에 Pravda 네트워크의 거짓 내러티브를 수용했습니다. 시스템은 48.2%의 경우에 러시아 콘텐츠를 허위 정보로 올바르게 식별했지만 때로는 오해의 소지가 있는 출처를 인용하여 부당한 신뢰성을 부여했을 수 있습니다. 나머지 18.2%의 응답은 결정적이지 않아 AI 생성 콘텐츠 시대에 진실과 거짓을 구별하는 데 어려움이 있음을 더욱 강조합니다.
AI 기반 허위 정보 대응의 과제
이러한 유형의 조작에 대응하는 것은 중대한 과제를 제시합니다. 알려진 허위 정보 웹사이트를 차단하는 전통적인 방법은 효과가 없는 것으로 입증되었습니다. 당국이 Pravda 도메인을 차단하면 새로운 도메인이 빠르게 나타나 네트워크의 민첩성과 복원력을 보여줍니다.
또한 허위 정보는 여러 채널을 통해 동시에 흐르며, 종종 다른 네트워크 사이트가 서로의 콘텐츠를 역류시킵니다. 이는 복잡한 상호 연결된 소스 웹을 생성하여 근본적으로 선전을 격리하고 무력화하기 어렵게 만듭니다. 단순히 웹사이트를 차단하는 것은 더 광범위하고 조직적인 캠페인에 대한 제한적인 보호를 제공합니다.
더 넓은 맥락: 국가 지원 AI 조작
Pravda 네트워크의 활동은 고립된 사건이 아닙니다. 이는 허위 정보 목적으로 AI를 활용하려는 국가 지원 노력의 더 넓은 패턴과 일치합니다. 최근 OpenAI 연구에 따르면 러시아, 중국, 이란, 이스라엘의 국가 지원 행위자들이 이미 선전 캠페인에 AI 시스템을 사용하려고 시도한 것으로 나타났습니다. 이러한 작업은 종종 AI 생성 콘텐츠와 전통적인 수동으로 만든 자료를 결합하여 진정한 정보와 조작된 정보 간의 경계를 모호하게 만듭니다.
정치적 조작에 AI를 사용하는 것은 국가 행위자에 국한되지 않습니다. 독일의 극우 AFD 정당과 같은 정치 단체도 선전 목적으로 AI 이미지 모델을 사용하는 것이 관찰되었습니다. 도널드 트럼프와 같은 인물조차도 AI 생성 콘텐츠를 소비하고 역설적으로 진정한 정보를 AI 생성 가짜로 표시함으로써 AI 생성 콘텐츠에 참여했습니다. 반선전의 한 형태로 확인된 이 전술은 모든 온라인 정보에 대한 불신을 심어 잠재적으로 개인이 사실 정확성에 관계없이 신뢰할 수 있는 인물에만 의존하도록 유도합니다.
AI 모델 자체의 디자인조차도 국가 의제의 영향을 받을 수 있습니다. 예를 들어, 중국 AI 모델은 중국 정부의 정치적 우선 순위를 반영하여 검열 및 선전이 미리 로드된 것으로 밝혀졌습니다.
심층 분석: 거짓 내러티브의 구체적인 예
NewsGuard 보고서에는 Pravda 네트워크에서 전파하는 모든 거짓 내러티브가 자세히 설명되어 있지 않지만, 검증 가능한 거짓 이야기를 사용하는 방법론은 다음과 같은 목적으로 허위 정보를 퍼뜨리는 패턴을 시사합니다.
- 서구 기관 훼손: 이야기는 NATO를 공격적이거나 불안정한 것으로 거짓 묘사하거나 서구 지도자와 관련된 스캔들을 조작할 수 있습니다.
- 친러시아 정서 조장: 내러티브는 러시아의 군사적 성공을 과장하고 인권 유린을 경시하거나 국제 무대에서 러시아의 행동을 정당화할 수 있습니다.
- 불화와 분열 조장: 콘텐츠는 서구 국가 내의 기존 사회적, 정치적 긴장을 악화시키고 분열적인 문제를 증폭시키고 양극화를 조장하는 것을 목표로 할 수 있습니다.
- 특정 사건에 대한 현실 왜곡: 선거, 분쟁 또는 국제 사건과 같은 사건에 대한 허위 정보가 퍼져 친러시아 해석에 유리하게 내러티브를 왜곡할 수 있습니다.
일관된 맥락은 특정 지정학적 의제를 수행하기 위한 정보 조작입니다. AI를 사용하면 이러한 내러티브의 도달 범위와 잠재적 영향이 증폭되어 감지하고 대응하기가 더 어려워집니다.
장기적인 영향
이러한 AI 기반 허위 정보의 영향은 광범위합니다. 정보 출처에 대한 신뢰 저하, 여론 조작 가능성, 민주적 절차의 불안정화는 모두 심각한 문제입니다. AI 시스템이 점점 더 우리의 일상 생활에 통합됨에 따라 진실과 거짓을 구별하는 능력은 더욱 중요해집니다.
‘LLM grooming’ 기술은 정보 전쟁 환경에서 중대한 확대를 나타냅니다. 이는 AI 시스템의 조작 취약성과 이러한 미묘하지만 만연한 형태의 영향에 대한 강력한 방어의 필요성을 강조합니다. 과제는 허위 정보 출처를 식별하고 차단하는 것뿐만 아니라 이러한 미묘하지만 만연한 형태의 영향에 대해 AI 모델을 예방하는 전략을 개발하는 데 있습니다. 이를 위해서는 다음과 같은 다각적인 접근 방식이 필요합니다.
- 향상된 AI 리터러시: AI 생성 허위 정보의 가능성에 대해 대중을 교육하고 비판적 사고 능력을 증진합니다.
- 개선된 AI 감지 도구: AI 생성 콘텐츠 및 허위 정보를 식별하고 표시하는 보다 정교한 방법을 개발합니다.
- 강화된 AI 학습 데이터: AI 학습 데이터의 무결성과 다양성을 보장하기 위한 조치를 구현하여 조작에 더 강하게 만듭니다.
- 국제 협력: 이 글로벌 과제를 해결하기 위해 정부, 기술 회사 및 연구원 간의 협력을 촉진합니다.
- 투명성 증대: AI 개발자는 사용된 학습 데이터와 모델 내에 존재할 수 있는 잠재적 편향에 대해 투명해야 합니다.
- 알고리즘 책임: AI 개발자는 특히 해당 출력이 허위 정보를 퍼뜨리는 데 사용되는 경우 시스템 출력에 대한 책임을 져야 합니다.
AI 기반 허위 정보와의 싸움은 복잡하고 진화하는 싸움입니다. 정보의 무결성을 보호하고 정보에 입각한 의사 결정의 기반을 보호하려면 개인, 조직 및 정부의 공동 노력이 필요합니다. Pravda 네트워크의 활동은 관련된 위험과 이 증가하는 위협을 해결해야 하는 시급성을 극명하게 상기시켜 줍니다. 정보에 입각한 대중 담론의 미래와 잠재적으로 민주 사회의 안정성은 이러한 새로운 형태의 조작에 성공적으로 대응하는 능력에 달려 있을 수 있습니다. 과제는 기술적인 것뿐만 아니라 사회적이기도 하며, 디지털 시대에 진실, 정확성 및 비판적 사고에 대한 새로운 약속이 필요합니다.