최근 연구에 따르면 새로운 ChatGPT 모델이 이전 모델에 비해 환각 현상을 더 많이 보이는 우려스러운 추세가 나타나고 있습니다. 이러한 발견은 대규모 언어 모델 (LLM)의 고급 기능과 신뢰성 간의 절충점에 대한 중요한 질문을 제기합니다. 이러한 연구 결과의 세부 사항을 자세히 살펴보고 잠재적 의미를 살펴보겠습니다.
현상 이해하기
최근 논문에 자세히 설명된 OpenAI의 내부 테스트는 o3 및 o4-mini와 같은 모델에서 환각률이 크게 증가했음을 보여줍니다. 고급 추론 및 멀티모달 기능을 갖도록 설계된 이러한 모델은 AI 기술의 최첨단을 나타냅니다. 이미지를 생성하고, 웹 검색을 수행하고, 작업을 자동화하고, 과거 대화를 기억하고, 복잡한 문제를 해결할 수 있습니다. 그러나 이러한 발전에는 대가가 따르는 것으로 보입니다.
이러한 환각의 정도를 정량화하기 위해 OpenAI는 PersonQA라는 특정 테스트를 사용합니다. 이 테스트는 모델에 다양한 개인에 대한 일련의 사실을 제공한 다음 해당 개인에 대한 질문을 던지는 방식으로 진행됩니다. 모델의 정확성은 정답을 제공하는 능력에 따라 평가됩니다.
이전 평가에서 o1 모델은 16%의 환각률로 47%의 칭찬할 만한 정확도를 달성했습니다. 그러나 o3 및 o4-mini를 동일한 평가에 적용했을 때 결과는 현저하게 달랐습니다.
세계 지식이 적은 소형 버전인 o4-mini 모델은 더 높은 환각률을 보일 것으로 예상되었습니다. 그러나 실제 비율은 48%로 놀라울 정도로 높았는데, o4-mini가 웹 검색 및 정보 검색에 널리 사용되는 상용 제품이라는 점을 고려하면 더욱 그렇습니다.
풀 사이즈 o3 모델도 환각을 일으키는 우려스러운 경향을 보였습니다. 응답의 33%에서 모델은 정보를 조작하여 o1 모델의 환각률을 효과적으로 두 배로 늘렸습니다. 그럼에도 불구하고 o3는 또한 높은 정확도를 달성했는데, 이는 OpenAI가 전반적으로 더 많은 주장을 하는 경향 때문이라고 설명합니다.
환각의 정의
AI에서 ‘환각’이라는 용어는 모델이 명백한 출처나 정당성 없이 사실과 다르거나 터무니없는 응답을 생성하는 경향을 나타냅니다. 이는 단순히 잘못된 데이터나 오해로 인해 발생하는 실수가 아닙니다. 대신 환각은 모델의 추론 과정에서 더 근본적인 결함을 나타냅니다.
부정확한 정보는 Wikipedia 항목이나 Reddit 스레드와 같은 다양한 소스에서 발생할 수 있지만 이러한 인스턴스는 특정 데이터 포인트에 기인할 수 있는 추적 가능한 오류와 더 유사합니다. 반면에 환각은 AI 모델이 불확실한 순간에 사실을 발명하는 것으로 특징지어지며 일부 전문가들은 이를 ‘창의적 갭 채우기’라고 불렀습니다.
이 점을 설명하기 위해 ‘지금 사용할 수 있는 iPhone 16 모델 7가지는 무엇입니까?’라는 질문을 고려해 보겠습니다. Apple만이 다음 iPhone이 무엇인지 알 수 있으므로 LLM은 몇 가지 실제 답변을 제공한 다음 작업을 완료하기 위해 추가 모델을 구성할 가능성이 높습니다. 이는 모델이 작업을 완료하기 위해 정보를 조작하는 환각의 명확한 예이거나 ‘창의적 갭 채우기’라고 불리는 것입니다.
훈련 데이터의 역할
ChatGPT와 같은 챗봇은 방대한 양의 인터넷 데이터로 훈련됩니다. 이 데이터는 응답 내용을 알려주지만 응답 방식도 결정합니다. 모델은 수많은 쿼리 예제와 일치하는 이상적인 응답에 노출되어 특정 어조, 태도 및 예의 수준을 강화합니다.
이러한 훈련 과정은 의도치 않게 환각 문제에 기여할 수 있습니다. 모델은 질문에 직접적으로 답하는 자신감 있는 응답을 제공하도록 권장됩니다. 이로 인해 답변을 모른다고 인정하기보다는 정보를 발명해야 하는 경우에도 질문에 답변하는 것을 우선시하게 될 수 있습니다.
본질적으로 훈련 과정은 사실과 다르더라도 자신감 있고 겉보기에 지식이 풍부한 응답에 의도치 않게 보상을 줄 수 있습니다. 이는 정확도에 관계없이 답변을 생성하는 편향을 만들어 환각 문제를 악화시킬 수 있습니다.
AI 실수의 본질
AI 실수와 인간 오류 사이에는 유사점을 그리는 것이 좋습니다. 결국 인간은 완벽하지 않으며 AI도 완벽할 것으로 기대해서는 안 됩니다. 그러나 AI 실수는 인간 오류와 근본적으로 다른 프로세스에서 비롯된다는 점을 인식하는 것이 중요합니다.
AI 모델은 인간이 하는 방식으로 거짓말을 하거나 오해를 일으키거나 정보를 잘못 기억하지 않습니다. 그들은 인간 추론의 근본이 되는 인지 능력과 맥락 인식이 부족합니다. 대신 훈련 데이터에서 관찰된 패턴을 기반으로 문장에서 다음 단어를 예측하는 확률에 따라 작동합니다.
이러한 확률적 접근 방식은 AI 모델이 정확성이나 부정확성에 대한 진정한 이해를 가지고 있지 않다는 것을 의미합니다. 훈련 데이터에서 학습한 통계적 관계를 기반으로 가장 가능성이 높은 단어 시퀀스를 생성합니다. 이로 인해 사실과 달리 일관성이 있는 응답이 생성될 수 있습니다.
모델에 인터넷 전체의 정보가 제공되지만 어떤 정보가 좋거나 나쁜지, 정확하거나 부정확한지 알려주지 않습니다. 아무것도 알려주지 않습니다. 기존의 기본 지식이나 정보를 스스로 분류하는 데 도움이 되는 기본 원칙 세트도 없습니다. 그것은 단지 숫자의 게임일 뿐입니다. 주어진 맥락에서 가장 자주 존재하는 단어 패턴이 LLM의 ‘진실’이 됩니다.
과제 해결
고급 AI 모델에서 환각률이 증가하는 것은 중대한 과제를 제기합니다. OpenAI 및 기타 AI 개발자는 이 문제를 이해하고 완화하기 위해 적극적으로 노력하고 있습니다. 그러나 환각의 근본 원인은 완전히 이해되지 않았으며 효과적인 솔루션을 찾는 것은 여전히 진행 중인 노력입니다.
한 가지 잠재적인 접근 방식은 훈련 데이터의 품질과 다양성을 개선하는 것입니다. 모델에 더 정확하고 포괄적인 정보를 제공함으로써 개발자는 모델이 잘못된 정보를 학습하고 영속화할 가능성을 줄일 수 있습니다.
또 다른 접근 방식은 환각을 감지하고 예방하기 위한 보다 정교한 기술을 개발하는 것입니다. 여기에는 모델이 특정 정보에 대해 확신이 없을 때를 인식하고 충분한 증거 없이 주장을 삼가도록 훈련하는 것이 포함될 수 있습니다.
한편 OpenAI는 근본 원인에 대한 연구를 계속하는 것 외에도 단기적인 솔루션을 추구해야 할 수도 있습니다. 결국 이러한 모델은 돈을 버는 제품이며 사용 가능한 상태여야 합니다. 한 가지 아이디어는 다양한 OpenAI 모델에 액세스할 수 있는 채팅 인터페이스인 일종의 집계 제품을 만드는 것입니다.
쿼리에 고급 추론이 필요한 경우 GPT-4o를 호출하고 환각 가능성을 최소화하려는 경우 o1과 같은 이전 모델을 호출합니다. 아마도 회사는 훨씬 더 멋지게 사용할 수 있고 단일 쿼리의 다양한 요소를 처리하기 위해 다른 모델을 사용한 다음 추가 모델을 사용하여 마지막에 모두 연결할 수 있을 것입니다. 이것은 본질적으로 여러 AI 모델 간의 팀워크이므로 일종의 사실 확인 시스템도 구현할 수 있습니다.
정확도율을 높이는 것이 주요 목표가 아닙니다. 주요 목표는 환각률을 낮추는 것이며, 이는 정답이 있는 응답뿐만아니라 ‘모르겠습니다’라고 말하는 응답도 중요하게 생각해야 함을 의미합니다.
사실 확인의 중요성
AI 모델에서 환각이 점점 더 만연해지면서 사실 확인의 중요성이 강조됩니다. 이러한 모델은 정보 검색 및 작업 자동화를 위한 유용한 도구가 될 수 있지만 오류가 없는 진실의 소스로 취급해서는 안 됩니다.
사용자는 AI 모델의 출력을 해석할 때 항상 주의를 기울여야 하며 받는 모든 정보를 독립적으로 확인해야 합니다. 이는 민감하거나 중요한 문제를 다룰 때 특히 중요합니다.
AI 생성 콘텐츠에 대한 비판적이고 회의적인 접근 방식을 채택함으로써 우리는 환각과 관련된 위험을 완화하고 정확한 정보를 기반으로 정보에 입각한 결정을 내릴 수 있습니다. LLM에 관심이 많다면 계속 사용할 필요는 없지만 시간을 절약하고 싶은 욕구가 결과를 사실 확인해야 할 필요성을 이기게 하지 마십시오. 항상 사실을 확인하십시오!
AI의 미래에 대한 시사점
환각 문제는 AI의 미래에 중요한 영향을 미칩니다. AI 모델이 우리 삶에 더 많이 통합됨에 따라 신뢰할 수 있고 신뢰할 수 있어야 합니다. AI 모델이 거짓되거나 오해의 소지가 있는 정보를 생성하는 경향이 있다면 대중의 신뢰를 떨어뜨리고 널리 채택하는 데 방해가 될 수 있습니다.
환각 문제를 해결하는 것은 AI 모델의 정확성을 향상시키는 데 중요할 뿐만 아니라 윤리적이고 책임감 있는 사용을 보장하는 데도 중요합니다. 환각이 발생하기 쉬운 AI 시스템을 개발함으로써 오해와 속임수의 위험을 완화하면서 잠재력을 최대한 활용할 수 있습니다.