중국 병원 내 DeepSeek AI 도입 우려 증가

중국 병원 내 DeepSeek AI 도입 우려 증가

중국 연구팀은 인공지능 모델인 DeepSeek의 급속한 병원 환경 통합에 대한 우려를 표명했다. 그들의 분석은 특히 스타트업의 경제적인 오픈 소스 모델의 광범위한 사용으로 인해 임상 안전과 데이터 프라이버시에 대한 잠재적인 위험을 강조한다.

3월 초까지 DeepSeek의 대규모 언어 모델(LLM)은 이미 중국 병원 최소 300곳에서 임상 진단과 의료 의사 결정을 지원하는 데 사용되고 있었다.

*미국 의학 협회 저널(JAMA)*에 발표된 연구 논문은 DeepSeek가 설득력 있어 보이지만 사실상 부정확한 결과를 생성하는 경향을 지적한다. AI의 강력한 추론 능력에도 불구하고 이는 심각한 임상적 위험을 초래할 수 있다. 칭화 의학원의 창립 책임자이자 칭화대학교 베이징 캠퍼스의 연구 부서인 Wong Tien Yin은 연구팀의 일원이다.

이러한 주의 사항은 중국에서 DeepSeek에 대한 만연한 열정과 대조적이다. 저렴하고 성능이 뛰어난 V3 및 R1 모델로 유명한 이 스타트업은 중국 AI 발전의 상징이 되었다.

Wong과 그의 공동 저자들은 의료 전문가들이 DeepSeek의 결과에 지나치게 의존하거나 비판적인 평가 없이 수용할 위험을 강조했다. 이는 진단 오류 또는 편향된 치료 계획으로 이어질 수 있다. 반대로, 신중한 임상의는 시간 제약 하에서 AI 결과를 확인해야 하는 추가 부담에 직면하게 된다.

현장 배포 시 보안 위험

병원은 종종 보안 및 개인 정보 보호와 관련된 위험을 줄이기 위해 DeepSeek 모델을 비공개 현장 배포하는 것을 선택하지만, 이 접근 방식은 자체적인 복잡성을 야기한다. 연구자들에 따르면 이는 "보안 책임을 개별 의료 시설로 이전"하며, 이들 중 상당수는 필요한 사이버 보안 방어책이 부족할 수 있다.

연구자들은 또한 불충분한 1차 진료 인프라와 중국 내 스마트폰의 광범위한 사용이 결합되어 임상 안전에 대한 우려를 악화시키는 "완벽한 폭풍"을 만들어낸다고 지적했다.

연구자들은 "복잡한 의료 요구 사항을 가진 소외 계층은 AI 기반 건강 권장 사항에 전례 없는 접근성을 갖게 되었지만, 안전한 구현에 필요한 임상 감독이 부족한 경우가 많다"고 밝혔다.

의료 환경에서의 LLM 심사

이 논문은 임상 및 의료 환경에서 LLM 활용에 대한 증가하는 논의에 기여한다. 중국의 다른 기관들 또한 도입이 가속화됨에 따라 LLM을 면밀히 조사하기 시작했다. 홍콩 중문 대학교 연구원들이 지난달 발표한 또 다른 논문은 AI 에이전트의 사이버 보안 취약점을 조사한 결과, 일반적으로 사용되는 LLM으로 구동되는 에이전트가 다양한 공격에 취약하며 DeepSeek-R1이 가장 취약한 것으로 밝혀졌다.

중국은 생성 AI 기술의 급증 속에서 의료 분야에서 LLM 도입을 가속화했다. 지난달 중국의 금융 기술 회사인 Ant Group은 Alipay 결제 앱에 약 100개의 AI 의료 에이전트를 도입했다. 이러한 에이전트는 중국 유명 병원의 의료 전문가가 지원한다.

칭화대학교에서 육성된 스타트업인 Tairex는 11월에 가상 병원 플랫폼의 내부 테스트를 시작했다. 이 플랫폼은 응급, 호흡기, 소아과, 심장학과 등 21개 진료과를 다루는 42명의 AI 의사를 갖추고 있다. 회사는 올해 말에 이 플랫폼을 일반에 공개할 계획이라고 밝혔다.

의료 분야에서의 AI에 대한 우려 심층 분석

중국 의료 환경에 AI, 특히 DeepSeek와 같은 대규모 언어 모델(LLM)의 급속한 통합은 잠재적인 이점을 옹호하는 사람들과 신중함을 촉구하는 사람들 사이에서 논쟁을 불러일으켰다. AI는 진단, 치료 및 의료 접근성을 개선할 수 있는 흥미로운 가능성을 제공하지만, 몇 가지 요인으로 인해 더욱 신중한 접근 방식이 필요하다. 연구자들이 제기한 우려는 이러한 중요한 영역에서 AI를 배포할 때의 복잡성과 잠재적인 함정을 강조한다.

주요 우려 사항 중 하나는 AI가 생성한 정보의 신뢰성이다. LLM은 방대한 데이터 세트를 기반으로 훈련되지만, 이러한 데이터 세트에는 편향, 부정확성 또는 오래된 정보가 포함될 수 있다. 결과적으로 AI 모델은 때때로 그럴듯해 보이지만 실제로는 잘못된 결과를 생성할 수 있다. 이는 진단 오류나 잘못된 치료 권장 사항이 환자에게 심각한 결과를 초래할 수 있는 의료 환경에서 심각한 위험을 제기한다.

AI에 대한 과도한 의존 위험

또 다른 우려는 의료 전문가들이 AI에 지나치게 의존하고 비판적 사고 능력을 상실할 가능성이다. 의사와 간호사가 AI 결과를 틀림없는 것으로 취급하기 시작하면 환자의 상태를 적절하게 평가하지 못하거나 중요한 세부 사항을 간과하거나 AI의 권장 사항에 의문을 제기하지 못할 수 있다. 이는 진단 오류, 부적절한 치료 및 치료 품질 저하로 이어질 수 있다.

또한 AI의 광범위한 도입은 데이터 프라이버시, 알고리즘 편향 및 일자리 대체 가능성에 대한 윤리적 및 사회적 문제를 제기한다. 환자는 특히 자신의 건강 데이터가 AI 모델을 훈련하는 데 사용되는 경우 데이터의 보안 및 기밀성에 대해 우려할 수 있다. 알고리즘 편향은 또한 인구의 다양성을 정확하게 반영하지 않는 데이터로 AI 모델을 훈련하는 경우 기존의 건강 불균형을 영구화하고 악화시킬 수 있다.

혁신과 신중함 사이의 균형 유지

이러한 위험을 완화하려면 의료 분야에서 AI 통합에 대해 보다 신중하고 책임감 있는 접근 방식을 채택하는 것이 중요하다. 여기에는 다음이 포함된다.

• 엄격한 테스트 및 검증: 임상 환경에서 AI 모델을 배포하기 전에 정확성, 신뢰성 및 공정성을 보장하기 위해 다양한 인구에 대해 철저하게 테스트하고 검증해야 한다.
• 인간의 감독: AI는 인간의 판단을 대체하는 것이 아니라 보완하는 도구로 사용해야 한다. 의료 전문가는 임상적 결정을 내리기 전에 항상 AI 결과를 검토하고 확인해야 한다.
• 투명성 및 설명 가능성: AI 모델은 투명하고 설명 가능해야 하므로 의료 전문가는 권장 사항에 도달하는 방법을 이해할 수 있다. 이는 AI에 대한 신뢰를 구축하고 잠재적인 오류나 편향을 식별하는 데 도움이 될 수 있다.
• 데이터 프라이버시 및 보안: 환자 데이터의 프라이버시와 보안을 보호하기 위해 강력한 보호 장치를 마련해야 한다. 여기에는 정보에 입각한 동의를 얻고, 강력한 보안 조치를 구현하고, 데이터 보호 규정을 준수하는 것이 포함된다.
• 교육 및 훈련: 의료 전문가는 AI를 효과적이고 책임감 있게 사용하는 방법에 대한 포괄적인 교육을 받아야 한다. 여기에는 AI의 한계 이해, 잠재적인 편향 인식, AI 결과의 비판적 평가가 포함된다.

사이버 보안 취약점 해결

홍콩 중문 대학교 연구자들이 강조한 AI 에이전트의 사이버 보안 취약점은 의료 시스템의 무결성 및 보안에 심각한 위협이 된다. AI 모델이 공격에 취약한 경우 악의적인 행위자가 AI의 출력을 조작하거나 중요한 환자 데이터에 액세스하거나 의료 운영을 방해할 수 있다.

이러한 취약점을 해결하려면 다음과 같은 강력한 사이버 보안 조치를 구현하는 것이 필수적이다.

• 보안 코딩 관행: SQL 삽입, 교차 사이트 스크립팅 및 버퍼 오버플로와 같은 취약점을 방지하기 위해 보안 코딩 관행을 사용하여 AI 모델을 개발해야 한다.
• 정기적인 보안 감사: AI 시스템은 잠재적인 취약점을 식별하고 해결하기 위해 정기적인 보안 감사를 받아야 한다.
• 침입 탐지 및 방지 시스템: 악의적인 활동에 대한 AI 시스템을 모니터링하고 무단 액세스를 방지하기 위해 침입 탐지 및 방지 시스템을 구현해야 한다.
• 데이터 암호화: 중요한 환자 데이터는 무단 액세스로부터 보호하기 위해 전송 중과 저장 시 모두 암호화해야 한다.
• 액세스 제어: AI 시스템 및 데이터에 대한 액세스를 승인된 인원으로 제한하기 위해 엄격한 액세스 제어를 구현해야 한다.

윤리적 고려 사항

기술적인 문제 외에도 의료 분야에서 AI 통합은 많은 중요한 윤리적 고려 사항을 제기한다. 여기에는 다음이 포함된다.

• 알고리즘 편향: AI 모델은 인구의 다양성을 정확하게 반영하지 않는 데이터로 훈련하는 경우 기존의 건강 불균형을 영구화하고 악화시킬 수 있다. AI 모델이 공정하고 편향되지 않도록 하는 것이 중요하다.
• 데이터 프라이버시: 환자는 특히 자신의 건강 데이터가 AI 모델을 훈련하는 데 사용되는 경우 데이터의 프라이버시에 대해 우려할 수 있다. 정보에 입각한 동의를 얻고 환자 데이터를 보호하는 것이 필수적이다.
• 투명성 및 설명 가능성: AI 모델은 투명하고 설명 가능해야 하므로 환자는 권장 사항에 도달하는 방법을 이해할 수 있다. 이는 AI에 대한 신뢰를 구축하는 데 도움이 될 수 있다.
• 책임: AI 시스템에서 내린 결정에 대한 명확한 책임 라인을 설정하는 것이 중요하다. AI 모델이 잘못된 진단을 내리거나 부적절한 치료를 권장하는 경우 누가 책임을 져야 하는가?

나아갈 방향

의료 분야에서 AI 통합은 환자 치료를 개선하고, 비용을 절감하고, 의료 시스템의 효율성을 향상시킬 수 있는 엄청난 잠재력을 가지고 있다. 그러나 이러한 통합에 신중하게 접근하고 잠재적인 위험과 과제를 해결하는 것이 중요하다. 책임감 있고 윤리적인 접근 방식을 채택함으로써 AI의 힘을 활용하여 의료를 더 나은 방향으로 전환할 수 있다.