中國研究團隊近日針對人工智能模型 DeepSeek 在中國醫院的快速普及應用表達了擔憂，強調其可能對臨床安全和數據隱私構成威脅，特別是由於該初創公司經濟實惠的開源模型被廣泛使用。
截至三月初，DeepSeek 的大型語言模型 (LLMs) 已被至少 300 家中國醫院用於臨床診斷和醫療決策支持。
發表在 Journal of the American Medical Association (JAMA) 的研究論文指出，DeepSeek 傾向於生成看似令人信服但事實不準確的輸出。儘管該 AI 具有強大的推理能力，但這可能會產生重大的臨床風險。清華大學醫學院創始院長、清華大學北京研究部門的王庭寅是研究團隊的成員之一。
這種保持警惕的態度與中國普遍對 DeepSeek 的熱情形成鮮明對比。這家初創公司以其價格實惠且性能卓越的 V3 和 R1 模型而聞名，已成為中國 AI 進步的象徵。
王庭寅和他的共同作者強調，醫療專業人員可能會過度依賴或接受 DeepSeek 的輸出，而沒有經過批判性的評估，這可能導致診斷錯誤或有偏見的治療計劃。相反，保持謹慎的臨床醫生將面臨在時間限制下驗證 AI 輸出的額外負擔。
現場部署的安全風險
雖然醫院通常選擇私有的、現場部署的 DeepSeek 模型，以降低與安全和隱私相關的風險，但這種方法也帶來了自身的一系列複雜問題。研究人員表示，這“將安全責任轉移到各個醫療機構”，其中許多機構可能缺乏必要的網絡安全防禦能力。
研究人員還指出，中國初級醫療保健基礎設施不足和智能手機的廣泛使用相結合，形成了加劇臨床安全問題的“完美風暴”。
研究人員表示：“醫療需求複雜的弱勢群體現在可以前所未有地獲得 AI 驅動的健康建議，但通常缺乏安全實施所需的臨床監督。”
審查醫療環境中的 LLMs
這篇論文推動了關於 LLMs 在臨床和醫療環境中應用的日益增加的討論。隨著採用速度的加快，中國的其他組織也開始審查 LLMs。香港中文大學的研究人員上個月發表的另一篇論文檢驗了 AI 代理的網絡安全漏洞，發現由常用 LLMs 提供支持的 AI 代理很容易受到各種攻擊，其中 DeepSeek-R1 最容易受到攻擊。
在生成式 AI 技術激增的背景下，中國加快了 LLMs 在醫療保健領域的應用。上個月，中國金融科技公司螞蟻集團在其支付應用支付寶上推出了近 100 個 AI 醫療代理。這些代理得到了中國著名醫院的醫療專家的支持。
清華大學孵化的新創公司 Tairex 於 11 月啟動了一個虛擬醫院平台的內部測試。該平台擁有 42 位 AI 醫生，涵蓋 21 個科室，包括急診、呼吸科、兒科和心臟科。該公司透露計劃在今年晚些時候向公眾推出該平台。
深入探討對醫療保健領域 AI 的擔憂
AI（特別是像 DeepSeek 這樣的大型語言模型 (LLMs)）在中國醫療保健領域的快速整合，引發了一場關於支持其潛在益處者和敦促謹慎者之間的辯論。 雖然 AI 為改善診斷、治療和護理途徑提供了令人興奮的可能性，但有幾個因素需要採取更慎重的措施。 研究人員提出的擔憂突顯了在如此關鍵領域部署 AI 的複雜性和潛在陷阱。
首要的擔憂之一是 AI 生成信息的可靠性。 LLMs 在龐大的數據集上進行訓練，但這些數據集可能包含偏差、不準確或過時的信息。 因此，AI 模型有時可能產生看似合理但實際上不正確的輸出。 這在醫療環境中引發了重大風險，因為診斷錯誤或不正確的治療建議可能對患者產生嚴重後果。
過度依賴 AI 的風險
另一個擔憂是醫療保健專業人員過度依賴 AI 並失去批判性思維能力的潛力。 如果醫生和護士開始將 AI 輸出視為絕對正確，他們可能無法充分評估患者的病情、忽略重要細節或質疑 AI 的建議。 這可能導致診斷錯誤、不適當的治療以及護理質量的下降。
此外，AI 的廣泛採用引發了關於數據隱私、算法偏差和潛在的就業替代的倫理和社會問題。 患者可能會擔心其健康數據的安全性和機密性，特別是如果這些數據被用於訓練 AI 模型。 如果 AI 模型在不能準確反映人口多樣性的數據上進行訓練，算法偏差也可能會延續和加劇現有的健康差距。
在創新和謹慎之間取得平衡
為了減輕這些風險，至關重要的是對 AI 在醫療保健領域的整合採取一種更謹慎和負責任的方法。 這包括：
- 嚴格的測試和驗證： 在臨床環境中部署 AI 模型之前，應在不同人群中對其進行徹底的測試和驗證，以確保其準確性、可靠性和公平性。
- 人工監督： 應將 AI 用作輔助而非取代人工判斷的工具。 醫療保健專業人員在做出臨床決策之前應始終審查和驗證 AI 輸出。
- 透明度和可解釋性： AI 模型應具有透明度和可解釋性，以便醫療保健專業人員能夠理解它們如何得出其建議。 這有助於建立對 AI 的信任，並識別潛在的錯誤或偏差。
- 數據隱私和安全： 應制定健全的保障措施來保護患者數據的隱私和安全。 這包括獲得知情同意、實施強有力的安全措施以及遵守數據保護法規。
- 教育和培訓： 醫療保健專業人員應接受關於如何有效和負責任地使用 AI 的全面培訓。 這包括了解 AI 的局限性、識別潛在的偏差以及批判性地評估 AI 輸出。
解決網絡安全漏洞
香港中文大學研究人員強調的 AI 代理的網絡安全漏洞對醫療保健系統的完整性和安全構成重大威脅。 如果 AI 模型容易受到攻擊，惡意行為者可能會操縱 AI 的輸出、訪問敏感的患者數據或中斷醫療保健運營。
為了解決這些漏洞，必須實施強有力的網絡安全措施，例如：
- 安全的編碼實踐： 應使用安全的編碼實踐來開發 AI 模型，以防止諸如 SQL 注入、跨站腳本和緩衝區溢出等漏洞。
- 定期的安全審計： 應對 AI 系統進行定期的安全審計，以識別和解決潛在的漏洞。
- 入侵檢測和防禦系統： 應實施入侵檢測和防禦系統來監視 AI 系統是否存在惡意活動並防止未經授權的訪問。
- 數據加密： 應加密傳輸中和靜態的敏感患者數據，以保護其免受未經授權的訪問。
- 訪問控制： 應實施嚴格的訪問控制，以限制對 AI 系統和數據的訪問，僅限於授權人員。
倫理方面的考量
除了技術挑戰之外，AI 在醫療保健領域的整合還引發了許多重要的倫理方面的考量。 這些包括：
- 算法偏差： 如果 AI 模型在不能準確反映人口多樣性的數據上進行訓練，算法偏差可能會延續和加劇現有的健康差距。 確保 AI 模型公平和無偏見至關重要。
- 數據隱私： 患者可能會擔心其健康數據的隱私，特別是如果這些數據被用於訓練 AI 模型。 獲得知情同意並保護患者數據至關重要。
- 透明度和可解釋性： AI 模型應具有透明度和可解釋性，以便患者能夠理解它們如何得出其建議。 這有助於建立對 AI 的信任。
- 問責制： 重要的是為 AI 系統做出的決策建立明確的問責制界限。 如果 AI 模型做出錯誤的診斷或建議不適當的治療，誰來負責？
前進的道路
AI 在醫療保健領域的整合具有巨大的潛力，可以改善患者護理、降低成本並提高醫療保健系統的效率。 然而，至關重要的是謹慎地對待這種整合，並解決潛在的風險和挑戰。 通過採取負責任和合乎道德的方法，我們可以利用 AI 的力量來更好地改造醫療保健。