中国研究团队对DeepSeek AI在医院的快速应用表示担忧
一组中国研究人员对人工智能模型 DeepSeek 在医院环境中的快速整合表示担忧。他们的分析强调了临床安全和数据隐私的潜在危险，特别是由于初创公司经济型开源模型的广泛使用。
到三月初，DeepSeek 的大型语言模型 (LLMs) 已经在中国至少 300 家医院用于临床诊断和医疗决策支持。
发表在《美国医学会杂志 (JAMA)》上的研究论文指出，DeepSeek 倾向于生成看似令人信服但实际上不准确的输出。尽管人工智能具有强大的推理能力，但这可能会造成重大的临床风险。清华大学北京医学部研究部门清华医学的创始负责人黄天音是研究团队的成员。
这种警示与中国普遍存在的对 DeepSeek 的热情形成对比。这家初创公司以其价格合理且性能出色的 V3 和 R1 模型而闻名，已成为中国人工智能进步的象征。
黄及其合著者强调，医疗保健专业人员可能会过度依赖或接受 DeepSeek 的输出而不进行批判性评估的风险。这可能导致诊断错误或有偏见的治疗计划。相反，保持谨慎的临床医生将面临在时间紧迫的情况下验证人工智能输出的额外负担。
院内部署中的安全风险
虽然医院通常选择私有的、院内部署 DeepSeek 模型，以降低与安全和隐私相关的风险，但这种方法也引入了自身的一系列复杂问题。研究人员表示，它“将安全责任转移给各个医疗机构”，其中许多机构可能缺乏必要的网络安全防御能力。
研究人员还指出，中国初级保健基础设施不足和智能手机的广泛使用相结合，造成了一种“完美的风暴”，加剧了对临床安全的担忧。
研究人员表示，“医疗需求复杂的服务不足人群现在可以前所未有地获得人工智能驱动的健康建议，但往往缺乏安全实施所需的临床监督。”
医疗环境中 LLM 的审查
本文为关于在临床和医疗环境中利用 LLM 的日益增长的对话做出了贡献。中国的其他组织也开始审查LLM，因为采用速度加快。香港中文大学的研究人员上个月发表的另一篇论文研究了人工智能代理的网络安全漏洞，发现那些由常用LLM驱动的代理容易受到各种攻击，其中DeepSeek-R1最容易受到攻击。
在中国生成式人工智能技术激增的情况下，中国加快了 LLM 在医疗保健领域的应用。上个月，中国金融科技公司蚂蚁集团在其支付宝支付应用程序上推出了近 100 个人工智能医疗代理。这些代理得到了中国著名医院的医学专家的支持。
清华大学孵化的初创公司 Tairex 于 11 月启动了一个虚拟医院平台的内部测试。该平台拥有 42 名人工智能医生，覆盖 21 个科室，包括急诊、呼吸科、儿科和心脏科。该公司透露计划在今年晚些时候向公众推出该平台。
深入探讨对医疗保健中人工智能的担忧
人工智能，特别是像 DeepSeek 这样的大型语言模型 (LLM)，在中国医疗保健环境中的快速整合引发了一场关于那些拥护其潜在利益与那些敦促谨慎之间争论。虽然人工智能为改善诊断、治疗和获得护理提供了令人兴奋的可能性，但有几个因素值得采取更为谨慎的方式。研究人员提出的担忧突出了在这种关键领域部署人工智能的复杂性和潜在陷阱。
首要关注的问题之一是人工智能生成信息的可靠性。 LLM 在庞大的数据集上进行训练，但这些数据集可能包含偏差、不准确之处或过时的信息。因此，人工智能模型有时会生成看似合理但实际上不正确的输出。这在医疗环境中提出了重大风险，因为诊断错误或不正确的治疗建议可能会对患者造成严重后果。
过度依赖人工智能的风险
另一个担忧是医疗保健专业人员可能过度依赖人工智能，失去他们的批判性思维能力。如果医生和护士开始将人工智能的输出视为绝对正确，他们可能无法充分评估患者的病情，忽略重要的细节或质疑人工智能的建议。这可能导致诊断错误、不适当的治疗以及护理质量的下降。
此外，人工智能的广泛应用提出了关于数据隐私、算法偏差和潜在的就业岗位流失的伦理和社会问题。患者可能会担心其健康数据的安全性和机密性，特别是如果这些数据被用于训练人工智能模型。如果人工智能模型在训练数据中未能准确反映人口的多样性，算法偏差也会延续并加剧现有的健康差距。
在创新和谨慎之间取得平衡
为了减轻这些风险，至关重要的是采取更谨慎和负责任的方式来整合医疗保健领域的人工智能。这包括：
- 严格的测试和验证： 在临床环境中部署人工智能模型之前，应在不同人群中对其进行彻底的测试和验证，以确保其准确性、可靠性和公平性。
- 人工监督： 人工智能应被用作增强而非取缔人类判断的工具。医疗保健专业人员应始终在做出临床决策之前审查和验证人工智能的输出。
- 透明度和可解释性： 人工智能模型应该具有透明度和可解释性，以便医疗保健专业人员可以理解它们如何得出建议。这有助于建立对人工智能的信任，并识别潜在的错误或偏差。
- 数据隐私和安全： 应采取强有力的保障措施来保护患者数据的隐私和安全。这包括获得知情同意、实施强大的安全措施以及遵守数据保护法规。
- 教育和培训： 医疗保健专业人员应接受关于如何有效且负责任地使用人工智能的综合培训。这包括了解人工智能的局限性、识别潜在的偏差以及批判性地评估人工智能的输出。
解决网络安全漏洞
香港中文大学的研究人员强调的人工智能代理的网络安全漏洞对医疗保健系统的完整性和安全性构成了重大威胁。如果人工智能模型容易受到攻击，恶意攻击者可能会操纵人工智能的输出、访问敏感的患者数据或破坏医疗保健运营。
为了解决这些漏洞，必须实施强大的网络安全措施，例如：
- 安全的编码实践： 应使用安全的编码实践来开发人工智能模型，以防止 SQL 注入、跨站点脚本和缓冲区溢出等漏洞。
- 定期的安全审计： 应定期对人工智能系统进行安全审计，以识别和解决潜在的漏洞。
- 入侵检测和预防系统： 应实施入侵检测和预防系统来监控人工智能系统是否存在恶意活动并防止未经授权的访问。
- 数据加密： 敏感的患者数据在传输和静止时都应加密，以防止未经授权的访问。
- 访问控制： 应实施严格的访问控制，以将对人工智能系统和数据的访问权限限制给授权人员。
伦理考量
除了技术挑战之外，医疗保健领域人工智能的整合还提出了许多重要的伦理考量。这些包括：
- 算法偏差： 如果人工智能模型在训练数据中未能准确反映人口的多样性，它们可能会延续并加剧现有的健康差距。至关重要的是确保人工智能模型是公平且没有偏差的。
- 数据隐私： 患者可能会担心其健康数据的隐私，特别是如果这些数据被用于训练人工智能模型。必须获得知情同意并保护患者数据。
- 透明度和可解释性： 人工智能模型应该具有透明度和可解释性，以便患者可以理解它们如何得出建议。这有助于建立对人工智能的信任。
- 责任： 重要的是要为人工智能系统做出的决策建立明确的责任界限。如果人工智能模型做出错误的诊断或建议不适当的治疗，谁应该负责？
前进的道路
人工智能在医疗保健领域的整合具有改善患者护理、降低成本和提高医疗保健系统效率的巨大潜力。然而，至关重要的是要谨慎地对待这种整合，并解决潜在的风险和挑战。通过采取负责任和合乎道德的方式，我们可以利用人工智能的力量来更好地改变医疗保健。
总结
总而言之，DeepSeek AI 在中国医院的快速采用引发了严重的担忧，特别是在临床安全和数据隐私方面。虽然人工智能为医疗保健领域带来了诸多益处，但我们必须保持警惕，确保其安全、公平且以负责任的方式实施。通过严格的测试、人工监督、透明度和强有力的安全措施，我们可以最大限度地发挥人工智能的潜力，同时最大限度地减少相关风险。只有这样，我们才能确保人工智能真正造福患者和医疗保健专业人员。
未来展望
展望未来，随着人工智能技术的不断发展，我们需要持续关注并解决与医疗保健领域人工智能应用相关的伦理、法律和社会问题。我们需要制定明确的指导原则，以规范人工智能的开发和部署，并确保其符合最高的道德标准和法律要求。此外，我们还需要加强对医疗保健专业人员的教育和培训，使他们能够有效地使用人工智能并识别潜在的风险和挑战。通过共同努力，我们可以确保人工智能在医疗保健领域发挥积极作用，造福全人类。