中国医院对 DeepSeek AI 的采用速度过快,医疗研究人员发出安全警告。 JAMA 的研究强调了安全风险,尽管存在诊断错误问题,但仍有 300 多家医院部署了 AI。
中国医生警告说,中国医院采用 DeepSeek AI 的速度“太快”
DeepSeek AI 在中国医院的整合目前包括该 AI 模型在 300 多家医疗机构的广泛采用。 然而,中国医学界发出了一种令人警醒的警告声音。 由清华大学医学创始院长黄天胤领导的 JAMA 发表了一篇研究评论文章,警告说,在临床环境中快速部署 DeepSeek 的大型语言模型可能“太快、太早”。
这些数字描绘了中国医疗保健领域人工智能转型的一个引人注目的图景。 DeepSeek 在三甲医院的部署代表着人工智能使用方式的重大转变,不仅限于诊断辅助,还扩展到医院管理、研究促进和患者管理。
该公司的模型已经证明了显着的效率提升,包括患者随访效率提高了 40 倍。 广泛采用源于 DeepSeek 作为专有 AI 系统的开源、低成本替代方案的独特地位。
LLM DeepSeek-V3 和 DeepSeek-R1 由一家中国投资公司的子公司开发,具有低成本和开源的独特优势,这大大降低了 LLM 的使用门槛。
中国的医疗保健公司已迅速将模型整合到其运营中。 大陆地区有 30 多家医疗保健公司已在其运营中添加了 AI,其中包括恒瑞医药有限公司和云南白药集团有限公司等公司。
在采用多个开源 AI 模型以提高运营效率和降低成本后,贝瑞基因有限公司的股价上涨了 71% 以上。
警告信号:临床安全受到审查
尽管人们对 DeepSeek AI 充满热情,但 JAMA 的研究观点提出了重大的危险信号。 眼科教授兼新加坡国家眼科中心前医疗主任黄天胤与他的合作者一起,确定了几个关键问题。
研究人员警告说,DeepSeek 产生“看似合理但实际上不正确的输出”的倾向可能导致“严重的临床风险”,尽管其具有强大的推理能力。 这种现象被称为 AI 幻觉,在医疗环境中尤其危险,因为准确性可能关乎生死。
研究团队强调了医疗专业人员可能如何过度依赖或对 DeepSeek 的输出持不批判态度,从而可能导致诊断错误或治疗偏差,而更加谨慎的临床医生可能面临在时间敏感的临床环境中验证 AI 输出的负担。 这不仅会增加医生的工作量,而且可能在紧急情况下延误关键决策,最终影响患者的治疗效果。 医疗领域对人工智能的过度信任,特别是未经充分验证的人工智能,可能会引发一系列伦理和法律问题。
基础设施挑战和安全漏洞
除了临床准确性问题外,DeepSeek AI 在中国医院的快速部署还暴露了重大的网络安全漏洞。 虽然许多医院选择私人、现场部署来减轻安全和隐私风险,但研究称,这种方法“将安全责任转移到各个医疗机构”,其中许多机构缺乏全面的网络安全基础设施。
最近的网络安全研究加剧了人们的担忧。 研究表明,DeepSeek 被网络犯罪分子利用的概率是其他 AI 模型的 11 倍,这突出了其设计中的一个关键漏洞。 思科的一项研究发现,DeepSeek 未能在安全评估中阻止有害提示,包括与网络犯罪和虚假信息相关的提示。
DeepSeek 的开源性质在提高可访问性的同时,也带来了独特的安全挑战。 DeepSeek 的开源结构意味着任何人都可以下载和修改该应用程序,允许用户不仅改变其功能,还可以改变其安全机制,从而造成更大的利用风险。 这种开放性使得黑客能够更容易地发现和利用系统的漏洞,从而对患者数据和医院系统构成严重的威胁。
现实世界的影响:来自临床前线的故事
DeepSeek AI 在中国医院的整合已经开始改变医患关系的动态。 抖音上的一段走红视频显示,一位沮丧的医生在治疗受到一位使用 DeepSeek 的患者质疑后,才发现医疗指南确实已经更新,而 AI 是正确的。
这个轶事说明了医疗保健领域采用 AI 的潜力和风险。 虽然这项技术可以帮助医疗实践与时俱进,但它也挑战了传统的医疗等级制度,并在临床决策中引入了新的不确定性来源。 医生需要不断学习和适应 AI 的存在,以便更好地服务患者。 然而,如果没有适当的培训和指导,医生可能会依赖人工智能的建议而不是自己的临床判断,这可能会导致不良后果。
存在安全隐患的“完美风暴”
研究人员认为,中国独特的医疗保健形势正在形成存在临床安全隐患的“完美风暴”,他们认为,初级医疗基础设施的差距以及高智能手机普及率是造成这一现象的原因。 他们指出,“医疗需求复杂的弱势群体现在可以前所未有地获得 AI 驱动的健康建议,但通常缺乏安全实施所需的临床监督。”
医疗 AI 访问的民主化虽然可能有利于医疗保健公平,但引发了人们对资源有限的环境中护理质量和安全性的质疑,在这些环境中可能缺乏适当的监督。 特别是对于那些不熟悉技术或难以理解 AI 建议的患者来说,这可能会导致误解和错误。因此,至关重要的是要确保所有患者都能够获得适当的医疗保健服务,无论其技术水平如何。
地缘政治影响和数据隐私
DeepSeek AI 在中国医院的快速采用并未引起国际社会的注意。 一些国家已经采取了预防措施,由于担心该应用的数据管理做法对国家安全构成威胁,意大利、台湾、澳大利亚和韩国已经阻止或禁止在政府设备上访问该应用。 这些禁令不仅是对数据安全的担忧,同时也反映了对外国技术依赖可能带来的地缘政治风险的考量。
隐私专家对数据收集和存储表示担忧。 这款中国聊天机器人可能构成国家安全风险,因为“这些数据汇总起来,可以用来收集对人口的洞察,或用户行为,这些行为可能被用来创建更有效的网络钓鱼攻击或其他恶意操纵活动。” 这些担忧促使人们呼吁加强数据隐私保护和监管,以确保患者的个人信息受到保护,不会被滥用。
监管差距
尽管应用广泛,但中国的监管框架难以跟上 AI 在医疗保健领域的快速部署。 目前的监管解释允许人工智能增强而非取代人类的诊断判断,这表明仍需要谨慎地将其整合到医疗服务中。 缺乏明确的指导方针和标准使得医院难以安全有效地实施 AI 系统。
值得注意的是,没有医疗 AI 产品被纳入中国的国家基本医疗保险,这表明人们对该技术的可靠性仍然持怀疑态度。 也就是说,DeepSeek AI 在中国医院的故事代表了全球关键领域 AI 采用所面临的更广泛挑战的缩影。 这种犹豫反映了人们对 AI 在医疗保健领域的应用可能带来的伦理和社会影响的高度关注。
虽然该技术为改善医疗服务和降低成本提供了巨大的潜力,但医疗研究人员的警告强调了需要谨慎、有条不紊的实施。 只有通过谨慎的规划和严格的测试,我们才能确保 AI 能够真正改善医疗服务,而不是带来新的风险。
最近的研究强调了 DeepSeek 模型在特定指标中的相对准确性,例如淋巴瘤患者的 Deauville 评分,但仍然承认与人类临床医生相比存在相当大的差距。 准确性差距,加上安全漏洞和监管挑战,表明目前的采用速度可能确实“太快、太早”。 因此,我们需要采取一种更加谨慎和负责任的方式,确保 AI 在医疗保健领域的应用是安全和有效的。
结论:一个关键时刻
随着中国继续推进“智慧医院”和人工智能驱动的医疗保健转型,DeepSeek AI 在中国医院的整合既证明了技术创新,也对快速部署的风险提出了警示。 清华大学医学的黄天胤及其同事提出的担忧并非反对进步,而是呼吁负责任的创新,在技术进步的同时优先考虑患者安全。 这也提醒我们在追求技术进步的同时,不能忽视伦理和社会责任。
未来面临的挑战将是在医疗保健领域利用 AI 不可否认的优势与实施强大的保障措施以保护患者免受过早或监管不足的 AI 部署风险之间找到适当的平衡。 这需要政府、医疗机构、研究人员和技术开发人员之间的密切合作,共同制定合适的监管框架和实施标准。
围绕 DeepSeek AI 在中国医院的持续争论最终反映了全球医疗保健界面临的一个根本问题:在将强大的 AI 系统整合到危及生命的医疗应用中时,速度多快才算太快? 这个问题的答案将塑造数字健康的未来,不仅在中国,而且在全球范围内。我们必须确保 AI 的应用能够真正改善医疗服务,而不是对患者构成风险。