La rápida adopción de DeepSeek AI en hospitales de China genera advertencias de seguridad por parte de investigadores médicos. Un estudio en JAMA destaca los riesgos de seguridad, con más de 300 hospitales implementando la IA a pesar de los problemas con errores de diagnóstico.
Advertencia de médicos chinos: La adopción de DeepSeek AI en hospitales chinos es "demasiado rápida"
La integración de DeepSeek AI en hospitales chinos incluye actualmente su adopción generalizada en más de 300 instituciones médicas. Sin embargo, una voz de alarma ha surgido de la comunidad médica china. Un artículo de revisión de estudio publicado en JAMA, dirigido por Tian-Yin Huang, decano fundador de la Facultad de Medicina de la Universidad de Tsinghua, advierte que la rápida implementación de modelos lingüísticos extensos de DeepSeek en entornos clínicos puede ser "demasiado rápida, demasiado pronto".
Las cifras pintan una imagen convincente de una transformación impulsada por la IA en la atención médica china. La implementación de DeepSeek en hospitales terciarios representa un cambio significativo en la forma en que se utiliza la IA, que se extiende más allá de la asistencia al diagnóstico para abarcar la gestión hospitalaria, la facilitación de la investigación y la gestión de pacientes.
El modelo de la compañía ha demostrado notables ganancias en eficiencia, incluida una mejora de 40 veces en la eficiencia del seguimiento del paciente. La adopción generalizada surgió de la posición única de DeepSeek como una alternativa de código abierto y bajo costo a los sistemas de IA patentados.
LLM DeepSeek-V3 y DeepSeek-R1, desarrollados por una subsidiaria de una empresa de inversión china, tienen la ventaja única de ser de bajo costo y de código abierto, lo que reduce significativamente las barreras para el uso de LLM.
Las empresas de atención médica chinas han integrado rápidamente el modelo en sus operaciones. Más de 30 empresas de atención médica en China continental han incorporado IA a sus operaciones, incluidas empresas como Jiangsu Hengrui Medicine Co., Ltd. y Yunnan Baiyao Group Co., Ltd.
Las acciones de Berry Genomics Co., Ltd. aumentaron más del 71% después de adoptar múltiples modelos de IA de código abierto para mejorar la eficiencia operativa y reducir los costos.
Señales de advertencia: La seguridad clínica bajo escrutinio
A pesar del entusiasmo que rodea a DeepSeek AI, la visión del estudio JAMA plantea importantes situaciones de riesgo. Tian-Yin Huang, profesor de oftalmología y ex director médico del Centro Nacional del Ojo de Singapur, junto con sus colaboradores, identificaron varios problemas clave.
Los investigadores advierten que la propensión de DeepSeek a producir "resultados aparentemente plausibles pero realmente incorrectos" podría conducir a "serios riesgos clínicos", a pesar de su sólida capacidad de razonamiento. Este fenómeno, conocido como alucinación de IA, es particularmente peligroso en entornos médicos, donde la precisión puede ser una cuestión de vida o muerte.
El equipo de investigación enfatizó cómo los profesionales médicos podrían depender demasiado o no criticar los resultados de DeepSeek, lo que podría provocar errores de diagnóstico o sesgos en el tratamiento, mientras que los médicos más cuidadosos pueden enfrentar la carga de verificar los resultados de la IA en entornos clínicos urgentes.
Desafíos de infraestructura y vulnerabilidades de seguridad
Además de las preocupaciones sobre la precisión clínica, la rápida implementación de DeepSeek AI en hospitales chinos ha expuesto importantes vulnerabilidades de ciberseguridad. Si bien muchos hospitales optan por implementaciones privadas en las instalaciones para mitigar los riesgos de seguridad y privacidad, el estudio afirma que este enfoque "traslada la responsabilidad de la seguridad a las instituciones médicas individuales", muchas de las cuales carecen de una infraestructura de ciberseguridad integral.
Las recientes investigaciones sobre ciberseguridad han intensificado las preocupaciones. Los estudios han demostrado que DeepSeek tiene 11 veces más probabilidades de ser explotado por ciberdelincuentes que otros modelos de IA, lo que destaca una vulnerabilidad clave en su diseño. Una investigación de Cisco descubrió que DeepSeek no bloqueaba las indicaciones dañinas en las evaluaciones de seguridad, incluidas las relacionadas con el delito cibernético y la información errónea.
La naturaleza de código abierto de DeepSeek, si bien mejora la accesibilidad, también presenta desafíos de seguridad únicos. La estructura de código abierto de DeepSeek significa que cualquiera puede descargar y modificar la aplicación, lo que permite a los usuarios no solo cambiar su funcionalidad sino también sus mecanismos de seguridad, creando así mayores riesgos de explotación.
Impacto en el mundo real: Historias desde el frente clínico
La integración de DeepSeek AI en hospitales chinos ya ha comenzado a cambiar la dinámica de las relaciones médico-paciente. Un video viral en Douyin reveló a un médico frustrado en el tratamiento luego de ser interrogado por una paciente que usaba DeepSeek, solo para encontrar que las directrices médicas habían sido actualizadas y la IA tenía razón.
Esta anécdota ilustra tanto el potencial como los riesgos de adoptar la IA en la atención de la salud. Si bien la tecnología puede ayudar a que la práctica médica se mantenga actualizada, también desafía las jerarquías médicas tradicionales e introduce nuevas fuentes de incertidumbre en la toma de decisiones clínicas.
Una "tormenta perfecta" para riesgos de seguridad
Los investigadores argumentan que el panorama único de la atención médica en China está generando una "tormenta perfecta" para los riesgos de seguridad clínica, argumentando que las disparidades en la infraestructura de atención primaria, junto con la alta penetración de teléfonos inteligentes, contribuyen a este fenómeno. Señalaron que "las poblaciones vulnerables con necesidades médicas complejas ahora pueden acceder sin precedentes a consejos de salud impulsados por IA, pero a menudo carecen de la supervisión clínica necesaria para una implementación segura".
La democratización del acceso a la IA médica, si bien puede beneficiar la equidad en la atención médica, genera interrogantes sobre la calidad y seguridad de la atención en entornos con recursos limitados donde puede faltar una supervisión adecuada.
Implicaciones geopolíticas y privacidad de datos
La rápida adopción de DeepSeek AI en hospitales chinos no ha pasado desapercibida para la comunidad internacional. Algunos países ya han tomado medidas de precaución, y países como Italia, Taiwán, Australia y Corea del Sur han bloqueado o prohibido el acceso a la aplicación en dispositivos gubernamentales debido a las preocupaciones de que las prácticas de gestión de datos de la aplicación planteen amenazas a la seguridad nacional.
Los expertos en privacidad han expresado su preocupación por la recopilación y el almacenamiento de datos. Este chatbot chino podría representar un riesgo para la seguridad nacional porque "agregados, estos datos se pueden utilizar para recopilar información sobre la población o el comportamiento del usuario que podría utilizarse para crear ataques de phishing más eficaces u otras manipulaciones maliciosas".
Brechas regulatorias
A pesar de su amplio uso, el marco regulatorio de China ha tenido dificultades para mantenerse al día con la rápida implementación de la IA en la atención médica. Las interpretaciones regulatorias actuales permiten que la IA aumente, en lugar de reemplazar, el juicio diagnóstico humano, lo que indica que su integración cuidadosa en el cuidado de la salud todavía requiere precaución.
En particular, ningún producto de IA médica se ha incluido en el seguro médico nacional básico de China, lo que indica el continuo escepticismo sobre la fiabilidad de la tecnología. Dicho esto, la historia de DeepSeek AI en los hospitales chinos representa un microcosmos de desafíos más amplios que enfrenta la adopción de la IA en sectores críticos a nivel mundial.
Si bien la tecnología ofrece un tremendo potencial para mejorar la atención médica y reducir los costos, las advertencias de los investigadores médicos resaltan la necesidad de una implementación cautelosa y metódica.
Los estudios recientes han destacado la precisión relativa del modelo DeepSeek en métricas específicas, como las puntuaciones de Deauville para pacientes con linfoma, pero aún reconocen lagunas sustanciales en comparación con los médicos humanos. La brecha de precisión, junto con las vulnerabilidades de seguridad y los desafíos regulatorios, sugiere que el ritmo actual de adopción puede ser "demasiado rápido, demasiado pronto".
Conclusión: Un momento crítico
A medida que China continúa avanzando en su transformación de "hospitales inteligentes" y atención médica impulsada por la IA, la integración de DeepSeek AI en hospitales chinos sirve tanto como testimonio de la innovación tecnológica como como cuento con moraleja sobre los riesgos de una implementación demasiado rápida. Las preocupaciones planteadas por Tian-Yin Huang de la Facultad de Medicina de la Universidad de Tsinghua y sus colegas no son una oposición al progreso, sino un llamado a la innovación responsable que priorice la seguridad del paciente junto con los avances tecnológicos.
El desafío que se avecina será encontrar el delicado equilibrio entre aprovechar los innegables beneficios de la IA en la atención médica e implementar sólidas salvaguardias para proteger a los pacientes de los riesgos de una implementación de la IA prematura o poco regulada.
El debate en curso en torno a DeepSeek AI en hospitales chinos en última instancia refleja una cuestión fundamental que enfrenta la interfaz de la atención médica global: cuando se trata de integrar potentes sistemas de IA en aplicaciones médicas que afectan la vida, ¿cuán rápido es demasiado rápido? La respuesta a esta pregunta dará forma al futuro de la salud digital, no solo en China, sino en todo el mundo.