Un equipo de investigadores chinos ha expresado su preocupación con respecto a la rápida integración de DeepSeek, un modelo de inteligencia artificial, en entornos hospitalarios. Su análisis destaca los potenciales peligros para la seguridad clínica y la privacidad de los datos, particularmente debido al uso generalizado de los modelos de código abierto económicos de la startup.
A principios de marzo, los modelos de lenguaje grande (LLM) de DeepSeek ya se estaban utilizando en al menos 300 hospitales chinos para diagnósticos clínicos y apoyo en la toma de decisiones médicas.
Publicado en el Journal of the American Medical Association (JAMA), el artículo de investigación apunta a la inclinación de DeepSeek a generar resultados que parecen convincentes pero que son fácticamente inexactos. A pesar de las sólidas capacidades de razonamiento de la IA, esto podría crear importantes riesgos clínicos. Wong Tien Yin, el jefe fundador de Tsinghua Medicine, una división de investigación en la Universidad de Tsinghua en Beijing, es miembro del equipo de investigación.
Esta nota de advertencia contrasta con el entusiasmo predominante por DeepSeek en China. La startup, celebrada por sus modelos V3 y R1 asequibles y de alto rendimiento, se ha convertido en un símbolo de los avances de la IA de China.
Wong y sus coautores enfatizaron el riesgo de que los profesionales de la salud dependan demasiado o acepten los resultados de DeepSeek sin una evaluación crítica. Esto podría conducir a errores en el diagnóstico o planes de tratamiento sesgados. Por el contrario, los clínicos que permanezcan cautelosos enfrentarán la carga adicional de verificar los resultados de la IA bajo limitaciones de tiempo.
Riesgos de Seguridad en la Implementación In Situ
Si bien los hospitales a menudo optan por implementaciones privadas in situ de los modelos DeepSeek para reducir los riesgos asociados con la seguridad y la privacidad, este enfoque introduce su propio conjunto de complicaciones. Según los investigadores, "traslada las responsabilidades de seguridad a las instalaciones de atención médica individuales", muchas de las cuales pueden carecer de las defensas de ciberseguridad necesarias.
Los investigadores también notaron que la combinación de una infraestructura de atención primaria inadecuada y el uso generalizado de teléfonos inteligentes en China crea una "tormenta perfecta" que exacerba las preocupaciones sobre la seguridad clínica.
Los investigadores afirman: "Las poblaciones desatendidas con necesidades médicas complejas ahora tienen un acceso sin precedentes a recomendaciones de salud impulsadas por la IA, pero a menudo carecen de la supervisión clínica necesaria para una implementación segura".
Escrutinio de los LLM en Entornos de Atención Médica
Este artículo contribuye a las crecientes conversaciones sobre la utilización de LLM en entornos clínicos y médicos. Otras organizaciones en China también están comenzando a examinar los LLM a medida que la adopción se acelera. Otro artículo publicado el mes pasado por investigadores de la Universidad China de Hong Kong examinó las vulnerabilidades de ciberseguridad de los agentes de IA y descubrió que aquellos impulsados por LLM de uso común eran vulnerables a varios ataques, siendo DeepSeek-R1 el más susceptible.
China ha acelerado la adopción de LLM en la atención médica en medio de un aumento en las tecnologías de IA generativa. El mes pasado, Ant Group, una empresa china de tecnología financiera, introdujo casi 100 agentes médicos de IA en su aplicación de pagos Alipay. Estos agentes cuentan con el apoyo de expertos médicos de destacados hospitales chinos.
Tairex, una startup incubada en la Universidad de Tsinghua, inició pruebas internas de una plataforma de hospital virtual en noviembre. La plataforma cuenta con 42 médicos de IA que cubren 21 departamentos, incluidos emergencias, respiratorio, pediatría y cardiología. La compañía reveló planes para lanzar la plataforma al público a finales de este año.
Profundizando en las Preocupaciones en Torno a la IA en la Atención Médica
La rápida integración de la IA, particularmente los modelos de lenguaje grande (LLMs) como DeepSeek, en los entornos de atención médica en China ha desatado un debate entre aquellos que defienden sus potenciales beneficios y aquellos que instan a la precaución. Si bien la IA ofrece posibilidades emocionantes para mejorar los diagnósticos, el tratamiento y el acceso a la atención, varios factores justifican un enfoque más medido. Las preocupaciones planteadas por los investigadores resaltan las complejidades y las posibles trampas de la implementación de la IA en un dominio tan crítico.
Una de las principales preocupaciones es la fiabilidad de la información generada por la IA. Los LLM se entrenan con vastos conjuntos de datos, pero estos conjuntos de datos pueden contener sesgos, inexactitudes o información obsoleta. Como resultado, los modelos de IA a veces pueden generar resultados que parecen plausibles pero que, de hecho, son incorrectos. Esto plantea un riesgo significativo en entornos médicos, donde los errores de diagnóstico o las recomendaciones de tratamiento incorrectas pueden tener graves consecuencias para los pacientes.
El Riesgo de Dependencia Excesiva de la IA
Otra preocupación es el potencial de que los profesionales de la salud se vuelvan demasiado dependientes de la IA y pierdan sus habilidades de pensamiento crítico. Si los médicos y las enfermeras comienzan a tratar los resultados de la IA como infalibles, es posible que no evalúen adecuadamente las condiciones de los pacientes, pasen por alto detalles importantes o cuestionen las recomendaciones de la IA. Esto puede conducir a errores de diagnóstico, tratamientos inapropiados y una disminución en la calidad de la atención.
Además, la adopción generalizada de la IA plantea preguntas éticas y sociales sobre la privacidad de los datos, el sesgo algorítmico y el potencial de desplazamiento laboral. Los pacientes pueden estar preocupados por la seguridad y la confidencialidad de sus datos de salud, particularmente si se están utilizando para entrenar modelos de IA. El sesgo algorítmico también puede perpetuar y exacerbar las disparidades de salud existentes si los modelos de IA se entrenan con datos que no reflejan con precisión la diversidad de la población.
Encontrar un Equilibrio Entre la Innovación y la Precaución
Para mitigar estos riesgos, es crucial adoptar un enfoque más cauteloso y responsable para la integración de la IA en la atención médica. Esto incluye:
- Pruebas y Validación Rigurosas: Antes de implementar modelos de IA en entornos clínicos, deben probarse y validarse exhaustivamente en diversas poblaciones para garantizar su precisión, fiabilidad y equidad.
- Supervisión Humana: La IA debe utilizarse como una herramienta para aumentar, no reemplazar, el juicio humano. Los profesionales de la salud siempre deben revisar y verificar los resultados de la IA antes de tomar decisiones clínicas.
- Transparencia y Explicabilidad: Los modelos de IA deben ser transparentes y explicables, para que los profesionales de la salud puedan comprender cómo llegan a sus recomendaciones. Esto puede ayudar a generar confianza en la IA y a identificar posibles errores o sesgos.
- Privacidad y Seguridad de los Datos: Se deben implementar salvaguardas sólidas para proteger la privacidad y la seguridad de los datos de los pacientes. Esto incluye obtener el consentimiento informado, implementar fuertes medidas de seguridad y adherirse a las regulaciones de protección de datos.
- Educación y Capacitación: Los profesionales de la salud deben recibir una capacitación integral sobre cómo usar la IA de manera efectiva y responsable. Esto incluye comprender las limitaciones de la IA, reconocer posibles sesgos y evaluar críticamente los resultados de la IA.
Abordar las Vulnerabilidades de Ciberseguridad
Las vulnerabilidades de ciberseguridad de los agentes de IA, como lo destacan los investigadores de la Universidad China de Hong Kong, representan una amenaza significativa para la integridad y la seguridad de los sistemas de atención médica. Si los modelos de IA son susceptibles a ataques, los actores maliciosos podrían manipular potencialmente los resultados de la IA, acceder a datos confidenciales de los pacientes o interrumpir las operaciones de atención médica.
Para abordar estas vulnerabilidades, es esencial implementar medidas sólidas de ciberseguridad, tales como:
- Prácticas de Codificación Segura: Los modelos de IA deben desarrollarse utilizando prácticas de codificación segura para prevenir vulnerabilidades como la inyección SQL, la secuencia de comandos entre sitios y los desbordamientos de búfer.
- Auditorías de Seguridad Regulares: Los sistemas de IA deben someterse a auditorías de seguridad regulares para identificar y abordar las posibles vulnerabilidades.
- Sistemas de Detección y Prevención de Intrusiones: Se deben implementar sistemas de detección y prevención de intrusiones para supervisar los
sistemas de IA en busca de actividad maliciosa y para evitar el acceso no autorizado. - Cifrado de Datos: Los datos confidenciales de los pacientes deben cifrarse tanto en tránsito como en reposo para protegerlos del acceso no autorizado.
- Controles de Acceso: Se deben implementar controles de acceso estrictos para limitar el acceso a los sistemas y datos de IA al personal autorizado.
Consideraciones Éticas
Más allá de los desafíos técnicos, la integración de la IA en la asistencia sanitaria plantea una serie de importantes consideraciones éticas. Entre ellas se incluyen:
- Sesgo Algorítmico: Los modelos de IA pueden perpetuar y exacerbar las disparidades sanitarias existentes si se entrenan con datos que no reflejan con precisión la diversidad de la población. Es crucial asegurar que los modelos de IA sean justos e imparciales.
- Privacidad de los Datos: Los pacientes pueden estar preocupados por la privacidad de sus datos sanitarios, particularmente si se están utilizando para entrenar modelos de IA. Es esencial obtener el consentimiento informado y proteger los datos de los pacientes.
- Transparencia y Explicabilidad: Los modelos de IA deben ser transparentes y explicables, para que los pacientes puedan comprender cómo llegan a sus recomendaciones. Esto puede ayudar a generar confianza en la IA.
- Responsabilidad: Es importante establecer líneas claras de responsabilidad para las decisiones tomadas por los sistemas de IA. ¿Quién es responsable si un modelo de IA hace un diagnóstico incorrecto o recomienda un tratamiento inapropiado?
El Camino a Seguir
La integración de la IA en la asistencia sanitaria tiene un enorme potencial para mejorar la atención al paciente, reducir los costes y mejorar la eficiencia de los sistemas sanitarios. Sin embargo, es crucial afrontar esta integración con precaución y abordar los posibles riesgos y desafíos. Al adoptar un enfoque responsable y ético, podemos aprovechar el poder de la IA para transformar la asistencia sanitaria para mejor.