Alertas de Segurança de Pesquisadores Médicos sobre a Rápida Adoção da DeepSeek AI em Hospitais Chineses
Hospitais chineses estão adotando a DeepSeek AI rapidamente, e especialistas médicos estão emitindo alertas de segurança. Um estudo no JAMA destaca riscos de segurança, com mais de 300 hospitais implantando a AI apesar de problemas com erros de diagnóstico.
Médicos chineses alertam que a adoção da DeepSeek AI em hospitais chineses é "rápida demais"
A integração da DeepSeek AI em hospitais chineses agora inclui a adoção generalizada do modelo de AI em mais de 300 instituições médicas. No entanto, uma voz de alerta foi emitida pela comunidade médica chinesa. Uma revisão de pesquisa publicada no JAMA, liderada por Huang Tianyin, reitor fundador da Faculdade de Medicina da Universidade de Tsinghua, adverte que a rápida implantação de grandes modelos de linguagem da DeepSeek em ambientes clínicos pode ser "rápida e prematura demais".
Os números pintam um quadro convincente da transformação da inteligência artificial no setor de saúde chinês. A implantação da DeepSeek em hospitais terciários representa uma mudança significativa no uso da inteligência artificial, estendendo-se além do auxílio ao diagnóstico para abranger a administração hospitalar, a facilitação da pesquisa e o gerenciamento de pacientes.
O modelo da empresa já demonstrou melhorias significativas na eficiência, incluindo um aumento de 40 vezes na eficiência do acompanhamento do paciente. A ampla adoção decorre da posição única da DeepSeek como uma alternativa de código aberto e de baixo custo aos sistemas de AI proprietários.
LLM DeepSeek-V3 e DeepSeek-R1, desenvolvidos por uma subsidiária de uma empresa de investimentos chinesa, têm a vantagem única de baixo custo e código aberto, que reduz consideravelmente a barreira à entrada para o uso de LLMs.
Empresas de saúde chinesas integraram rapidamente o modelo em suas operações. Mais de 30 empresas de saúde no continente acrescentaram AI às suas operações, incluindo empresas como a Jiangsu Hengrui Medicine Co., Ltd e a Yunnan Baiyao Group Co., Ltd.
Após a adoção de vários modelos de AI de código aberto para aumentar a eficiência operacional e reduzir custos, as ações da Berry Genomics Co., Ltd subiram mais de 71%.
Sinais de Alerta: Segurança Clínica Sob Escrutínio
Apesar do entusiasmo em torno da DeepSeek AI, a perspectiva de pesquisa do JAMA levantou sinais de alerta importantes. Huang Tianyin, professor de oftalmologia e ex-diretor médico do Centro Nacional de Olhos de Cingapura, juntamente com seus colaboradores, identificou vários problemas críticos.
Os pesquisadores alertam que a propensão da DeepSeek a gerar "saídas aparentemente razoáveis, mas factualmente incorretas" pode levar a "riscos clínicos graves", apesar de seus robustos recursos de raciocínio. Esse fenômeno, conhecido como alucinação de AI, é particularmente perigoso em ambientes médicos, onde a precisão pode ser uma questão de vida ou morte.
A equipe de pesquisa destacou como os profissionais médicos podem super confiar ou aceitar acriticamente as saídas da DeepSeek, levando potencialmente a erros de diagnóstico ou desvios de tratamento, enquanto médicos mais cautelosos podem enfrentar o ônus de verificar as saídas da AI em ambientes clínicos sensíveis ao tempo.
Desafios de Infraestrutura e Vulnerabilidades de Segurança
Além das preocupações com a precisão clínica, a rápida implantação da DeepSeek AI em hospitais chineses também expôs vulnerabilidades significativas de segurança cibernética. Embora muitos hospitais optem por implantações privadas e no local para mitigar riscos de segurança e privacidade, o estudo afirma que essa abordagem "transfere a responsabilidade pela segurança para as instituições médicas individuais", muitas das quais carecem de infraestrutura abrangente de segurança cibernética.
Pesquisas recentes sobre segurança cibernética aumentaram as preocupações. Os estudos indicam que a DeepSeek tem 11 vezes mais probabilidade de ser explorada por cibercriminosos do que outros modelos de AI, destacando uma vulnerabilidade crítica em seu design. Um estudo da Cisco descobriu que a DeepSeek não conseguiu bloquear avisos prejudiciais em avaliações de segurança, incluindo aqueles relacionados a crimes cibernéticos e desinformação.
A natureza de código aberto da DeepSeek, embora aprimore a acessibilidade, apresenta desafios de segurança exclusivos. A estrutura de código aberto da DeepSeek significa que qualquer pessoa pode baixar e modificar o aplicativo, permitindo que os usuários não apenas alterem suas funcionalidades, mas também seus mecanismos de segurança, criando um risco maior de exploração.
Impacto no Mundo Real: Histórias da Linha de Frente Clínica
A integração da DeepSeek AI em hospitais chineses já começou a transformar a dinâmica entre médicos e pacientes. Um vídeo viral no Douyin mostrou um médico frustrado que, após ser desafiado por um paciente que usava a DeepSeek, descobriu que as diretrizes médicas haviam sido de fato atualizadas e a AI estava correta.
Esta anedota ilustra o potencial e os perigos da adoção de AI no setor de saúde. Embora a tecnologia possa ajudar a manter as práticas médicas atualizadas, ela também desafia as hierarquias médicas tradicionais e introduz novas fontes de incerteza na tomada de decisões clínicas.
Uma Tempestade Perfeita de Riscos à Segurança
Os pesquisadores argumentam que a situação única do setor de saúde chinês está criando uma "tempestade perfeita" de riscos à segurança clínica, atribuindo isso às lacunas na infraestrutura de saúde primária e à alta taxa de penetração de smartphones. Eles observam que "populações vulneráveis com necessidades médicas complexas agora têm acesso sem precedentes a conselhos de saúde orientados por IA, mas geralmente carecem da supervisão clínica necessária para uma implementação segura".
A democratização do acesso à AI médica, embora possa promover a equidade na assistência à saúde, levanta questões sobre a qualidade e a segurança do atendimento em ambientes com poucos recursos, onde a supervisão adequada pode estar ausente.
Implicações Geopolíticas e Privacidade de Dados
A rápida adoção da DeepSeek AI em hospitais chineses não passou despercebida pela comunidade internacional. Alguns países já tomaram medidas de precaução, com a Itália, Taiwan, Austrália e Coreia do Sul bloqueando ou proibindo o acesso ao aplicativo em dispositivos governamentais devido a preocupações de que as práticas de gerenciamento de dados do aplicativo representem uma ameaça à segurança nacional.
Especialistas em privacidade expressaram preocupações sobre coleta e armazenamento de dados. O chatbot chinês pode representar um risco à segurança nacional, pois "esses dados agregados podem ser usados para coletar insights sobre a população ou o comportamento do usuário que podem ser usados para criar ataques de phishing mais eficazes ou outras manipulações maliciosas".
Lacunas Regulatórias
Apesar de seu uso generalizado, a estrutura regulatória da China tem lutado para acompanhar a rápida implantação da AI no setor de saúde. As interpretações regulatórias atuais permitem que a inteligência artificial aprimore, em vez de substituir, o julgamento diagnóstico humano, sugerindo que sua integração nos serviços de saúde ainda requer cautela.
Notavelmente, nenhum produto de AI médica foi incluído no seguro médico básico nacional da China, indicando um ceticismo contínuo sobre a confiabilidade da tecnologia. Dito isso, a história da DeepSeek AI em hospitais chineses representa um microcosmo dos desafios mais amplos enfrentados pela adoção de AI em setores críticos globalmente.
Embora a tecnologia ofereça um imenso potencial para melhorar a prestação de serviços de saúde e reduzir custos, os alertas dos pesquisadores médicos destacam a necessidade de uma implementação cautelosa e metódica.
Estudos recentes destacaram a precisão relativa do modelo DeepSeek em métricas específicas, como a pontuação de Deauville em pacientes com linfoma, mas ainda reconhecem lacunas consideráveis em comparação com os médicos clínicos humanos. A lacuna de precisão, juntamente com vulnerabilidades de segurança e desafios regulatórios, sugere que o ritmo atual de adoção pode realmente ser "rápido e prematuro demais".
Conclusão: Um Momento Crítico
À medida que a China continua a perseguir hospitais "inteligentes" e uma transformação da saúde orientada por IA, a integração da DeepSeek AI em hospitais chineses serve tanto como um testemunho da inovação tecnológica quanto como um conto de advertência sobre os perigos da implantação rápida. As preocupações levantadas por Huang Tianyin da Faculdade de Medicina da Universidade de Tsinghua e seus colegas não são um argumento contra o progresso, mas um apelo à inovação responsável que priorize a segurança do paciente juntamente com o avanço tecnológico.
O desafio daqui para frente estará em encontrar o equilíbrio certo entre aproveitar os benefícios inegáveis da AI no setor de saúde e implementar salvaguardas sólidas para proteger os pacientes dos riscos de implantações de AI prematuras ou não regulamentadas.
O debate contínuo em torno da DeepSeek AI em hospitais chineses reflete, em última análise, uma questão fundamental que o setor de saúde global enfrenta na interface: quão rápido é rápido demais ao integrar sistemas de AI poderosos em aplicações médicas que afetam a vida? A resposta a essa pergunta moldará o futuro da saúde digital, não apenas na China, mas em todo o mundo.