Um grupo de investigadores chineses manifestou preocupações com a rápida integração do DeepSeek, um modelo de inteligência artificial, em ambientes hospitalares. A sua análise destaca os potenciais perigos para a segurança clínica e a privacidade dos dados, em particular devido à utilização generalizada dos modelos open-source económicos da start-up.
No início de março, os large language models (LLMs) (modelos de linguagem grandes) do DeepSeek já estavam a ser utilizados em, pelo menos, 300 hospitais chineses para diagnósticos clínicos e apoio à decisão médica.
Publicado no Journal of the American Medical Association (JAMA), o artigo de investigação aponta para a inclinação do DeepSeek em gerar resultados que parecem convincentes, mas que são factualmente imprecisos. Apesar das robustas capacidades de raciocínio da IA, isto poderia criar riscos clínicos significativos. Wong Tien Yin, o chefe fundador da Tsinghua Medicine, uma divisão de investigação da Universidade de Tsinghua em Pequim, é membro da equipa de investigação.
Esta nota de cautela contrasta com o entusiasmo predominante pelo DeepSeek na China. A start-up, celebrada pelos seus modelos V3 e R1 acessíveis e de alto desempenho, tornou-se um símbolo dos avanços da IA da China.
Wong e os seus coautores enfatizaram o risco de os profissionais de saúde se tornarem excessivamente dependentes ou aceitarem os resultados do DeepSeek sem avaliação crítica. Isto poderia levar a erros no diagnóstico ou a planos de tratamento enviesados. Por outro lado, os clínicos que permanecessem cautelosos enfrentariam o encargo adicional de verificar os resultados da IA sob restrições de tempo.
Riscos de Segurança na Implantação no Local
Embora os hospitais optem frequentemente por implementações privadas e no local dos modelos DeepSeek para reduzir os riscos associados à segurança e à privacidade, esta abordagem introduz o seu próprio conjunto de complicações. De acordo com os investigadores, “transfere as responsabilidades de segurança para os estabelecimentos de saúde individuais”, muitos dos quais podem não ter as defesas de cibersegurança necessárias.
Os investigadores também notaram que a combinação de uma infraestrutura de cuidados primários inadequada e a utilização generalizada de smartphones na China cria uma “tempestade perfeita” que agrava as preocupações com a segurança clínica.
Os investigadores afirmam: “As populações carenciadas com necessidades médicas complexas têm agora um acesso sem precedentes a recomendações de saúde orientadas por IA, mas muitas vezes carecem da supervisão clínica necessária para uma implementação segura.”
Análise dos LLMs em Ambientes de Saúde
Este artigo contribui para crescentes conversas sobre a utilização de LLMs em contextos clínicos e médicos. Outras organizações na China também estão a começar a analisar os LLMs à medida que a adoção acelera. Outro artigo publicado no mês passado por investigadores da Universidade Chinesa de Hong Kong examinou as vulnerabilidades de cibersegurança dos agentes de IA, e descobriu que aqueles alimentados por LLMs comumente usados eram vulneráveis a vários ataques, sendo o DeepSeek-R1 o mais suscetível.
A China acelerou a adoção de LLMs nos cuidados de saúde em meio a um aumento nas tecnologias de IA generativas. No mês passado, a Ant Group, uma empresa chinesa de tecnologia financeira, introduziu quase 100 agentes médicos de IA em sua aplicação de pagamentos Alipay. Esses agentes são apoiados por especialistas médicos de hospitais chineses proeminentes.
A Tairex, uma start-up incubada na Universidade de Tsinghua, iniciou os testes internos de uma plataforma de hospital virtual em novembro. A plataforma conta com 42 médicos de IA cobrindo 21 departamentos, incluindo emergência, respiratório, pediatria e cardiologia. A empresa revelou planos de lançar a plataforma para o público ainda este ano.
Aprofundando as Preocupações em Torno da IA na Saúde
A rápida integração da IA, particularmente os large language models (LLMs) como o DeepSeek, em ambientes de saúde na China gerou um debate entre aqueles que defendem seus potenciais benefícios e aqueles que pedem cautela. Embora a IA ofereça possibilidades empolgantes para melhorar o diagnóstico, o tratamento e o acesso aos cuidados, vários fatores justificam uma abordagem mais comedida. As preocupações levantadas pelos investigadores destacam as complexidades e as potenciais armadilhas da implantação da IA num domínio tão crítico.
Uma das principais preocupações é a fiabilidade das informações geradas por IA. Os LLMs são treinados em vastos conjuntos de dados, mas esses conjuntos de dados podem conter preconceitos, imprecisões ou informações desatualizadas. Como resultado, os modelos de IA podem, por vezes, gerar resultados que parecem plausíveis, mas que são, de facto, incorretos. Isso levanta um risco significativo em ambientes médicos, onde erros de diagnóstico ou recomendações de tratamento incorretas podem ter consequências graves para os pacientes.
O Risco de Confiar Demasiado na IA
Outra preocupação é a potencialidade de os profissionais de saúde se tornarem excessivamente dependentes da IA e perderem as suas capacidades de pensamento crítico. Se os médicos e enfermeiros começarem a tratar os resultados da IA como infalíveis, podem não conseguir avaliar adequadamente as condições dos pacientes, ignorar detalhes importantes ou questionar as recomendações da IA. Isso pode levar a erros de diagnóstico, tratamentos inadequados e uma diminuição da qualidade dos cuidados.
Além disso, a adoção generalizada de IA levanta questões éticas e sociais sobre a privacidade dos dados, o preconceito algorítmico e o potencial de deslocamento de empregos. Os pacientes podem estar preocupados com a segurança e a confidencialidade dos seus dados de saúde, particularmente se estiverem a ser utilizados para treinar modelos de IA. O preconceito algorítmico também pode perpetuar e exacerbar as disparidades de saúde existentes se os modelos de IA forem treinados em dados que não refletem com precisão a diversidade da população.
Alcançando um Equilíbrio Entre Inovação e Cautela
Para mitigar esses riscos, é crucial adotar uma abordagem mais cautelosa e responsável à integração da IA na saúde. Isso inclui:
- Testes e Validação Rigorosos: Antes de implantar modelos de IA em ambientes clínicos, eles devem ser testados e validados minuciosamente em diversas populações para garantir sua precisão, confiabilidade e imparcialidade.
- Supervisão Humana: A IA deve ser utilizada como uma ferramenta para aumentar, não substituir, o julgamento humano. Os profissionais de saúde devem sempre rever e verificar os resultados da IA antes de tomar decisões clínicas.
- Transparência e Explicabilidade: Os modelos de IA devem ser transparentes e explicáveis, para que os profissionais de saúde possam entender como chegam às suas recomendações. Isso pode ajudar a criar confiança na IA e a identificar potenciais erros ou preconceitos.
- Privacidade e Segurança de Dados: Salvaguardas robustas devem ser implementadas para proteger a privacidade e a segurança dos dados dos pacientes. Isso inclui a obtenção de consentimento informado, a implementação de medidas de segurança fortes e a adesão a regulamentos de proteção de dados.
- Educação e Treino: Os profissionais de saúde devem receber treino abrangente sobre como utilizar a IA de forma eficaz e responsável. Isso inclui entender as limitações da IA, reconhecer potenciais preconceitos e avaliar criticamente os resultados da IA.
Abordando as Vulnerabilidades de Cibersegurança
As vulnerabilidades de cibersegurança dos agentes de IA, conforme destacado pelos investigadores da Universidade Chinesa de Hong Kong, representam uma ameaça significativa para a integridade e a segurança dos sistemas de saúde. Se os modelos de IA forem suscetíveis a ataques, atores maliciosos podem potencialmente manipular os resultados da IA, aceder a dados confidenciais dos pacientes ou interromper as operações de saúde.
Para abordar essas vulnerabilidades, é essencial implementar medidas de cibersegurança robustas, tais como:
- Práticas de Codificação Seguras: Os modelos de IA devem ser desenvolvidos utilizando práticas de codificação seguras para evitar vulnerabilidades como injeção de SQL, scripting entre sites e estouros de buffer.
- Auditorias de Segurança Regulares: Os sistemas de IA devem ser submetidos a auditorias de segurança regulares para identificar e abordar potenciais vulnerabilidades.
- Sistemas de Detecção e Prevenção de Intrusões: Os sistemas de detecção e prevenção de intrusões devem ser implementados para monitorizar os sistemas de IA quanto a atividade maliciosa e para evitar acessos não autorizados.
- Criptografia de Dados: Os dados confidenciais dos pacientes devem ser criptografados tanto em trânsito quanto em repouso para protegê-los de acessos não autorizados.
- Controlos de Acesso: Controlos de acesso rigorosos devem ser implementados para limitar o acesso a sistemas e dados de IA a pessoal autorizado.
Considerações Éticas
Além dos desafios técnicos, a integração da IA na saúde levanta várias considerações éticas importantes. Isso inclui:
- Preconceito Algorítmico: Os modelos de IA podem perpetuar e exacerbar as disparidades de saúde existentes se forem treinados em dados que não refletem com precisão a diversidade da população. É crucial garantir que os modelos de IA sejam justos e imparciais.
- Privacidade de Dados: Os pacientes podem estar preocupados com a privacidade dos seus dados de saúde, particularmente se estiverem a ser utilizados para treinar modelos de IA. É essencial obter consentimento informado e proteger os dados dos pacientes.
- Transparência e Explicabilidade: Os modelos de IA devem ser transparentes e explicáveis, para que os pacientes possam entender como chegam às suas recomendações. Isso pode ajudar a criar confiança na IA.
- Responsabilidade: É importante estabelecer linhas claras de responsabilidade para as decisões tomadas por sistemas de IA. Quem é responsável se um modelo de IA fizer um diagnóstico errado ou recomendar um tratamento inadequado?
O Caminho a Seguir
A integração da IA na saúde tem um enorme potencial para melhorar os cuidados aos pacientes, reduzir os custos e aumentar a eficiência dos sistemas de saúde. No entanto, é crucial abordar esta integração com cautela e abordar os potenciais riscos e desafios. Ao adotar uma abordagem responsável e ética, podemos aproveitar o poder da IA para transformar a saúde para melhor.