Application rapide de DeepSeek AI dans les hôpitaux chinois : les chercheurs médicaux lancent un avertissement de sécurité
L’adoption trop rapide de DeepSeek AI dans les hôpitaux chinois suscite des alertes chez les experts médicaux. Une étude de JAMA souligne les risques pour la sécurité, avec plus de 300 hôpitaux déployant l’IA malgré les problèmes de diagnostic erroné.
Des médecins chinois avertissent que l’adoption de DeepSeek AI dans les hôpitaux chinois est "trop rapide"
L’intégration de DeepSeek AI dans les hôpitaux chinois comprend actuellement l’adoption généralisée du modèle d’IA dans plus de 300 établissements de santé. Cependant, un signal d’alarme a été tiré par la communauté médicale chinoise. Un article d’opinion de recherche publié dans JAMA, dirigé par Tianyin Huang, doyen fondateur de l’École de médecine de l’Université Tsinghua, avertit que le déploiement rapide des grands modèles de langage de DeepSeek dans les contextes cliniques pourrait être "trop rapide, trop tôt".
Ces chiffres brossent un tableau saisissant de la transformation de l’intelligence artificielle dans le paysage des soins de santé chinois. Les déploiements de DeepSeek dans les hôpitaux tertiaires représentent un changement important dans l’utilisation de l’IA, allant au-delà de l’assistance au diagnostic pour s’étendre à la gestion hospitalière, à la facilitation de la recherche et à l’administration des patients.
Le modèle de l’entreprise a démontré d’importantes améliorations en matière d’efficacité, notamment une augmentation de 40 fois de l’efficacité du suivi des patients. L’adoption généralisée découle de la position unique de DeepSeek en tant qu’alternative open source et à faible coût aux systèmes d’IA propriétaires.
LLM DeepSeek-V3 et DeepSeek-R1, développés par une filiale d’une société d’investissement chinoise, ont l’avantage unique d’être à faible coût et open source, ce qui réduit considérablement les obstacles à l’utilisation des LLM.
Les entreprises chinoises de soins de santé ont rapidement intégré le modèle à leurs opérations. Plus de 30 sociétés de soins de santé en Chine continentale ont intégré l’IA à leurs opérations, notamment Hengrui Pharmaceuticals Co Ltd et Yunnan Baiyao Group Co Ltd.
Après avoir adopté plusieurs modèles d’IA open source pour améliorer l’efficacité opérationnelle et réduire les coûts, les actions de Berry Genomics Co Ltd ont augmenté de plus de 71 %.
Signaux d’avertissement : la sécurité clinique remise en question
Malgré l’enthousiasme suscité par DeepSeek AI, le point de vue de recherche de JAMA soulève des signaux d’alarme importants. Tianyin Huang, professeur d’ophtalmologie et ancien directeur médical du Singapore National Eye Centre, ainsi que ses collaborateurs, ont identifié plusieurs préoccupations cruciales.
Les chercheurs préviennent que la propension de DeepSeek à générer des "sorties apparemment plausibles mais en fait incorrectes" pourrait entraîner de "graves risques cliniques", malgré ses solides capacités de raisonnement. Ce phénomène, connu sous le nom d’hallucinations de l’IA, est particulièrement dangereux dans les environnements médicaux, où l’exactitude peut être une question de vie ou de mort.
L’équipe de recherche souligne la manière dont les professionnels de la santé pourraient trop dépendre ou accepter sans critique les résultats de DeepSeek, conduisant potentiellement à des erreurs de diagnostic ou à des biais dans le traitement, tandis que les cliniciens plus prudents pourraient être confrontés à la charge de valider les résultats de l’IA dans des environnements cliniques où le temps est compté.
Défis d’infrastructure et failles de sécurité
Au-delà des problèmes d’exactitude clinique, le déploiement rapide de DeepSeek AI dans les hôpitaux chinois a exposé d’importantes vulnérabilités en matière de cybersécurité. Bien que de nombreux hôpitaux optent pour des déploiements privés et sur site afin d’atténuer les risques de sécurité et de confidentialité, l’étude indique que cette approche "déplace la responsabilité de la sécurité vers les différents établissements de santé", dont beaucoup manquent d’une infrastructure de cybersécurité complète.
De récentes études sur la cybersécurité ont intensifié les inquiétudes. Des recherches indiquent que DeepSeek est 11 fois plus susceptible d’être exploité par des cybercriminels que les autres modèles d’IA, ce qui met en évidence une vulnérabilité cruciale dans sa conception. Une étude de Cisco a révélé que DeepSeek n’avait pas réussi à bloquer les invites nuisibles lors des évaluations de sécurité, notamment celles liées à la cybercriminalité et à la désinformation.
La nature open source de DeepSeek, tout en améliorant l’accessibilité, pose également des défis de sécurité uniques. La structure open source de DeepSeek signifie que n’importe qui peut télécharger et modifier l’application, ce qui permet aux utilisateurs non seulement de modifier ses fonctionnalités, mais aussi de modifier ses mécanismes de sécurité, créant ainsi un risque d’exploitation accru.
Impact dans le monde réel : histoires du front clinique
L’intégration en cours de DeepSeek AI dans les hôpitaux chinois a déjà commencé à transformer la dynamique des relations médecin-patient. Une vidéo virale sur Douyin montrait un médecin frustré traitant un patient qui remettait en question son jugement en utilisant DeepSeek, pour finalement découvrir que les directives médicales avaient effectivement été mises à jour et que l’IA avait raison.
Cette anecdote illustre à la fois le potentiel et les pièges de l’adoption de l’IA dans les soins de santé. Bien que la technologie puisse aider les pratiques médicales à rester à jour, elle remet également en question les hiérarchies traditionnelles des soins de santé et introduit de nouvelles sources d’incertitude dans la prise de décision clinique.
Une "tempête parfaite" de failles de sécurité
Les chercheurs affirment que la situation unique des soins de santé en Chine façonne une "tempête parfaite" de failles de sécurité clinique, arguant que les lacunes de l’infrastructure de soins primaires et la forte pénétration des téléphones intelligents contribuent à cet état de choses. Ils notent que "les populations vulnérables ayant des besoins complexes en matière de santé ont désormais un accès sans précédent à des conseils de santé basés sur l’IA, mais manquent souvent de la supervision clinique nécessaire à une mise en œuvre sûre".
La démocratisation de l’accès à l’IA en médecine, bien qu’elle puisse potentiellement favoriser l’équité des soins de santé, soulève des questions sur la qualité et la sécurité des soins dans les environnements où les ressources sont limitées, où une surveillance appropriée peut faire défaut.
Implications géopolitiques et confidentialité des données
L’adoption rapide de DeepSeek AI dans les hôpitaux chinois n’est pas passée inaperçue au niveau international. Certains pays ont pris des mesures de précaution, l’Italie, Taïwan, l’Australie et la Corée du Sud ayant déjà bloqué ou interdit l’accès à l’application sur les appareils gouvernementaux, en raison de préoccupations selon lesquelles les pratiques de gestion des données de l’application posent des menaces à la sécurité nationale.
Les experts en confidentialité ont exprimé des préoccupations concernant la collecte et le stockage des données. Ce chatbot chinois pourrait poser des risques pour la sécurité nationale, car "ces données, une fois agrégées, pourraient être utilisées pour recueillir des informations sur une population, ou sur le comportement des utilisateurs, qui pourraient être utilisées pour créer des attaques d’hameçonnage plus efficaces ou d’autres activités de manipulation malveillantes".
Lacunes en matière de réglementation
Malgré son application répandue, le cadre réglementaire chinois peine à suivre le rythme du déploiement rapide de l’IA dans les soins de santé. Les interprétations réglementaires actuelles permettent à l’intelligence artificielle d’améliorer, plutôt que de remplacer, le jugement diagnostique humain, ce qui suggère qu’une intégration prudente dans les services de santé est toujours nécessaire.
Il est à noter qu’aucun produit d’IA médicale n’a été inclus dans l’assurance médicale de base nationale chinoise, ce qui indique qu’il subsiste un scepticisme concernant la fiabilité de la technologie. Cela dit, l’histoire de DeepSeek AI dans les hôpitaux chinois représente un microcosme des défis plus larges rencontrés par l’adoption de l’IA dans des secteurs critiques à l’échelle mondiale.
Bien que la technologie offre un potentiel considérable pour améliorer les soins de santé et réduire les coûts, les avertissements des chercheurs médicaux soulignent la nécessité d’une mise en œuvre prudente et méthodique.
De récentes études ont mis en évidence la précision relative des modèles DeepSeek dans des indicateurs spécifiques, tels que les scores de Deauville pour les patients atteints de lymphome, mais reconnaissent toujours les écarts importants par rapport à ceux des cliniciens humains. Les écarts de précision, associés aux failles de sécurité et aux défis réglementaires, suggèrent que le rythme actuel d’adoption pourrait en effet être "trop rapide, trop tôt".
Conclusion : un moment charnière
Alors que la Chine continue de faire progresser ses "hôpitaux intelligents" et sa transformation des soins de santé axée sur l’IA, l’intégration de DeepSeek AI dans les hôpitaux chinois témoigne simultanément de l’innovation technologique et constitue un récit édifiant sur les risques d’un déploiement rapide. Les préoccupations soulevées par Tianyin Huang, de l’École de médecine de l’Université Tsinghua, et ses collègues ne sont pas une objection au progrès, mais un appel à une innovation responsable qui donne la priorité à la sécurité des patients en même temps que les avancées technologiques.
Le défi à venir consistera à trouver un équilibre approprié entre l’exploitation des avantages indéniables de l’IA dans les soins de santé et la mise en œuvre de garanties solides pour protéger les patients contre les risques posés par un déploiement de l’IA prématuré ou insuffisamment réglementé.
Le débat en cours autour de DeepSeek AI dans les hôpitaux chinois reflète en fin de compte une question fondamentale à laquelle est confrontée l’interface des soins de santé mondiaux : quelle rapidité est excessive lorsqu’il s’agit d’intégrer de puissants systèmes d’IA dans des applications médicales où la vie est en jeu ? La réponse à cette question façonnera l’avenir de la santé numérique, non seulement en Chine, mais dans le monde entier.