Une équipe de chercheurs chinois a exprimé des inquiétudes quant à l’intégration rapide de DeepSeek, un modèle d’intelligence artificielle, dans les milieux hospitaliers. Leur analyse met en évidence les dangers potentiels pour la sécurité clinique et la confidentialité des données, en particulier en raison de l’utilisation généralisée des modèles open-source économiques de la start-up.
Début mars, les grands modèles de langage (LLM) de DeepSeek étaient déjà utilisés dans au moins 300 hôpitaux chinois pour le diagnostic clinique et l’aide à la décision médicale.
Publié dans le Journal of the American Medical Association (JAMA), l’article de recherche souligne l’inclination de DeepSeek à générer des résultats qui semblent convaincants mais sont factuellement inexacts. Malgré les solides capacités de raisonnement de l’IA, cela pourrait créer des risques cliniques importants. Wong Tien Yin, chef fondateur de Tsinghua Medicine, une division de recherche de l’Université Tsinghua à Pékin, est membre de l’équipe de recherche.
Cette note de prudence contraste avec l’enthousiasme généralisé pour DeepSeek en Chine. La start-up, saluée pour ses modèles V3 et R1 abordables et performants, est devenue un symbole des progrès de la Chine en matière d’IA.
Wong et ses co-auteurs ont souligné le risque que les professionnels de la santé ne deviennent trop dépendants ou n’acceptent les résultats de DeepSeek sans évaluation critique. Cela pourrait entraîner des erreurs de diagnostic ou des plans de traitement biaisés. Inversement, les cliniciens qui restent prudents seraient confrontés à la charge supplémentaire de vérifier les résultats de l’IA dans des délais restreints.
Risques de sécurité liés au déploiement sur site
Bien que les hôpitaux optent souvent pour des déploiements privés sur site des modèles DeepSeek afin de réduire les risques liés à la sécurité et à la confidentialité, cette approche introduit son propre ensemble de complications. Selon les chercheurs, elle « transfère les responsabilités de sécurité aux établissements de santé individuels », dont beaucoup peuvent manquer des défenses de cybersécurité nécessaires.
Les chercheurs ont également noté que la combinaison d’une infrastructure de soins de santé primaires inadéquate et de l’utilisation généralisée des smartphones en Chine crée une « tempête parfaite » qui exacerbe les inquiétudes concernant la sécurité clinique.
Les chercheurs déclarent : « Les populations mal desservies ayant des besoins médicaux complexes ont désormais un accès sans précédent aux recommandations de santé basées sur l’IA, mais manquent souvent de la surveillance clinique nécessaire à une mise en œuvre sûre. »
Examen minutieux des LLM dans les milieux de soins de santé
Cet article contribue aux conversations croissantes sur l’utilisation des LLM dans les milieux cliniques et médicaux. D’autres organisations en Chine commencent également à examiner de près les LLM à mesure que leur adoption s’accélère. Un autre article publié le mois dernier par des chercheurs de l’Université chinoise de Hong Kong a examiné les vulnérabilités de cybersécurité des agents d’IA et a découvert que ceux qui sont alimentés par des LLM couramment utilisés étaient vulnérables à diverses attaques, DeepSeek-R1 étant le plus susceptible d’être attaqué.
La Chine a accéléré l’adoption des LLM dans les soins de santé dans un contexte de montée en puissance des technologies d’IA générative. Le mois dernier, Ant Group, une société chinoise de technologie financière, a introduit près de 100 agents médicaux d’IA sur son application de paiement Alipay. Ces agents sont soutenus par des experts médicaux d’hôpitaux chinois de premier plan.
Tairex, une start-up incubée à l’Université Tsinghua, a lancé des tests internes d’une plateforme d’hôpital virtuel en novembre. La plateforme comprend 42 médecins d’IA couvrant 21 départements, dont les urgences, les voies respiratoires, la pédiatrie et la cardiologie. La société a révélé son intention de lancer la plateforme au public plus tard dans l’année.
Analyse approfondie des préoccupations entourant l’IA dans les soins de santé
L’intégration rapide de l’IA, en particulier des grands modèles de langage (LLM) comme DeepSeek, dans les milieux de soins de santé en Chine, a suscité un débat entre ceux qui défendent ses avantages potentiels et ceux qui appellent à la prudence. Bien que l’IA offre des possibilités intéressantes d’amélioration des diagnostics, des traitements et de l’accès aux soins, plusieurs facteurs justifient une approche plus mesurée. Les préoccupations soulevées par les chercheurs mettent en évidence les complexités et les pièges potentiels du déploiement de l’IA dans un domaine aussi essentiel.
L’une des principales préoccupations concerne la fiabilité des informations générées par l’IA. Les LLM sont entraînés sur de vastes ensembles de données, mais ces ensembles de données peuvent contenir des biais, des inexactitudes ou des informations obsolètes. Par conséquent, les modèles d’IA peuvent parfois générer des résultats qui semblent plausibles mais qui sont, en fait, incorrects. Cela soulève un risque important dans les milieux médicaux, où les erreurs de diagnostic ou les recommandations de traitement incorrectes peuvent avoir de graves conséquences pour les patients.
Le risque de dépendance excessive à l’IA
Une autre préoccupation est le risque que les professionnels de la santé ne deviennent trop dépendants de l’IA et ne perdent leurs compétences en matière de pensée critique. Si les médecins et les infirmières commencent à traiter les résultats de l’IA comme infaillibles, ils peuvent ne pas évaluer correctement l’état des patients, négliger des détails importants ou remettre en question les recommandations de l’IA. Cela peut conduire à des erreurs de diagnostic, à des traitements inappropriés et à une baisse de la qualité des soins.
En outre, l’adoption généralisée de l’IA soulève des questions éthiques et sociales concernant la confidentialité des données, les biais algorithmiques et le risque de déplacement d’emplois. Les patients peuvent être préoccupés par la sécurité et la confidentialité de leurs données de santé, en particulier si elles sont utilisées pour entraîner des modèles d’IA. Les biais algorithmiques peuvent également perpétuer et exacerber les disparités en matière de santé existantes si les modèles d’IA sont entraînés sur des données qui ne reflètent pas fidèlement la diversité de la population.
Trouver un équilibre entre innovation et prudence
Pour atténuer ces risques, il est essentiel d’adopter une approche plus prudente et responsable de l’intégration de l’IA dans les soins de santé. Cela comprend :
- Des tests et une validation rigoureux : Avant de déployer des modèles d’IA dans des milieux cliniques, ils doivent être soigneusement testés et validés sur diverses populations afin de garantir leur exactitude, leur fiabilité et leur équité.
- La supervision humaine : L’IA doit être utilisée comme un outil pour compléter, et non remplacer, le jugement humain. Les professionnels de la santé doivent toujours examiner et vérifier les résultats de l’IA avant de prendre des décisions cliniques.
- La transparence et l’explicabilité : Les modèles d’IA doivent être transparents et explicables, afin que les professionnels de la santé puissent comprendre comment ils parviennent à leurs recommandations. Cela peut contribuer à instaurer la confiance dans l’IA et à identifier les erreurs ou les biais potentiels.
- La confidentialité et la sécurité des données : Des mesures de protection robustes doivent être mises en place pour protéger la confidentialité et la sécurité des données des patients. Cela comprend l’obtention d’un consentement éclairé, la mise en œuvre de mesures de sécurité strictes et le respect des réglementations en matière de protection des données.
- L’éducation et la formation : Les professionnels de la santé doivent recevoir une formation complète sur la façon d’utiliser l’IA de manière efficace et responsable. Cela comprend la compréhension des limites de l’IA, la reconnaissance des biais potentiels et l’évaluation critique des résultats de l’IA.
Lutter contre les vulnérabilités de cybersécurité
Les vulnérabilités de cybersécurité des agents d’IA, comme l’ont souligné les chercheurs de l’Université chinoise de Hong Kong, constituent une menace importante pour l’intégrité et la sécurité des systèmes de santé. Si les modèles d’IA sont susceptibles d’être attaqués, des acteurs malveillants pourraient potentiellement manipuler les résultats de l’IA, accéder à des données sensibles sur les patients ou perturber les opérations de soins de santé.
Pour lutter contre ces vulnérabilités, il est essentiel de mettre en œuvre des mesures de cybersécurité robustes, telles que :
- Des pratiques de codage sécurisées : Les modèles d’IA doivent être développés en utilisant des pratiques de codage sécurisées afin de prévenir les vulnérabilités telles que l’injection SQL, le cross-site scripting et les dépassements de tampon.
- Des audits de sécurité réguliers : Les systèmes d’IA doivent faire l’objet d’audits de sécurité réguliers afin d’identifier et de corriger les vulnérabilités potentielles.
- Des systèmes de détection et de prévention des intrusions : Des systèmes de détection et de prévention des intrusions doivent être mis en œuvre pour surveiller les systèmes d’IA à la recherche d’activités malveillantes et pour empêcher tout accès non autorisé.
- Le cryptage des données : Les données sensibles des patients doivent être cryptées à la fois en transit et au repos afin de les protéger contre tout accès non autorisé.
- Des contrôles d’accès : Des contrôles d’accès stricts doivent être mis en œuvre pour limiter l’accès aux systèmes d’IA et aux données au personnel autorisé.
Considérations éthiques
Au-delà des défis techniques, l’intégration de l’IA dans les soins de santé soulève un certain nombre de considérations éthiques importantes. Ces considérations comprennent :
- Les biais algorithmiques : Les modèles d’IA peuvent perpétuer et exacerber les disparités en matière de santé existantes s’ils sont entraînés sur des données qui ne reflètent pas fidèlement la diversité de la population. Il est essentiel de veiller à ce que les modèles d’IA soient équitables et non biaisés.
- La confidentialité des données : Les patients peuvent être préoccupés par la confidentialité de leurs données de santé, en particulier si elles sont utilisées pour entraîner des modèles d’IA. Il est essentiel d’obtenir un consentement éclairé et de protéger les données des patients.
- La transparence et l’explicabilité : Les modèles d’IA doivent être transparents et explicables, afin que les patients puissent comprendre comment ils parviennent à leurs recommandations. Cela peut contribuer à instaurer la confiance dans l’IA.
- La responsabilité : Il est important d’établir des lignes de responsabilité claires pour les décisions prises par les systèmes d’IA. Qui est responsable si un modèle d’IA pose un mauvais diagnostic ou recommande un traitement inapproprié ?
La voie à suivre
L’intégration de l’IA dans les soins de santé offre un potentiel énorme pour améliorer les soins aux patients, réduire les coûts et améliorer l’efficacité des systèmes de santé. Cependant, il est essentiel d’aborder cette intégration avec prudence et de tenir compte des risques et des défis potentiels. En adoptant une approche responsable et éthique, nous pouvons exploiter la puissance de l’IA pour transformer les soins de santé pour le mieux.