Un team di ricercatori cinesi ha espresso preoccupazioni riguardo alla rapida integrazione di DeepSeek, un modello di intelligenza artificiale, negli ambienti ospedalieri. La loro analisi evidenzia potenziali pericoli per la sicurezza clinica e la privacy dei dati, in particolare a causa dell’uso diffuso dei modelli open-source economici della start-up.
All’inizio di marzo, i large language models (LLMs) di DeepSeek erano già impiegati in almeno 300 ospedali cinesi per la diagnostica clinica e il supporto alle decisioni mediche.
Pubblicato sul Journal of the American Medical Association (JAMA), il documento di ricerca indica l’inclinazione di DeepSeek a generare output che sembrano convincenti ma sono fattualmente imprecisi. Nonostante le robuste capacità di ragionamento dell’AI, ciò potrebbe creare rischi clinici significativi. Wong Tien Yin, il capo fondatore di Tsinghua Medicine, una divisione di ricerca presso l’Università Tsinghua di Pechino, è un membro del team di ricerca.
Questa nota di cautela contrasta con il prevalente entusiasmo per DeepSeek in Cina. La start-up, celebrata per i suoi modelli V3 e R1 convenienti e ad alte prestazioni, è diventata un simbolo dei progressi dell’AI cinese.
Wong e i suoi co-autori hanno sottolineato il rischio che gli operatori sanitari possano diventare eccessivamente dipendenti o accettare gli output di DeepSeek senza una valutazione critica. Ciò potrebbe portare a errori nella diagnosi o a piani di trattamento distorti. Al contrario, i clinici che rimangono cauti dovrebbero affrontare l’ulteriore onere di verificare gli output dell’AI in tempi ristretti.
Rischi per la sicurezza nell’implementazione in loco
Mentre gli ospedali spesso optano per implementazioni private in loco dei modelli DeepSeek per ridurre i rischi associati alla sicurezza e alla privacy, questo approccio introduce una propria serie di complicazioni. Secondo i ricercatori, “trasferisce le responsabilità della sicurezza alle singole strutture sanitarie”, molte delle quali potrebbero non disporre delle necessarie difese di sicurezza informatica.
I ricercatori hanno anche notato che la combinazione di infrastrutture di assistenza primaria inadeguate e l’uso diffuso di smartphone in Cina crea una “tempesta perfetta” che esacerba le preoccupazioni sulla sicurezza clinica.
I ricercatori affermano: “Le popolazioni svantaggiate con complesse esigenze mediche ora hanno un accesso senza precedenti alle raccomandazioni sanitarie guidate dall’AI, ma spesso mancano della supervisione clinica necessaria per un’implementazione sicura”.
Esame degli LLMs in ambienti sanitari
Questo documento contribuisce alle crescenti conversazioni sull’utilizzo degli LLMs in contesti clinici e medici. Anche altre organizzazioni in Cina stanno iniziando a esaminare gli LLMs mentre l’adozione accelera. Un altro documento pubblicato il mese scorso da ricercatori presso l’Università cinese di Hong Kong ha esaminato le vulnerabilità di sicurezza informatica degli agenti AI e ha scoperto che quelli alimentati da LLMs comunemente usati erano vulnerabili a vari attacchi, con DeepSeek-R1 che era il più suscettibile.
La Cina ha accelerato l’adozione degli LLMs nell’assistenza sanitaria in mezzo a un’ondata di tecnologie di AI generativa. Il mese scorso, Ant Group, una società cinese di tecnologia finanziaria, ha introdotto quasi 100 agenti medici AI sulla sua app di pagamenti Alipay. Questi agenti sono supportati da esperti medici di importanti ospedali cinesi.
Tairex, una start-up incubata presso l’Università Tsinghua, ha avviato test interni di una piattaforma ospedaliera virtuale a novembre. La piattaforma presenta 42 medici AI che coprono 21 dipartimenti, tra cui emergenza, respiratorio, pediatria e cardiologia. La società ha rivelato piani per lanciare la piattaforma al pubblico nel corso dell’anno.
Approfondimento delle preoccupazioni che circondano l’AI nell’assistenza sanitaria
La rapida integrazione dell’AI, in particolare dei large language models (LLMs) come DeepSeek, negli ambienti sanitari in Cina ha scatenato un dibattito tra coloro che ne sostengono i potenziali vantaggi e coloro che sollecitano cautela. Mentre l’AI offre entusiasmanti possibilità per migliorare la diagnostica, il trattamento e l’accesso alle cure, diversi fattori giustificano un approccio più misurato. Le preoccupazioni sollevate dai ricercatori evidenziano le complessità e le potenziali insidie dell’implementazione dell’AI in un dominio così critico.
Una delle principali preoccupazioni è l’affidabilità delle informazioni generate dall’AI. Gli LLMs sono addestrati su vasti set di dati, ma questi set di dati possono contenere pregiudizi, imprecisioni o informazioni obsolete. Di conseguenza, i modelli AI possono a volte generare output che appaiono plausibili ma sono, in realtà, errati. Ciò solleva un rischio significativo in ambito medico, dove errori diagnostici o raccomandazioni errate sul trattamento possono avere gravi conseguenze per i pazienti.
Il rischio di eccessiva dipendenza dall’AI
Un’altra preoccupazione è il potenziale per gli operatori sanitari di diventare eccessivamente dipendenti dall’AI e di perdere le proprie capacità di pensiero critico. Se medici e infermieri iniziano a trattare gli output dell’AI come infallibili, potrebbero non valutare adeguatamente le condizioni dei pazienti, trascurare dettagli importanti o mettere in discussione le raccomandazioni dell’AI. Ciò può portare a errori diagnostici, trattamenti inappropriati e a un calo della qualità delle cure.
Inoltre, l’adozione diffusa dell’AI solleva questioni etiche e sociali sulla privacy dei dati, i pregiudizi algoritmici e il potenziale per lo spostamento di posti di lavoro. I pazienti potrebbero essere preoccupati per la sicurezza e la riservatezza dei propri dati sanitari, in particolare se vengono utilizzati per addestrare modelli AI. I pregiudizi algoritmici possono anche perpetuare ed esacerbare le disparità sanitarie esistenti se i modelli AI sono addestrati su dati che non riflettono accuratamente la diversità della popolazione.
Trovare un equilibrio tra innovazione e cautela
Per mitigare questi rischi, è fondamentale adottare un approccio più cauto e responsabile all’integrazione dell’AI nell’assistenza sanitaria. Ciò include:
- Test e convalida rigorosi: Prima di implementare modelli AI in contesti clinici, questi devono essere accuratamente testati e convalidati su diverse popolazioni per garantirne accuratezza, affidabilità ed equità.
- Supervisione umana: L’AI dovrebbe essere utilizzata come strumento per aumentare, non sostituire, il giudizio umano. Gli operatori sanitari dovrebbero sempre rivedere e verificare gli output dell’AI prima di prendere decisioni cliniche.
- Trasparenza e spiegabilità: I modelli AI dovrebbero essere trasparenti e spiegabili, in modo che gli operatori sanitari possano capire come arrivano alle loro raccomandazioni. Ciò può aiutare a costruire fiducia nell’AI e a identificare potenziali errori o pregiudizi.
- Privacy e sicurezza dei dati: È necessario mettere in atto solide misure di protezione per proteggere la privacy e la sicurezza dei dati dei pazienti. Ciò include l’ottenimento del consenso informato, l’implementazione di solide misure di sicurezza e il rispetto delle normative sulla protezione dei dati.
- Istruzione e formazione: Gli operatori sanitari dovrebbero ricevere una formazione completa su come utilizzare l’AI in modo efficace e responsabile. Ciò include la comprensione dei limiti dell’AI, il riconoscimento di potenziali pregiudizi e la valutazione critica degli output dell’AI.
Affrontare le vulnerabilità di sicurezza informatica
Le vulnerabilità di sicurezza informatica degli agenti AI, come evidenziato dai ricercatori dell’Università cinese di Hong Kong, rappresentano una minaccia significativa per l’integrità e la sicurezza dei sistemi sanitari. Se i modelli AI sono suscettibili di attacchi, soggetti malintenzionati potrebbero potenzialmente manipolare gli output dell’AI, accedere a dati sensibili dei pazienti o interrompere le operazioni sanitarie.
Per affrontare queste vulnerabilità, è essenziale implementare solide misure di sicurezza informatica, come:
- Pratiche di codifica sicura: I modelli AI devono essere sviluppati utilizzando pratiche di codifica sicura per prevenire vulnerabilità come SQL injection, cross-site scripting e buffer overflow.
- Audit di sicurezza regolari: I sistemi AI devono essere sottoposti a audit di sicurezza regolari per identificare e affrontare potenziali vulnerabilità.
- Sistemi di rilevamento e prevenzione delle intrusioni: È necessario implementare sistemi di rilevamento e prevenzione delle intrusioni per monitorare i sistemi AI per attività dannose e per prevenire accessi non autorizzati.
- Crittografia dei dati: I dati sensibili dei pazienti devono essere crittografati sia in transito che a riposo per proteggerli da accessi non autorizzati.
- Controlli di accesso: È necessario implementare rigidi controlli di accesso per limitare l’accesso ai sistemi AI e ai dati al personale autorizzato.
Considerazioni etiche
Oltre alle sfide tecniche, l’integrazione dell’AI nell’assistenza sanitaria solleva una serie di importanti considerazioni etiche. Questi includono:
- Pregiudizi algoritmici: I modelli AI possono perpetuare ed esacerbare le disparità sanitarie esistenti se vengono addestrati su dati che non riflettono accuratamente la diversità della popolazione. È fondamentale garantire che i modelli AI siano equi e imparziali.
- Privacy dei dati: I pazienti potrebbero essere preoccupati per la privacy dei propri dati sanitari, in particolare se vengono utilizzati per addestrare modelli AI. È essenziale ottenere il consenso informato e proteggere i dati dei pazienti.
- Trasparenza e spiegabilità: I modelli AI dovrebbero essere trasparenti e spiegabili, in modo che i pazienti possano capire come arrivano alle loro raccomandazioni. Questo può aiutare a costruire fiducia nell’AI.
- Responsabilità: È importante stabilire chiare linee di responsabilità per le decisioni prese dai sistemi AI. Chi è responsabile se un modello AI fa una diagnosi errata o raccomanda un trattamento inappropriato?
La strada da seguire
L’integrazione dell’AI nell’assistenza sanitaria ha un enorme potenziale per migliorare l’assistenza ai pazienti, ridurre i costi e migliorare l’efficienza dei sistemi sanitari. Tuttavia, è fondamentale affrontare questa integrazione con cautela e affrontare i potenziali rischi e sfide. Adottando un approccio responsabile ed etico, possiamo sfruttare il potere dell’AI per trasformare l’assistenza sanitaria in meglio.