L’adozione accelerata di DeepSeek AI negli ospedali cinesi ha sollevato un’ondata di allarmi tra gli esperti del settore medico. Uno studio pubblicato sul JAMA (Journal of the American Medical Association) mette in luce i rischi per la sicurezza dei pazienti, rivelando che oltre 300 ospedali hanno implementato l’intelligenza artificiale nonostante le preoccupazioni relative a errori diagnostici.
Medici cinesi avvertono: l’adozione di DeepSeek AI è troppo rapida
L’integrazione di DeepSeek AI negli ospedali cinesi si manifesta attraverso l’adozione diffusa di questo modello di intelligenza artificiale in oltre 300 istituti medici. Tuttavia, la comunità medica cinese ha espresso una preoccupazione crescente. Un articolo di ricerca pubblicato su JAMA, guidato da Huang Tianyin, fondatore e preside della Facoltà di Medicina dell’Università Tsinghua, avverte che la rapida implementazione di modelli linguistici di grandi dimensioni (LLM) come DeepSeek in contesti clinici potrebbe essere “troppo veloce e troppo precoce”.
I dati dipingono un quadro notevole della trasformazione guidata dall’intelligenza artificiale nel settore sanitario cinese. L’implementazione di DeepSeek negli ospedali terziari (i più grandi e ben attrezzati in Cina) rappresenta un cambiamento significativo nell’utilizzo dell’intelligenza artificiale, che si estende oltre il semplice supporto diagnostico per includere la gestione ospedaliera, la facilitazione della ricerca e la gestione dei pazienti.
Il modello ha dimostrato significativi miglioramenti in termini di efficienza, tra cui un aumento di 40 volte nell’efficienza del follow-up dei pazienti. L’ampia adozione deriva dalla posizione unica di DeepSeek come alternativa open-source e a basso costo ai sistemi AI proprietari.
LLM DeepSeek-V3 e DeepSeek-R1, sviluppati da una sussidiaria di una società di investimento cinese, offrono il vantaggio unico di costi ridotti e open source, abbassando significativamente la barriera all’utilizzo di LLM.
Le aziende sanitarie cinesi hanno rapidamente integrato il modello nelle loro operazioni. Più di 30 aziende sanitarie nella Cina continentale hanno aggiunto l’intelligenza artificiale alle loro operazioni, tra cui Hengrui Pharmaceuticals Co. Ltd. e Yunnan Baiyao Group Co. Ltd.
Dopo aver adottato diversi modelli AI open source per migliorare l’efficienza operativa e ridurre i costi, il prezzo delle azioni di Berry Genomics Co., Ltd. è aumentato di oltre il 71%.
Segnali d’allarme: la sicurezza clinica sotto esame
Nonostante l’entusiasmo per DeepSeek AI, la prospettiva di ricerca del JAMA ha sollevato importanti dubbi. Huang Tianyin, professore di oftalmologia ed ex direttore medico del National Eye Center di Singapore, insieme ai suoi collaboratori, ha identificato diversi problemi chiave.
I ricercatori avvertono che la propensione di DeepSeek a generare “output apparentemente plausibili ma in realtà errati” potrebbe comportare “gravi rischi clinici”, nonostante le sue forti capacità di ragionamento. Questo fenomeno, noto come allucinazioni dell’IA, è particolarmente pericoloso in ambito medico, dove l’accuratezza può fare la differenza tra la vita e la morte.
Il team di ricerca sottolinea come i professionisti sanitari potrebbero fare eccessivo affidamento o accettare acriticamente l’output di DeepSeek, con conseguenti potenziali errori diagnostici o pregiudizi terapeutici, mentre i medici più cauti potrebbero trovarsi di fronte all’onere di convalidare l’output dell’IA in contesti clinici sensibili al tempo.
Sfide infrastrutturali e vulnerabilità di sicurezza
Oltre ai problemi di accuratezza clinica, il rapido dispiegamento di DeepSeek AI negli ospedali cinesi ha esposto significative vulnerabilità di sicurezza informatica. Sebbene molti ospedali optino per implementazioni private in loco per mitigare i rischi per la sicurezza e la privacy, lo studio afferma che questo approccio “trasferisce la responsabilità della sicurezza alle singole istituzioni mediche”, molte delle quali mancano di un’infrastruttura di sicurezza informatica completa.
Recenti studi sulla sicurezza informatica hanno acuito le preoccupazioni. La ricerca indica che DeepSeek ha 11 volte più probabilità di essere sfruttato dai criminali informatici rispetto ad altri modelli di intelligenza artificiale, evidenziando una vulnerabilità chiave nella sua progettazione. Uno studio di Cisco ha rilevato che DeepSeek non è riuscito a bloccare i prompt dannosi nelle valutazioni di sicurezza, inclusi quelli relativi alla criminalità informatica e alla disinformazione.
La natura open source di DeepSeek, pur aumentando l’accessibilità, pone sfide di sicurezza uniche. La struttura open source di DeepSeek significa che chiunque può scaricare e modificare l’applicazione, consentendo agli utenti non solo di alterarne le funzionalità, ma anche di modificarne i meccanismi di sicurezza, creando un rischio maggiore di sfruttamento.
Impatto nel mondo reale: storie dal fronte clinico
L’integrazione di DeepSeek AI negli ospedali cinesi ha già iniziato a trasformare le dinamiche dei rapporti medico-paziente. Un video virale su Douyin (la versione cinese di TikTok) mostra un medico frustrato che, dopo essere stato contestato da un paziente che utilizzava DeepSeek, si rende conto che le linee guida mediche erano state effettivamente aggiornate e che l’IA era corretta.
Questo aneddoto illustra sia il potenziale che i rischi derivanti dall’adozione dell’IA nel settore sanitario. Sebbene la tecnologia possa aiutare le pratiche mediche a rimanere aggiornate, sfida anche le tradizionali gerarchie mediche e introduce nuove fonti di incertezza nel processo decisionale clinico.
Una “tempesta perfetta” di rischi per la sicurezza
I ricercatori sostengono che l’esclusiva situazione sanitaria cinese sta creando una “tempesta perfetta” di rischi per la sicurezza clinica, indicando che le lacune nell’infrastruttura sanitaria primaria e l’elevata penetrazione degli smartphone contribuiscono al fenomeno. “Le popolazioni vulnerabili con complesse esigenze sanitarie hanno ora un accesso senza precedenti a consigli sanitari basati sull’intelligenza artificiale, ma spesso mancano della supervisione clinica necessaria per un’implementazione sicura”, fanno notare.
La democratizzazione dell’accesso all’IA medica, sebbene possa potenzialmente avvantaggiare l’equità sanitaria, solleva interrogativi sulla qualità e la sicurezza delle cure in contesti con risorse limitate, dove potrebbe mancare un’adeguata supervisione.
Implicazioni geopolitiche e privacy dei dati
La rapida adozione di DeepSeek AI negli ospedali cinesi non è passata inosservata alla comunità internazionale. Alcuni paesi hanno adottato misure precauzionali, con l’Italia, Taiwan, l’Australia e la Corea del Sud che hanno bloccato o vietato l’accesso all’applicazione sui dispositivi governativi a causa dei timori che le pratiche di gestione dei dati dell’applicazione rappresentino una minaccia per la sicurezza nazionale.
Esperti di privacy hanno espresso preoccupazioni sulla raccolta e l’archiviazione dei dati. Questo chatbot cinese potrebbe rappresentare un rischio per la sicurezza nazionale perché “aggregati, questi dati potrebbero essere utilizzati per raccogliere informazioni dettagliate sulla popolazione o sul comportamento degli utenti che potrebbero essere utilizzate per creare attacchi di phishing più efficaci o altre manipolazioni dannose”.
Lacune normative
Nonostante la sua ampia applicazione, il quadro normativo cinese fatica a tenere il passo con la rapida implementazione dell’IA nel settore sanitario. Le attuali interpretazioni normative consentono all’intelligenza artificiale di migliorare, ma non di sostituire, il giudizio diagnostico umano, indicando la necessità di prudenza nella sua integrazione nella fornitura di assistenza sanitaria.
È importante notare che nessun prodotto AI medico è stato incluso nell’assicurazione sanitaria nazionale di base cinese, il che suggerisce che permangono dubbi sull’affidabilità della tecnologia. Detto questo, la vicenda di DeepSeek AI negli ospedali cinesi rappresenta una riduzione delle sfide più ampie che l’adozione dell’IA deve affrontare in settori critici a livello globale.
Sebbene la tecnologia offra un enorme potenziale per migliorare la fornitura di assistenza sanitaria e ridurre i costi, l’avvertimento dei ricercatori medici sottolinea la necessità di un’implementazione prudente e metodica.
Recenti studi hanno evidenziato la relativa accuratezza del modello DeepSeek in metriche specifiche, come il punteggio Deauville nei pazienti affetti da linfoma, ma riconoscono ancora notevoli divari rispetto ai medici umani. Il divario di accuratezza, unito alle vulnerabilità di sicurezza e alle sfide normative, suggerisce che l’attuale velocità di adozione potrebbe effettivamente essere “troppo veloce e troppo precoce”.
Conclusione: un momento critico
Mentre la Cina continua a promuovere “ospedali intelligenti” e una trasformazione dell’assistenza sanitaria guidata dall’intelligenza artificiale, l’integrazione di DeepSeek AI negli ospedali cinesi rappresenta sia una testimonianza dell’innovazione tecnologica sia un ammonimento sui rischi di una rapida implementazione. Le preoccupazioni sollevate da Huang Tianyin della Facoltà di Medicina dell’Università Tsinghua e dai suoi colleghi non sono una presa di posizione contro il progresso, ma una richiesta di innovazione responsabile che dia priorità alla sicurezza del paziente insieme agli avanzamenti tecnologici.
La sfida da affrontare sarà quella di trovare il giusto equilibrio tra lo sfruttamento degli innegabili vantaggi dell’IA nel settore sanitario e l’implementazione di solide garanzie per proteggere i pazienti dai rischi di un dispiegamento dell’IA prematuro o non adeguatamente regolamentato.
Il dibattito in corso su DeepSeek AI negli ospedali cinesi riflette in definitiva una questione fondamentale che deve affrontare l’interfaccia globale dell’assistenza sanitaria: quanto velocemente è troppo veloce quando si integrano potenti sistemi di IA in applicazioni mediche che mettono a rischio la vita? La risposta a questa domanda plasmerà il futuro della sanità digitale, non solo in Cina, ma in tutto il mondo.