Snelle AI-adoptie in Chinese ziekenhuizen: Medische onderzoekers waarschuwen voor veiligheid
Chinese ziekenhuizen adopteren DeepSeek AI in een te snel tempo, zo waarschuwen medische experts. Een studie in JAMA benadrukt de veiligheidsrisico’s, met meer dan 300 ziekenhuizen die de AI al hebben ingezet ondanks problemen met diagnostische fouten.
Chinese artsen waarschuwen dat Chinese ziekenhuizen DeepSeek AI "te snel" adopteren.
De integratie van DeepSeek AI in Chinese ziekenhuizen omvat momenteel de brede adoptie van het AI-model in meer dan 300 medische instellingen. Er is echter een alarmerende waarschuwing gekomen vanuit de Chinese medische gemeenschap. Een onderzoeksrecensie gepubliceerd in JAMA, geleid door Tianyin Huang, de oprichtende decaan van de Tsinghua University School of Medicine, waarschuwt dat de snelle inzet van DeepSeek’s large language models in klinische omgevingen mogelijk "te snel, te vroeg" is.
De cijfers schetsen een opvallend beeld van de AI-transformatie in de Chinese gezondheidszorg. De implementatie van DeepSeek in tertiaire ziekenhuizen vertegenwoordigt een aanzienlijke verschuiving in de manier waarop AI wordt gebruikt, niet alleen beperkt tot diagnostische ondersteuning, maar ook uitgebreid naar ziekenhuisbeheer, onderzoeksfacilitatie en patiëntenbeheer.
De modellen van het bedrijf hebben aanzienlijke efficiëntiewinsten laten zien, waaronder een 40-voudige toename in de efficiëntie van de follow-up van patiënten. De brede adoptie is het gevolg van de unieke positie van DeepSeek als een open-source, goedkoop alternatief voor propriëtaire AI-systemen.
LLM DeepSeek-V3 en DeepSeek-R1, ontwikkeld door een dochteronderneming van een Chinese investeringsmaatschappij, hebben het unieke voordeel van lage kosten en open-source aard, wat de drempel voor het gebruik van LLM’s aanzienlijk verlaagt.
Chinese zorgbedrijven hebben de modellen snel in hun activiteiten geïntegreerd. Meer dan 30 zorgbedrijven op het vasteland hebben AI aan hun activiteiten toegevoegd, waaronder bedrijven als Jiangsu Hengrui Medicine Co., Ltd. en Yunnan Baiyao Group Co., Ltd.
Na de adoptie van meerdere open-source AI-modellen om de operationele efficiëntie te verbeteren en de kosten te verlagen, is de aandelenkoers van Berry Genomics Co., Ltd. met meer dan 71% gestegen.
Waarschuwingssignalen: Klinische veiligheid onder de loep
Ondanks het enthousiasme voor DeepSeek AI, werpt het JAMA-onderzoeksstandpunt belangrijke rode vlaggen op. Tianyin Huang, hoogleraar oogheelkunde en voormalig medisch directeur van het Singapore National Eye Centre, identificeerde samen met zijn medewerkers verschillende belangrijke punten van zorg.
De onderzoekers waarschuwen dat DeepSeek’s neiging om "ogenschijnlijk plausibele maar feitelijk onjuiste output" te genereren kan leiden tot "ernstige klinische risico’s", ondanks de sterke redeneermogelijkheden. Dit fenomeen, dat bekend staat als AI-hallucinatie, is bijzonder gevaarlijk in de medische setting, waar nauwkeurigheid een kwestie van leven en dood kan zijn.
Het onderzoeksteam benadrukt hoe medische professionals mogelijk te veel vertrouwen op of onkritisch staan tegenover de output van DeepSeek, wat kan leiden tot diagnostische fouten of behandelbias, terwijl meer voorzichtige clinici de last kunnen hebben om de AI-output te verifiëren in tijdsgevoelige klinische settings.
Infrastructuuruitdagingen en beveiligingslekken
Naast de zorgen over de klinische nauwkeurigheid heeft de snelle implementatie van DeepSeek AI in Chinese ziekenhuizen ook aanzienlijke cyber security kwetsbaarheden blootgelegd. Hoewel veel ziekenhuizen kiezen voor private, onsite implementaties om de veiligheids- en privacyrisico’s te beperken, stelt de studie dat deze aanpak "de beveiligingsverantwoordelijkheid verschuift naar individuele gezondheidszorginstellingen", waarvan velen geen uitgebreide cyber security infrastructuur hebben.
Recente cyber security studies hebben de bezorgdheid aangewakkerd. Onderzoek heeft aangetoond dat DeepSeek 11 keer vaker wordt gebruikt door cybercriminelen dan andere AI-modellen, wat een kritieke kwetsbaarheid in het ontwerp benadrukt. Een studie van Cisco onthulde dat DeepSeek er niet in slaagde om schadelijke prompts te blokkeren in veiligheidsevaluaties, waaronder prompts met betrekking tot cybercriminaliteit en desinformatie.
De open-source aard van DeepSeek, die de toegankelijkheid verbetert, brengt ook unieke veiligheidsuitdagingen met zich mee. De open-source structuur van DeepSeek betekent dat iedereen de applicatie kan downloaden en aanpassen, waardoor gebruikers niet alleen de functionaliteit kunnen wijzigen, maar ook de beveiligingsmechanismen, waardoor er een groter risico op uitbuiting ontstaat.
Real-world impact: Verhalen van het klinische front
De integratie van DeepSeek AI in Chinese ziekenhuizen is begonnen met het veranderen van de dynamiek van de relatie tussen arts en patiënt. Een virale video op Douyin toonde een gefrustreerde arts die werd uitgedaagd door een patiënt die DeepSeek gebruikte, om vervolgens te ontdekken dat medische richtlijnen inderdaad waren bijgewerkt en dat de AI correct was.
Deze anekdote illustreert de potentiële voordelen en risico’s van de adoptie van AI in de gezondheidszorg. Hoewel de technologie kan helpen om medische praktijken up-to-date te houden, daagt het ook traditionele medische hiërarchieën uit en introduceert het nieuwe bronnen van onzekerheid in de klinische besluitvorming.
Een "perfecte storm" van veiligheidsproblemen
Onderzoekers beweren dat het unieke landschap van de Chinese gezondheidszorg een "perfecte storm" van klinische veiligheidsproblemen creëert, waarbij zij wijzen op de kloof in de eerstelijns gezondheidszorginfrastructuur in combinatie met een hoge smartphone penetratie. Zij stellen dat "kwetsbare groepen met complexe medische behoeften nu ongekende toegang hebben tot AI-gestuurde gezondheidsadviezen, maar vaak geen klinisch toezicht hebben dat nodig is voor een veilige implementatie."
De democratisering van de toegang tot medische AI, hoewel potentieel gunstig voor de gelijkheid in de gezondheidszorg, roept vragen op over de kwaliteit en veiligheid van de zorg in omgevingen met beperkte middelen waar passend toezicht mogelijk ontbreekt.
Geopolitieke implicaties en gegevensprivacy
De snelle adoptie van DeepSeek AI in Chinese ziekenhuizen is niet onopgemerkt gebleven door de internationale gemeenschap. Sommige landen hebben voorzorgsmaatregelen genomen; Italië, Taiwan, Australië en Zuid-Korea hebben de toegang tot de applicatie op overheidsapparaten geblokkeerd of verboden uit angst dat de gegevensbeheerpraktijken van de applicatie een bedreiging vormen voor de nationale veiligheid.
Privacy-experts hebben hun bezorgdheid geuit over de gegevensverzameling en -opslag. De Chinese chatbot kan een nationaal veiligheidsrisico vormen omdat "deze verzamelde gegevens kunnen worden gebruikt om inzichten te verzamelen over de bevolking of het gedrag van gebruikers, die kunnen worden gebruikt om effectievere phishing-aanvallen of andere kwaadwillige manipulaties te creëren."
Regelgevingskloof
Ondanks de brede toepassing heeft het Chinese regelgevingskader moeite om gelijke tred te houden met de snelle implementatie van AI in de gezondheidszorg. De huidige regelgevingsinterpretaties staan toe dat AI het diagnostische oordeel van mensen verbetert, maar niet vervangt, wat suggereert dat er nog steeds behoefte is aan een voorzichtige integratie in de gezondheidszorg.
Opmerkelijk is dat geen enkel medisch AI-product is opgenomen in de nationale basisziektekostenverzekering van China, wat duidt op voortdurende scepsis over de betrouwbaarheid van de technologie. Dat gezegd hebbende, het verhaal van DeepSeek AI in Chinese ziekenhuizen vertegenwoordigt een microkosmos van de bredere uitdagingen waarmee de adoptie van AI in cruciale sectoren wereldwijd wordt geconfronteerd.
Hoewel de technologie een enorm potentieel biedt voor het verbeteren van de gezondheidszorg en het verlagen van de kosten, benadrukken de waarschuwingen van medische onderzoekers de noodzaak van een voorzichtige, methodische implementatie.
Recente studies hebben de relatieve nauwkeurigheid van DeepSeek-modellen in specifieke statistieken benadrukt, zoals Deauville-scores bij lymfoompatiënten, maar erkennen nog steeds aanzienlijke verschillen in vergelijking met menselijke clinici. De verschillen in nauwkeurigheid, in combinatie met beveiligingslekken en regelgevingsuitdagingen, suggereren dat het huidige adoptietempo inderdaad "te snel, te vroeg" zou kunnen zijn.
Conclusie: Een cruciaal moment
Terwijl China doorgaat met het nastreven van "slimme ziekenhuizen" en AI-gestuurde transformaties in de gezondheidszorg, dient de integratie van DeepSeek AI in Chinese ziekenhuizen zowel als een bewijs van technologische innovatie als een waarschuwend verhaal over de risico’s van snelle implementatie. De bezorgdheid die wordt geuit door Tianyin Huang en collega’s van Tsinghua University School of Medicine is geen verzet tegen vooruitgang, maar een oproep tot verantwoorde innovatie, waarbij de veiligheid van patiënten prioriteit krijgt naast technologische vooruitgang.
De uitdaging voor de toekomst zal zijn om de juiste balans te vinden tussen het benutten van de onmiskenbare voordelen van AI in de gezondheidszorg en het implementeren van robuuste waarborgen om patiënten te beschermen tegen de risico’s van een voortijdige of onvoldoende gereguleerde AI-implementatie.
De voortdurende discussie rond DeepSeek AI in Chinese ziekenhuizen weerspiegelt uiteindelijk een fundamentele vraag waarmee de wereldwijde gezondheidszorg gemeenschap wordt geconfronteerd: Hoe snel is te snel bij het integreren van krachtige AI-systemen in levensbedreigende medische toepassingen? Het antwoord op deze vraag zal de toekomst van de digitale gezondheid bepalen, niet alleen in China, maar wereldwijd.