Zorgen over snelle AI-adoptie in Chinese ziekenhuizen

Een team van Chinese onderzoekers heeft zijn bezorgdheid geuit over de snelle integratie van DeepSeek, een model voor kunstmatige intelligentie, in ziekenhuisomgevingen. Hun analyse benadrukt potentiële gevaren voor de klinische veiligheid en gegevensprivacy, met name als gevolg van het wijdverbreide gebruik van de economische open-source modellen van de start-up.

Begin maart werden de grote taalmodellen (LLM’s) van DeepSeek al in minstens 300 Chinese ziekenhuizen gebruikt voor klinische diagnoses en medische beslissingsondersteuning.

Het onderzoeksartikel, gepubliceerd in het Journal of the American Medical Association (JAMA), wijst op de neiging van DeepSeek om outputs te genereren die overtuigend lijken, maar feitelijk onjuist zijn. Ondanks de robuuste redeneervermogens van de AI, kan dit aanzienlijke klinische risico’s opleveren. Wong Tien Yin, het hoofd van Tsinghua Medicine, een onderzoeksafdeling van de Tsinghua Universiteit in Beijing, is lid van het onderzoeksteam.

Deze waarschuwing contrasteert met het heersende enthousiasme voor DeepSeek in China. De start-up, geprezen om zijn betaalbare en hoogwaardige V3- en R1-modellen, is een symbool geworden van de AI-vooruitgang van China.

Wong en zijn co-auteurs benadrukten het risico dat zorgprofessionals overmatig afhankelijk kunnen worden van of de outputs van DeepSeek accepteren zonder kritische evaluatie. Dit kan leiden tot fouten in de diagnose of bevooroordeelde behandelplannen. Omgekeerd zouden clinici die voorzichtig blijven, worden geconfronteerd met de extra last van het verifiëren van AI-outputs onder tijdsdruk.

Beveiligingsrisico’s bij implementatie ter plaatse

Hoewel ziekenhuizen vaak kiezen voor private, on-site implementaties van DeepSeek-modellen om de risico’s in verband met beveiliging en privacy te verminderen, introduceert deze aanpak een eigen reeks complicaties. Volgens de onderzoekers “verplaatst het de beveiligingsverantwoordelijkheden naar individuele zorgfaciliteiten”, waarvan er vele mogelijk niet over de noodzakelijke cyberbeveiligingsverdediging beschikken.

De onderzoekers merkten ook op dat de combinatie van ontoereikende infrastructuren voor de eerstelijnszorg en het wijdverbreide gebruik van smartphones in China een “perfecte storm” creëërt die de bezorgdheid over de klinische veiligheid verergert.

De onderzoekers stellen: “Achtergestelde bevolkingsgroepen met complexe medische behoeften hebben nu ongekende toegang tot AI-gestuurde gezondheidsaanbevelingen, maar missen vaak het klinische toezicht dat nodig is voor een veilige implementatie.”

Onderzoek van LLM’s in de gezondheidszorg

Dit artikel draagt bij aan de groeiende gesprekken over het gebruik van LLM’s in klinische en medische omgevingen. Andere organisaties in China beginnen ook LLM’s te onderzoeken naarmate de adoptie versnelt. Een ander artikel, dat vorige maand werd gepubliceerd door onderzoekers van de Chinese Universiteit van Hong Kong, onderzocht de cyberbeveiligingskwetsbaarheden van AI-agenten en ontdekte dat die aangedreven worden door veelgebruikte LLM’s kwetsbaar waren voor verschillende aanvallen, waarbij DeepSeek-R1 het meest vatbaar was.

China heeft de adoptie van LLM’s in de gezondheidszorg versneld te midden van een golf van generatieve AI-technologieën. Vorige maand introduceerde Ant Group, een Chinees financieel technologiebedrijf, bijna 100 AI-medische agenten op zijn Alipay-betalingsapp. Deze agenten worden ondersteund door medische experts van prominente Chinese ziekenhuizen.

Tairex, een start-up die is gevestigd aan de Tsinghua Universiteit, startte in november met interne tests van een virtueel ziekenhuisplatform. Het platform beschikt over 42 AI-artsen die 21 afdelingen bestrijken, waaronder spoedeisende hulp, ademhaling, kindergeneeskunde en cardiologie. Het bedrijf onthulde plannen om het platform later dit jaar voor het publiek te lanceren.

Dieper ingaan op de zorgen rondom AI in de gezondheidszorg

De snelle integratie van AI, met name grote taalmodellen (LLM’s) zoals DeepSeek, in de gezondheidszorg in China heeft een debat op gang gebracht tussen degenen die de potentiële voordelen ervan verdedigen en degenen die tot voorzichtigheid manen. Hoewel AI opwindende mogelijkheden biedt voor het verbeteren van diagnostiek, behandeling en toegang tot zorg, rechtvaardigen verschillende factoren een meer afgemeten aanpak. De bezorgdheden die door onderzoekers worden geuit, benadrukken de complexiteit en potentiële valkuilen van het inzetten van AI in een dergelijk kritiek domein.

Een van de belangrijkste zorgen is de betrouwbaarheid van AI-gegenereerde informatie. LLM’s worden getraind op enorme datasets, maar deze datasets kunnen vertekeningen, onnauwkeurigheden of verouderde informatie bevatten. Als gevolg hiervan kunnen AI-modellen soms outputs genereren die plausibel lijken, maar in feite onjuist zijn. Dit brengt een aanzienlijk risico met zich mee in medische omgevingen, waar diagnostische fouten of onjuiste behandelingsaanbevelingen ernstige gevolgen kunnen hebben voor patiënten.

Het risico van overmatige afhankelijkheid van AI

Een andere zorg is de mogelijkheid dat zorgprofessionals overmatig afhankelijk worden van AI en hun kritische denkvaardigheden verliezen. Als artsen en verpleegkundigen AI-outputs als onfeilbaar gaan behandelen, kunnen ze er niet in slagen de aandoeningen van patiënten adequaat te beoordelen, belangrijke details over het hoofd te zien of de aanbevelingen van de AI in twijfel te trekken. Dit kan leiden tot diagnostische fouten, ongepaste behandelingen en een afname van de kwaliteit van de zorg.

Bovendien roept de wijdverbreide adoptie van AI ethische en sociale vragen op over gegevensprivacy, algoritmische vertekening en de mogelijkheid van banenverlies. Patiënten kunnen zich zorgen maken over de veiligheid en vertrouwelijkheid van hun gezondheidsgegevens, met name als deze worden gebruikt om AI-modellen te trainen. Algoritmische vertekening kan ook bestaande gezondheidsverschillen in stand houden en verergeren als AI-modellen worden getraind op gegevens die de diversiteit van de bevolking niet adequaat weergeven.

Een evenwicht vinden tussen innovatie en voorzichtigheid

Om deze risico’s te beperken, is het cruciaal om een meer voorzichtige en verantwoordelijke aanpak te volgen bij de integratie van AI in de gezondheidszorg. Dit omvat:

• Grondig testen en valideren: Voordat AI-modellen worden ingezet in klinische omgevingen, moeten ze grondig worden getest en gevalideerd op diverse populaties om hun nauwkeurigheid, betrouwbaarheid en eerlijkheid te waarborgen.
• Menselijk toezicht: AI moet worden gebruikt als een hulpmiddel om het menselijk oordeel aan te vullen, niet te vervangen. Zorgprofessionals moeten AI-outputs altijd beoordelen en verifiëren voordat ze klinische beslissingen nemen.
• Transparantie en uitlegbaarheid: AI-modellen moeten transparant en uitlegbaar zijn, zodat zorgprofessionals kunnen begrijpen hoe ze tot hun aanbevelingen komen. Dit kan helpen om vertrouwen op te bouwen in AI en om potentiële fouten of vertekeningen te identificeren.
• Gegevensprivacy en -beveiliging: Er moeten robuuste beveiligingen worden ingevoerd om de privacy en veiligheid van patiëntgegevens te beschermen. Dit omvat het verkrijgen van geïnformeerde toestemming, het implementeren van sterke beveiligingsmaatregelen en het naleven van regelgeving inzake gegevensbescherming.
• Opleiding en training: Zorgprofessionals moeten een uitgebreide training krijgen over hoe ze AI effectief en verantwoordelijk kunnen gebruiken. Dit omvat het begrijpen van de beperkingen van AI, het herkennen van potentiële vertekeningen en het kritisch evalueren van AI-outputs.

Cyberbeveiligingskwetsbaarheden aanpakken

De cyberbeveiligingskwetsbaarheden van AI-agenten, zoals benadrukt door de onderzoekers van de Chinese Universiteit van Hong Kong, vormen een aanzienlijke bedreiging voor de integriteit en veiligheid van gezondheidszorgsystemen. Als AI-modellen vatbaar zijn voor aanvallen, kunnen kwaadwillende actoren mogelijk de outputs van de AI manipuleren, toegang krijgen tot gevoelige patiëntgegevens of de activiteiten van de gezondheidszorg verstoren.

Om deze kwetsbaarheden aan te pakken, is het essentieel om robuuste cyberbeveiligingsmaatregelen te implementeren, zoals:

• Veilige codeerpraktijken: AI-modellen moeten worden ontwikkeld met behulp van veilige codeerpraktijken om kwetsbaarheden zoals SQL-injectie, cross-site scripting en buffer overflows te voorkomen.
• Regelmatige beveiligingsaudits: AI-systemen moeten regelmatig beveiligingsaudits ondergaan om potentiële kwetsbaarheden te identificeren en aan te pakken.
• Inbraakdetectie- en preventiesystemen: Er moeten inbraakdetectie- en preventiesystemen worden geïmplementeerd om AI-systemen te bewaken op kwaadaardige activiteiten en om ongeoorloofde toegang te voorkomen.
• Gegevensversleuteling: Gevoelige patiëntgegevens moeten zowel tijdens de overdracht als in rust worden versleuteld om ze te beschermen tegen ongeoorloofde toegang.
• Toegangscontrole: Er moet strikte toegangscontrole worden geïmplementeerd om de toegang tot AI-systemen en -gegevens te beperken tot geautoriseerd personeel.

Ethische overwegingen

Naast de technische uitdagingen roept de integratie van AI in de gezondheidszorg een aantal belangrijke ethische overwegingen op. Deze omvatten:

• Algoritmische vertekening: AI-modellen kunnen bestaande gezondheidsverschillen in stand houden en verergeren als ze worden getraind op gegevens die de diversiteit van de bevolking niet adequaat weergeven. Het is cruciaal om ervoor te zorgen dat AI-modellen eerlijk en onbevooroordeeld zijn.
• Gegevensprivacy: Patiënten kunnen zich zorgen maken over de privacy van hun gezondheidsgegevens, met name als deze worden gebruikt om AI-modellen te trainen. Het is essentieel om geïnformeerde toestemming te verkrijgen en patiëntgegevens te beschermen.
• Transparantie en uitlegbaarheid: AI-modellen moeten transparant en uitlegbaar zijn, zodat patiënten kunnen begrijpen hoe ze tot hun aanbevelingen komen. Dit kan helpen om vertrouwen op te bouwen in AI.
• Verantwoordelijkheid: Het is belangrijk om duidelijke verantwoordelijkheidslijnen vast te stellen voor de beslissingen die worden genomen door AI-systemen. Wie is er verantwoordelijk als een AI-model een verkeerde diagnose stelt of een ongepaste behandeling aanbeveelt?

De weg voorwaarts

De integratie van AI in de gezondheidszorg biedt een enorm potentieel om de patiëntenzorg te verbeteren, de kosten te verlagen en de efficiëntie van de gezondheidszorgsystemen te verbeteren. Het is echter cruciaal om deze integratie met voorzichtigheid te benaderen en de potentiële risico’s en uitdagingen aan te pakken. Door een verantwoorde en ethische aanpak te volgen, kunnen we de kracht van AI benutten om de gezondheidszorg ten goede te transformeren.