Bedenken um DeepSeek AI in chinesischen Kliniken

Sicherheitsbedenken bei der schnellen Einführung von DeepSeek AI in chinesischen Krankenhäusern

Ein Team chinesischer Forscher hat Bedenken hinsichtlich der raschen Integration von DeepSeek, einem Modell der künstlichen Intelligenz, in Krankenhäuser geäußert. Ihre Analyse hebt potenzielle Gefahren für die klinische Sicherheit und den Datenschutz hervor, insbesondere aufgrund der weitverbreiteten Nutzung der kostengünstigen Open-Source-Modelle des Start-ups.

Bereits Anfang März wurden die Large Language Models (LLMs) von DeepSeek in mindestens 300 chinesischen Krankenhäusern für klinische Diagnostik und medizinische Entscheidungsunterstützung eingesetzt.

Die im Journal of the American Medical Association (JAMA) veröffentlichte Forschungsarbeit weist auf eine Neigung von DeepSeek hin, Ausgaben zu generieren, die zwar überzeugend erscheinen, aber faktisch ungenau sind. Trotz der robusten Argumentationsfähigkeiten der KI könnte dies erhebliche klinische Risiken bergen. Wong Tien Yin, der Gründungsvorstand von Tsinghua Medicine, einer Forschungsabteilung der Tsinghua University in Peking, ist Mitglied des Forschungsteams.

Diese mahnende Anmerkung steht im Gegensatz zu der vorherrschenden Begeisterung für DeepSeek in China. Das Start-up, das für seine erschwinglichen und leistungsstarken V3- und R1-Modelle gefeiert wird, ist zu einem Symbol für Chinas Fortschritte im Bereich der KI geworden.

Wong und seine Mitautoren betonten das Risiko, dass medizinische Fachkräfte übermäßig von den Ausgaben von DeepSeek abhängig werden oder diese ohne kritische Bewertung akzeptieren könnten. Dies könnte zu Fehlern in der Diagnose oder zu voreingenommenen Behandlungsplänen führen. Umgekehrt stünden Kliniker, die weiterhin vorsichtig sind, vor der zusätzlichen Belastung, KI-Ausgaben unter Zeitdruck zu überprüfen.

Sicherheitsrisiken bei der Bereitstellung vor Ort

Während Krankenhäuser oft private, Vor-Ort-Bereitstellungen von DeepSeek-Modellen wählen, um die mit Sicherheit und Datenschutz verbundenen Risiken zu reduzieren, führt dieser Ansatz seine eigenen Komplikationen ein. Laut den Forschern “verlagert er die Sicherheitsverantwortung auf einzelne Gesundheitseinrichtungen”, von denen viele möglicherweise nicht über die erforderlichen Cybersicherheitsverteidigungen verfügen.

Die Forscher stellten auch fest, dass die Kombination aus unzureichender Primärversorgungsinfrastruktur und weitverbreiteter Smartphone-Nutzung in China einen “perfekten Sturm” erzeugt, der die Bedenken hinsichtlich der klinischen Sicherheit noch verstärkt.

Die Forscher erklären: “Unterversorgte Bevölkerungsgruppen mit komplexen medizinischen Bedürfnissen haben jetzt beispiellosen Zugang zu KI-gesteuerten Gesundheitsempfehlungen, verfügen aber oft nicht über die klinische Aufsicht, die für eine sichere Umsetzung erforderlich ist.”

Überprüfung von LLMs im Gesundheitswesen

Diese Arbeit trägt zu den wachsenden Gesprächen über die Nutzung von LLMs in klinischen und medizinischen Umgebungen bei. Auch andere Organisationen in China beginnen, LLMs angesichts der beschleunigten Einführung zu überprüfen. Eine weitere Arbeit, die letzten Monat von Forschern der Chinese University of Hong Kong veröffentlicht wurde, untersuchte die Cybersicherheitslücken von KI-Agenten und stellte fest, dass diejenigen, die von häufig verwendeten LLMs betrieben werden, anfällig für verschiedene Angriffe sind, wobei DeepSeek-R1 am anfälligsten ist.

China hat die Einführung von LLMs im Gesundheitswesen inmitten einer Welle generativer KI-Technologien beschleunigt. Letzten Monat stellte die Ant Group, ein chinesisches Finanztechnologieunternehmen, fast 100 KI-basierte medizinische Agenten in ihrer Alipay-Zahlungs-App vor. Diese Agenten werden von medizinischen Experten aus bekannten chinesischen Krankenhäusern unterstützt.

Tairex, ein Start-up, das an der Tsinghua University inkubiert wurde, startete im November interne Tests einer virtuellen Krankenhausplattform. Die Plattform verfügt über 42 KI-Ärzte, die 21 Abteilungen abdecken, darunter Notfallmedizin, Atemwegsmedizin, Pädiatrie und Kardiologie. Das Unternehmen gab bekannt, dass es plant, die Plattform im Laufe des Jahres der Öffentlichkeit zugänglich zu machen.

Vertiefung der Bedenken rund um KI im Gesundheitswesen

Die rasche Integration von KI, insbesondere von Large Language Models (LLMs) wie DeepSeek, in das Gesundheitswesen in China hat eine Debatte zwischen denjenigen ausgelöst, die ihr potenzielles Nutzen befürworten, und denen, die zur Vorsicht mahnen. Während KI aufregende Möglichkeiten zur Verbesserung der Diagnostik, Behandlung und des Zugangs zur Versorgung bietet, rechtfertigen mehrere Faktoren einen stärker abgewogenen Ansatz. Die von Forschern geäußerten Bedenken verdeutlichen die Komplexität und potenziellen Fallstricke des Einsatzes von KI in einem so kritischen Bereich.

Eines der Hauptanliegen ist die Zuverlässigkeit von KI-generierten Informationen. LLMs werden mit riesigen Datensätzen trainiert, aber diese Datensätze können Verzerrungen, Ungenauigkeiten oder veraltete Informationen enthalten. Infolgedessen können KI-Modelle manchmal Ausgaben generieren, die plausibel erscheinen, aber tatsächlich falsch sind. Dies birgt ein erhebliches Risiko in medizinischen Umgebungen, wo Diagnosefehler oder falsche Behandlungsempfehlungen schwerwiegende Folgen für Patienten haben können.

Das Risiko der Überbeanspruchung von KI

Ein weiteres Anliegen ist das Potenzial für medizinische Fachkräfte, sich übermäßig auf KI zu verlassen und ihre kritischen Denkfähigkeiten zu verlieren. Wenn Ärzte und Pflegekräfte beginnen, KI-Ausgaben als unfehlbar zu behandeln, können sie es versäumen, den Zustand der Patienten angemessen zu beurteilen, wichtige Details zu übersehen oder die Empfehlungen der KI in Frage zu stellen. Dies kann zu Diagnosefehlern, unangemessenen Behandlungen und einer Verschlechterung der Versorgungsqualität führen.

Darüber hinaus wirft die weitverbreitete Einführung von KI ethische und soziale Fragen über Datenschutz, algorithmische Verzerrungen und das Potenzial für Arbeitsplatzverluste auf. Patienten können sich Sorgen um die Sicherheit und Vertraulichkeit ihrer Gesundheitsdaten machen, insbesondere wenn diese zum Trainieren von KI-Modellen verwendet werden. Algorithmische Verzerrungen können auch bestehende gesundheitliche Ungleichheiten aufrechterhalten und verschärfen, wenn KI-Modelle mit Daten trainiert werden, die die Vielfalt der Bevölkerung nicht genau widerspiegeln.

Ein Gleichgewicht zwischen Innovation und Vorsicht finden

Um diese Risiken zu mindern, ist es entscheidend, einen vorsichtigeren und verantwortungsvolleren Ansatz für die Integration von KI im Gesundheitswesen zu verfolgen. Dies beinhaltet:

• Strenge Tests und Validierung: Bevor KI-Modelle in klinischen Umgebungen eingesetzt werden, sollten sie gründlich getestet und an verschiedenen Bevölkerungsgruppen validiert werden, um ihre Genauigkeit, Zuverlässigkeit und Fairness sicherzustellen.
• Menschliche Aufsicht: KI sollte als Werkzeug zur Ergänzung und nicht zur Ersetzung des menschlichen Urteilsvermögens eingesetzt werden. Medizinische Fachkräfte sollten KI-Ausgaben immer überprüfen und verifizieren, bevor sie klinische Entscheidungen treffen.
• Transparenz und Erklärbarkeit: KI-Modelle sollten transparent und erklärbar sein, damit medizinische Fachkräfte verstehen können, wie sie zu ihren Empfehlungen gelangen. Dies kann dazu beitragen, Vertrauen in KI aufzubauen und potenzielle Fehler oder Verzerrungen zu erkennen.
• Datenschutz und Sicherheit: Es sollten robuste Schutzmaßnahmen getroffen werden, um die Privatsphäre und Sicherheit der Patientendaten zu gewährleisten. Dies umfasst die Einholung einer informierten Zustimmung, die Umsetzung starker Sicherheitsmaßnahmen und die Einhaltung von Datenschutzbestimmungen.
• Aus- und Weiterbildung: Medizinische Fachkräfte sollten umfassende Schulungen erhalten, wie sie KI effektiv und verantwortungsvoll einsetzen können. Dies umfasst das Verständnis der Einschränkungen von KI, das Erkennen potenzieller Verzerrungen und die kritische Bewertung von KI-Ausgaben.

Umgang mit Cybersicherheitslücken

Die Cybersicherheitslücken von KI-Agenten, die von den Forschern der Chinese University of Hong Kong hervorgehoben wurden, stellen eine erhebliche Bedrohung für die Integrität und Sicherheit von Gesundheitssystemen dar. Wenn KI-Modelle anfällig für Angriffe sind, könnten böswillige Akteure potenziell die Ausgaben der KI manipulieren, auf sensible Patientendaten zugreifen oder den Gesundheitsbetrieb stören.

Um diese Schwachstellen zu beheben, ist es unerlässlich, robuste Cybersicherheitsmaßnahmen zu implementieren, wie z. B.:

• Sichere Programmierpraktiken: KI-Modelle sollten unter Verwendung sicherer Programmierpraktiken entwickelt werden, um Schwachstellen wie SQL-Injection, Cross-Site-Scripting und Pufferüberläufe zu verhindern.
• Regelmäßige Sicherheitsaudits: KI-Systeme sollten regelmäßigen Sicherheitsaudits unterzogen werden, um potenzielle Schwachstellen zu identifizieren und zu beheben.
• Intrusion Detection und Prevention Systeme: Intrusion Detection und Prevention Systeme sollten implementiert werden, um KI-Systeme auf böswillige Aktivitäten zu überwachen und unbefugten Zugriff zu verhindern.
• Datenverschlüsselung: Sensible Patientendaten sollten sowohl bei der Übertragung als auch im Ruhezustand verschlüsselt werden, um sie vor unbefugtem Zugriff zu schützen.
• Zugriffskontrollen: Es sollten strenge Zugriffskontrollen implementiert werden, um den Zugriff auf KI-Systeme und -Daten auf autorisiertes Personal zu beschränken.

Ethische Überlegungen

Über die technischen Herausforderungen hinaus wirft die Integration von KI im Gesundheitswesen eine Reihe wichtiger ethischer Überlegungen auf. Diese beinhalten:

• Algorithmische Verzerrung: KI-Modelle können bestehende gesundheitliche Ungleichheiten aufrechterhalten und verschärfen, wenn sie mit Daten trainiert werden, die die Vielfalt der Bevölkerung nicht genau widerspiegeln. Es ist entscheidend sicherzustellen, dass KI-Modelle fair und unvoreingenommen sind.
• Datenschutz: Patienten können sich Sorgen um den Schutz ihrer Gesundheitsdaten machen, insbesondere wenn diese zum Trainieren von KI-Modellen verwendet werden. Es ist unerlässlich, die informierte Zustimmung einzuholen und die Patientendaten zu schützen.
• Transparenz und Erklärbarkeit: KI-Modelle sollten transparent und erklärbar sein, damit Patienten verstehen können, wie sie zu ihren Empfehlungen gelangen. Dies kann dazu beitragen, Vertrauen in KI aufzubauen.
• Rechenschaftspflicht: Es ist wichtig, klare Verantwortlichkeiten für die Entscheidungen von KI-Systemen festzulegen. Wer ist verantwortlich, wenn ein KI-Modell eine falsche Diagnose stellt oder eine unangemessene Behandlung empfiehlt?

Der Weg nach vorn

Die Integration von KI im Gesundheitswesen birgt ein enormes Potenzial, die Patientenversorgung zu verbessern, Kosten zu senken und die Effizienz von Gesundheitssystemen zu steigern. Es ist jedoch entscheidend, diese Integration mit Vorsicht anzugehen und die potenziellen Risiken und Herausforderungen zu berücksichtigen. Indem wir einen verantwortungsvollen und ethischen Ansatz verfolgen, können wir die Kraft der KI nutzen, um das Gesundheitswesen zum Besseren zu verändern.