Предупреждения от китайски лекари за твърде бързото приемане на DeepSeek AI в китайските болници
Интеграцията на DeepSeek AI в китайските болници в момента включва широкото приемане на този AI модел в над 300 здравни заведения. Въпреки това, от китайската медицинска общност се чува тревожен предупредителен глас. В статия, публикувана в JAMA, водена от Хуанг Тиан-ин, основоположник на Медицинския колеж на университета Цинхуа, се отправя предупреждение, че бързото разгръщане на големите езикови модели на DeepSeek в клинична среда може да е “твърде бързо, твърде рано”.
Цифрите рисуват завладяваща картина на AI трансформацията в китайското здравеопазване. Разполагането на DeepSeek в болници от трето ниво представлява значителна промяна във начина, по който се използва AI, разпростирайки се отвъд асистирането в диагностиката до управлението на болниците, улесняването на изследвания и организирането на работата с пациентите.
Моделът на компанията вече е демонстрирал значителни подобрения в ефективността, включително 40-кратно увеличение на ефективността при проследяване на пациентите. Широкото приемане се дължи на уникалната позиция на DeepSeek като алтернатива с отворен код и ниска цена на патентовани AI системи.
LLM DeepSeek-V3 и DeepSeek-R1, разработени от дъщерно дружество на китайска инвестиционна компания, имат отличителното предимство да бъдат евтини и с отворен код, което значително понижава бариерата пред използването на LLM.
Китайските здравни компании бързо интегрираха модела в своите операции. Над 30 здравни компании на територията на континента са добавили AI в своите операции, включително компании като Jiangsu Hengrui Medicine Co., Ltd. и Yunnan Baiyao Group Co., Ltd..
След приемането на множество AI модели с отворен код за подобряване на оперативната ефективност и намаляване на разходите, цената на акциите на Berry Genomics Co., Ltd. се повиши с над 71%.
Предупредителни сигнали: Клиничната безопасност под въпрос
Въпреки ентусиазма около DeepSeek AI, изследването, публикувано в JAMA, повдига значителни опасения. Хуанг Тиан-ин, професор по очни болести и бивш медицински директор на Националния очен център на Сингапур, заедно със своите сътрудници, идентифицира няколко ключови проблема.
Изследователите предупреждават, че склонността на DeepSeek да генерира “на пръв поглед правдоподобни, но фактически неверни резултати” може да доведе до “значителни клинични рискове”, въпреки силните си възможности за разсъждение. Този феномен, известен като AI халюцинации, е особено опасен в здравна среда, където точността може да бъде въпрос на живот и смърт.
Изследователският екип подчертава как здравните специалисти могат да станат прекалено зависими или некритични към резултатите на DeepSeek, което потенциално може да доведе до диагностични грешки или пристрастия в лечението, докато по-предпазливите клиницисти могат да се сблъскат с тежестта да проверяват AI резултатите във времево-чувствителни клинични среди.
Инфраструктурни предизвикателства и слабости в сигурността
Освен опасенията за клиничната точност, бързото разгръщане на DeepSeek AI в китайските болници също разкри значителни слабости в киберсигурността. Докато много болници избират лични, локални разгръщания, за да смекчат рисковете за сигурността и поверителността, изследването твърди, че този подход “прехвърля отговорността за сигурността на отделните здравни заведения”, много от които нямат цялостна инфраструктура за киберсигурност.
Недавни изследвания в сферата на киберсигурността засилиха тези тревоги. Изследванията показват, че вероятността DeepSeek да бъде експлоатиран от киберпрестъпници е 11 пъти по-голяма от тази на други AI модели, което подчертава една ключова слабост в неговия дизайн. Проучване на Cisco установи, че DeepSeek не успява да блокира вредни подкани в оценките за сигурност, включително такива, свързани с киберпрестъпност и дезинформация.
Природата на DeepSeek с отворен код, въпреки че повишава достъпността, също така поставя уникални предизвикателства пред сигурността. Отворената структура на DeepSeek означава, че всеки може да изтегли и модифицира приложението, което позволява на потребителите не само да променят неговите функции, но и да модифицират неговите механизми за сигурност, създавайки по-голям риск от експлоатация.
Въздействие в реалния свят: Истории от клиничния фронт
Интегрирането на DeepSeek AI в китайските болници вече започна да променя динамиката на отношенията лекар-пациент. Вирусно видео в Douyin, китайската версия на TikTok, показва разочарован лекар, лекуващ пациент, който е поставил под въпрос лечението си, използвайки DeepSeek, преди да открие, че медицинските указания наистина са били актуализирани и AI е бил прав.
Този анекдот илюстрира както потенциала, така и рисковете от приемането на AI в здравеопазването. Докато технологията може да помогне на медицинската практика да бъде в крак с времето, тя също така оспорва традиционните медицински йерархии и въвежда нови източници на несигурност в клиничните решения.
“Перфектна буря” от рискове за безопасността
Изследователите твърдят, че уникалните китайски здравни обстоятелства формират “перфектна буря” от рискове за клиничната безопасност, като цитират празнините в инфраструктурата за първична медицинска помощ, и голямото разпространение на смартфони като допринасящи фактори. Те отбелязват, че “уязвимите групи от населението със сложни здравни нужди сега имат безпрецедентен достъп до здравни съвети, стимулирани от AI, но често им липсва клиничният надзор, необходим за безопасно прилагане.”
Демократизирането на достъпа до медицински AI, въпреки че потенциално може да облагодетелства здравната равнопоставеност, повдига въпроси за качеството и безопасността на грижите в среди с ограничени ресурси, където може да липсва подходящ надзор.
Геополитически последици и поверителност на данните
Бързото приемане на DeepSeek AI в китайските болници не е останало незабелязано от международната общност. Някои държави вече са предприели предпазни мерки, като Италия, Тайван, Австралия и Южна Kорея са блокирали или забранили достъпа до тези приложения на държавни устройства поради опасения, че практиките на управление на данните на приложението представляват заплаха за националната сигурност.
Експертите по поверителност изразиха опасения относно събирането и съхранението на данни. Този китайски чатбот може да представлява риск за националната сигурност, тъй като “съвкупността от тези данни може да се използва за събиране на информация за населението или поведението на потребителите, която би могла да се използва за създаване на по-ефективни фишинг атаки или други злонамерени манипулации.”
Регулаторни пропуски
Въпреки широкото си приложение, регулаторната рамка на Китай се затруднява да бъде в крак с бързото разгръщане на AI в здравеопазването. Настоящите регулаторни интерпретации позволяват на изкушения интелект да подсилва, а не да заменя преценките на хората при поставянето на диагнози, което показва, че е необходимо да се подходи предпазливо към интегрирането му в здравните услуги.
Важно е, че нито един медицински AI продукт не е включен в Националната основна схема за здравно осигуряване на Китай, което показва, че все още има скептицизъм относно надеждността на технологията. Въпреки това, историята на DeepSeek AI в китайските болници представлява микрокосмос на по-широките предизвикателства, пред които е изправено приемането на AI в основните сектори в световен мащаб.
Въпреки че технологията предлага огромен потенциал за подобряване на здравните услуги и намаляване на разходите, предупрежденията от медицинските изследователи подчертават необходимостта от предпазливо, методично внедряване.
Недавни изследвания подчертават относителната точност на моделите DeepSeek в определени показатели, като например резултатите на Deauville за пациенти с лимфом, но все пак признават значителни разлики в сравнение с човешките клиницисти. Разликите в точността, в комбинация със слабостите в сигурността и регулаторните предизвикателства, показват, че сегашната скорост на приемане може наистина да е “твърде бърза, твърде ранна”.
Заключение: Ключов момент
Тъй като Китай продължава да се движи към “интелигентни болници” и в здравна трансформация, водена от изкуствен интелект, интеграцията на DeepSeek AI в китайските болници служи както като тест за технологичните иновации, така и като предупредителна история за рисковете от бързо внедряване. Безпокойствата, повдигнати от Хуанг Тиан-ин от Медицинския колеж на Университета Цинхуа и неговите колеги, не са аргумент против прогреса, а по-скоро призив за отговорни иновации, които дават приоритет на безопасността на пациентите заедно с технологичния напредък.
Основното предизвикателство за в бъдеще ще бъде да се намери правилният баланс между използването на неоспоримите предимства на AI в здравеопазването и прилагането на силни гаранции за защита на пациентите от рисковете от преждевременно или недостатъчно регулирано разгръщане на AI.
Продължаващите дебати около DeepSeek AI в китайските болници в крайна сметка отразяват основния въпрос, пред който е изправена световният здравен сектор: Колко бързо е твърде бързо, когато става въпрос за интегриране на мощни AI-базирани системи в здравни приложения, в които ще бъде заложен човешки живот? Отговорът на този въпрос ще оформи бъдещето на дигиталното здравеопазване, не само в Китай, но и в глобален мащаб.