Китайски изследователски екип изрази опасения относно бързото интегриране на DeepSeek, модел на изкуствен интелект, в болнични условия. Техният анализ подчертава потенциални опасности за клиничната безопасност и поверителността на данните, особено поради широкото използване на икономичните модели с отворен код на стартъпа.
Към началото на март, големите езикови модели (LLMs) на DeepSeek вече се използваха в поне 300 китайски болници за клинична диагностика и подпомагане на вземането на медицински решения.
Публикувано в Journal of the American Medical Association (JAMA), изследването посочва склонността на DeepSeek да генерира резултати, които изглеждат убедителни, но са фактически неточни. Въпреки стабилните възможности за разсъждение на AI, това може да създаде значителни клинични рискове. Уонг Тиен Ин, основател на Tsinghua Medicine, изследователско подразделение в университета Tsinghua в Пекин, е член на изследователския екип.
Тази предпазлива бележка противоречи на преобладаващия ентусиазъм към DeepSeek в Китай. Стартъпът, известен със своите достъпни и високоефективни модели V3 и R1, се превърна в символ на напредъка на Китай в областта на AI.
Уонг и неговите съавтори подчертаха риска, че здравните специалисти могат да станат прекалено зависими от или да приемат резултатите на DeepSeek без критична оценка. Това може да доведе до грешки в диагностиката или пристрастни планове за лечение. Обратно, клиницистите, които остават предпазливи, ще се сблъскат с допълнителната тежест да проверяват резултатите от AI в условия на ограничено време.
Рискове за сигурността при внедряване на място
Въпреки че болниците често избират частни, локални внедрявания на модели DeepSeek, за да намалят рисковете, свързани със сигурността и поверителността, този подход въвежда свой собствен набор от усложнения. Според изследователите, това „прехвърля отговорностите за сигурност към отделните здравни заведения“, много от които може да нямат необходимата защита за киберсигурност.
Изследователите също така отбелязаха, че комбинацията от неадекватна инфраструктура за първична медицинска помощ и широкото използване на смартфони в Китай създава „идеална буря“, която изостря опасенията относно клиничната безопасност.
Изследователите заявяват: „Необслужваните популации със сложни медицински нужди вече имат безпрецедентен достъп до здравни препоръки, управлявани от AI, но често им липсва клиничният надзор, необходим за безопасното им прилагане.“
Проверка на LLMs в здравни заведения
Тази статия допринася за нарастващите разговори относно използването на LLMs в клинични и медицински условия. Други организации в Китай също започват да проучват LLMs, тъй като приемането се ускорява. Друг документ, публикуван миналия месец от изследователи от Китайския университет в Хонконг, разгледа уязвимостите на AI агентите в киберсигурността и откри, че тези, задвижвани от често използвани LLMs, са уязвими на различни атаки, като DeepSeek-R1 е най-податлив.
Китай ускори приемането на LLMs в здравеопазването на фона на скок в генеративните AI технологии. Миналия месец Ant Group, китайска компания за финансови технологии, представи близо 100 AI медицински агенти в своето приложение за плащания Alipay. Тези агенти се поддържат от медицински експерти от известни китайски болници.
Tairex, стартъп, инкубиран в университета Tsinghua, започна вътрешни тестове на платформа за виртуална болница през ноември. Платформата включва 42 AI лекари, обхващащи 21 отделения, включително спешни, респираторни, педиатрични и кардиологични. Компанията разкри планове да пусне платформата публично по-късно през годината.
По-дълбоко гмуркане в опасенията около AI в здравеопазването
Бързата интеграция на AI, особено големи езикови модели (LLMs) като DeepSeek, в здравните заведения в Китай предизвика дебат между тези, които защитават неговите потенциални ползи, и тези, които призовават за предпазливост. Въпреки че AI предлага вълнуващи възможности за подобряване на диагностиката, лечението и достъпа до грижи, няколко фактора изискват по-премерен подход. Опасенията, повдигнати от изследователите, подчертават сложността и потенциалните клопки при разгръщането на AI в такава критична област.
Едно от основните опасения е надеждността на информацията, генерирана от AI. LLMs са обучени върху огромни набори от данни, но тези набори от данни могат да съдържат пристрастия, неточности или остаряла информация. В резултат на това AI моделите понякога могат да генерират резултати, които изглеждат правдоподобни, но всъщност са неправилни. Това повдига значителен риск в медицинските условия, където диагностичните грешки или неправилните препоръки за лечение могат да имат сериозни последици за пациентите.
Рискът от надценяване на AI
Друго опасение е потенциалът здравните специалисти да станат прекалено зависими от AI и да загубят уменията си за критично мислене. Ако лекарите и медицинските сестри започнат да третират резултатите от AI като непогрешими, те може да не успеят адекватно да оценят състоянието на пациентите, да пренебрегнат важни детайли или да поставят под въпрос препоръките на AI. Това може да доведе до диагностични грешки, неподходящи лечения и спад в качеството на грижите.
Освен това, широкото приемане на AI повдига етични и социални въпроси относно поверителността на данните, алгоритмичните пристрастия и потенциала за изместване на работни места. Пациентите могат да бъдат загрижени за сигурността и поверителността на своите здравни данни, особено ако те се използват за обучение на AI модели. Алгоритмичните пристрастия също могат да увековечат и изострят съществуващите здравни различия, ако AI моделите са обучени върху данни, които не отразяват точно разнообразието на населението.
Намиране на баланс между иновации и предпазливост
За да се смекчат тези рискове, е от решаващо значение да се възприеме по-предпазлив и отговорен подход към интегрирането на AI в здравеопазването. Това включва:
- Строги тестове и валидиране: Преди да бъдат внедрени AI модели в клинични условия, те трябва да бъдат щателно тествани и валидирани върху различни популации, за да се гарантира тяхната точност, надеждност и справедливост.
- Човешки надзор: AI трябва да се използва като инструмент за увеличаване, а не за замяна на преценката на човека. Здравните специалисти винаги трябва да преглеждат и проверяват AI резултатите, преди да вземат клинични решения.
- Прозрачност и обяснимост: AI моделите трябва да бъдат прозрачни и обясними, така че здравните специалисти да могат да разберат как стигат до своите препоръки. Това може да помогне за изграждане на доверие в AI и за идентифициране на потенциални грешки или пристрастия.
- Поверителност и сигурност на данните: Трябва да бъдат въведени стабилни предпазни мерки за защита на поверителността и сигурността на данните на пациентите. Това включва получаване на информирано съгласие, прилагане на строги мерки за сигурност и спазване на разпоредбите за защита на данните.
- Образование и обучение: Здравните специалисти трябва да получат цялостно обучение за това как да използват AI ефективно и отговорно. Това включва разбиране на ограниченията на AI, разпознаване на потенциални пристрастия и критична оценка на AI резултатите.
Справяне с уязвимостите в киберсигурността
Уязвимостите в киберсигурността на AI агентите, както беше подчертано от изследователите от Китайския университет в Хонконг, представляват значителна заплаха за целостта и сигурността на здравните системи. Ако AI моделите са податливи на атаки, злонамерени актьори биха могли потенциално да манипулират AI резултатите, да получат достъп до чувствителни данни за пациентите или да нарушат здравните операции.
За да се справят с тези уязвимости, е от съществено значение да се приложат стабилни мерки за киберсигурност, като например:
- Сигурни практики за кодиране: AI моделите трябва да бъдат разработени, като се използват безопасни практики за кодиране, за да се предотвратят уязвимости като SQL инжектиране, междусайтово скриптиране и препълване на буфера.
- Редовни одити за сигурност: AI системите трябва да преминават редовни одити за сигурност, за да се идентифицират и отстранят потенциални уязвимости.
- Системи за откриване и предотвратяване на проникване: Трябва да бъдат внедрени системи за откриване и предотвратяване на проникване, за да се наблюдават AI системите за злонамерена активност и да се предотврати неоторизиран достъп.
- Шифроване на данни: Чувствителните данни за пациентите трябва да бъдат шифровани както при пренос, така и в покой, за да бъдат защитени от неоторизиран достъп.
- Контрол на достъпа: Трябва да бъдат приложени строги контроли на достъпа, за да се ограничи достъпът до AI системи и данни само до оторизиран персонал.
Етични съображения
Отвъд техническите предизвикателства, интегрирането на AI в здравеопазването повдига редица важни етични съображения. Те включват:
- Алгоритмични пристрастия: AI моделите могат да увековечат и изострят съществуващите здравни различия, ако са обучени върху данни, които не отразяват точно разнообразието на населението. От решаващо значение е да се гарантира, че AI моделите са справедливи и непредубедени.
- Поверителност на данните: Пациентите може да бъдат загрижени за поверителността на своите здравни данни, особено ако те се използват за обучение на AI модели. От съществено значение е да се получи информирано съгласие и да се защитят данните на пациентите.
- Прозрачност и обяснимост: AI моделите трябва да бъдат прозрачни и обясними, така че пациентите да могат да разберат как стигат до своите препоръки. Това може да помогне за изграждане на доверие в AI.
- Отчетност: Важно е да се установят ясни линии на отчетност за решенията, взети от AI системите. Кой носи отговорност, ако даден AI модел направи грешна диагноза или препоръча неподходящо лечение?
Пътят напред
Интегрирането на AI в здравеопазването има огромен потенциал да подобри грижите за пациентите, да намали разходите и да повиши ефективността на здравните системи. Въпреки това е от решаващо значение този процес да се подходи с повишено внимание и да се отговори на потенциалните рискове и предизвикателства. Възприемайки отговорен и етичен подход, можем да използваме силата на AI, за да трансформираме здравеопазването към по-добро.