Предостережения врачей Китая: внедрение DeepSeek AI происходит "слишком быстро"
Интеграция DeepSeek AI в китайские больницы в настоящее время включает в себя широкое использование этой модели искусственного интеллекта в более чем 300 медицинских учреждениях. Однако в китайском медицинском сообществе звучит тревожный голос предостережения. В обзоре исследований, опубликованном в JAMA под руководством Хуан Тяньиня, основателя-декана Медицинской школы Университета Цинхуа, содержится предупреждение о том, что быстрое развертывание больших языковых моделей DeepSeek в клинической среде может быть "слишком быстрым и слишком ранним".
Цифры рисуют убедительную картину трансформации искусственного интеллекта в китайском здравоохранении. Развертывание DeepSeek в больницах высшей категории знаменует собой значительный сдвиг в использовании искусственного интеллекта, который выходит за рамки вспомогательной диагностики и распространяется на больничное управление, содействие исследованиям и ведение пациентов.
Модель компании уже продемонстрировала значительное повышение эффективности, в том числе 40-кратное увеличение эффективности последующего наблюдения за пациентами. Широкое распространение обусловлено уникальным статусом DeepSeek как открытой и недорогой альтернативы проприетарным системам искусственного интеллекта.
LLM DeepSeek-V3 и DeepSeek-R1, разработанные дочерней компанией китайской инвестиционной компании, обладают уникальными преимуществами низкой стоимости и открытого исходного кода, что значительно снижает порог для использования LLM.
Китайские компании, работающие в сфере здравоохранения, быстро интегрировали эту модель в свою деятельность. Более 30 медицинских компаний в материковом Китае добавили искусственный интеллект в свою деятельность, в том числе такие компании, как Jiangsu Hengrui Medicine Co., Ltd. и Yunnan Baiyao Group Co., Ltd.
После внедрения нескольких моделей искусственного интеллекта с открытым исходным кодом для повышения операционной эффективности и снижения затрат акции компании Berry Genomics Co., Ltd. выросли более чем на 71%.
Предупреждающие сигналы: клиническая безопасность под вопросом
Несмотря на энтузиазм по поводу DeepSeek AI, в исследовании JAMA высказываются серьезные опасения. Хуан Тяньинь, профессор офтальмологии и бывший медицинский директор Национального глазного центра Сингапура, вместе со своими коллегами выявил несколько ключевых проблем.
Исследователи предупреждают, что склонность DeepSeek генерировать "кажущиеся разумными, но фактически неверные результаты" может привести к "серьезным клиническим рискам", несмотря на его мощные возможности рассуждения. Это явление, известное как галлюцинации ИИ, особенно опасно в медицинских учреждениях, где от точности может зависеть жизнь и смерть.
Исследовательская группа подчеркивает, что медицинские работники могут чрезмерно полагаться на выходные данные DeepSeek или относиться к ним некритически, что может привести к диагностическим ошибкам или предвзятости в лечении, а более осторожные клиницисты могут столкнуться с бременем проверки выходных данных ИИ в условиях, когда время имеет решающее значение.
Инфраструктурные проблемы и уязвимости безопасности
Помимо вопросов клинической точности, быстрое развертывание DeepSeek AI в китайских больницах выявило серьезные уязвимости в кибербезопасности. Хотя многие больницы предпочитают частное размещение на месте, чтобы снизить риски безопасности и конфиденциальности, в исследовании говорится, что такой подход "перекладывает ответственность за безопасность на отдельные медицинские учреждения", у многих из которых отсутствует комплексная инфраструктура кибербезопасности.
Недавние исследования в области кибербезопасности усилили обеспокоенность. Исследования показывают, что вероятность использования DeepSeek киберпреступниками в 11 раз выше, чем других моделей искусственного интеллекта, что подчеркивает ключевую уязвимость в его конструкции. Исследование, проведенное Cisco, показало, что DeepSeek не смог заблокировать вредоносные подсказки в ходе оценок безопасности, в том числе подсказки, связанные с киберпреступностью и дезинформацией.
Открытый характер DeepSeek, повышая доступность, также создает уникальные проблемы безопасности. Открытая структура DeepSeek означает, что любой может загрузить и изменить это приложение, позволяя пользователям не только изменять его функциональность, но и изменять его механизмы безопасности, что создает еще больший риск эксплуатации.
Последствия в реальном мире: истории с клинической передовой
Интеграция DeepSeek AI в китайские больницы уже начала менять динамику отношений между врачом и пациентом. В вирусном видео, размещенном на Douyin, показано, как расстроенный врач после того, как пациент, использующий DeepSeek, поставил под сомнение его лечение, обнаруживает, что медицинские рекомендации действительно были обновлены, и ИИ был прав.
Этот анекдот иллюстрирует потенциал и риски внедрения ИИ в здравоохранение. Хотя эта технология может помочь медицинской практике не отставать от времени, она также бросает вызов традиционным медицинским иерархиям и вносит новые источники неопределенности в процесс клинических решений.
"Идеальный шторм" проблем с безопасностью
Исследователи утверждают, что уникальная ситуация в здравоохранении Китая формирует "идеальный шторм" проблем с клинической безопасностью, полагая, что разрыв в инфраструктуре первичной медицинской помощи и высокая распространенность смартфонов являются причинами этого явления. Они отмечают: "Уязвимые группы населения со сложными потребностями в здравоохранении теперь имеют беспрецедентный доступ к рекомендациям по здоровью, основанным на ИИ, но часто не имеют клинического контроля, необходимого для безопасного внедрения".
Демократизация доступа к медицинскому ИИ, хотя и может быть полезна для обеспечения справедливости в здравоохранении, вызывает вопросы о качестве и безопасности ухода в условиях ограниченных ресурсов, где может отсутствовать надлежащий надзор.
Геополитическое влияние и конфиденциальность данных
Быстрое внедрение DeepSeek AI в китайских больницах не осталось незамеченным международным сообществом. Некоторые страны уже приняли меры предосторожности: Италия, Тайвань, Австралия и Южная Корея заблокировали или запретили доступ к этому приложению на государственных устройствах, опасаясь, что практика управления данными, используемая этим приложением, представляет угрозу национальной безопасности.
Эксперты по конфиденциальности выражают обеспокоенность по поводу сбора и хранения данных. Этот китайский чат-бот может представлять угрозу национальной безопасности, поскольку "эти агрегированные данные могут быть использованы для сбора информации о населении или поведении пользователей, которая может быть использована для создания более эффективных фишинговых атак или других вредоносных манипуляций".
Нормативные пробелы
Несмотря на широкое распространение, китайская нормативная база не успевает за быстрым внедрением ИИ в здравоохранение. Текущие нормативные разъяснения допускают, чтобы искусственный интеллект усиливал, а не заменял человеческое диагностическое заключение, что указывает на необходимость по-прежнему проявлять осторожность при его интеграции в медицинское обслуживание.
Примечательно, что ни один медицинский продукт на основе ИИ не был включен в государственное базовое медицинское страхование Китая, что свидетельствует о сохраняющемся скептицизме в отношении надежности этой технологии. Тем не менее, история DeepSeek AI в китайских больницах представляет собой микрокосм более широких проблем, связанных с внедрением ИИ в критических секторах во всем мире.
Хотя эта технология открывает огромные возможности для улучшения медицинского обслуживания и снижения затрат, предостережения медицинских исследователей подчеркивают необходимость осторожного и систематического внедрения.
Недавние исследования подчеркивают относительную точность модели DeepSeek по определенным показателям, таким как оценка Довиля у пациентов с лимфомой, но при этом признают значительный разрыв по сравнению с врачами-клиницистами. Разрыв в точности в сочетании с уязвимостями безопасности и нормативными проблемами свидетельствует о том, что нынешние темпы внедрения действительно могут быть "слишком быстрыми и слишком ранними".
Заключение: критический момент
Поскольку Китай продолжает продвигать "умные больницы" и преобразование здравоохранения на основе искусственного интеллекта, интеграция DeepSeek AI в китайских больницах является одновременно свидетельством технологических инноваций и предостережением о рисках быстрого развертывания. Опасения, высказанные Хуан Тяньинем и его коллегами из Медицинской школы Университета Цинхуа, не являются возражением против прогресса, а призывом к ответственным инновациям, в которых приоритет отдается безопасности пациентов наряду с технологическим прогрессом.
Задача на будущее состоит в том, чтобы найти правильный баланс между использованием неоспоримых преимуществ ИИ в здравоохранении и внедрением надежных гарантий для защиты пациентов от рисков преждевременного или недостаточно регулируемого внедрения ИИ.
Текущие споры вокруг DeepSeek AI в китайских больницах в конечном итоге отражают фундаментальный вопрос, стоящий перед мировым здравоохранением: насколько быстро - это слишком быстро, когда речь идет об интеграции мощных систем ИИ в приложения, затрагивающие жизнь и смерть? Ответ на этот вопрос определит будущее цифрового здравоохранения не только в Китае, но и во всем мире.