Команда китайских исследователей выразила обеспокоенность по поводу стремительной интеграции DeepSeek, модели искусственного интеллекта, в больничную среду. Их анализ подчеркивает потенциальные опасности для клинической безопасности и конфиденциальности данных, особенно из-за широкого использования экономичных моделей с открытым исходным кодом этого стартапа.
К началу марта большие языковые модели (LLM) DeepSeek уже использовались как минимум в 300 китайских больницах для клинической диагностики и поддержки принятия медицинских решений.
В исследовательской статье, опубликованной в Journal of the American Medical Association (JAMA), указывается на склонность DeepSeek генерировать результаты, которые кажутся убедительными, но фактически неточны. Несмотря на надежные возможности рассуждения ИИ, это может создать значительные клинические риски. Вонг Тьен Йин, основатель Tsinghua Medicine, исследовательского подразделения в Университете Цинхуа в Пекине, является членом исследовательской группы.
Эта предостерегающая заметка контрастирует с преобладающим энтузиазмом по поводу DeepSeek в Китае. Этот стартап, известный своими доступными и высокопроизводительными моделями V3 и R1, стал символом достижений Китая в области ИИ.
Вонг и его соавторы подчеркнули риск того, что медицинские работники могут стать чрезмерно зависимыми от результатов DeepSeek или принимать их без критической оценки. Это может привести к ошибкам в диагностике или предвзятым планам лечения. И наоборот, врачи, которые остаются осторожными, столкнутся с дополнительным бременем проверки выходных данных ИИ в условиях ограниченного времени.
Риски безопасности при развертывании на месте
В то время как больницы часто выбирают частное развертывание моделей DeepSeek на месте, чтобы снизить риски, связанные с безопасностью и конфиденциальностью, этот подход создает свои собственные осложнения. По словам исследователей, это «перекладывает обязанности по безопасности на отдельные медицинские учреждения», многие из которых могут не иметь необходимых средств киберзащиты.
Исследователи также отметили, что сочетание неадекватной инфраструктуры первичной медико-санитарной помощи и широкого использования смартфонов в Китае создает «идеальный шторм», который усугубляет опасения по поводу клинической безопасности.
Исследователи заявляют: «Недостаточно обслуживаемые слои населения со сложными медицинскими потребностями теперь имеют беспрецедентный доступ к медицинским рекомендациям на основе ИИ, но часто не имеют клинического надзора, необходимого для безопасного внедрения».
Изучение LLM в медицинских учреждениях
Эта статья вносит вклад в растущие дискуссии об использовании LLM в клинических и медицинских учреждениях. Другие организации в Китае также начинают изучать LLM по мере ускорения внедрения. В другой статье, опубликованной в прошлом месяце исследователями из Китайского университета Гонконга, были изучены уязвимости кибербезопасности агентов ИИ и было обнаружено, что те, которые работают на основе широко используемых LLM, уязвимы для различных атак, причем DeepSeek-R1 является наиболее восприимчивым.
Китай ускорил внедрение LLM в здравоохранение на фоне всплеска генеративных технологий ИИ. В прошлом месяце Ant Group, китайская компания финансовых технологий, представила около 100 медицинских агентов ИИ в своем платежном приложении Alipay. Эти агенты поддерживаются медицинскими экспертами из известных китайских больниц.
Tairex, стартап, инкубированный в Университете Цинхуа, начал внутреннее тестирование виртуальной больничной платформы в ноябре. На платформе работают 42 врача ИИ, охватывающие 21 отделение, включая отделение неотложной помощи, респираторное отделение, педиатрию и кардиологию. Компания заявила о планах выпустить платформу для широкой публики позднее в этом году.
Более глубокое погружение в проблемы, связанные с ИИ в здравоохранении
Стремительная интеграция ИИ, особенно больших языковых моделей (LLM), таких как DeepSeek, в медицинские учреждения в Китае вызвала дебаты между теми, кто выступает за его потенциальные преимущества, и теми, кто призывает к осторожности. Хотя ИИ предлагает захватывающие возможности для улучшения диагностики, лечения и доступа к медицинской помощи, несколько факторов требуют более взвешенного подхода. Опасения, высказанные исследователями, подчеркивают сложности и потенциальные ловушки развертывания ИИ в такой критической области.
Одной из основных проблем является надежность информации, генерируемой ИИ. LLM обучаются на огромных наборах данных, но эти наборы данных могут содержать предубеждения, неточности или устаревшую информацию. В результате модели ИИ могут иногда генерировать результаты, которые кажутся правдоподобными, но на самом деле являются неверными. Это создает значительный риск в медицинских учреждениях, где диагностические ошибки или неверные рекомендации по лечению могут иметь серьезные последствия для пациентов.
Риск чрезмерной зависимости от ИИ
Еще одна проблема – потенциальная чрезмерная зависимость медицинских работников от ИИ и утрата ими навыков критического мышления. Если врачи и медсестры начнут относиться к выходным данным ИИ как к непогрешимым, они могут неадекватно оценивать состояние пациентов, упускать из виду важные детали или подвергать сомнению рекомендации ИИ. Это может привести к диагностическим ошибкам, несоответствующему лечению и снижению качества медицинской помощи.
Кроме того, широкое внедрение ИИ поднимает этические и социальные вопросы о конфиденциальности данных, алгоритмических предубеждениях и потенциальной потере рабочих мест. Пациенты могут быть обеспокоены безопасностью и конфиденциальностью своих данных о здоровье, особенно если они используются для обучения моделей ИИ. Алгоритмические предубеждения также могут увековечивать и усугублять существующее неравенство в области здравоохранения, если модели ИИ обучаются на данных, которые неточно отражают разнообразие населения.
Поиск компромисса между инновациями и осторожностью
Чтобы смягчить эти риски, крайне важно применить более осторожный и ответственный подход к интеграции ИИ в здравоохранение. Это включает в себя:
- Строгое тестирование и проверка: Прежде чем развертывать модели ИИ в клинических условиях, их следует тщательно протестировать и проверить на разнообразных группах населения, чтобы обеспечить их точность, надежность и беспристрастность.
- Надзор со стороны человека: ИИ следует использовать как инструмент для расширения, а не для замены человеческого суждения. Медицинские работники всегда должны проверять и подтверждать выходные данные ИИ, прежде чем принимать клинические решения.
- Прозрачность и объяснимость: Модели ИИ должны быть прозрачными и объяснимыми, чтобы медицинские работники могли понять, как они приходят к своим рекомендациям. Это может помочь укрепить доверие к ИИ и выявить потенциальные ошибки или предубеждения.
- Конфиденциальность и безопасность данных: Необходимо создать надежные гарантии для защиты конфиденциальности и безопасности данных пациентов. Это включает в себя получение информированного согласия, внедрение строгих мер безопасности и соблюдение правил защиты данных.
- Образование и обучение: Медицинские работники должны пройти всестороннее обучение по эффективному и ответственному использованию ИИ. Это включает в себя понимание ограничений ИИ, распознавание потенциальных предубеждений и критическую оценку выходных данных ИИ.
Устранение уязвимостей кибербезопасности
Уязвимости кибербезопасности агентов ИИ, выделенные исследователями из Китайского университета Гонконга, представляют серьезную угрозу для целостности и безопасности систем здравоохранения. Если модели ИИ восприимчивы к атакам, злоумышленники могут потенциально манипулировать выходными данными ИИ, получать доступ к конфиденциальным данным пациентов или нарушать работу здравоохранения.
Для устранения этих уязвимостей необходимо реализовать надежные меры кибербезопасности, такие как:
- Практика безопасного кодирования: Модели ИИ следует разрабатывать с использованием методов безопасного кодирования для предотвращения уязвимостей, таких как внедрение SQL-кода, межсайтовые сценарии и переполнение буфера.
- Регулярные проверки безопасности: Системы ИИ должны проходить регулярные проверки безопасности для выявления и устранения потенциальных уязвимостей.
- Системы обнаружения и предотвращения вторжений: Системы обнаружения и предотвращения вторжений должны быть реализованы для мониторинга систем ИИ на предмет злонамеренной активности и для предотвращения несанкционированного доступа.
- Шифрование данных: Конфиденциальные данные пациентов должны быть зашифрованы как при передаче, так и в состоянии покоя, чтобы защитить их от несанкционированного доступа.
- Контроль доступа: Следует внедрить строгий контроль доступа для ограничения доступа к системам ИИ и данным для уполномоченного персонала.
Этические соображения
Помимо технических проблем, интеграция ИИ в здравоохранение поднимает ряд важных этических соображений. Они включают в себя:
- Алгоритмические предубеждения: Модели ИИ могут увековечивать и усугублять существующее неравенство в области здравоохранения, если они обучаются на данных, которые неточно отражают разнообразие населения. Крайне важно обеспечить, чтобы модели ИИ были справедливыми и беспристрастными.
- Конфиденциальность данных: Пациенты могут быть обеспокоены конфиденциальностью своих данных о здоровье, особенно если они используются для обучения моделей ИИ. Необходимо получить информированное согласие и защитить данные пациентов.
- Прозрачность и объяснимость: Модели ИИ должны быть прозрачными и объяснимыми, чтобы пациенты могли понять, как они приходят к своим рекомендациям. Это может помочь укрепить доверие к ИИ.
- Подотчетность: Важно установить четкие линии подотчетности за решения, принимаемые системами ИИ. Кто несет ответственность, если модель ИИ ставит неверный диагноз или рекомендует неподходящее лечение?
Путь вперед
Интеграция ИИ в здравоохранение открывает огромный потенциал для улучшения ухода за пациентами, снижения затрат и повышения эффективности систем здравоохранения. Однако крайне важно подходить к этой интеграции с осторожностью и решать потенциальные риски и проблемы. Приняв ответственный и этичный подход, мы сможем использовать возможности ИИ для преобразования здравоохранения к лучшему.