تیم تحقیقاتی چینی نگرانی‌های خود را نسبت به ادغام سریع DeepSeek، یک مدل هوش مصنوعی (AI)، در مراکز بیمارستانی ابراز داشته‌اند. پژوهش‌های آنها خطرات بالقوه‌ای را برای ایمنی بالینی و حریم خصوصی داده‌ها برجسته می‌کند، به ویژه به دلیل استفاده گسترده از مدل‌های منبع باز مقرون به صرفه این استارت‌آپ.
در اوایل ماه مارس، مدل‌های زبان بزرگ (LLM) DeepSeek، در دست‌کم 300 بیمارستان چینی برای تشخیص بالینی و پشتیبانی از تصمیم‌گیری پزشکی به کار گرفته شدند.
مقاله تحقیقاتی منتشر شده در Journal of the American Medical Association (JAMA)، تمایل DeepSeek به تولید خروجی‌هایی را نشان می‌دهد که به نظر قانع‌کننده می‌رسند اما از نظر واقعی نادرست هستند. علیرغم قابلیت‌های استدلال قوی هوش مصنوعی، این امر می‌تواند خطرات بالینی قابل توجهی ایجاد کند. وانگ تین ین، رئیس موسس تسینگ هوا مدیسین، یک بخش تحقیقاتی در دانشگاه تسینگ هوا در پکن، عضو تیم تحقیقاتی است.
این یادداشت هشدارآمیز با اشتیاق غالب به DeepSeek در چین در تضاد است. این استارت‌آپ، که به خاطر مدل‌های V3 و R1 مقرون به صرفه و با کارایی بالا مورد تحسین قرار می‌گیرد، اکنون به نمادی از پیشرفت‌های هوش مصنوعی چین تبدیل شده است.
ونگ و همکارانش بر این خطر تاکید کردند که متخصصان مراقبت‌های بهداشتی ممکن است بیش از حد به خروجی‌های DeepSeek وابسته شوند یا این خروجی‌ها را بدون ارزیابی انتقادی بپذیرند. این امر می‌تواند منجر به اشتباهات در تشخیص یا طرح‌های درمان مغرضانه شود. در مقابل، پزشکانی که محتاط باقی می‌مانند، با بار اضافی بررسی خروجی‌های هوش مصنوعی در شرایط محدودیت زمانی مواجه خواهند شد.
خطرات امنیتی در استقرار در محل
در حالی که بیمارستان‌ها اغلب استقرارهای خصوصی و در محل مدل‌های DeepSeek را برای کاهش خطرات مرتبط با امنیت و حریم خصوصی انتخاب می‌کنند، این رویکرد مجموعه پیچیدگی‌های خودش را به همراه دارد. به گفته محققان، این امر "مسئولیت‌های امنیتی را به تک تک مراکز مراقبت‌های بهداشتی منتقل می‌کند،" بسیاری از آنها ممکن است فاقد دفاع‌های سایبری لازم باشند.
محققان همچنین خاطرنشان کردند که ترکیب زیرساخت ناکافی مراقبت‌های اولیه و استفاده گسترده از تلفن‌های هوشمند در چین، یک "شرایط بحرانی" ایجاد می‌کند که نگرانی‌ها در مورد ایمنی بالینی را تشدید می‌کند.
محققان می‌گویند: "جمعیت‌های محروم با نیازهای پزشکی پیچیده اکنون دسترسی بی‌سابقه‌ای به توصیه‌های بهداشتی مبتنی بر هوش مصنوعی دارند، اما اغلب فاقد نظارت بالینی مورد نیاز برای اجرای ایمن این توصیه‌ها هستند."
بررسی دقیق LLMها در تنظیمات مراقبت‌های بهداشتی
این مقاله به گفتگوهای فزاینده در مورد استفاده از LLMها در تنظیمات بالینی و پزشکی کمک می‌کند. سازمان‌های دیگر در چین نیز با تسریع در پذیرش، شروع به بررسی دقیق LLMها کرده‌اند. مقاله دیگری که ماه گذشته توسط محققان دانشگاه چینی هنگ کنگ منتشر شد، آسیب‌پذیری‌های امنیت سایبری عوامل هوش مصنوعی را بررسی کرد و دریافت که عوامل تقویت شده توسط LLMهای رایج، در برابر حملات مختلف آسیب‌پذیر هستند، به طوری که DeepSeek-R1 بیشترین آسیب‌پذیری را داشت.
چین در بحبوحه افزایش فناوری‌های هوش مصنوعی مولد، پذیرش LLMها را در مراقبت‌های بهداشتی تسریع کرده است. ماه گذشته، گروه Ant Group، یک شرکت فناوری مالی چینی، نزدیک به 100 عامل پزشکی هوش مصنوعی را در اپلیکیشن پرداخت Alipay خود معرفی کرد. این عوامل توسط متخصصان پزشکی از بیمارستان‌های برجسته چینی پشتیبانی می‌شوند.
Tairex، یک استارت‌آپ مستقر در دانشگاه تسینگ هوا، آزمایش داخلی یک پلتفرم بیمارستان مجازی را در ماه نوامبر آغاز کرد. این پلتفرم دارای 42 پزشک هوش مصنوعی است که 21 بخش از جمله اورژانس، تنفسی، اطفال و قلب و عروق را پوشش می‌دهند. این شرکت برنامه‌های خود را برای راه‌اندازی این پلتفرم برای عموم در اواخر سال جاری فاش کرد.
بررسی عمیق‌تر نگرانی‌های پیرامون هوش مصنوعی در مراقبت‌های بهداشتی
ادغام سریع هوش مصنوعی، به ویژه مدل‌های زبان بزرگ (LLM) مانند DeepSeek، در تنظیمات مراقبت‌های بهداشتی در چین، بحثی را بین کسانی که از مزایای بالقوه آن دفاع می‌کنند و کسانی که خواستار احتیاط بیشتر هستند، برانگیخته است. در حالی که هوش مصنوعی امکانات هیجان انگیزی برای بهبود تشخیص، درمان و دسترسی به مراقبت ارائه می‌دهد، چندین عامل ایجاب می‌کند رویکرد سنجیده‌تری اتخاذ شود. نگرانی‌های مطرح شده توسط محققان، پیچیدگی‌ها و خطرات احتمالی استقرار هوش مصنوعی در چنین حوزه‌ای حیاتی را برجسته می‌کند.
یکی از نگرانی‌های اصلی، قابلیت اطمینان اطلاعات تولید شده توسط هوش مصنوعی است. LLMها بر روی مجموعه‌های داده عظیمی آموزش داده می‌شوند، اما این مجموعه‌های داده ممکن است حاوی تعصبات، نادرستی‌ها یا اطلاعات قدیمی باشند. در نتیجه، مدل‌های هوش مصنوعی گاهی اوقات می‌توانند خروجی‌هایی را تولید کنند که به نظر قابل قبول می‌رسند اما در واقع نادرست هستند. این امر خطر قابل توجهی را در تنظیمات پزشکی ایجاد می‌کند، جایی که اشتباهات تشخیصی یا توصیه‌های درمانی نادرست می‌تواند پیامدهای جدی برای بیماران داشته باشد.
خطر تکیه بیش از حد به هوش مصنوعی
نگرانی دیگر، پتانسیل متخصصان مراقبت‌های بهداشتی برای تکیه بیش از حد به هوش مصنوعی و از دست دادن مهارت‌های تفکر انتقادی آنها است. اگر پزشکان و پرستاران شروع به برخورد با خروجی‌های هوش مصنوعی به عنوان چیزی غیرقابل انکار کنند، ممکن است نتوانند شرایط بیماران را به طور کافی ارزیابی کنند، جزئیات مهم را نادیده بگیرند یا توصیه‌های هوش مصنوعی را زیر سوال ببرند. این می‌تواند منجر به اشتباهات تشخیصی، درمان‌های نامناسب و کاهش کیفیت مراقبت شود.
علاوه بر این، پذیرش گسترده هوش مصنوعی، سوالات اخلاقی و اجتماعی در مورد حریم خصوصی داده‌ها، تعصب الگوریتمی و پتانسیل جابجایی مشاغل را مطرح می‌کند. بیماران ممکن است نگران امنیت و محرمانگی اطلاعات بهداشتی خود باشند، به ویژه اگر از این اطلاعات برای آموزش مدل‌های هوش مصنوعی استفاده شود. تعصب الگوریتمی همچنین می‌تواند نابرابری‌های بهداشتی موجود را تداوم بخشد و تشدید کند، اگر مدل‌های هوش مصنوعی بر روی داده‌هایی آموزش داده شوند که تنوع جمعیت را به طور دقیق منعکس نمی‌کند.
ایجاد تعادل بین نوآوری و احتیاط
برای کاهش این خطرات، اتخاذ یک رویکرد محتاطانه و مسئولانه‌تر در ادغام هوش مصنوعی در مراقبت‌های بهداشتی بسیار مهم است. این شامل موارد زیر است:
- آزمایش و اعتبارسنجی دقیق: قبل از استقرار مدل‌های هوش مصنوعی در تنظیمات بالینی، باید به طور کامل بر روی جمعیت‌های مختلف آزمایش و اعتبارسنجی شوند تا از صحت، قابلیت اطمینان و انصاف آنها اطمینان حاصل شود.
- نظارت انسانی: هوش مصنوعی باید به عنوان ابزاری برای تقویت، نه جایگزینی، قضاوت انسانی استفاده شود. متخصصان مراقبت‌های بهداشتی همیشه باید خروجی‌های هوش مصنوعی را قبل از تصمیم‌گیری بالینی بررسی و تأیید کنند.
- شفافیت و قابلیت توضیح: مدل‌های هوش مصنوعی باید شفاف و قابل توضیح باشند، به طوری که متخصصان مراقبت‌های بهداشتی بتوانند درک کنند که چگونه به توصیه‌های خود می‌رسند. این می‌تواند به ایجاد اعتماد به هوش مصنوعی و شناسایی اشتباهات یا تعصبات احتمالی کمک کند.
- حریم خصوصی و امنیت داده‌ها: حفاظت‌های قوی باید برای محافظت از حریم خصوصی و امنیت اطلاعات بیمار اعمال شود. این شامل کسب رضایت آگاهانه، اجرای اقدامات امنیتی قوی و رعایت مقررات حفاظت از داده‌ها است.
- آموزش و تربیت: متخصصان مراقبت‌های بهداشتی باید آموزش‌های جامعی در مورد نحوه استفاده مؤثر و مسئولانه از هوش مصنوعی دریافت کنند. این شامل درک محدودیت‌های هوش مصنوعی، تشخیص تعصبات احتمالی و ارزیابی انتقادی خروجی‌های هوش مصنوعی است.
رسیدگی به آسیب‌پذیری‌های امنیت سایبری
آسیب‌پذیری‌های امنیت سایبری عوامل هوش مصنوعی، همانطور که توسط محققان دانشگاه چینی هنگ کنگ برجسته شده است، تهدیدی جدی برای یکپارچگی و امنیت سیستم‌های مراقبت‌های بهداشتی محسوب می‌شود. اگر مدل‌های هوش مصنوعی در برابر حملات آسیب‌پذیر باشند، عوامل مخرب می‌توانند به طور بالقوه خروجی‌های هوش مصنوعی را دستکاری کنند، به اطلاعات حساس بیمار دسترسی پیدا کنند یا عملیات مراقبت‌های بهداشتی را مختل کنند.
برای رفع این آسیب‌پذیری‌ها، اجرای اقدامات امنیتی سایبری قوی ضروری است، مانند:
- شیوه‌های کدنویسی امن: مدل‌های هوش مصنوعی باید با استفاده از شیوه‌های کدنویسی امن توسعه داده شوند تا از آسیب‌پذیری‌هایی مانند تزریق SQL، اسکریپت‌نویسی بین سایتی و سرریز بافر جلوگیری شود.
- ممیزی‌های امنیتی منظم: سیستم‌های هوش مصنوعی باید به طور منظم مورد ممیزی‌های امنیتی قرار گیرند تا آسیب‌پذیری‌های احتمالی شناسایی و برطرف شوند.
- سیستم‌های تشخیص و پیشگیری از نفوذ: سیستم‌های تشخیص و پیشگیری از نفوذ باید برای نظارت بر سیستم‌های هوش مصنوعی برای فعالیت‌های مخرب و جلوگیری از دسترسی غیرمجاز اجرا شوند.
- رمزگذاری داده‌ها: اطلاعات حساس بیمار باید هم در حین انتقال و هم در حالت سکون رمزگذاری شوند تا از دسترسی غیرمجاز محافظت شوند.
- کنترل دسترسی: کنترل‌های دسترسی دقیق باید برای محدود کردن دسترسی به سیستم‌های هوش مصنوعی و داده‌ها به پرسنل مجاز اجرا شوند.
ملاحظات اخلاقی
فراتر از چالش‌های فنی، ادغام هوش مصنوعی در مراقبت‌های بهداشتی تعدادی از ملاحظات اخلاقی مهم را مطرح می‌کند. این شامل موارد زیر است:
- تعصب الگوریتمی: مدل‌های هوش مصنوعی می‌توانند نابرابری‌های بهداشتی موجود را تداوم بخشند و تشدید کنند، اگر بر روی داده‌هایی آموزش داده شوند که تنوع جمعیت را به طور دقیق منعکس نمی‌کند. اطمینان از اینکه مدل های هوش مصنوعی منصفانه و بی طرفانه هستند بسیار مهم است.
- حریم خصوصی داده ها: بیماران ممکن است در مورد حریم خصوصی اطلاعات بهداشتی خود نگران باشند، به ویژه اگر از این اطلاعات برای آموزش مدل های هوش مصنوعی استفاده شود. کسب رضایت آگاهانه و محافظت از اطلاعات بیمار ضروری است.
- شفافیت و قابلیت توضیح: مدل های هوش مصنوعی باید شفاف و قابل توضیح باشند، به طوری که بیماران بتوانند درک کنند که چگونه به توصیه های خود می رسند. این می تواند به ایجاد اعتماد در هوش مصنوعی کمک کند.
- مسئولیت پذیری: مهم است که خطوط مسئولیت پذیری روشنی برای تصمیمات گرفته شده توسط سیستم های هوش مصنوعی ایجاد شود. چه کسی مسئول است اگر یک مدل هوش مصنوعی تشخیص اشتباهی بدهد یا درمانی نامناسب را توصیه کند؟
راه پیش رو
ادغام هوش مصنوعی در مراقبت های بهداشتی پتانسیل فوق العاده ای برای بهبود مراقبت از بیمار، کاهش هزینه ها و افزایش کارایی سیستم های مراقبت های بهداشتی دارد. با این حال، بسیار مهم است که با احتیاط به این ادغام نزدیک شویم و به خطرات و چالش های احتمالی رسیدگی کنیم. با اتخاذ یک رویکرد مسئولانه و اخلاقی، می توانیم از قدرت هوش مصنوعی برای تغییر مراقبت های بهداشتی به بهتر استفاده کنیم.