مخاوف بشأن التبني السريع لـ DeepSeek AI في المستشفيات الصينية
أعرب فريق من الباحثين الصينيين عن مخاوف بشأن الاندماج السريع لـ DeepSeek، وهو نموذج للذكاء الاصطناعي، في المستشفيات. يسلط تحليلهم الضوء على المخاطر المحتملة على السلامة السريرية وخصوصية البيانات، لا سيما بسبب الاستخدام الواسع النطاق لنماذج المصادر المفتوحة الاقتصادية التي طورتها الشركة الناشئة.
بحلول أوائل مارس، كانت نماذج اللغة الكبيرة (LLMs) الخاصة بـ DeepSeek تستخدم بالفعل في ما لا يقل عن 300 مستشفى صيني للتشخيصات السريرية ودعم القرارات الطبية.
تشير الورقة البحثية المنشورة في Journal of the American Medical Association (JAMA) إلى ميل DeepSeek إلى إنشاء مخرجات تبدو مقنعة ولكنها غير دقيقة من الناحية الواقعية. على الرغم من قدرات الذكاء الاصطناعي القوية في الاستدلال، إلا أن هذا قد يخلق مخاطر سريرية كبيرة. وونغ تيان يين، الرئيس المؤسس لـ Tsinghua Medicine، وهو قسم بحثي في جامعة Tsinghua في بكين، هو عضو في فريق البحث.
تتعارض هذه الملاحظة التحذيرية مع الحماس السائد لـ DeepSeek في الصين. أصبحت الشركة الناشئة، المشهورة بنماذج V3 و R1 عالية الأداء وبأسعار معقولة، رمزًا للتقدم في مجال الذكاء الاصطناعي في الصين.
أكد وونغ ومؤلفوه المشاركون على خطر اعتماد المتخصصين في الرعاية الصحية بشكل مفرط على مخرجات DeepSeek أو قبولها دون تقييم نقدي. قد يؤدي ذلك إلى أخطاء في التشخيص أو خطط علاج متحيزة. وعلى العكس من ذلك، سيواجه الأطباء الذين يظلون حذرين العبء الإضافي المتمثل في التحقق من مخرجات الذكاء الاصطناعي في ظل قيود الوقت.
المخاطر الأمنية في الانتشار في الموقع
في حين أن المستشفيات غالبًا ما تختار عمليات نشر خاصة في الموقع لنماذج DeepSeek لتقليل المخاطر المرتبطة بالأمن والخصوصية، فإن هذا النهج يقدم مجموعة من التعقيدات الخاصة به. وفقًا للباحثين، فإنه “ينقل المسؤوليات الأمنية إلى مرافق الرعاية الصحية الفردية”، والتي قد يفتقر الكثير منها إلى دفاعات الأمن السيبراني اللازمة.
وأشار الباحثون أيضًا إلى أن الجمع بين البنية التحتية غير الكافية للرعاية الأولية والاستخدام الواسع النطاق للهواتف الذكية في الصين يخلق “عاصفة كاملة” تزيد من المخاوف بشأن السلامة السريرية.
يذكر الباحثون: “إن الفئات السكانية المحرومة التي تعاني من احتياجات طبية معقدة لديها الآن وصول غير مسبوق إلى التوصيات الصحية المدفوعة بالذكاء الاصطناعي، ولكنها غالبًا ما تفتقر إلى الرقابة السريرية اللازمة للتنفيذ الآمن”.
التدقيق في LLMs في أماكن الرعاية الصحية
تساهم هذه الورقة في المحادثات المتزايدة حول استخدام LLMs في الأماكن السريرية والطبية. بدأت منظمات أخرى في الصين أيضًا في التدقيق في LLMs مع تسارع وتيرة التبني. فحصت ورقة أخرى نشرت الشهر الماضي من قبل باحثين في الجامعة الصينية في هونغ كونغ نقاط الضعف في مجال الأمن السيبراني لوكلاء الذكاء الاصطناعي، واكتشفت أن تلك التي تعمل بواسطة LLMs شائعة الاستخدام كانت عرضة لهجمات مختلفة، مع كون DeepSeek-R1 هو الأكثر عرضة للخطر.
لقد عجلت الصين من تبني LLMs في الرعاية الصحية وسط طفرة في تقنيات الذكاء الاصطناعي التوليدية. في الشهر الماضي، قدمت Ant Group، وهي شركة صينية للتكنولوجيا المالية، ما يقرب من 100 وكيل طبي للذكاء الاصطناعي على تطبيق الدفع Alipay الخاص بها. يدعم هؤلاء الوكلاء خبراء طبيون من مستشفيات صينية بارزة.
بدأت Tairex، وهي شركة ناشئة محتضنة في جامعة Tsinghua، اختبارات داخلية لمنصة مستشفى افتراضية في نوفمبر. تتميز المنصة بـ 42 طبيبًا للذكاء الاصطناعي يغطون 21 قسمًا، بما في ذلك الطوارئ والجهاز التنفسي وطب الأطفال وأمراض القلب. كشفت الشركة عن خطط لإطلاق المنصة للجمهور في وقت لاحق من العام.
التعمق أكثر في المخاوف المحيطة بالذكاء الاصطناعي في الرعاية الصحية
أثار الاندماج السريع للذكاء الاصطناعي، ولا سيما نماذج اللغة الكبيرة (LLMs) مثل DeepSeek، في أماكن الرعاية الصحية في الصين جدلاً بين أولئك الذين يناصرون فوائده المحتملة وأولئك الذين يحثون على توخي الحذر. في حين أن الذكاء الاصطناعي يوفر إمكانيات مثيرة لتحسين التشخيص والعلاج والوصول إلى الرعاية، فإن عدة عوامل تستدعي اتباع نهج أكثر اعتدالًا. تسلط المخاوف التي أثارها الباحثون الضوء على التعقيدات والمزالق المحتملة لنشر الذكاء الاصطناعي في هذا المجال الحرج.
أحد المخاوف الرئيسية هو موثوقية المعلومات التي يتم إنشاؤها بواسطة الذكاء الاصطناعي. يتم تدريب LLMs على مجموعات بيانات ضخمة، ولكن هذه المجموعات قد تحتوي على تحيزات أو معلومات غير دقيقة أو قديمة. نتيجة لذلك، يمكن لنماذج الذكاء الاصطناعي أن تولد أحيانًا مخرجات تبدو معقولة ولكنها، في الواقع، غير صحيحة. وهذا يثير خطرًا كبيرًا في الأماكن الطبية، حيث يمكن أن يكون للأخطاء التشخيصية أو التوصيات العلاجية غير الصحيحة عواقب وخيمة على المرضى.
خطر الاعتماد المفرط على الذكاء الاصطناعي
هناك قلق آخر يتمثل في احتمال اعتماد المتخصصين في الرعاية الصحية بشكل مفرط على الذكاء الاصطناعي وفقدان مهاراتهم في التفكير النقدي. إذا بدأ الأطباء والممرضات في معاملة مخرجات الذكاء الاصطناعي على أنها معصومة من الخطأ، فقد يفشلون في تقييم حالات المرضى بشكل كافٍ، أو يتجاهلون التفاصيل المهمة، أو يشككون في توصيات الذكاء الاصطناعي. يمكن أن يؤدي ذلك إلى أخطاء تشخيصية وعلاجات غير مناسبة وتدهور في جودة الرعاية.
علاوة على ذلك، يثير التبني الواسع النطاق للذكاء الاصطناعي أسئلة أخلاقية واجتماعية حول خصوصية البيانات والتحيز الخوارزمي واحتمال تشريد الوظائف. قد يشعر المرضى بالقلق بشأن أمن وسرية بياناتهم الصحية، خاصة إذا كان يتم استخدامها لتدريب نماذج الذكاء الاصطناعي. يمكن للتحيز الخوارزمي أيضًا أن يديم ويزيد من التفاوتات الصحية القائمة إذا تم تدريب نماذج الذكاء الاصطناعي على بيانات لا تعكس بدقة تنوع السكان.
تحقيق التوازن بين الابتكار والحذر
للتخفيف من هذه المخاطر، من الضروري اتباع نهج أكثر حذراً ومسؤولية تجاه دمج الذكاء الاصطناعي في الرعاية الصحية. وهذا يشمل:
- الاختبار والتحقق الدقيقان: قبل نشر نماذج الذكاء الاصطناعي في البيئات السريرية، يجب اختبارها والتحقق من صحتها بدقة على مجموعات سكانية متنوعة لضمان دقتها وموثوقيتها وعدالتها.
- الإشراف البشري: يجب استخدام الذكاء الاصطناعي كأداة لزيادة الحكم البشري، وليس استبداله. يجب على متخصصي الرعاية الصحية دائمًا مراجعة مخرجات الذكاء الاصطناعي والتحقق منها قبل اتخاذ القرارات السريرية.
- الشفافية والقابلية للتفسير: يجب أن تكون نماذج الذكاء الاصطناعي شفافة وقابلة للتفسير، بحيث يمكن لمتخصصي الرعاية الصحية فهم كيفية وصولهم إلى توصياتهم. يمكن أن يساعد ذلك في بناء الثقة في الذكاء الاصطناعي وتحديد الأخطاء أو التحيزات المحتملة.
- خصوصية وأمن البيانات: يجب وضع ضمانات قوية لحماية خصوصية وأمن بيانات المرضى. ويشمل ذلك الحصول على موافقة مستنيرة، وتنفيذ تدابير أمنية قوية، والالتزام بلوائح حماية البيانات.
- التعليم والتدريب: يجب أن يتلقى متخصصو الرعاية الصحية تدريبًا شاملاً حول كيفية استخدام الذكاء الاصطناعي بشكل فعال ومسؤول. ويشمل ذلك فهم قيود الذكاء الاصطناعي، والتعرف على التحيزات المحتملة، وتقييم مخرجات الذكاء الاصطناعي بشكل نقدي.
معالجة نقاط الضعف في مجال الأمن السيبراني
تشكل نقاط الضعف في مجال الأمن السيبراني لوكلاء الذكاء الاصطناعي، كما سلط الضوء عليها الباحثون في الجامعة الصينية في هونغ كونغ، تهديدًا كبيرًا لسلامة وأمن أنظمة الرعاية الصحية. إذا كانت نماذج الذكاء الاصطناعي عرضة للهجمات، فيمكن للجهات الخبيثة التلاعب بمخرجات الذكاء الاصطناعي أو الوصول إلى بيانات المرضى الحساسة أو تعطيل عمليات الرعاية الصحية.
لمعالجة نقاط الضعف هذه، من الضروري تنفيذ تدابير قوية للأمن السيبراني، مثل:
- ممارسات الترميز الآمن: يجب تطوير نماذج الذكاء الاصطناعي باستخدام ممارسات الترميز الآمن لمنع نقاط الضعف مثل حقن SQL والبرمجة النصية عبر المواقع وتجاوزات المخزن المؤقت.
- عمليات التدقيق الأمني المنتظمة: يجب أن تخضع أنظمة الذكاء الاصطناعي لعمليات تدقيق أمني منتظمة لتحديد ومعالجة نقاط الضعف المحتملة.
- أنظمة الكشف عن التدخل ومنعه: يجب تنفيذ أنظمة الكشف عن التدخل ومنعه لمراقبة أنظمة الذكاء الاصطناعي بحثًا عن أي نشاط ضار ومنع الوصول غير المصرح به.
- تشفير البيانات: يجب تشفير بيانات المرضى الحساسة أثناء النقل وأثناء الراحة لحمايتها من الوصول غير المصرح به.
- ضوابط الوصول: يجب تنفيذ ضوابط وصول صارمة لتقييد الوصول إلى أنظمة وبيانات الذكاء الاصطناعي على الموظفين المصرح لهم فقط.
الاعتبارات الأخلاقية
بالإضافة إلى التحديات التقنية، يثير دمج الذكاء الاصطناعي في الرعاية الصحية عددًا من الاعتبارات الأخلاقية المهمة. وتشمل هذه:
- التحيز الخوارزمي: يمكن لنماذج الذكاء الاصطناعي أن تديم وتزيد من التفاوتات الصحية القائمة إذا تم تدريبها على بيانات لا تعكس بدقة تنوع السكان. من الضروري التأكد
من أن نماذج الذكاء الاصطناعي عادلة وغير متحيزة. - خصوصية البيانات: قد يشعر المرضى بالقلق بشأن خصوصية بياناتهم الصحية، خاصة إذا كان يتم استخدامها لتدريب نماذج الذكاء الاصطناعي. من الضروري الحصول على موافقة مستنيرة وحماية بيانات المرضى.
- الشفافية والقابلية للتفسير: يجب أن تكون نماذج الذكاء الاصطناعي شفافة وقابلة للتفسير، بحيث يمكن للمرضى فهم كيفية وصولهم إلى توصياتهم. يمكن أن يساعد ذلك في بناء الثقة في الذكاء الاصطناعي.
- المساءلة: من المهم وضع خطوط واضحة للمساءلة عن القرارات التي تتخذها أنظمة الذكاء الاصطناعي. من المسؤول إذا قام نموذج الذكاء الاصطناعي بإجراء تشخيص خاطئ أو أوصى بعلاج غير مناسب؟
المسار إلى الأمام
يحمل دمج الذكاء الاصطناعي في الرعاية الصحية إمكانات هائلة لتحسين رعاية المرضى وخفض التكاليف وتعزيز كفاءة أنظمة الرعاية الصحية. ومع ذلك، من الضروري التعامل مع هذا التكامل بحذر ومعالجة المخاطر والتحديات المحتملة. من خلال تبني نهج مسؤول وأخلاقي، يمكننا تسخير قوة الذكاء الاصطناعي لتحويل الرعاية الصحية نحو الأفضل.