चीनी अस्पतालों में डीपसीक एआई पर चिंता

चीन में डीपसीक एआई के तेजी से इस्तेमाल से नैदानिक सुरक्षा और डेटा गोपनीयता को लेकर चिंताएं बढ़ रही हैं। किफायती ओपन-सोर्स मॉडल के व्यापक उपयोग से जोखिम और भी बढ़ रहे हैं। चीनी शोधकर्ताओं की एक टीम ने अस्पतालों में डीपसीक (DeepSeek), एक कृत्रिम बुद्धिमत्ता मॉडल, को तेजी से अपनाने के संबंध में चिंता व्यक्त की है। उनके विश्लेषण में नैदानिक सुरक्षा और डेटा गोपनीयता के लिए संभावित खतरों पर प्रकाश डाला गया है, विशेष रूप से स्टार्ट-अप के किफायती ओपन-सोर्स मॉडल के व्यापक उपयोग के कारण।

मार्च के शुरुआत तक, डीपसीक के बड़े भाषा मॉडल (LLMs) पहले से ही नैदानिक निदान और चिकित्सा निर्णय समर्थन के लिए कम से कम 300 चीनी अस्पतालों में कार्यरत थे।

जर्नल ऑफ द अमेरिकन मेडिकल एसोसिएशन (JAMA) में प्रकाशित शोध पत्र, डीपसीक की उन आउटपुट को जेनरेट करने की प्रवृत्ति को इंगित करता है जो आश्वस्त करने वाले लगते हैं लेकिन तथ्यात्मक रूप से गलत हैं। एआई की मजबूत तर्क क्षमताओं के बावजूद, इससे महत्वपूर्ण नैदानिक जोखिम पैदा हो सकते हैं। त्सिंघुआ मेडिसिन के संस्थापक प्रमुख वोंग टिएन यिन (Wong Tien Yin), जो बीजिंग में त्सिंघुआ विश्वविद्यालय में एक अनुसंधान प्रभाग है, अनुसंधान टीम के सदस्य हैं।

चीन में डीपसीक के लिए प्रचलित उत्साह के विपरीत, यह चेतावनी देने वाला नोट है। स्टार्ट-अप, जिसे इसके किफायती और उच्च प्रदर्शन वाले वी3 और आर1 मॉडल के लिए मनाया जाता है, चीन की एआई प्रगति का प्रतीक बन गया है।

वोंग और उनके सह-लेखकों ने इस जोखिम पर जोर दिया कि स्वास्थ्य सेवा पेशेवर डीपसीक के आउटपुट पर अत्यधिक निर्भर हो सकते हैं या बिना आलोचनात्मक मूल्यांकन के इसे स्वीकार कर सकते हैं। इससे निदान में त्रुटियां या पक्षपातपूर्ण उपचार योजनाएं हो सकती हैं। इसके विपरीत, जो चिकित्सक सतर्क रहते हैं, उन्हें समय की कमी के कारण एआई आउटपुट को सत्यापित करने का अतिरिक्त बोझ उठाना पड़ेगा।

ऑन-साइट परिनियोजन में सुरक्षा जोखिम

जबकि अस्पताल अक्सर सुरक्षा और गोपनीयता से जुड़े जोखिमों को कम करने के लिए डीपसीक मॉडल के निजी, ऑन-साइट परिनियोजन का विकल्प चुनते हैं, यह दृष्टिकोण अपनी जटिलताओं का एक सेट पेश करता है। शोधकर्ताओं के अनुसार, यह “सुरक्षा जिम्मेदारियों को व्यक्तिगत स्वास्थ्य सेवा सुविधाओं में स्थानांतरित करता है,” जिनमें से कई में आवश्यक साइबर सुरक्षा सुरक्षा का अभाव हो सकता है।

शोधकर्ताओं ने यह भी नोट किया कि चीन में अपर्याप्त प्राथमिक देखभाल बुनियादी ढांचे और व्यापक स्मार्टफोन उपयोग का संयोजन एक “सही तूफान” बनाता है जो नैदानिक सुरक्षा के बारे में चिंताओं को बढ़ाता है।

शोधकर्ताओं का कहना है, “जटिल चिकित्सा आवश्यकताओं वाली वंचित आबादी के पास अब एआई-संचालित स्वास्थ्य सिफारिशों तक अभूतपूर्व पहुंच है, लेकिन उनमें अक्सर सुरक्षित कार्यान्वयन के लिए आवश्यक नैदानिक निरीक्षण का अभाव होता है।”

स्वास्थ्य सेवा सेटिंग्स में एलएलएम की जांच

यह पेपर नैदानिक और चिकित्सा सेटिंग्स में एलएलएम के उपयोग के बारे में बढ़ती बातचीत में योगदान करता है। चीन में अन्य संगठन भी एलएलएम की जांच करना शुरू कर रहे हैं क्योंकि अपनाने की गति बढ़ रही है। हांगकांग के चीनी विश्वविद्यालय के शोधकर्ताओं द्वारा पिछले महीने प्रकाशित एक अन्य पेपर में एआई एजेंटों की साइबर सुरक्षा कमजोरियों की जांच की गई, और पाया गया कि आमतौर पर इस्तेमाल किए जाने वाले एलएलएम द्वारा संचालित एजेंट विभिन्न हमलों के प्रति संवेदनशील थे, जिसमें डीपसीक-आर1 सबसे अधिक संवेदनशील था।

चीन ने जेनरेटिव एआई तकनीकों में तेजी के बीच स्वास्थ्य सेवा में एलएलएम को अपनाने में तेजी लाई है। पिछले महीने, एंट ग्रुप, एक चीनी वित्तीय प्रौद्योगिकी कंपनी ने अपने अलीपे भुगतान ऐप पर लगभग 100 एआई मेडिकल एजेंट पेश किए। इन एजेंटों को प्रमुख चीनी अस्पतालों के चिकित्सा विशेषज्ञों का समर्थन प्राप्त है।

त्सिंगुआ विश्वविद्यालय में इनक्यूबेट किए गए एक स्टार्ट-अप, टेरेक्स ने नवंबर में एक वर्चुअल अस्पताल प्लेटफॉर्म का आंतरिक परीक्षण शुरू किया। प्लेटफॉर्म में 42 एआई डॉक्टर हैं जो आपातकालीन, श्वसन, बाल रोग और हृदय रोग सहित 21 विभागों को कवर करते हैं। कंपनी ने साल के अंत में प्लेटफॉर्म को जनता के लिए लॉन्च करने की योजना का खुलासा किया।

स्वास्थ्य सेवा में एआई को लेकर चिंताओं में गहराई से जाना

एआई, विशेष रूप से डीपसीक जैसे बड़े भाषा मॉडल (LLMs) को चीन में स्वास्थ्य सेवा सेटिंग्स में तेजी से एकीकृत करने से उन लोगों के बीच एक बहस छिड़ गई है जो इसके संभावित लाभों का समर्थन करते हैं और जो सावधानी बरतने का आग्रह करते हैं। जबकि एआई निदान, उपचार और देखभाल तक पहुंच में सुधार के लिए रोमांचक संभावनाएं प्रदान करता है, कई कारक अधिक मापा दृष्टिकोण की वकालत करते हैं। शोधकर्ताओं द्वारा उठाई गई चिंताएं एक महत्वपूर्ण डोमेन में एआई को तैनात करने की जटिलताओं और संभावित कमियों को उजागर करती हैं।

प्राथमिक चिंताओं में से एक एआई-जनित जानकारी की विश्वसनीयता है। LLMs को विशाल डेटासेट पर प्रशिक्षित किया जाता है, लेकिन इन डेटासेट में पूर्वाग्रह, त्रुटियां या पुरानी जानकारी हो सकती है। नतीजतन, एआई मॉडल कभी-कभी ऐसे आउटपुट उत्पन्न कर सकते हैं जो प्रशंसनीय लगते हैं लेकिन वास्तव में गलत हैं। यह चिकित्सा सेटिंग्स में एक महत्वपूर्ण जोखिम उत्पन्न करता है, जहां नैदानिक त्रुटियां या गलत उपचार सिफारिशों के रोगियों के लिए गंभीर परिणाम हो सकते हैं।

एआई पर अत्यधिक निर्भरता का जोखिम

एक और चिंता स्वास्थ्य सेवा पेशेवरों के एआई पर अत्यधिक निर्भर होने और अपने महत्वपूर्ण सोच कौशल को खोने की संभावना है। यदि डॉक्टर और नर्स एआई आउटपुट को अचूक मानने लगते हैं, तो वे रोगियों की स्थितियों का पर्याप्त रूप से आकलन करने, महत्वपूर्ण विवरणों की अनदेखी करने या एआई की सिफारिशों पर सवाल उठाने में विफल हो सकते हैं। इससे नैदानिक त्रुटियां, अनुचित उपचार और देखभाल की गुणवत्ता में गिरावट हो सकती है।

इसके अलावा, एआई को व्यापक रूप से अपनाने से डेटा गोपनीयता, एल्गोरिथम पूर्वाग्रह और नौकरी विस्थापन की संभावना के बारे में नैतिक और सामाजिक प्रश्न उठते हैं। रोगियों को अपने स्वास्थ्य डेटा की सुरक्षा और गोपनीयता के बारे में चिंता हो सकती है, खासकर यदि इसका उपयोग एआई मॉडल को प्रशिक्षित करने के लिए किया जा रहा है। एल्गोरिथम पक्षपात भी मौजूदा स्वास्थ्य असमानताओं को कायम रख सकता है और बढ़ा सकता है यदि एआई मॉडल को उस डेटा पर प्रशिक्षित किया जाता है जो जनसंख्या की विविधता को सटीक रूप से नहीं दर्शाता है।

नवाचार और सावधानी के बीच संतुलन बनाना

इन जोखिमों को कम करने के लिए, स्वास्थ्य सेवा में एआई के एकीकरण के लिए अधिक सतर्क और जिम्मेदार दृष्टिकोण अपनाना महत्वपूर्ण है। इसमें शामिल हैं:

• कठोर परीक्षण और सत्यापन: नैदानिक सेटिंग्स में एआई मॉडल को तैनात करने से पहले, उनकी सटीकता, विश्वसनीयता और निष्पक्षता सुनिश्चित करने के लिए विविध आबादी पर उनका पूरी तरह से परीक्षण और सत्यापन किया जाना चाहिए।
• मानव निरीक्षण: एआई का उपयोग मानव निर्णय को बढ़ाने के लिए एक उपकरण के रूप में किया जाना चाहिए, न कि बदलने के लिए। स्वास्थ्य सेवा पेशेवरों को नैदानिक निर्णय लेने से पहले हमेशा एआई आउटपुट की समीक्षा और सत्यापन करना चाहिए।
• पारदर्शिता और व्याख्या: एआई मॉडल पारदर्शी और व्याख्या योग्य होने चाहिए, ताकि स्वास्थ्य सेवा पेशेवर समझ सकें कि वे अपनी सिफारिशों पर कैसे पहुंचते हैं। यह एआई में विश्वास बनाने और संभावित त्रुटियों या पूर्वाग्रहों की पहचान करने में मदद कर सकता है।
• डेटा गोपनीयता और सुरक्षा: रोगी डेटा की गोपनीयता और सुरक्षा की रक्षा के लिए मजबूत सुरक्षा उपाय किए जाने चाहिए। इसमें सूचित सहमति प्राप्त करना, मजबूत सुरक्षा उपायों को लागू करना और डेटा सुरक्षा नियमों का पालन करना शामिल हैं।
• शिक्षा और प्रशिक्षण: स्वास्थ्य सेवा पेशेवरों को एआई का प्रभावी ढंग से और जिम्मेदारी से उपयोग करने के बारे में व्यापक प्रशिक्षण प्राप्त करना चाहिए। इसमें एआई की सीमाओं को समझना, संभावित पूर्वाग्रहों को पहचानना और एआई आउटपुट का गंभीर रूप से मूल्यांकन करना शामिल है।

साइबर सुरक्षा कमजोरियों को दूर करना

हांगकांग के चीनी विश्वविद्यालय के शोधकर्ताओं द्वारा उजागर किए गए एआई एजेंटों की साइबर सुरक्षा कमजोरियां, स्वास्थ्य सेवा प्रणालियों की अखंडता और सुरक्षा के लिए एक महत्वपूर्ण खतरा हैं। यदि एआई मॉडल हमलों के प्रति संवेदनशील हैं, तो दुर्भावनापूर्ण अभिनेता संभावित रूप से एआई के आउटपुट में हेरफेर कर सकते हैं, संवेदनशील रोगी डेटा तक पहुंच सकते हैं या स्वास्थ्य सेवा कार्यों को बाधित कर सकते हैं।

इन कमजोरियों को दूर करने के लिए, मजबूत साइबर सुरक्षा उपायों को लागू करना आवश्यक है, जैसे कि:

• सुरक्षित कोडिंग प्रक्रियाएं: एआई मॉडल को एसक्यूएल इंजेक्शन (SQL injection), क्रॉस-साइट स्क्रिप्टिंग (cross-site scripting) और बफर ओवरफ्लो (buffer overflows) जैसी कमजोरियों को रोकने के लिए सुरक्षित कोडिंग प्रक्रियाओं का उपयोग करके विकसित किया जाना चाहिए।
• नियमित सुरक्षा ऑडिट: संभावित कमजोरियों की पहचान करने और उन्हें दूर करने के लिए एआई सिस्टम को नियमित सुरक्षा ऑडिट से गुजरना चाहिए।
• घुसपैठ का पता लगाने और रोकथाम प्रणाली: दुर्भावनापूर्ण गतिविधि के लिए एआई सिस्टम की निगरानी करने और अनधिकृत पहुंच को रोकने के लिए घुसपैठ का पता लगाने और रोकथाम प्रणाली को लागू किया जाना चाहिए।
• डेटा एन्क्रिप्शन: संवेदनशील रोगी डेटा को अनधिकृत पहुंच से बचाने के लिए पारगमन और आराम दोनों में एन्क्रिप्ट किया जाना चाहिए।
• एक्सेस नियंत्रण: एआई सिस्टम और डेटा तक पहुंच को अधिकृत कर्मियों तक सीमित करने के लिए सख्त एक्सेस नियंत्रण लागू किया जाना चाहिए।

नैतिक विचार

तकनीकी चुनौतियों से परे, स्वास्थ्य सेवा में एआई के एकीकरण से कई महत्वपूर्ण नैतिक विचार उठते हैं। इसमें शामिल हैं:

• एल्गोरिथम पूर्वाग्रह: एआई मॉडल मौजूदा स्वास्थ्य असमानताओं को कायम रख सकते हैं और बढ़ा सकते हैं यदि उन्हें उस डेटा पर प्रशिक्षित किया जाता है जो जनसंख्या की विविधता को सटीक रूप से नहीं दर्शाता है। यह सुनिश्चित करना महत्वपूर्ण है कि एआई मॉडल निष्पक्ष और वस्तुनिष्ठ हों।
• डेटा गोपनीयता: रोगियों को अपने स्वास्थ्य डेटा की गोपनीयता के बारे में चिंता हो सकती है, खासकर यदि इसका उपयोग एआई मॉडल को प्रशिक्षित करने के लिए किया जा रहा है। सूचित सहमति प्राप्त करना और रोगी डेटा की रक्षा करना आवश्यक है।
• पारदर्शिता और व्याख्या: एआई मॉडल पारदर्शी और व्याख्या योग्य होने चाहिए, ताकि रोगी समझ सकें कि वे अपनी सिफारिशों पर कैसे पहुंचते हैं। यह एआई में विश्वास बनाने में मदद कर सकता है।
• जवाबदेही: एआई सिस्टम द्वारा लिए गए निर्णयों के लिए जवाबदेही की स्पष्ट लाइनें स्थापित करना महत्वपूर्ण है। यदि एआई मॉडल गलत निदान करता है या अनुचित उपचार की सिफारिश करता है तो कौन जिम्मेदार है?

आगे का रास्ता

स्वास्थ्य सेवा में एआई के एकीकरण में रोगी देखभाल में सुधार, लागत को कम करने और स्वास्थ्य सेवा प्रणालियों की दक्षता बढ़ाने की अपार क्षमता है। हालांकि, सावधानी के साथ इस एकीकरण तक पहुंचना और संभावित जोखिमों और चुनौतियों का समाधान करना महत्वपूर्ण है। एक जिम्मेदार और नैतिक दृष्टिकोण अपनाकर, हम स्वास्थ्य सेवा को बेहतर बनाने के लिए एआई की शक्ति का उपयोग कर सकते हैं।