Satu pasukan penyelidik Cina telah menyuarakan kebimbangan mengenai penyepaduan pantas DeepSeek, model kecerdasan buatan (AI), ke dalam persekitaran hospital. Analisis mereka menekankan potensi bahaya kepada keselamatan klinikal dan privasi data, terutamanya disebabkan penggunaan meluas model sumber terbuka yang ekonomik startup itu.
Menjelang awal Mac, model bahasa besar (LLM) DeepSeek telah pun digunakan di sekurang-kurangnya 300 hospital Cina untuk diagnostik klinikal dan sokongan keputusan perubatan.
Diterbitkan dalam Journal of the American Medical Association (JAMA), kertas penyelidikan itu menunjukkan kecenderungan DeepSeek untuk menjana output yang kelihatan meyakinkan tetapi tidak tepat dari segi fakta. Walaupun keupayaan penaakulan AI yang mantap, ini boleh mewujudkan risiko klinikal yang ketara. Wong Tien Yin, ketua pengasas Tsinghua Medicine, bahagian penyelidikan di Universiti Tsinghua di Beijing, ialah ahli pasukan penyelidik.
Nota berhati-hati ini berbeza dengan semangat yang berlaku untuk DeepSeek di China. Startup itu, yang diraikan kerana model V3 dan R1 yang berpatutan dan berprestasi tinggi, telah menjadi simbol kemajuan AI China.
Wong dan pengarang bersamanya menekankan risiko bahawa profesional penjagaan kesihatan mungkin menjadi terlalu bergantung pada atau menerima output DeepSeek tanpa penilaian kritikal. Ini boleh membawa kepada kesilapan dalam diagnosis atau pelan rawatan berat sebelah. Sebaliknya, doktor yang kekal berhati-hati akan menghadapi beban tambahan untuk mengesahkan output AI dalam kekangan masa.
Risiko Keselamatan dalam Penggunaan di Tapak
Walaupun hospital sering memilih penggunaan model DeepSeek secara peribadi di tapak untuk mengurangkan risiko yang berkaitan dengan keselamatan dan privasi, pendekatan ini memperkenalkan komplikasi tersendiri. Menurut penyelidik, ia “mengalihkan tanggungjawab keselamatan kepada kemudahan penjagaan kesihatan individu,” yang kebanyakannya mungkin kekurangan pertahanan keselamatan siber yang diperlukan.
Para penyelidik juga menyatakan bahawa gabungan infrastruktur penjagaan primer yang tidak mencukupi dan penggunaan telefon pintar yang meluas di China mewujudkan “ribut sempurna” yang memburukkan kebimbangan tentang keselamatan klinikal.
Para penyelidik menyatakan, “Populasi yang kurang mendapat perkhidmatan dengan keperluan perubatan yang kompleks kini mempunyai akses yang belum pernah terjadi sebelumnya kepada cadangan kesihatan yang didorong oleh AI, tetapi seringkali kekurangan pengawasan klinikal yang diperlukan untuk pelaksanaan yang selamat.”
Pemeriksaan LLM dalam Tetapan Penjagaan Kesihatan
Kertas ini menyumbang kepada perbualan yang semakin meningkat tentang penggunaan LLM dalam tetapan klinikal dan perubatan. Organisasi lain di China juga mula meneliti LLM sebagai penggunaan yang dipercepatkan. Kertas lain yang diterbitkan bulan lepas oleh penyelidik di Universiti Cina Hong Kong meneliti kelemahan keselamatan siber ejen AI, dan mendapati bahawa yang dikuasakan oleh LLM yang biasa digunakan terdedah kepada pelbagai serangan, dengan DeepSeek-R1 menjadi yang paling mudah terdedah.
China telah mempercepatkan penggunaan LLM dalam penjagaan kesihatan di tengah-tengah lonjakan dalam teknologi AI generatif. Bulan lepas, Ant Group, sebuah syarikat teknologi kewangan China, memperkenalkan hampir 100 ejen perubatan AI pada aplikasi pembayaran Alipaynya. Ejen ini disokong oleh pakar perubatan dari hospital Cina yang terkemuka.
Tairex, sebuah startup yang diinkubasi di Universiti Tsinghua, memulakan ujian dalaman platform hospital maya pada bulan November. Platform ini menampilkan 42 doktor AI yang meliputi 21 jabatan, termasuk kecemasan, pernafasan, pediatrik dan kardiologi. Syarikat itu mendedahkan rancangan untuk melancarkan platform itu kepada orang ramai kemudian pada tahun ini.
Menyelam Lebih Dalam ke dalam Kebimbangan Sekitar AI dalam Penjagaan Kesihatan
Penyepaduan pesat AI, terutamanya model bahasa besar (LLM) seperti DeepSeek, ke dalam persekitaran penjagaan kesihatan di China telah mencetuskan perdebatan antara mereka yang memperjuangkan potensi manfaatnya dan mereka yang menggesa berhati-hati. Walaupun AI menawarkan kemungkinan yang menarik untuk meningkatkan diagnostik, rawatan dan akses kepada penjagaan, beberapa faktor memerlukan pendekatan yang lebih terukur. Kebimbangan yang dibangkitkan oleh penyelidik menyerlahkan kerumitan dan potensi perangkap penggunaan AI dalam domain yang kritikal seperti itu.
Salah satu kebimbangan utama ialah kebolehpercayaan maklumat yang dijana AI. LLM dilatih pada set data yang luas, tetapi set data ini mungkin mengandungi berat sebelah, ketidaktepatan atau maklumat yang lapuk. Akibatnya, model AI kadangkala boleh menjana output yang kelihatan munasabah tetapi sebenarnya tidak betul. Ini menimbulkan risiko yang ketara dalam tetapan perubatan, di mana ralat diagnostik atau cadangan rawatan yang salah boleh membawa kesan yang teruk kepada pesakit.
Risiko Ketergantungan Berlebihan pada AI
Satu lagi kebimbangan ialah potensi profesional penjagaan kesihatan menjadi terlalu bergantung pada AI dan kehilangan kemahiran berfikir kritis mereka. Jika doktor dan jururawat mula menganggap output AI sebagai tidak mungkin salah, mereka mungkin gagal untuk menilai keadaan pesakit dengan secukupnya, terlepas pandang butiran penting atau mempersoalkan cadangan AI. Ini boleh membawa kepada ralat diagnostik, rawatan yang tidak sesuai, dan penurunan dalam kualiti penjagaan.
Tambahan pula, penggunaan AI yang meluas menimbulkan persoalan etika dan sosial tentang privasi data, berat sebelah algoritma dan potensi penggantian kerja. Pesakit mungkin bimbang tentang keselamatan dan kerahsiaan data kesihatan mereka, terutamanya jika ia digunakan untuk melatih model AI. Berat sebelah algoritma juga boleh mengekalkan dan memburukkan lagi perbezaan kesihatan sedia ada jika model AI dilatih pada data yang tidak menggambarkan ketepatan kepelbagaian penduduk.
Mencari Keseimbangan Antara Inovasi dan Keberhati-hatian
Untuk mengurangkan risiko ini, adalah penting untuk mengamalkan pendekatan yang lebih berhati-hati dan bertanggungjawab terhadap integrasi AI dalam penjagaan kesihatan. Ini termasuk:
- Ujian dan Pengesahan Rapi: Sebelum menggunakan model AI dalam tetapan klinikal, ia harus diuji dan disahkan dengan teliti pada populasi yang pelbagai untuk memastikan ketepatan, kebolehpercayaan dan keadilannya.
- Pengawasan Manusia: AI harus digunakan sebagai alat untuk menambah, bukan menggantikan, pertimbangan manusia. Profesional penjagaan kesihatan harus sentiasa menyemak dan mengesahkan output AI sebelum membuat keputusan klinikal.
- Ketelusan dan Kebolehan untuk Dijelaskan: Model AI harus telus dan boleh dijelaskan, supaya profesional penjagaan kesihatan boleh memahami cara mereka mencapai cadangan mereka. Ini boleh membantu membina kepercayaan dalam AI dan mengenal pasti potensi ralat atau berat sebelah.
- Privasi dan Keselamatan Data: Perlindungan yang teguh harus disediakan untuk melindungi privasi dan keselamatan data pesakit. Ini termasuk mendapatkan persetujuan termaklum, melaksanakan langkah keselamatan yang kukuh, dan mematuhi peraturan perlindungan data.
- Pendidikan dan Latihan: Profesional penjagaan kesihatan harus menerima latihan yang komprehensif tentang cara menggunakan AI dengan berkesan dan bertanggungjawab. Ini termasuk memahami batasan AI, mengenali potensi berat sebelah dan menilai output AI secara kritikal.
Menangani Kelemahan Keselamatan Siber
Kelemahan keselamatan siber ejen AI, seperti yang diketengahkan oleh penyelidik di Universiti Cina Hong Kong, menimbulkan ancaman yang ketara kepada integriti dan keselamatan sistem penjagaan kesihatan. Jika model AI terdedah kepada serangan, pelaku jahat berpotensi untuk memanipulasi output AI, mengakses data pesakit sensitif atau mengganggu operasi penjagaan kesihatan.
Untuk menangani kelemahan ini, adalah penting untuk melaksanakan langkah keselamatan siber yang teguh, seperti:
- Amalan Pengekodan Selamat: Model AI harus dibangunkan menggunakan amalan pengekodan selamat untuk mengelakkan kelemahan seperti suntikan SQL, skrip rentas tapak dan limpahan penimbal.
- Audit Keselamatan Berkala: Sistem AI harus menjalani audit keselamatan berkala untuk mengenal pasti dan menangani potensi kelemahan.
- Sistem Pengesanan dan Pencegahan Pencerobohan: Sistem pengesanan dan pencegahan pencerobohan harus dilaksanakan untuk memantau sistem AI untuk aktiviti berniat jahat dan untuk mengelakkan akses tanpa kebenaran.
- Penyulitan Data: Data pesakit sensitif harus disulitkan semasa transit dan semasa rehat untuk melindunginya daripada akses tanpa kebenaran.
- Kawalan Akses: Kawalan akses yang ketat harus dilaksanakan untuk mengehadkan akses kepada sistem dan data AI kepada kakitangan yang diberi kuasa.
Pertimbangan Etika
Di sebalik cabaran teknikal, integrasi AI dalam penjagaan kesihatan menimbulkan beberapa pertimbangan etika penting. Ini termasuk:
- Berat Sebelah Algoritma: Model AI boleh mengekalkan dan memburukkan lagi perbezaan kesihatan sedia ada jika ia dilatih pada data yang tidak menggambarkan ketepatan kepelbagaian penduduk. Adalah penting untuk memastikan bahawa model AI adalah adil dan tidak berat sebelah.
- Privasi Data: Pesakit mungkin bimbang tentang privasi data kesihatan mereka, terutamanya jika ia digunakan untuk melatih model AI. Adalah penting untuk mendapatkan persetujuan termaklum dan untuk melindungi data pesakit.
- Ketelusan dan Kebolehan untuk Dijelaskan: Model AI harus telus dan boleh dijelaskan, supaya pesakit boleh memahami cara ia mencapai cadangan mereka. Ini boleh membantu membina kepercayaan dalam AI.
- Akauntabiliti: Adalah penting untuk mewujudkan garis akauntabiliti yang jelas untuk keputusan yang dibuat oleh sistem AI. Siapa yang bertanggungjawab jika model AI membuat diagnosis yang salah atau mengesyorkan rawatan yang tidak sesuai?
Jalan ke Hadapan
Integrasi AI dalam penjagaan kesihatan memegang potensi yang besar untuk meningkatkan penjagaan pesakit, mengurangkan kos dan meningkatkan kecekapan sistem penjagaan kesihatan. Walau bagaimanapun, adalah penting untuk mendekati integrasi ini dengan berhati-hati dan untuk menangani potensi risiko dan cabaran. Dengan mengamalkan pendekatan yang bertanggungjawab dan beretika, kita boleh memanfaatkan kuasa AI untuk mengubah penjagaan kesihatan menjadi lebih baik.