Kekhawatiran Muncul Mengenai Adopsi Cepat DeepSeek AI di Rumah Sakit Tiongkok
Sebuah tim peneliti Tiongkok telah menyuarakan kekhawatiran mengenai integrasi cepat DeepSeek, sebuah model kecerdasan buatan (AI), ke dalam lingkungan rumah sakit. Analisis mereka menyoroti potensi bahaya bagi keselamatan klinis dan privasi data, terutama karena penggunaan luas model sumber terbuka ekonomis dari start-up tersebut.
Pada awal Maret, model bahasa besar (LLM) DeepSeek sudah digunakan di setidaknya 300 rumah sakit Tiongkok untuk diagnostik klinis dan dukungan pengambilan keputusan medis.
Diterbitkan dalam Journal of the American Medical Association (JAMA), makalah penelitian tersebut menunjuk pada kecenderungan DeepSeek untuk menghasilkan keluaran yang tampak meyakinkan tetapi faktanya tidak akurat. Terlepas dari kemampuan penalaran AI yang kuat, ini dapat menciptakan risiko klinis yang signifikan. Wong Tien Yin, kepala pendiri Tsinghua Medicine, sebuah divisi penelitian di Tsinghua University di Beijing, adalah anggota tim peneliti.
Catatan peringatan ini berbeda dengan antusiasme yang berlaku untuk DeepSeek di Tiongkok. Start-up ini, yang dirayakan karena model V3 dan R1 yang terjangkau dan berkinerja tinggi, telah menjadi simbol kemajuan AI Tiongkok.
Wong dan rekan penulisnya menekankan risiko bahwa profesional perawatan kesehatan mungkin menjadi terlalu bergantung pada atau menerima keluaran DeepSeek tanpa evaluasi kritis. Hal ini dapat menyebabkan kesalahan dalam diagnosis atau rencana perawatan yang bias. Sebaliknya, dokter yang tetap berhati-hati akan menghadapi beban tambahan untuk memverifikasi keluaran AI di bawah tekanan waktu.
Risiko Keamanan dalam Penyebaran di Tempat
Sementara rumah sakit sering memilih penyebaran pribadi di tempat model DeepSeek untuk mengurangi risiko yang terkait dengan keamanan dan privasi, pendekatan ini memperkenalkan serangkaian komplikasi tersendiri. Menurut para peneliti, itu “mengalihkan tanggung jawab keamanan ke fasilitas perawatan kesehatan individu,” banyak di antaranya mungkin kekurangan pertahanan dunia maya yang diperlukan.
Para peneliti juga mencatat bahwa kombinasi infrastruktur perawatan primer yang tidak memadai dan penggunaan smartphone yang meluas di Tiongkok menciptakan “badai sempurna” yang memperburuk kekhawatiran tentang keselamatan klinis.
Para peneliti menyatakan, “Populasi yang kurang terlayani dengan kebutuhan medis yang kompleks sekarang memiliki akses yang belum pernah terjadi sebelumnya ke rekomendasi kesehatan yang digerakkan oleh AI, tetapi sering kali kekurangan pengawasan klinis yang diperlukan untuk implementasi yang aman.”
Penelitian Mendalam pada LLM dalam Pengaturan Perawatan Kesehatan
Makalah ini berkontribusi pada percakapan yang berkembang tentang pemanfaatan LLM dalam pengaturan klinis dan medis. Organisasi lain di Tiongkok juga mulai meneliti LLM karena adopsi semakin cepat. Makalah lain yang diterbitkan bulan lalu oleh para peneliti di Chinese University of Hong Kong meneliti kerentanan keamanan siber agen AI, dan menemukan bahwa mereka yang didukung oleh LLM yang umum digunakan rentan terhadap berbagai serangan, dengan DeepSeek-R1 menjadi yang paling rentan.
Tiongkok telah mempercepat adopsi LLM dalam perawatan kesehatan di tengah lonjakan teknologi AI generatif. Bulan lalu, Ant Group, sebuah perusahaan teknologi keuangan Tiongkok, memperkenalkan hampir 100 agen medis AI di aplikasi pembayaran Alipay-nya. Agen-agen ini didukung oleh ahli medis dari rumah sakit Tiongkok terkemuka.
Tairex, sebuah start-up yang diinkubasi di Tsinghua University, memulai pengujian internal platform rumah sakit virtual pada bulan November. Platform ini menampilkan 42 dokter AI yang mencakup 21 departemen, termasuk gawat darurat, pernapasan, pediatri, dan kardiologi. Perusahaan mengungkapkan rencana untuk meluncurkan platform ke publik akhir tahun ini.
Menyelami Lebih Dalam Kekhawatiran Seputar AI dalam Perawatan Kesehatan
Integrasi cepat AI, khususnya model bahasa besar (LLM) seperti DeepSeek, ke dalam pengaturan perawatan kesehatan di Tiongkok telah memicu perdebatan antara mereka yang memperjuangkan potensi manfaatnya dan mereka yang mendesak kehati-hatian. Sementara AI menawarkan kemungkinan yang menarik untuk meningkatkan diagnostik, perawatan, dan akses ke perawatan, beberapa faktor memerlukan pendekatan yang lebih terukur. Kekhawatiran yang diajukan oleh para peneliti menyoroti kompleksitas dan potensi jebakan dari penerapan AI dalam domain yang begitu penting.
Salah satu kekhawatiran utama adalah keandalan informasi yang dihasilkan oleh AI. LLM dilatih pada kumpulan data yang besar, tetapi kumpulan data ini mungkin mengandung bias, ketidakakuratan, atau informasi yang kedaluwarsa. Akibatnya, model AI terkadang dapat menghasilkan keluaran yang tampak masuk akal tetapi sebenarnya salah. Ini menimbulkan risiko yang signifikan dalam pengaturan medis, di mana kesalahan diagnostik atau rekomendasi perawatan yang salah dapat memiliki konsekuensi yang parah bagi pasien.
Risiko Ketergantungan Berlebihan pada AI
Kekhawatiran lain adalah potensi bagi para profesional perawatan kesehatan untuk menjadi terlalu bergantung pada AI dan kehilangan keterampilan berpikir kritis mereka. Jika dokter dan perawat mulai memperlakukan keluaran AI sebagai tidak mungkin salah, mereka mungkin gagal untuk secara memadai menilai kondisi pasien, mengabaikan detail penting, atau mempertanyakan rekomendasi AI. Hal ini dapat menyebabkan kesalahan diagnostik, perawatan yang tidak tepat, dan penurunan kualitas perawatan.
Selanjutnya, adopsi AI yang meluas menimbulkan pertanyaan etis dan sosial tentang privasi data, bias algoritmik, dan potensi perpindahan pekerjaan. Pasien mungkin khawatir tentang keamanan dan kerahasiaan data kesehatan mereka, terutama jika digunakan untuk melatih model AI. Bias algoritmik juga dapat melanggengkan dan memperburuk kesenjangan kesehatan yang ada jika model AI dilatih pada data yang tidak secara akurat mencerminkan keragaman populasi.
Menemukan Keseimbangan Antara Inovasi dan Kehati-hatian
Untuk mengurangi risiko ini, sangat penting untuk mengadopsi pendekatan yang lebih hati-hati dan bertanggung jawab terhadap integrasi AI dalam perawatan kesehatan. Ini termasuk:
- Pengujian dan Validasi yang Ketat: Sebelum menerapkan model AI dalam pengaturan klinis, mereka harus diuji dan divalidasi secara menyeluruh pada populasi yang beragam untuk memastikan akurasi, keandalan, dan keadilan mereka.
- Pengawasan Manusia: AI harus digunakan sebagai alat untuk menambah, bukan mengganti, penilaian manusia. Profesional perawatan kesehatan harus selalu meninjau dan memverifikasi keluaran AI sebelum membuat keputusan klinis.
- Transparansi dan Kemampuan Menjelaskan: Model AI harus transparan dan dapat dijelaskan, sehingga profesional perawatan kesehatan dapat memahami bagaimana mereka sampai pada rekomendasi mereka. Hal ini dapat membantu untuk membangun kepercayaan pada AI dan untuk mengidentifikasi potensi kesalahan atau bias.
- Privasi dan Keamanan Data: Perlindungan yang kuat harus diberlakukan untuk melindungi privasi dan keamanan data pasien. Ini termasuk memperoleh persetujuan yang diinformasikan, menerapkan langkah-langkah keamanan yang kuat, dan mematuhi peraturan perlindungan data.
- Pendidikan dan Pelatihan: Profesional perawatan kesehatan harus menerima pelatihan komprehensif tentang cara menggunakan AI secara efektif dan bertanggung jawab. Ini termasuk memahami batasan AI, mengenali potensi bias, dan secara kritis mengevaluasi keluaran AI.
Mengatasi Kerentanan Keamanan Siber
Kerentanan keamanan siber agen AI, seperti yang disoroti oleh para peneliti di Chinese University of Hong Kong, menimbulkan ancaman signifikan terhadap integritas dan keamanan sistem perawatan kesehatan. Jika model AI rentan terhadap serangan, aktor jahat berpotensi memanipulasi keluaran AI, mengakses data pasien yang sensitif, atau mengganggu operasi perawatan kesehatan.
Untuk mengatasi kerentanan ini, penting untuk menerapkan langkah-langkah keamanan siber yang kuat, seperti:
- Praktik Pemrograman yang Aman: Model AI harus dikembangkan menggunakan praktik pemrograman yang aman untuk mencegah kerentanan seperti injeksi SQL, skrip lintas situs, dan buffer overflow.
- Audit Keamanan Reguler: Sistem AI harus menjalani audit keamanan reguler untuk mengidentifikasi dan mengatasi potensi kerentanan.
- Sistem Deteksi dan Pencegahan Intrusi: Sistem deteksi dan pencegahan intrusi harus diimplementasikan untuk memantau sistem AI untuk aktivitas jahat dan untuk mencegah akses yang tidak sah.
- Enkripsi Data: Data pasien yang sensitif harus dienkripsi baik saat transit maupun saat istirahat untuk melindunginya dari akses yang tidak sah.
- Kontrol Akses: Kontrol akses yang ketat harus diimplementasikan untuk membatasi akses ke sistem dan data AI ke personel yang berwenang.
Pertimbangan Etis
Di luar tantangan teknis, integrasi AI dalam perawatan kesehatan menimbulkan sejumlah pertimbangan etis penting. Ini termasuk:
- Bias Algoritmik: Model AI dapat melanggengkan dan memperburuk kesenjangan kesehatan yang ada jika mereka dilatih pada data yang tidak secara akurat mencerminkan keragaman populasi. Sangat penting untuk memastikan bahwa model AI adil dan tidak bias.
- Privasi Data: Pasien mungkin khawatir tentang privasi data kesehatan mereka, terutama jika digunakan untuk melatih model AI. Penting untuk memperoleh persetujuan yang diinformasikan dan untuk melindungi data pasien.
- Transparansi dan Kemampuan Menjelaskan: Model AI harus transparan dan dapat dijelaskan, sehingga pasien dapat memahami bagaimana mereka sampai pada rekomendasi mereka. Hal ini dapat membantu untuk membangun kepercayaan pada AI.
- Akuntabilitas: Penting untuk menetapkan garis akuntabilitas yang jelas untuk keputusan yang dibuat oleh sistem AI. Siapa yang bertanggung jawab jika model AI membuat diagnosis yang salah atau merekomendasikan perawatan yang tidak tepat?
Jalan ke Depan
Integrasi AI dalam perawatan kesehatan memiliki potensi besar untuk meningkatkan perawatan pasien, mengurangi biaya, dan meningkatkan efisiensi sistem perawatan kesehatan. Namun, sangat penting untuk mendekati integrasi ini dengan hati-hati dan untuk mengatasi potensi risiko dan tantangan. Dengan mengadopsi pendekatan yang bertanggung jawab dan etis, kita dapat memanfaatkan kekuatan AI untuk mengubah perawatan kesehatan menjadi lebih baik.