צוות חוקרים סיני הביע דאגה לגבי שילוב מהיר של DeepSeek, מודל בינה מלאכותית, במסגרות בתי חולים. הניתוח שלהם מדגיש סכנות אפשריות לבטיחות קלינית ולפרטיות נתונים, במיוחד עקב השימוש הנרחב במודלים זולים בקוד פתוח של הסטארט-אפ.
בתחילת מרץ, מודלי שפה גדולים (LLMs) של DeepSeek כבר הועסקו לפחות ב-300 בתי חולים סיניים לאבחון קליני ותמיכה בהחלטות רפואיות.
מאמר המחקר, שפורסם ב-Journal of the American Medical Association (JAMA), מצביע על הנטייה של DeepSeek ליצור פלטים שנראים משכנעים אך אינם מדויקים עובדתית. למרות יכולות ההנמקה החזקות של הבינה המלאכותית, הדבר עלול ליצור סיכונים קליניים משמעותיים. וונג טיין יין, ראש מייסד של Tsinghua Medicine, חטיבת מחקר באוניברסיטת צינגהואה בבייג’ינג, הוא חבר בצוות המחקר.
הערת אזהרה זו עומדת בניגוד להתלהבות הרווחת מ-DeepSeek בסין. הסטארט-אפ, שנחגג בזכות מודלי V3 ו-R1 הזולים והביצועים הגבוהים שלו, הפך לסמל של התקדמות הבינה המלאכותית של סין.
וונג ועמיתיו הדגישו את הסיכון שאנשי מקצוע בתחום הבריאות עלולים להיות תלויים מדי או לקבל את הפלטים של DeepSeek ללא הערכה ביקורתית. זה עלול להוביל לשגיאות באבחון או לתוכניות טיפול מוטות. לעומת זאת, רופאים שיישארו זהירים יעמדו בפני הנטל הנוסף של אימות פלטי בינה מלאכותית באילוצי זמן.
סיכוני אבטחה בפריסה באתר
בעוד שבתי חולים בוחרים לעתים קרובות בפריסות פרטיות באתר של מודלי DeepSeek כדי להפחית את הסיכונים הקשורים לאבטחה ולפרטיות, גישה זו מציגה מערכת סיבוכים משלה. לדברי החוקרים, זה “מעביר את אחריות האבטחה למתקני בריאות בודדים”, שרבים מהם עשויים להיות חסרים את ההגנות הנדרשות בתחום הסייבר.
החוקרים ציינו גם כי השילוב של תשתית טיפול ראשוני לא מספקת ושימוש נרחב בסמארטפונים בסין יוצר “סערה מושלמת” המחמירה את החששות לגבי בטיחות קלינית.
החוקרים מציינים, “לאוכלוסיות מוחלשות עם צרכים רפואיים מורכבים יש כעת גישה חסרת תקדים להמלצות בריאות המונעות על ידי בינה מלאכותית, אך לרוב חסר להן הפיקוח הקליני הדרוש ליישום בטוח”.
בדיקה מדוקדקת של LLM במסגרות בריאות
מאמר זה תורם לשיחות גוברות על השימוש ב-LLM במסגרות קליניות ורפואיות. גם ארגונים אחרים בסין מתחילים לבדוק בקפידה LLM עם האצת האימוץ. מאמר נוסף שפורסם בחודש שעבר על ידי חוקרים מהאוניברסיטה הסינית של הונג קונג בחן את נקודות התורפה של סוכני בינה מלאכותית בתחום הסייבר, וגילה שאלה המופעלים על ידי LLM הנפוצים היו פגיעים להתקפות שונות, כאשר DeepSeek-R1 הוא הפגיע ביותר.
סין זירזה את אימוץ LLM בתחום הבריאות על רקע זינוק בטכנולוגיות בינה מלאכותית גנרטיבית. בחודש שעבר, Ant Group, חברת טכנולוגיה פיננסית סינית, הציגה כמעט 100 סוכנים רפואיים של בינה מלאכותית באפליקציית התשלומים שלה Alipay. סוכנים אלה נתמכים על ידי מומחים רפואיים מבתי חולים סיניים בולטים.
Tairex, סטארט-אפ שבקע באוניברסיטת צינגהואה, יזם בדיקות פנימיות של פלטפורמת בית חולים וירטואלי בנובמבר. הפלטפורמה כוללת 42 רופאי AI המכסים 21 מחלקות, כולל חירום, נשימה, ילדים וקרדיולוגיה. החברה חשפה תוכניות להשיק את הפלטפורמה לציבור בהמשך השנה.
צלילה עמוקה יותר לחששות סביב AI בתחום הבריאות
השילוב המהיר של בינה מלאכותית, במיוחד מודלי שפה גדולים (LLM) כמו DeepSeek, במסגרות בריאות בסין, עורר ויכוח בין אלה התומכים ביתרונות הפוטנציאליים שלה לבין אלה המפצירים לנקוט משנה זהירות. בעוד שבינה מלאכותית מציעה אפשרויות מרגשות לשיפור האבחון, הטיפול והגישה לטיפול, מספר גורמים מצדיקים גישה שקולה יותר. החששות שהועלו על ידי חוקרים מדגישים את המורכבויות והמלכודות הפוטנציאליות של פריסת בינה מלאכותית בתחום קריטי כזה.
אחד החששות העיקריים הוא אמינות המידע המופק על ידי בינה מלאכותית. LLM מאומנים על מערכי נתונים עצומים, אך מערכי נתונים אלה עשויים להכיל הטיות, אי דיוקים או מידע מיושן. כתוצאה מכך, מודלים של בינה מלאכותית יכולים לפעמים ליצור פלטים שנראים סבירים, אך למעשה אינם נכונים. זה מעלה סיכון משמעותי במסגרות רפואיות, שבהן שגיאות אבחון או המלצות טיפול שגויות עלולות להיות בעלות השלכות חמורות על המטופלים.
הסיכון של הסתמכות יתר על בינה מלאכותית
חשש נוסף הוא הפוטנציאל שאנשי מקצוע בתחום הבריאות יהפכו תלויים מדי בבינה מלאכותית ויאבדו את כישורי החשיבה הביקורתית שלהם. אם רופאים ואחיות יתחילו להתייחס לפלטי בינה מלאכותית כאל בלתי ניתנים לטעות, הם עלולים להיכשל בהערכה נאותה של מצבם של המטופלים, להתעלם מפרטים חשובים או להטיל ספק בהמלצות של הבינה המלאכותית. זה יכול להוביל לשגיאות אבחון, טיפולים לא הולמים וירידה באיכות הטיפול.
יתר על כן, האימוץ הנרחב של בינה מלאכותית מעלה שאלות אתיות וחברתיות לגבי פרטיות נתונים, הטיות אלגוריתמיות והפוטנציאל לעקירת עובדים. מטופלים עשויים להיות מודאגים לגבי האבטחה והסודיות של נתוני הבריאות שלהם, במיוחד אם הם משמשים לאימון מודלים של בינה מלאכותית. הטיות אלגוריתמיות יכולות גם להנציח ולהחריף פערים בריאותיים קיימים אם מודלים של בינה מלאכותית מאומנים על נתונים שאינם משקפים במדויק את מגוון האוכלוסייה.
יצירת איזון בין חדשנות לזהירות
כדי להפחית את הסיכונים הללו, חיוני לאמץ גישה זהירה ואחראית יותר לשילוב הבינה המלאכותית בתחום הבריאות. זה כולל:
- בדיקה ותיקוף קפדניים: לפני פריסת מודלים של בינה מלאכותית במסגרות קליניות, יש לבדוק ולאמת אותם ביסודיות על אוכלוסיות מגוונות כדי להבטיח את הדיוק, האמינות וההגינות שלהם.
- פיקוח אנושי: יש להשתמש בבינה מלאכותית ככלי להגדלה, לא להחלפה, של שיקול הדעת האנושי. אנשי מקצוע בתחום הבריאות צריכים תמיד לבדוק ולאמת את הפלטים של הבינה המלאכותית לפני קבלת החלטות קליניות.
- שקיפות ויכולת הסבר: מודלים של בינה מלאכותית צריכים להיות שקופים וניתנים להסבר, כך שאנשי מקצוע בתחום הבריאות יוכלו להבין כיצד הם מגיעים להמלצות שלהם. זה יכול לעזור לבנות אמון בבינה המלאכותית ולזהות טעויות או הטיות פוטנציאליות.
- פרטיות ואבטחת נתונים: יש לנקוט באמצעי הגנה חזקים כדי להגן על הפרטיות והאבטחה של נתוני המטופלים. זה כולל קבלת הסכמה מדעת, יישום אמצעי אבטחה חזקים ועמידה בתקנות הגנת נתונים.
- חינוך והכשרה: אנשי מקצוע בתחום הבריאות צריכים לקבל הכשרה מקיפה כיצד להשתמש בבינה מלאכותית ביעילות ובאחריות. זה כולל הבנת המגבלות של בינה מלאכותית, זיהוי הטיות פוטנציאליות והערכה ביקורתית של פלטי בינה מלאכותית.
טיפול בפגיעויות בתחום הסייבר
פגיעויות הסייבר של סוכני בינה מלאכותית, כפי שהודגשו על ידי החוקרים מהאוניברסיטה הסינית של הונג קונג, מהוות איום משמעותי על היושרה והאבטחה של מערכות הבריאות. אם מודלים של בינה מלאכותית רגישים להתקפות, שחקנים זדוניים עלולים לתמרן את הפלטים של הבינה המלאכותית, לגשת לנתוני מטופלים רגישים או לשבש את פעולות הבריאות.
כדי לטפל בפגיעויות אלה, חיוני ליישם אמצעי אבטחת סייבר חזקים, כגון:
- שיטות קידוד מאובטח: יש לפתח מודלים של בינה מלאכותית באמצעות שיטות קידוד מאובטח כדי למנוע פגיעויות כגון הזרקת SQL, סקריפטים בין אתרים והצפות חוצץ.
- ביקורות אבטחה קבועות: מערכות בינה מלאכותית צריכות לעבור ביקורות אבטחה קבועות כדי לזהות ולטפל בפגיעויות פוטנציאליות.
- מערכות זיהוי ומניעת חדירות: יש ליישם מערכות זיהוי ומניעת חדירות כדי לנטר מערכות בינה מלאכותית לאיתור פעילות זדונית ולמנוע גישה לא מורשית.
- הצפנת נתונים: יש להצפין נתוני מטופלים רגישים הן במעבר והן במנוחה כדי להגן עליהם מפני גישה לא מורשית.
- בקרת גישה: יש ליישם בקרת גישה קפדנית כדי להגביל את הגישה למערכות ונתונים של בינה מלאכותית לאנשי צוות מורשים.
שיקולים אתיים
מעבר לאתגרים הטכניים, שילוב הבינה המלאכותית בתחום הבריאות מעלה מספר שיקולים אתיים חשובים. אלה כוללים:
- הטיות אלגוריתמיות: מודלים של בינה מלאכותית יכולים להנציח ולהחריף פערים בריאותיים קיימים אם הם מאומנים על נתונים שאינם משקפים במדויק את מגוון האוכלוסייה. חיוני להבטיח שמודלים של בינה מלאכותית יהיו הוגנים ונטולי הטיות.
- פרטיות נתונים: מטופלים עשויים להיות מודאגים לגבי הפרטיות של נתוני הבריאות שלהם, במיוחד אם הם משמשים לאימון מודלים של בינה מלאכותית. חיוני לקבל הסכמה מדעת ולהגן על נתוני המטופלים.
- שקיפות ויכולת הסבר: מודלים של בינה מלאכותית צריכים להיות שקופים וניתנים להסבר, כך שהמטופלים יוכלו להבין כיצד הם מגיעים להמלצות שלהם. זה יכול לעזור לבנות אמון בבינה המלאכותית.
- אחריותיות: חשוב לבסס קווי אחריות ברורים להחלטות המתקבלות על ידי מערכות בינה מלאכותית. מי אחראי אם מודל בינה מלאכותית מבצע אבחנה שגויה או ממליץ על טיפול לא הולם?
הדרך קדימה
לשילוב הבינה המלאכותית בתחום הבריאות יש פוטנציאל עצום לשפר את הטיפול בחולים, להפחית עלויות ולשפר את היעילות של מערכות הבריאות. עם זאת, חיוני לגשת לשילוב זה בזהירות ולטפל בסיכונים ובאתגרים הפוטנציאליים. על ידי אימוץ גישה אחראית ואתית, נוכל לרתום את כוחה של הבינה המלאכותית כדי לשנות את שירותי הבריאות לטובה.