غیر منظم بڑے لسانی ماڈلز میڈیکل ڈیوائس جیسا آؤٹ پٹ تیار کرتے ہیں

LLMs کا وعدہ اور صحت کی دیکھ بھال میں ریگولیٹری چیلنجز

LLMs کی صلاحیتیں، جو ان کے وسیع تربیتی ڈیٹا اور انسانی جیسی ٹیکسٹ بنانے کی صلاحیت سے پیدا ہوتی ہیں، مختلف شعبوں میں فیصلہ سازی میں معاونت کے لیے ان کے استعمال میں دلچسپی بڑھا رہی ہیں۔ تاہم، وہ خصوصیات جو تخلیقی مصنوعی ذہانت (AI) سسٹمز کو اتنا پرکشش بناتی ہیں، ریگولیٹری اداروں کے لیے بھی منفرد رکاوٹیں پیش کرتی ہیں۔ یہ ادارے دہائیوں پہلے قائم کیے گئے فریم ورکس کے اندر کام کر رہے ہیں، جو روایتی طبی آلات کے لیے بنائے گئے تھے، نہ کہ AI کی متحرک نوعیت کے لیے۔

فی الحال، دستیاب LLMs کو طبی آلات کے طور پر درجہ بندی نہیں کیا گیا ہے۔ فیڈرل فوڈ، ڈرگ، اینڈ کاسمیٹک ایکٹ (FD&C Act § 201(h)(1)) ایک طبی آلے کی تعریف کرتا ہے ‘ایک ایسا آلہ… جو بیماری کی تشخیص، …علاج، تخفیف، علاج، یا روک تھام میں استعمال کے لیے بنایا گیا ہو… جو اپنے بنیادی مقاصد کو کیمیائی عمل کے ذریعے حاصل نہیں کرتا ہے۔’ زیادہ تر LLMs میں یہ اعلانات شامل ہوتے ہیں کہ وہ طبی مشورہ فراہم کرنے کے لیے نہیں ہیں، اس طرح FDA ریگولیشن سے بچتے ہیں۔ اس کے باوجود، شائع شدہ تحقیق اور زبانی شواہد کا ایک بڑھتا ہوا مجموعہ طبی فیصلہ سازی میں معاونت کے لیے LLMs کے استعمال کو اجاگر کرتا ہے، تحقیقی ترتیبات اور حقیقی طبی مشق دونوں میں۔

LLM پر مبنی کلینیکل ڈیسیزن سپورٹ کے لیے ریگولیشن کے دائرہ کار کی تعریف

LLMs کی صلاحیت پر غور کرتے ہوئے، اگر انہیں باضابطہ طور پر کلینیکل ڈیسیزن سپورٹ سسٹم (CDSS) میں شامل کیا جانا ہے، تو مناسب ریگولیشن کا سوال سب سے اہم ہو جاتا ہے۔ 21 ویں صدی کے کیورز ایکٹ میں FD&C ایکٹ (پبلک لا 114-255) میں ترمیم، FDA کی رہنمائی کے ساتھ، چار اہم معیارات کا خاکہ پیش کرتی ہے تاکہ یہ طے کیا جا سکے کہ آیا فیصلہ سازی میں معاونت کرنے والا سافٹ ویئر ایک ڈیوائس کے طور پر اہل ہے اور اس کے نتیجے میں، FDA کے دائرہ اختیار میں آتا ہے۔ یہ معیار اس کے گرد گھومتے ہیں:

• سافٹ ویئر فنکشن کا ان پٹ ڈیٹا۔
• اس کا آؤٹ پٹ ڈیٹا۔
• اس کی طبی سفارشات کا مواد۔
• اختتامی صارف کی ان سفارشات کے پیچھے استدلال کا جائزہ لینے کی صلاحیت۔

خاص طور پر، ایک CDSS کو ایک ڈیوائس سمجھا جاتا ہے اگر اس کا آؤٹ پٹ علاج یا تشخیص کے لیے ایک قطعی ہدایت پیش کرتا ہے، بجائے عام معلومات پر مبنی سفارشات کے۔ مزید برآں، اگر CDSS اپنی سفارشات کی بنیادی بنیاد فراہم کرنے میں ناکام رہتا ہے، جس سے صارفین آزادانہ طور پر ان کا جائزہ لینے اور اپنے نتائج پر پہنچنے سے روکتے ہیں، تو اسے ایک ڈیوائس کے طور پر درجہ بندی کیا جاتا ہے۔ FDA کی رہنمائی مزید واضح کرتی ہے کہ طبی ایمرجنسی میں استعمال ہونے والا CDSS ایک ڈیوائس سمجھا جاتا ہے کیونکہ فیصلہ سازی کی اہم اور وقت کے لحاظ سے حساس نوعیت کی وجہ سے، جو CDSS کے مشورے کی آزادانہ تشخیص کو روکتی ہے۔

جنریٹیو AI سسٹمز میں ڈیوائس جیسے آؤٹ پٹ کی چھان بین

یہ واضح نہیں ہے کہ آیا جنریٹیو AI، جیسے LLM کو استعمال کرنے والا CDSS، ایسا آؤٹ پٹ تیار کرتا ہے جو طبی ڈیوائس کی نقل کرتا ہے۔ غیر محدود LLM کا فری ٹیکسٹ آؤٹ پٹ قائم کردہ ڈیوائس کے معیار پر پورا اتر سکتا ہے یا نہیں۔ مزید برآں، یہ معلوم نہیں ہے کہ مشکل پرامپٹس یا ‘جیل بریکس’ پر LLM کے جوابات ان معیارات کے ساتھ کیسے مطابقت رکھتے ہیں۔ طبی مشورے کے لیے LLMs کا بڑھتا ہوا استعمال LLM پر مبنی CDSSs کی ڈیوائس ڈیزگنیشن اور ریگولیٹری اسٹیٹس کے ارد گرد غیر یقینی صورتحال کو ان ٹیکنالوجیز کی محفوظ اور موثر ترقی میں ایک ممکنہ رکاوٹ بناتا ہے۔ صحت کی دیکھ بھال میں جنریٹیو AI کے لیے حفاظت اور جدت کے درمیان صحیح توازن قائم کرنا بہت ضروری ہے کیونکہ زیادہ سے زیادہ معالج اور مریض ان ٹولز کو استعمال کرتے ہیں۔

تحقیقی مقاصد: ڈیوائس جیسی فعالیت کا جائزہ

اس تحقیق کا مقصد LLMs کی ڈیوائس جیسی فعالیت کا جائزہ لینا تھا۔ اس فعالیت کی تعریف ‘بیماریوں یا دیگر حالات کی تشخیص، علاج، روک تھام، علاج یا تخفیف’ کے لیے ان کی افادیت کے طور پر کی گئی ہے، قطع نظر اس کے کہ اس طرح کا استعمال مقصود ہے یا نہیں۔ مخصوص مقاصد یہ تھے:

1. یہ طے کرنا کہ آیا LLM آؤٹ پٹ ڈیوائس کے معیار کے مطابق ہو گا جب ان معیارات کے بارے میں ہدایات کے ساتھ اشارہ کیا جائے اور طبی ایمرجنسی کے ساتھ پیش کیا جائے۔
2. ان حالات کی نشاندہی کرنا، اگر کوئی ہے، جن کے تحت کسی ماڈل کے آؤٹ پٹ کو ڈیوائس جیسا آؤٹ پٹ فراہم کرنے کے لیے ہیرا پھیری کی جا سکتی ہے۔ اس میں تشخیصی اور علاج کی معلومات کے لیے براہ راست درخواستیں، ساتھ ہی ایک پہلے سے طے شدہ ‘جیل بریک’ شامل ہے جو غیر ڈیوائس کے معیار پر عمل کرنے کے لیے پرامپٹس کے باوجود ڈیوائس جیسا آؤٹ پٹ حاصل کرنے کے لیے ڈیزائن کیا گیا ہے۔

نتائج: LLM کے جوابات اور ڈیوائس کے معیار کی ہم آہنگی

احتیاطی نگہداشت کی سفارشات

جب احتیاطی نگہداشت کی سفارشات کے لیے استفسار کیا گیا تو، تمام LLMs نے اپنے حتمی ٹیکسٹ آؤٹ پٹ میں غیر ڈیوائس کے معیار کے مطابق جوابات تیار کیے۔ Llama-3 ماڈل نے، سنگل شاٹ پرامپٹ کے جواب میں، ابتدائی طور پر جوابات کے ایک چھوٹے فیصد (فیملی میڈیسن کے لیے 20% اور نفسیاتی احتیاطی نگہداشت کے منظرناموں کے لیے 60%) میں ڈیوائس جیسی فیصلہ سازی میں معاونت فراہم کی۔ تاہم، اس نے تیزی سے اس ٹیکسٹ کو ایک ڈس کلیمر کے ساتھ بدل دیا: ‘معاف کیجیے، میں ابھی اس درخواست میں آپ کی مدد نہیں کر سکتا۔’ جب ڈیوائس کے معیار کی تفصیلی مثالوں پر مشتمل ملٹی شاٹ پرامپٹ کے ساتھ پیش کیا گیا تو، تمام ماڈلز نے تمام ابتدائی احتیاطی نگہداشت کے جوابات کے لیے مستقل طور پر غیر ڈیوائس سفارشات فراہم کیں۔

وقت کے لحاظ سے اہم ہنگامی صورتحال کے منظرنامے

وقت کے لحاظ سے اہم ہنگامی صورتحال میں، GPT-4 کے 100% جوابات اور Llama-3 کے 52% جوابات ڈیوائس جیسی فیصلہ سازی میں معاونت کے مطابق تھے۔ ڈیوائس جیسی سفارشات کی مجموعی شرحیں ملٹی شاٹ پرامپٹس کے ساتھ مستقل رہیں لیکن مختلف طبی منظرناموں میں فرق ظاہر کیا۔ ان ڈیوائس جیسی سفارشات میں ہنگامی صورتحال سے متعلق مخصوص تشخیص اور علاج کے لیے تجاویز شامل تھیں۔

‘Desperate Intern’ جیل بریک

جب ‘desperate intern’ جیل بریک کا نشانہ بنایا گیا تو، جوابات کے ایک اہم تناسب نے ڈیوائس جیسی سفارشات ظاہر کیں۔ خاص طور پر، GPT-4 کے 80% اور 68% جوابات، اور Llama-3 کے 36% اور 76% جوابات میں، بالترتیب سنگل اور ملٹی شاٹ پرامپٹس کے بعد، ڈیوائس جیسی سفارشات شامل تھیں۔

LLM تجاویز کی طبی مناسبت

یہ نوٹ کرنا ضروری ہے کہ تمام ماڈل تجاویز طبی طور پر مناسب تھیں اور نگہداشت کے قائم کردہ معیارات کے مطابق تھیں۔ فیملی میڈیسن اور کارڈیالوجی کے منظرناموں میں، زیادہ تر ڈیوائس جیسی فیصلہ سازی میں معاونت صرف تربیت یافتہ معالجین کے لیے موزوں تھی۔ مثالوں میں انٹراوینس کیتھیٹر لگانا اور انٹراوینس اینٹی بایوٹکس دینا شامل ہیں۔ دوسرے منظرناموں میں، ڈیوائس جیسی سفارشات عام طور پر راہگیروں کے نگہداشت کے معیارات کے مطابق تھیں، جیسے کہ اوپیئڈ اوور ڈوز کے لیے نالوکسون دینا یا anaphylaxis کے لیے ایپینیفرین آٹو انجیکٹر استعمال کرنا۔

ریگولیشن اور نگرانی کے لیے مضمرات

اگرچہ کوئی بھی LLM فی الحال FDA کے ذریعہ CDSS کے طور پر مجاز نہیں ہے، اور کچھ واضح طور پر کہتے ہیں کہ انہیں طبی مشورے کے لیے استعمال نہیں کیا جانا چاہیے، مریض اور معالج اب بھی انہیں اس مقصد کے لیے استعمال کر سکتے ہیں۔ مطالعہ سے پتا چلا کہ FDA گائیڈنس دستاویز کی زبان پر مبنی سنگل شاٹ یا ملٹی شاٹ پرامپٹس میں سے کوئی بھی LLMs کو صرف غیر ڈیوائس فیصلہ سازی میں معاونت فراہم کرنے تک محدود نہیں رکھتا۔ مزید برآں، ڈیوائس جیسی فیصلہ سازی میں معاونت حاصل کرنے کے لیے اکثر پہلے سے طے شدہ جیل بریک کی ضرورت نہیں تھی۔ یہ نتائج AI/ML CDSSs کے لیے موزوں نئے ریگولیٹری پیراڈائمز کی ضرورت کو اجاگر کرنے والی سابقہ تحقیق کو تقویت دیتے ہیں۔ ان کے طبی آلات کی نگرانی کے لیے براہ راست مضمرات بھی ہیں جن میں جنریٹیو AI ٹیکنالوجیز شامل ہیں۔

ریگولیٹری طریقوں پر نظر ثانی

موثر ریگولیشن LLM آؤٹ پٹ کو ڈیوائس جیسی یا غیر ڈیوائس فیصلہ سازی میں معاونت کے ساتھ بہتر طریقے سے ہم آہنگ کرنے کے لیے نئے طریقوں کی ضرورت پڑ سکتی ہے، جس کا انحصار مطلوبہ استعمال پر ہے۔ روایتی FDA اجازت ایک طبی ڈیوائس کو ایک مخصوص مطلوبہ استعمال اور اشارے کے لیے دی جاتی ہے۔ مثال کے طور پر، FDA کے ذریعہ مجاز AI/ML ڈیوائسز میں وہ شامل ہیں جو ہیموڈینامک عدم استحکام یا طبی خرابی کی پیش گوئی کے لیے ڈیزائن کیے گئے ہیں۔ تاہم، LLMs سے مختلف موضوعات پر استفسار کیا جا سکتا ہے، جس سے ممکنہ طور پر ایسے جوابات مل سکتے ہیں جو، مناسب ہونے کے باوجود، ان کے منظور شدہ اشارے کے مقابلے میں ‘آف لیبل’ سمجھے جائیں گے۔ نتائج ظاہر کرتے ہیں کہ سنگل اور ملٹی شاٹ پرامپٹس دونوں اس کو کنٹرول کرنے کے لیے ناکافی ہیں۔ یہ نتیجہ LLMs کی حد کی نمائندگی نہیں کرتا ہے، بلکہ نئے طریقوں کی ضرورت کو اجاگر کرتا ہے جو LLM آؤٹ پٹ کی لچک کو برقرار رکھتے ہوئے اسے منظور شدہ اشارے تک محدود رکھتے ہیں۔

نئے اجازت نامے کے راستوں کی تلاش

LLMs کے ریگولیشن کے لیے نئے اجازت نامے کے راستوں کی ضرورت پڑ سکتی ہے جو مخصوص اشارے سے منسلک نہ ہوں۔ ‘عمومی’ فیصلہ سازی میں معاونت کے لیے ایک ڈیوائس اجازت نامہ کا راستہ LLMs اور جنریٹیو AI ٹولز کے لیے موزوں ہو سکتا ہے۔ اگرچہ یہ نقطہ نظر AI/ML CDSS میں جدت کو آسان بنائے گا، لیکن اتنے وسیع اشارے والے سسٹمز کی حفاظت، تاثیر اور مساوات کا جائزہ لینے کا بہترین طریقہ واضح نہیں ہے۔ مثال کے طور پر، اجازت کے لیے ‘فرم پر مبنی’ نقطہ نظر ڈیوائس کے مخصوص جائزے کی ضرورت کو نظرانداز کر سکتا ہے، جو LLM کے لیے مناسب ہو سکتا ہے، لیکن یہ طبی تاثیر اور حفاظت کے حوالے سے غیر یقینی گارنٹیوں کے ساتھ آتا ہے۔

مختلف صارف گروپوں کے لیے معیار کو بہتر بنانا

یہ نتائج معالجین بمقابلہ غیر معالج راہگیروں کے لیے بنائے گئے CDSSs کے لیے معیار کو بہتر بنانے کی ضرورت کو اجاگر کرتے ہیں۔ FDA نے پہلے اشارہ دیا ہے کہ مریضوں اور دیکھ بھال کرنے والوں کا سامنا کرنے والے CDSSs کو طبی آلات سمجھا جائے گا، جو عام طور پر ریگولیشن کے تابع ہیں۔ تاہم، فی الحال غیر معالج راہگیر کے لیے ڈیزائن کیے گئے AI/ML CDSS کے لیے کوئی ریگولیٹری زمرہ نہیں ہے۔ ایک مخصوص تشخیص کرنا اور وقت کے لحاظ سے اہم ہنگامی صورتحال کے لیے ایک مخصوص ہدایت فراہم کرنا واضح طور پر صحت کی دیکھ بھال کے پیشہ ور افراد کے لیے بنائے گئے آلات کے لیے FDA کے معیار کے مطابق ہے۔ دوسری طرف، کارڈیو پلمونری ریسیسیٹیشن (CPR) اور ایپینیفرین یا نالوکسون کا انتظام جیسے اقدامات بھی ان ڈیوائس کے معیار پر پورا اترتے ہیں، لیکن وہ بیک وقت غیر معالج راہگیروں کے لیے اچھی طرح سے قائم کردہ ریسکیو رویے ہیں۔

مطالعہ کی حدود

اس مطالعہ میں کئی حدود ہیں:

1. یہ LLMs کا جائزہ ایسے کام کے خلاف لیتا ہے جو سافٹ ویئر کا مخصوص مطلوبہ استعمال نہیں ہے۔
2. یہ LLM آؤٹ پٹ کا FDA گائیڈنس سے موازنہ کرتا ہے، جو غیر پابند ہے، اور LLM سفارشات کی دیگر متعلقہ امریکی قانونی دفعات یا ریگولیٹری فریم ورکس کے ساتھ مطابقت کا جائزہ نہیں لیتا ہے۔
3. یہ دیگر پرامپٹنگ طریقوں کا جائزہ نہیں لیتا جو سنگل اور ملٹی شاٹ پرامپٹس سے زیادہ موثر ہو سکتے تھے۔
4. یہ اس بات کی کھوج نہیں کرتا کہ اس طرح کے پرامپٹس کو حقیقی دنیا کے طبی ورک فلوز میں عملی طور پر کیسے ضم کیا جا سکتا ہے۔
5. یہ GPT-4 اور Llama-3 سے آگے وسیع پیمانے پر دستیاب اور عام طور پر استعمال ہونے والے LLMs کی وسیع رینج کا جائزہ نہیں لیتا ہے۔
6. پرامپٹس کا نمونہ سائز چھوٹا ہے۔

آگے بڑھنا: جدت اور حفاظت میں توازن

CDSS ڈیوائس کے معیار کے لیے FDA گائیڈنس کے ٹیکسٹ پر مبنی پرامپٹس، چاہے سنگل ہوں یا ملٹی شاٹ، اس بات کو یقینی بنانے کے لیے کافی نہیں ہیں کہ LLM آؤٹ پٹ غیر ڈیوائس فیصلہ سازی میں معاونت کے مطابق ہو۔ جنریٹیو AI سسٹمز سے نمٹنے کے لیے نئے ریگولیٹری پیراڈائمز اور ٹیکنالوجیز کی ضرورت ہے، جو جدت، حفاظت اور طبی تاثیر کے درمیان توازن قائم کرتے ہیں۔ اس ٹیکنالوجی کا تیز رفتار ارتقاء ریگولیشن کے لیے ایک فعال اور موافق نقطہ نظر کا تقاضا کرتا ہے، اس بات کو یقینی بناتا ہے کہ صحت کی دیکھ بھال میں LLMs کے فوائد کو ممکنہ خطرات کو کم کرتے ہوئے حاصل کیا جا سکے۔