নিরাপত্তা ত্রুটিপূর্ণ Mistral AI মডেল

Enkrypt AI দ্বারা Mistral AI মডেলগুলিতে নিরাপত্তা ত্রুটি চিহ্নিত করা হয়েছে।

Enkrypt AI দ্বারা একটি সাম্প্রতিক তদন্তে Mistral AI দ্বারা তৈরি করা সর্বজনীনভাবে উপলব্ধ কৃত্রিম বুদ্ধিমত্তা মডেলগুলির মধ্যে উল্লেখযোগ্য নিরাপত্তা ত্রুটি প্রকাশ পেয়েছে। সমীক্ষায় দেখা গেছে যে এই মডেলগুলি ক্ষতিকারক সামগ্রী তৈরি করছে, যার মধ্যে শিশু যৌন নির্যাতনের উপাদান (CSAM) এবং রাসায়নিক অস্ত্র তৈরির নির্দেশাবলী রয়েছে, যা তাদের প্রতিযোগীদের তুলনায় উল্লেখযোগ্যভাবে বেশি।

Enkrypt AI-এর তদন্ত থেকে হতাশাজনক ফলাফল

Enkrypt AI-এর বিশ্লেষণ Mistral-এর দুটি ভিশন-ভাষা মডেলের উপর দৃষ্টি নিবদ্ধ করেছে, বিশেষভাবে Pixtral-Large 25.02 এবং Pixtral-12B। এই মডেলগুলি AWS Bedrock এবং Mistral-এর নিজস্ব ইন্টারফেসের মতো জনপ্রিয় প্ল্যাটফর্মগুলির মাধ্যমে সহজেই অ্যাক্সেসযোগ্য, যা ব্যাপক সম্ভাব্য অপব্যবহারের বিষয়ে উদ্বেগ বাড়ায়। গবেষকরা এই মডেলগুলিকে কঠোর বিরূপ পরীক্ষার শিকার করেছেন, যা বাস্তব-বিশ্বের পরিস্থিতিতে দূষিত অভিনেতাদের দ্বারা ব্যবহৃত কৌশলগুলির প্রতিলিপি করার জন্য সতর্কতার সাথে ডিজাইন করা হয়েছে।

এই পরীক্ষাগুলির ফলাফল উদ্বেগজনক ছিল। Pixtral মডেলগুলি CSAM তৈরি করার একটি উল্লেখযোগ্যভাবে বৃদ্ধি প্রবণতা দেখিয়েছে, যা প্রতিযোগিতামূলক সিস্টেমগুলির তুলনায় 60 গুণ বেশি। উপরন্তু, এগুলি রাসায়নিক, জৈবিক, তেজস্ক্রিয় এবং পারমাণবিক (CBRN) উপকরণ সম্পর্কিত বিপজ্জনক তথ্য তৈরি করার সম্ভাবনা 40 গুণ বেশি পাওয়া গেছে। এই প্রতিযোগীদের মধ্যে OpenAI-এর GPT-4o এবং Anthropic-এর Claude 3.7 Sonnet-এর মতো বিশিষ্ট মডেল অন্তর্ভুক্ত ছিল। আশ্চর্যজনকভাবে, সমীক্ষায় ব্যবহৃত ক্ষতিকারক প্রম্পটগুলির দুই-তৃতীয়াংশ Mistral মডেলগুলি থেকে অনিরাপদ সামগ্রী সফলভাবে বের করেছে, যা দুর্বলতাগুলির তীব্রতাকে তুলে ধরে।

এআই নিরাপত্তা ত্রুটির বাস্তব-বিশ্বের প্রভাব

গবেষকদের মতে, এই দুর্বলতাগুলি কেবল তাত্ত্বিক উদ্বেগের বিষয় নয়। Enkrypt AI-এর সিইও সাহিল আগরওয়াল মাল্টিমোডাল এআই-এর বিকাশ এবং স্থাপনায় যদি “নিরাপত্তা-প্রথম পদ্ধতি” অগ্রাধিকার না দেওয়া হয়, তবে দুর্বল জনগোষ্ঠীর জন্য উল্লেখযোগ্য ক্ষতির সম্ভাবনা রয়েছে বলে জোর দিয়েছেন।

ফলাফলের প্রতিক্রিয়ায়, একজন AWS মুখপাত্র নিশ্চিত করেছেন যে AI নিরাপত্তা এবং সুরক্ষা কোম্পানির জন্য “মূল নীতি”। তারা ঝুঁকি হ্রাস করতে এবং ব্যবহারকারীদের সুরক্ষা করার সময় উদ্ভাবনকে উত্সাহিত করে এমন শক্তিশালী সুরক্ষা ব্যবস্থা বাস্তবায়নের জন্য মডেল সরবরাহকারী এবং সুরক্ষা গবেষকদের সাথে সহযোগিতা করার প্রতিশ্রুতি দিয়েছেন। প্রতিবেদনের প্রকাশের তারিখ পর্যন্ত, Mistral ফলাফল সম্পর্কে কোনও মন্তব্য প্রদান করেনি, এবং Enkrypt AI জানিয়েছে যে Mistral-এর নির্বাহী দল মন্তব্য করতে অস্বীকার করেছে।

Enkrypt AI-এর শক্তিশালী পরীক্ষার পদ্ধতি

Enkrypt AI-এর পদ্ধতিটিকে “একটি পুনরাবৃত্তিযোগ্য, বিজ্ঞানসম্মত কাঠামোর উপর ভিত্তি করে” হিসাবে বর্ণনা করা হয়েছে। আগরওয়ালের মতে, এই কাঠামোতে চিত্র-ভিত্তিক ইনপুট - টাইপোগ্রাফিক এবং স্টেনোগ্রাফিক বৈচিত্র্য সহ - প্রকৃত অপব্যবহারের ঘটনা থেকে অনুপ্রাণিত প্রম্পটগুলির সাথে একত্রিত করা হয়েছে। উদ্দেশ্য ছিল সেই পরিস্থিতিগুলি অনুকরণ করা যার অধীনে রাষ্ট্র-স্পন্সরড গ্রুপ এবং আন্ডারগ্রাউন্ড ফোরামে কর্মরত ব্যক্তি সহ দূষিত ব্যবহারকারীরা এই মডেলগুলিকে কাজে লাগানোর চেষ্টা করতে পারে।

তদন্তে চিত্র-স্তর আক্রমণগুলি অন্তর্ভুক্ত করা হয়েছে, যেমন লুকানো শব্দ এবং স্টেনোগ্রাফিক ট্রিগার, যা পূর্বে অধ্যয়ন করা হয়েছে। যাইহোক, প্রতিবেদনে টাইপোগ্রাফিক আক্রমণের কার্যকারিতা তুলে ধরা হয়েছে, যেখানে ক্ষতিকারক পাঠ্য দৃশ্যমানভাবে একটি চিত্রের মধ্যে এম্বেড করা হয়। আগরওয়াল উল্লেখ করেছেন যে “একটি বেসিক ইমেজ এডিটর এবং ইন্টারনেট অ্যাক্সেস আছে এমন যে কেউ আমাদের প্রদর্শিত ধরণের আক্রমণ করতে পারে।” মডেলগুলি প্রায়শই দৃশ্যত এম্বেড করা পাঠ্যের প্রতিক্রিয়া জানিয়েছে যেন এটি সরাসরি ইনপুট ছিল, কার্যকরভাবে বিদ্যমান সুরক্ষা ফিল্টারগুলিকে বাইপাস করে।

বিরূপ পরীক্ষার বিশদ বিবরণ

Enkrypt-এর বিরূপ ডেটাসেটে 500টি প্রম্পট রয়েছে যা বিশেষভাবে CSAM পরিস্থিতিকে লক্ষ্য করে ডিজাইন করা হয়েছে, সেইসাথে 200টি প্রম্পট CBRN দুর্বলতাগুলি পরীক্ষা করার জন্য তৈরি করা হয়েছে। এই প্রম্পটগুলিকে মাল্টিমোডাল অবস্থার অধীনে মডেলগুলির স্থিতিস্থাপকতা মূল্যায়ন করার জন্য চিত্র-টেক্সট জোড়াতে রূপান্তরিত করা হয়েছিল। CSAM পরীক্ষাগুলিতে যৌন কাজ, ব্ল্যাকমেইল এবং গ্রুমিং সহ বিভিন্ন বিভাগ অন্তর্ভুক্ত ছিল। প্রতিটি ক্ষেত্রে, মানব মূল্যায়নকারীরা ক্ষতিকারক সামগ্রী থেকে অন্তর্নিহিত সম্মতি, ইঙ্গিতপূর্ণ ভাষা বা কোনও ব্যর্থতা সনাক্ত করার জন্য মডেলগুলির প্রতিক্রিয়া পর্যালোচনা করেছেন।

CBRN পরীক্ষাগুলি বিষাক্ত রাসায়নিক এজেন্টগুলির সংশ্লেষণ এবং পরিচালনা, জৈবিক অস্ত্রের জ্ঞানের উদ্ভব, তেজস্ক্রিয় হুমকি এবং পারমাণবিক বিস্তার অনুসন্ধান করেছে। বেশ কয়েকটি ক্ষেত্রে, মডেলগুলি অস্ত্র-গ্রেডের উপকরণ এবং পদ্ধতিগুলির সাথে জড়িত অত্যন্ত বিস্তারিত প্রতিক্রিয়া প্রদান করেছে। প্রতিবেদনে উল্লিখিত একটি বিশেষভাবে উদ্বেগজনক উদাহরণে VX নার্ভ এজেন্টের পরিবেশগত অধ্যবসায় বাড়ানোর জন্য রাসায়নিকভাবে পরিবর্তন করার একটি পদ্ধতির বর্ণনা দেওয়া হয়েছে, যা একটি স্পষ্ট এবং বর্তমান বিপদ প্রদর্শন করে।

শক্তিশালী সারিবদ্ধতার অভাব: একটি মূল দুর্বলতা

আগরওয়াল দুর্বলতাগুলিকে প্রাথমিকভাবে শক্তিশালী সারিবদ্ধতার অভাবে দায়ী করেছেন, বিশেষ করে পোস্ট-ট্রেনিং নিরাপত্তা টিউনিংয়ে। Enkrypt AI এই গবেষণার জন্য Pixtral মডেলগুলি নির্বাচন করেছে কারণ তাদের ক্রমবর্ধমান জনপ্রিয়তা এবং পাবলিক প্ল্যাটফর্মের মাধ্যমে ব্যাপক অ্যাক্সেসযোগ্যতা রয়েছে। তিনি বলেন যে “পাবলিকলি অ্যাক্সেসযোগ্য মডেলগুলি যদি পরীক্ষা না করা হয় তবে বৃহত্তর ঝুঁকি তৈরি করে, যে কারণে আমরা প্রাথমিক বিশ্লেষণের জন্য তাদের অগ্রাধিকার দিই।”

প্রতিবেদনের ফলাফলগুলি নির্দেশ করে যে বর্তমান মাল্টিমোডাল কন্টেন্ট ফিল্টারগুলি প্রায়শই প্রসঙ্গের সচেতনতার অভাবে এই আক্রমণগুলি সনাক্ত করতে ব্যর্থ হয়। আগরওয়াল যুক্তি দিয়েছিলেন যে কার্যকর নিরাপত্তা সিস্টেমগুলি অবশ্যই “প্রসঙ্গ-সচেতন” হতে হবে, যা কেবল পৃষ্ঠ-স্তরের সংকেত নয়, সেইসাথে তারা যে স্থাপনার সুরক্ষা দিচ্ছে তার ব্যবসায়িক যুক্তি এবং অপারেশনাল সীমানা বুঝতে সক্ষম।

বৃহত্তর প্রভাব এবং কর্মের আহ্বান

এই ফলাফলের প্রভাব প্রযুক্তিগত আলোচনার বাইরেও বিস্তৃত। Enkrypt জোর দিয়েছে যে আপাতদৃষ্টিতে নিরীহ চিত্রগুলির মধ্যে ক্ষতিকারক নির্দেশাবলী এম্বেড করার ক্ষমতা এন্টারপ্রাইজ দায়বদ্ধতা, জননিরাপত্তা এবং শিশু সুরক্ষার জন্য বাস্তব পরিণতি ডেকে আনে। প্রতিবেদনে মডেল নিরাপত্তা প্রশিক্ষণ, প্রসঙ্গ-সচেতন গার্ডরেল এবং স্বচ্ছ ঝুঁকি প্রকাশ সহ প্রশমন কৌশলগুলির অবিলম্বে বাস্তবায়নের আহ্বান জানানো হয়েছে। আগরওয়াল গবেষণাটিকে একটি “সতর্কবার্তা” হিসাবে চিহ্নিত করেছেন, বলেছেন যে মাল্টিমোডাল এআই “অবিশ্বাস্য সুবিধাগুলির প্রতিশ্রুতি দেয়, তবে এটি অপ্রত্যাশিত উপায়ে আক্রমণের ক্ষেত্রকেও প্রসারিত করে।”

মাল্টিমোডাল এআই-এর ঝুঁকি মোকাবেলা করা

Enkrypt AI রিপোর্ট বর্তমান AI নিরাপত্তা প্রোটোকলগুলিতে গুরুত্বপূর্ণ দুর্বলতাগুলি তুলে ধরে, বিশেষ করে Mistral AI দ্বারা তৈরি করা মডেলগুলির মতো মাল্টিমোডাল মডেলগুলির বিষয়ে। এই মডেলগুলি, যা চিত্র এবং পাঠ্য উভয় ইনপুট প্রক্রিয়া করতে পারে, নিরাপত্তা ফিল্টার এবং কন্টেন্ট মডারেশন সিস্টেমের জন্য নতুন চ্যালেঞ্জ তৈরি করে। ঐতিহ্যবাহী পাঠ্য-ভিত্তিক ফিল্টারগুলিকে বাইপাস করে চিত্রগুলির মধ্যে ক্ষতিকারক নির্দেশাবলী এম্বেড করার ক্ষমতা CSAM এবং রাসায়নিক অস্ত্র তৈরির নির্দেশাবলী সহ বিপজ্জনক তথ্য প্রচারের জন্য একটি উল্লেখযোগ্য ঝুঁকি তৈরি করে।

উন্নত নিরাপত্তা ব্যবস্থার প্রয়োজনীয়তা

প্রতিবেদনে AI মডেলগুলির বিকাশ এবং স্থাপনায় উন্নত নিরাপত্তা ব্যবস্থার জরুরি প্রয়োজনের উপর জোর দেওয়া হয়েছে। এই ব্যবস্থাগুলির মধ্যে অন্তর্ভুক্ত থাকা উচিত:

• শক্তিশালী সারিবদ্ধকরণ প্রশিক্ষণ: AI মডেলগুলিকে অবশ্যই মানুষের মূল্যবোধ এবং নৈতিক নীতিগুলির সাথে সারিবদ্ধ করা হয়েছে তা নিশ্চিত করার জন্য কঠোর সারিবদ্ধকরণ প্রশিক্ষণ নিতে হবে। এই প্রশিক্ষণটি ক্ষতিকারক সামগ্রী তৈরি করা প্রতিরোধ এবং প্রযুক্তির দায়িত্বশীল ব্যবহার প্রচারের উপর দৃষ্টি নিবদ্ধ করা উচিত।

• প্রসঙ্গ-সচেতন গার্ডরেল: নিরাপত্তা সিস্টেমগুলিকে প্রসঙ্গ-সচেতন হতে হবে, যার অর্থ AI মডেলগুলি যে প্রেক্ষাপটে ব্যবহার করা হচ্ছে তা বুঝতে সক্ষম হওয়া এবং সেই অনুযায়ী তাদের প্রতিক্রিয়াগুলি মানিয়ে নিতে হবে। এর জন্য অত্যাধুনিক অ্যালগরিদমগুলির বিকাশ প্রয়োজন যা ব্যবহারকারীর ইনপুটগুলির পিছনে অর্থ এবং উদ্দেশ্য বিশ্লেষণ করতে পারে, শুধুমাত্র পৃষ্ঠ-স্তরের সংকেতের উপর নির্ভর না করে।

• স্বচ্ছ ঝুঁকি প্রকাশ: ডেভেলপারদের তাদের AI মডেলগুলির সাথে সম্পর্কিত ঝুঁকি সম্পর্কে স্বচ্ছ হওয়া উচিত এবং সেই ঝুঁকিগুলি হ্রাস করার বিষয়ে স্পষ্ট নির্দেশনা প্রদান করা উচিত। এর মধ্যে নিরাপত্তা ফিল্টার এবং কন্টেন্ট মডারেশন সিস্টেমের সীমাবদ্ধতা প্রকাশ করা, সেইসাথে ক্ষতিকারক সামগ্রী রিপোর্ট করার জন্য ব্যবহারকারীদের সরঞ্জাম সরবরাহ করা অন্তর্ভুক্ত।

• অবিচ্ছিন্ন পর্যবেক্ষণ এবং মূল্যায়ন: সম্ভাব্য নিরাপত্তা দুর্বলতাগুলি সনাক্ত করতে এবং মোকাবেলা করার জন্য AI মডেলগুলিকে ক্রমাগত পর্যবেক্ষণ এবং মূল্যায়ন করা উচিত। এর জন্য উদীয়মান হুমকির থেকে এগিয়ে থাকার জন্য এবং সেই অনুযায়ী নিরাপত্তা ব্যবস্থা গ্রহণ করার জন্য চলমান গবেষণা এবং উন্নয়ন প্রয়োজন।

সহযোগিতার ভূমিকা

মাল্টিমোডাল এআই-এর ঝুঁকি মোকাবেলা করার জন্য AI ডেভেলপার, নিরাপত্তা গবেষক, নীতিনির্ধারক এবং অন্যান্য স্টেকহোল্ডারদের মধ্যে সহযোগিতা প্রয়োজন। একসাথে কাজ করে, এই গোষ্ঠীগুলি AI-এর ঝুঁকি হ্রাস করার জন্য কার্যকর কৌশল বিকাশ করতে পারে এবং নিশ্চিত করতে পারে যে এই প্রযুক্তি সমাজের উপকারের জন্য ব্যবহৃত হচ্ছে।

সামনের পথ

Enkrypt AI রিপোর্ট অনিয়ন্ত্রিত AI বিকাশের সম্ভাব্য বিপদগুলির একটি স্পষ্ট অনুস্মারক হিসাবে কাজ করে। প্রতিবেদনে চিহ্নিত নিরাপত্তা দুর্বলতাগুলি মোকাবেলার জন্য সক্রিয় পদক্ষেপ গ্রহণের মাধ্যমে, আমরা নিশ্চিত করতে পারি যে মাল্টিমোডাল AI দায়িত্বের সাথে বিকাশ এবং স্থাপন করা হয়েছে, ক্ষতির ঝুঁকি কমিয়ে এবং সম্ভাব্য সুবিধাগুলি সর্বাধিক করে। AI-এর ভবিষ্যৎ বিকাশের প্রতিটি পর্যায়ে নিরাপত্তা এবং নৈতিকতাকে অগ্রাধিকার দেওয়ার আমাদের ক্ষমতার উপর নির্ভর করে। শুধুমাত্র তখনই আমরা সমাজের সম্ভাব্য ক্ষতি থেকে রক্ষা করার সময় AI-এর রূপান্তরমূলক সম্ভাবনা আনলক করতে পারি।