أبحاث جديدة: نماذج لغوية غير آمنة

LLMs وتوليد التعليمات البرمجية غير الآمنة: السيناريو الافتراضي

كشفت الأبحاث الأخيرة التي أجرتها Backslash Security عن اتجاه مثير للقلق: تميل نماذج اللغة الكبيرة (LLMs) مثل GPT-4.1، جنبًا إلى جنب مع النماذج الأخرى المستخدمة على نطاق واسع، إلى إنشاء تعليمات برمجية غير آمنة افتراضيًا. هذا يعني أنه بدون تعليمات أو إرشادات محددة تركز على الأمان، غالبًا ما تكون التعليمات البرمجية التي تنتجها أنظمة الذكاء الاصطناعي هذه عرضة لنقاط الضعف والاستغلال الشائعة. ومع ذلك، يشير البحث أيضًا إلى أنه يمكن تحسين أمان التعليمات البرمجية التي تم إنشاؤها بشكل كبير من خلال توفير إرشادات أمنية إضافية أو تنفيذ إدارة قائمة على القواعد.

لمزيد من استكشاف هذه المشكلة، أعلنت Backslash Security عن إطلاق خادم بروتوكول سياق النموذج (MCP)، جنبًا إلى جنب مع القواعد والملحقات المصممة لبيئات التطوير المتكاملة (IDEs) الموجهة. تهدف هذه الأدوات إلى معالجة الثغرات الأمنية التي تم تحديدها في التعليمات البرمجية التي تم إنشاؤها بواسطة LLM وتزويد المطورين بالوسائل اللازمة لإنشاء تطبيقات أكثر أمانًا.

أجرت Backslash Security سلسلة من الاختبارات على سبعة إصدارات مختلفة من نماذج LLMs الشائعة، بما في ذلك نماذج GPT الخاصة بـ OpenAI، و Claude الخاصة بـ Anthropic، و Gemini الخاصة بـ Google. كان الهدف هو تقييم كيف أثرت تقنيات المطالبة المختلفة على قدرة النماذج على إنشاء تعليمات برمجية آمنة. تم تقييم أمان إخراج التعليمات البرمجية بناءً على مرونته ضد عشر حالات استخدام للتعداد الشائع للضعف (CWE)، والتي تمثل مجموعة من نقاط الضعف الشائعة في البرامج.

أظهرت نتائج هذه الاختبارات باستمرار أن أمان التعليمات البرمجية التي تم إنشاؤها قد تحسن بتقنيات المطالبة الأكثر تطوراً. ومع ذلك، كان الموضوع المهيمن هو أن جميع LLMs التي تم اختبارها أنتجت بشكل عام تعليمات برمجية غير آمنة عندما تركت لأجهزتها الخاصة. يشير هذا إلى أن هذه النماذج، في تكويناتها الافتراضية، لا تعطي الأولوية للأمان وغالبًا ما تفشل في معالجة نقاط الضعف الشائعة في الترميز.

المطالبات الساذجة: وصفة للضعف

عند تقديمها بمطالبات بسيطة و ‘ساذجة’ لم تذكر صراحة الاعتبارات الأمنية، أنتجت جميع LLMs التي تم اختبارها تعليمات برمجية غير آمنة كانت عرضة لما لا يقل عن أربعة من عشرة CWEs شائعة. يسلط هذا الضوء على النقص المتأصل في الوعي الأمني في هذه النماذج عند التشغيل بدون توجيهات محددة.

تأثير المطالبات التي تركز على الأمن

أدت المطالبات التي حددت بشكل عام الحاجة إلى الأمن إلى نتائج أكثر أمانًا، مما يشير إلى أن LLMs قادرة على إنتاج تعليمات برمجية أكثر أمانًا عند توجيهها صراحةً للقيام بذلك. علاوة على ذلك، فإن المطالبات التي طلبت رمزًا متوافقًا مع أفضل ممارسات مشروع أمان تطبيقات الويب المفتوحة (OWASP) قد حققت نتائج أفضل. OWASP هي مؤسسة غير ربحية تعمل على تحسين أمان البرامج. ومع ذلك، حتى مع هذه المطالبات الأكثر تطوراً، استمرت بعض الثغرات الأمنية في التعليمات البرمجية في خمسة من أصل سبعة LLMs تم اختبارها، مما يؤكد التحديات في إنشاء تعليمات برمجية آمنة باستمرار مع LLMs.

المطالبات القائمة على القواعد: طريق إلى التعليمات البرمجية الآمنة

تضمن النهج الأكثر فعالية لإنشاء تعليمات برمجية آمنة مطالبات مرتبطة بالقواعد التي تحددها Backslash لمعالجة CWEs محددة. أدت هذه المطالبات القائمة على القواعد إلى إنشاء تعليمات برمجية آمنة وغير عرضة لـ CWEs التي تم اختبارها. يشير هذا إلى أن تزويد LLMs بإرشادات محددة وموجهة أمر بالغ الأهمية لضمان أمان التعليمات البرمجية التي تم إنشاؤها.

اختلافات الأداء بين LLMs

بشكل عام، أظهر GPT-4o الخاص بـ OpenAI أقل أداء عبر جميع المطالبات، حيث حقق نتيجة تعليمات برمجية آمنة تبلغ 1 فقط من أصل 10 عند استخدام مطالبات ‘ساذجة’. حتى عندما طُلب منه إنشاء تعليمات برمجية آمنة، فإنه لا يزال ينتج مخرجات غير آمنة عرضة لثمانية من أصل عشر مشكلات. لم يكن أداء GPT-4.1 أفضل بكثير مع المطالبات الساذجة، حيث سجل 1.5 من أصل 10.

في المقابل، برز Claude 3.7 Sonnet كأفضل أداء بين أدوات GenAI التي تم اختبارها. سجل 6 من أصل 10 باستخدام مطالبات ساذجة و 10 من أصل 10 بشكل مثالي عند استخدام مطالبات تركز على الأمن. يشير هذا إلى أن بعض LLMs مجهزة بشكل أفضل للتعامل مع الاعتبارات الأمنية، حتى في غياب تعليمات صريحة.

حلول Backslash Security للترميز الآمن

لمعالجة المشكلات التي كشف عنها اختبار مطالبة LLM، تقدم Backslash Security العديد من الميزات الجديدة المصممة لتمكين ترميز آمن. يشير الترميز الحيوي إلى ممارسة إنشاء التعليمات البرمجية باستخدام أدوات الذكاء الاصطناعي مثل LLMs.

قواعد وسياسات الذكاء الاصطناعي Backslash

توفر قواعد وسياسات الذكاء الاصطناعي Backslash قواعد قابلة للقراءة آليًا يمكن حقنها في المطالبات لضمان تغطية CWE. يمكن استخدام هذه القواعد مع أدوات مثل Cursor، وهو محرر تعليمات برمجية شهير. بالإضافة إلى ذلك، تتحكم سياسات الذكاء الاصطناعي في قواعد الذكاء الاصطناعي النشطة في IDEs من خلال نظام Backslash الأساسي، مما يسمح للمؤسسات بتخصيص إعداداتها الأمنية.

ملحق IDE Backslash

يتكامل ملحق IDE Backslash مباشرةً في مهام سير العمل الحالية للمطورين، مما يسمح لهم بتلقي مراجعات أمان Backslash على التعليمات البرمجية التي كتبها كل من البشر والذكاء الاصطناعي. هذا التكامل أمر بالغ الأهمية لضمان معالجة الاعتبارات الأمنية طوال عملية التطوير.

خادم بروتوكول سياق النموذج (MCP) Backslash

خادم بروتوكول سياق النموذج (MCP) Backslash هو واجهة برمجة تطبيقات (API) واعية بالسياق تتوافق مع معيار MCP. إنه يربط Backslash بأدوات الذكاء الاصطناعي، مما يتيح الترميز والمسح والإصلاحات الآمنة. يوفر معيار MCP إطارًا مشتركًا لأدوات الذكاء الاصطناعي للتواصل وتبادل المعلومات، مما يسهل تطوير تطبيقات آمنة تعمل بالذكاء الاصطناعي.

معالجة تحديات التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي

يؤكد يوسي بيك، المؤسس المشارك والمدير التنفيذي للتكنولوجيا في Backslash Security، على التحديات التي تطرحها التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي لفرق الأمان. ويشير إلى أن ‘التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي - أو الترميز الحيوي - يمكن أن تبدو وكأنها كابوس لفرق الأمان. فهو يخلق فيضًا من التعليمات البرمجية الجديدة ويجلب مخاطر LLM مثل الهلوسة وحساسية المطالبات.’ تشير الهلوسة إلى الحالات التي تولد فيها LLMs معلومات غير صحيحة أو غير منطقية، بينما تشير حساسية المطالبات إلى ميل LLMs إلى إنتاج مخرجات مختلفة بناءً على اختلافات طفيفة في المطالبة بالإدخال.

ومع ذلك، يعتقد بيك أيضًا أن الذكاء الاصطناعي يمكن أن يكون أداة قيمة لفرق AppSec عند استخدامه مع عناصر التحكم الصحيحة. ويجادل بأنه ‘مع عناصر التحكم الصحيحة - مثل القواعد المحددة للمنظمة وخادم MCP الواعي بالسياق المتصل بنظام أساسي أمني مصمم خصيصًا - يمكن أن يمنح الذكاء الاصطناعي فرق AppSec مزيدًا من التحكم منذ البداية.’ تهدف Backslash Security إلى توفير عناصر التحكم هذه من خلال قواعدها الديناميكية القائمة على السياسات وخادم MCP الحساس للسياق وملحق IDE، وكلها مصممة لعصر الترميز الجديد.

آثار التعليمات البرمجية غير الآمنة التي تم إنشاؤها بواسطة الذكاء الاصطناعي

تترتب على النتائج التي توصل إليها بحث Backslash Security آثار كبيرة على صناعة تطوير البرمجيات. مع تزايد انتشار أدوات إنشاء التعليمات البرمجية التي تعمل بالذكاء الاصطناعي، من الأهمية بمكان فهم المخاطر المرتبطة بالاعتماد على هذه الأدوات دون اتخاذ تدابير أمنية مناسبة.

زيادة التعرض للهجمات الإلكترونية

يمكن أن تخلق التعليمات البرمجية غير الآمنة التي تم إنشاؤها بواسطة الذكاء الاصطناعي نقاط ضعف جديدة يمكن للمجرمين الإلكترونيين استغلالها. يمكن أن تؤدي نقاط الضعف هذه إلى خروقات للبيانات وتعريض النظام للخطر وحوادث أمنية أخرى.

صعوبة تحديد نقاط الضعف ومعالجتها

يمكن أن يجعل الحجم الهائل للتعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي من الصعب تحديد نقاط الضعف ومعالجتها. قد تكافح فرق الأمان لمواكبة الوتيرة السريعة لتوليد التعليمات البرمجية، مما يؤدي إلى تراكم المشكلات الأمنية.

نقص الوعي الأمني بين المطورين

قد لا يكون العديد من المطورين على دراية كاملة بالمخاطر الأمنية المرتبطة بالتعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي. يمكن أن يؤدي هذا النقص في الوعي إلى قيام المطورين عن غير قصد بإدخال نقاط ضعف في تطبيقاتهم.

تحديات الامتثال التنظيمي

قد تواجه المؤسسات التي تعتمد على التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي تحديات الامتثال التنظيمي. تتطلب العديد من اللوائح من المؤسسات تنفيذ تدابير أمنية كافية لحماية البيانات الحساسة. يمكن أن تجعل التعليمات البرمجية غير الآمنة التي تم إنشاؤها بواسطة الذكاء الاصطناعي من الصعب تلبية هذه المتطلبات.

أفضل الممارسات لتوليد تعليمات برمجية آمنة تعمل بالذكاء الاصطناعي

للتخفيف من المخاطر المرتبطة بالتعليمات البرمجية غير الآمنة التي تم إنشاؤها بواسطة الذكاء الاصطناعي، يجب على المؤسسات تبني أفضل الممارسات التالية:

توفير التدريب الأمني للمطورين

يجب أن يتلقى المطورون تدريبًا على المخاطر الأمنية المرتبطة بالتعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي. يجب أن يغطي هذا التدريب موضوعات مثل CWEs الشائعة وممارسات الترميز الآمن وكيفية استخدام الأدوات الأمنية.

تنفيذ السياسات والإجراءات الأمنية

يجب على المؤسسات تنفيذ سياسات وإجراءات أمنية تعالج استخدام التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي. يجب أن تحدد هذه السياسات حالات الاستخدام المقبولة والمتطلبات الأمنية وعمليات مراجعة التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي والموافقة عليها.

استخدام الأدوات الأمنية لمسح التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي

يجب على المؤسسات استخدام الأدوات الأمنية لمسح التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي بحثًا عن نقاط الضعف. يمكن أن تساعد هذه الأدوات في تحديد CWEs الشائعة والمشكلات الأمنية الأخرى.

تنفيذ دورة حياة تطوير آمنة (SDLC)

يجب على المؤسسات تنفيذ دورة حياة تطوير آمنة (SDLC) تتضمن الاعتبارات الأمنية طوال عملية التطوير. ويشمل ذلك إجراء مراجعات أمنية للتعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي وإجراء اختبار الاختراق وتنفيذ المراقبة الأمنية.

إنشاء برنامج مكافآت الأخطاء

يجب على المؤسسات إنشاء برنامج مكافآت الأخطاء لتشجيع الباحثين الأمنيين على العثور على نقاط الضعف في التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي والإبلاغ عنها. يمكن أن يساعد ذلك في تحديد نقاط الضعف التي ربما فاتتها فرق الأمان الداخلية.

البقاء على اطلاع بأحدث التهديدات الأمنية

يجب على المؤسسات البقاء على اطلاع بأحدث التهديدات الأمنية ونقاط الضعف التي تؤثر على التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي. يمكن أن يساعدهم ذلك في معالجة المشكلات الأمنية المحتملة بشكل استباقي.

التعاون مع خبراء الأمن

يجب على المؤسسات التعاون مع خبراء الأمن لتقييم أمان التعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي وتطوير استراتيجيات للتخفيف من المخاطر.

مستقبل توليد التعليمات البرمجية الآمنة التي تعمل بالذكاء الاصطناعي

مع استمرار تطور أدوات إنشاء التعليمات البرمجية التي تعمل بالذكاء الاصطناعي، من الأهمية بمكان إعطاء الأولوية للأمن. من خلال تنفيذ أفضل الممارسات الموضحة أعلاه، يمكن للمؤسسات تسخير فوائد إنشاء التعليمات البرمجية التي تعمل بالذكاء الاصطناعي مع التخفيف من المخاطر المرتبطة بالتعليمات البرمجية غير الآمنة.

التطورات في أمن الذكاء الاصطناعي

تركز جهود البحث والتطوير المستمرة على تحسين أمان أنظمة الذكاء الاصطناعي. تتضمن هذه الجهود تطوير تقنيات جديدة للكشف عن الهجمات المعادية ومنعها، وتحسين قوة نماذج الذكاء الاصطناعي، وإنشاء معماريات ذكاء اصطناعي أكثر أمانًا.

دمج الأمان في تطوير الذكاء الاصطناعي

أصبح الأمان مدمجًا بشكل متزايد في عملية تطوير الذكاء الاصطناعي. ويشمل ذلك دمج الاعتبارات الأمنية في تصميم نماذج الذكاء الاصطناعي، واستخدام ممارسات الترميز الآمن، وإجراء اختبار الأمان طوال دورة حياة التطوير.

التعاون بين خبراء الذكاء الاصطناعي والأمن

يعد التعاون بين خبراء الذكاء الاصطناعي والأمن أمرًا ضروريًا لضمان أمان أنظمة الذكاء الاصطناعي. يمكن أن يساعد هذا التعاون في تحديد المخاطر الأمنية المحتملة وتطوير استراتيجيات تخفيف فعالة.

زيادة الوعي بمخاطر أمن الذكاء الاصطناعي

تؤدي زيادة الوعي بمخاطر أمن الذكاء الاصطناعي إلى تطوير أدوات وتقنيات أمنية جديدة. ويشمل ذلك أدوات للكشف عن الهجمات المعادية وتحليل أمان نماذج الذكاء الاصطناعي ومراقبة أنظمة الذكاء الاصطناعي بحثًا عن نشاط مشبوه.

من خلال معالجة التحديات الأمنية المرتبطة بالتعليمات البرمجية التي تم إنشاؤها بواسطة الذكاء الاصطناعي، يمكن للمؤسسات إطلاق العنان للإمكانات الكاملة للتطوير الذي يعمل بالذكاء الاصطناعي مع حماية أنظمتها وبياناتها من الهجمات الإلكترونية.