Penyelidikan Baharu dari Backslash Security Menunjukkan GPT-4.1 dan LLM Biasa Lain Menghasilkan Kod Tidak Selamat Tanpa Arahan Keselamatan yang Jelas
Penyelidikan terbaru Backslash Security telah mendedahkan trend yang membimbangkan: Model Bahasa Besar (LLM) seperti GPT-4.1, bersama-sama dengan model lain yang digunakan secara meluas, cenderung untuk menjana kod yang tidak selamat secara lalai. Ini bermakna bahawa tanpa arahan atau garis panduan khusus yang memfokuskan pada keselamatan, kod yang dihasilkan oleh sistem AI ini sering terdedah kepada kelemahan dan eksploitasi biasa. Walau bagaimanapun, penyelidikan juga menunjukkan bahawa keselamatan kod yang dihasilkan dapat ditingkatkan dengan ketara dengan memberikan panduan keselamatan tambahan atau melaksanakan tadbir urus berasaskan peraturan.
Untuk meneroka isu ini dengan lebih lanjut, Backslash Security telah mengumumkan pelancaran Pelayan Protokol Konteks Model (MCP), bersama-sama dengan Peraturan dan Sambungan yang direka untuk Persekitaran Pembangunan Bersepadu Agentik (IDE). Alat ini bertujuan untuk menangani kelemahan keselamatan yang dikenal pasti dalam kod yang dijana LLM dan menyediakan pembangun dengan cara untuk mencipta aplikasi yang lebih selamat.
LLM dan Penjanaan Kod Tidak Selamat: Senario Lalai
Backslash Security menjalankan satu siri ujian pada tujuh versi berbeza LLM popular, termasuk model GPT OpenAI, Claude Anthropic dan Gemini Google. Matlamatnya adalah untuk menilai bagaimana pelbagai teknik gesaan mempengaruhi keupayaan model untuk menjana kod yang selamat. Keselamatan output kod dinilai berdasarkan ketahanannya terhadap sepuluh kes penggunaan Enumerasi Kelemahan Biasa (CWE), yang mewakili pelbagai kelemahan perisian biasa.
Keputusan ujian ini secara konsisten menunjukkan bahawa keselamatan kod yang dihasilkan bertambah baik dengan teknik gesaan yang lebih canggih. Walau bagaimanapun, tema menyeluruh adalah bahawa semua LLM yang diuji secara amnya menghasilkan kod yang tidak selamat apabila dibiarkan bersendirian. Ini mencadangkan bahawa model ini, dalam konfigurasi lalai mereka, tidak mengutamakan keselamatan dan sering gagal menangani kelemahan pengekodan biasa.
Gesaan Naif: Resipi untuk Kerentanan
Apabila dibentangkan dengan gesaan ‘naif’ yang ringkas yang tidak menyebut secara eksplisit pertimbangan keselamatan, semua LLM yang diuji menjana kod tidak selamat yang terdedah kepada sekurang-kurangnya empat daripada sepuluh CWE biasa. Ini menyoroti kekurangan kesedaran keselamatan yang wujud dalam model ini apabila beroperasi tanpa panduan tertentu.
Impak Gesaan Berfokuskan Keselamatan
Gesaan yang secara amnya menyatakan keperluan untuk keselamatan membawa kepada hasil yang lebih selamat, menunjukkan bahawa LLM mampu menghasilkan kod yang lebih selamat apabila diarah secara eksplisit untuk berbuat demikian. Tambahan pula, gesaan yang meminta kod yang mematuhi amalan terbaik Projek Keselamatan Aplikasi Web Terbuka (OWASP) menghasilkan keputusan yang lebih baik. OWASP ialah yayasan bukan untung yang berusaha untuk meningkatkan keselamatan perisian. Walau bagaimanapun, walaupun dengan gesaan yang lebih canggih ini, beberapa kelemahan kod masih berterusan dalam lima daripada tujuh LLM yang diuji, menekankan cabaran dalam menjana kod yang selamat secara konsisten dengan LLM.
Gesaan Berasaskan Peraturan: Laluan ke Kod Selamat
Pendekatan yang paling berkesan untuk menjana kod selamat melibatkan gesaan yang terikat dengan peraturan yang ditentukan oleh Backslash untuk menangani CWE tertentu. Gesaan berasaskan peraturan ini menghasilkan kod yang selamat dan tidak terdedah kepada CWE yang diuji. Ini mencadangkan bahawa menyediakan LLM dengan panduan khusus dan disasarkan adalah penting untuk memastikan keselamatan kod yang dihasilkan.
Variasi Prestasi Antara LLM
Secara keseluruhan, GPT-4o OpenAI menunjukkan prestasi terendah merentas semua gesaan, mencapai hasil kod selamat hanya 1 daripada 10 apabila menggunakan gesaan ‘naif’. Walaupun apabila digesa untuk menjana kod selamat, ia masih menghasilkan output yang tidak selamat yang terdedah kepada lapan daripada sepuluh isu. GPT-4.1 tidak menunjukkan prestasi yang jauh lebih baik dengan gesaan naif, menjaringkan 1.5 daripada 10.
Sebaliknya, Claude 3.7 Sonnet muncul sebagai pelaku terbaik di kalangan alat GenAI yang diuji. Ia menjaringkan 6 daripada 10 menggunakan gesaan naif dan 10 daripada 10 yang sempurna apabila menggunakan gesaan berfokuskan keselamatan. Ini mencadangkan bahawa sesetengah LLM lebih bersedia untuk mengendalikan pertimbangan keselamatan, walaupun tanpa arahan yang jelas.
Penyelesaian Keselamatan Backslash untuk Pengekodan Vibe Selamat
Untuk menangani isu yang didedahkan oleh ujian gesaan LLMnya, Backslash Security memperkenalkan beberapa ciri baharu yang direka untuk membolehkan pengekodan vibe yang selamat. Pengekodan Vibe merujuk kepada amalan menjana kod menggunakan alat AI seperti LLM.
Peraturan & Dasar AI Backslash
Peraturan & Dasar AI Backslash menyediakan peraturan boleh dibaca mesin yang boleh disuntik ke dalam gesaan untuk memastikan liputan CWE. Peraturan ini boleh digunakan dengan alat seperti Cursor, editor kod yang popular. Selain itu, dasar AI mengawal peraturan AI yang aktif dalam IDE melalui platform Backslash, membolehkan organisasi menyesuaikan tetapan keselamatan mereka.
Sambungan IDE Backslash
Sambungan IDE Backslash disepadukan terus ke dalam aliran kerja pembangun sedia ada, membolehkan mereka menerima ulasan keselamatan Backslash pada kod yang ditulis oleh manusia dan AI. Penyepaduan ini adalah penting untuk memastikan bahawa pertimbangan keselamatan ditangani sepanjang proses pembangunan.
Pelayan Protokol Konteks Model Backslash (MCP)
Pelayan Protokol Konteks Model Backslash (MCP) ialah API sedar konteks yang mematuhi piawaian MCP. Ia menghubungkan Backslash kepada alat AI, membolehkan pengekodan, pengimbasan dan pembaikan yang selamat. Piawaian MCP menyediakan rangka kerja biasa untuk alat AI untuk berkomunikasi dan berkongsi maklumat, memudahkan pembangunan aplikasi berkuasa AI yang selamat.
Menangani Cabaran Kod Jana AI
Yossi Pik, pengasas bersama dan CTO Backslash Security, menekankan cabaran yang ditimbulkan oleh kod jana AI kepada pasukan keselamatan. Beliau menyatakan bahawa ‘kod jana AI – atau pengekodan vibe – boleh terasa seperti mimpi ngeri bagi pasukan keselamatan. Ia mewujudkan banjir kod baharu dan membawa risiko LLM seperti halusinasi dan kepekaan gesaan.’ Halusinasi merujuk kepada contoh di mana LLM menjana maklumat yang salah atau tidak masuk akal, manakala kepekaan gesaan merujuk kepada kecenderungan LLM untuk menghasilkan output yang berbeza berdasarkan variasi halus dalam gesaan input.
Walau bagaimanapun, Pik juga percaya bahawa AI boleh menjadi alat yang berharga untuk pasukan AppSec apabila digunakan dengan kawalan yang betul. Beliau berpendapat bahawa ‘dengan kawalan yang betul – seperti peraturan yang ditakrifkan org dan pelayan MCP sedar konteks yang dipalamkan ke dalam platform keselamatan tujuan – AI sebenarnya boleh memberi pasukan AppSec lebih kawalan dari awal.’ Backslash Security bertujuan untuk menyediakan kawalan ini melalui peraturan berasaskan dasar dinamiknya, pelayan MCP sensitif konteks dan sambungan IDE, yang semuanya direka untuk era pengekodan baharu.
Implikasi Kod Jana AI Tidak Selamat
Penemuan daripada penyelidikan Backslash Security mempunyai implikasi yang signifikan untuk industri pembangunan perisian. Memandangkan alat penjanaan kod berkuasa AI menjadi semakin lazim, adalah penting untuk memahami risiko yang berkaitan dengan bergantung pada alat ini tanpa langkah keselamatan yang sesuai.
Peningkatan Kerentanan Terhadap Serangan Siber
Kod jana AI yang tidak selamat boleh mencipta kerentanan baharu yang boleh dieksploitasi oleh penjenayah siber. Kerentanan ini boleh membawa kepada pelanggaran data, kompromi sistem dan insiden keselamatan yang lain.
Kesukaran dalam Mengenal Pasti dan Memulihkan Kerentanan
Jumlah kod jana AI yang banyak boleh menyukarkan untuk mengenal pasti dan memulihkan kerentanan. Pasukan keselamatan mungkin bergelut untuk mengikuti perkembangan pesat penjanaan kod, yang membawa kepada tunggakan isu keselamatan.
Kekurangan Kesedaran Keselamatan di Kalangan Pembangun
Ramai pembangun mungkin tidak menyedari sepenuhnya risiko keselamatan yang berkaitan dengan kod jana AI. Kekurangan kesedaran ini boleh menyebabkan pembangun secara tidak sengaja memperkenalkan kerentanan ke dalam aplikasi mereka.
Cabaran Pematuhan Peraturan
Organisasi yang bergantung pada kod jana AI mungkin menghadapi cabaran pematuhan peraturan. Banyak peraturan memerlukan organisasi untuk melaksanakan langkah keselamatan yang mencukupi untuk melindungi data sensitif. Kod jana AI yang tidak selamat boleh menyukarkan untuk memenuhi keperluan ini.
Amalan Terbaik untuk Penjanaan Kod Berkuasa AI yang Selamat
Untuk mengurangkan risiko yang berkaitan dengan kod jana AI yang tidak selamat, organisasi harus menggunakan amalan terbaik berikut:
Menyediakan Latihan Keselamatan kepada Pembangun
Pembangun harus menerima latihan tentang risiko keselamatan yang berkaitan dengan kod jana AI. Latihan ini harus merangkumi topik seperti CWE biasa, amalan pengekodan selamat dan cara menggunakan alat keselamatan.
Melaksanakan Dasar dan Prosedur Keselamatan
Organisasi harus melaksanakan dasar dan prosedur keselamatan yang menangani penggunaan kod jana AI. Dasar ini harus mentakrifkan kes penggunaan yang boleh diterima, keperluan keselamatan dan proses untuk menyemak dan meluluskan kod jana AI.
Menggunakan Alat Keselamatan untuk Mengimbas Kod Jana AI
Organisasi harus menggunakan alat keselamatan untuk mengimbas kod jana AI untuk kerentanan. Alat ini boleh membantu mengenal pasti CWE biasa dan isu keselamatan lain.
Melaksanakan Kitaran Hayat Pembangunan Selamat (SDLC)
Organisasi harus melaksanakan kitaran hayat pembangunan selamat (SDLC) yang menggabungkan pertimbangan keselamatan sepanjang proses pembangunan. Ini termasuk menjalankan ulasan keselamatan kod jana AI, melakukan ujian penembusan dan melaksanakan pemantauan keselamatan.
Mewujudkan Program Ganjaran Pepijat
Organisasi harus mewujudkan program ganjaran pepijat untuk menggalakkan penyelidik keselamatan mencari dan melaporkan kerentanan dalam kod jana AI. Ini boleh membantu mengenal pasti kerentanan yang mungkin terlepas oleh pasukan keselamatan dalaman.
Sentiasa Mendapatkan Maklumat Mengenai Ancaman Keselamatan Terkini
Organisasi harus sentiasa mendapatkan maklumat mengenai ancaman dan kerentanan keselamatan terkini yang menjejaskan kod jana AI. Ini boleh membantu mereka menangani isu keselamatan yang berpotensi secara proaktif.
Bekerjasama dengan Pakar Keselamatan
Organisasi harus bekerjasama dengan pakar keselamatan untuk menilai keselamatan kod jana AI mereka dan membangunkan strategi untuk mengurangkan risiko.
Masa Depan Penjanaan Kod Berkuasa AI yang Selamat
Memandangkan alat penjanaan kod berkuasa AI terus berkembang, adalah penting untuk mengutamakan keselamatan. Dengan melaksanakan amalan terbaik yang digariskan di atas, organisasi boleh memanfaatkan faedah penjanaan kod berkuasa AI sambil mengurangkan risiko yang berkaitan dengan kod tidak selamat.
Kemajuan dalam Keselamatan AI
Usaha penyelidikan dan pembangunan yang berterusan tertumpu pada peningkatan keselamatan sistem AI. Usaha ini termasuk membangunkan teknik baharu untuk mengesan dan mencegah serangan permusuhan, meningkatkan keteguhan model AI dan mencipta seni bina AI yang lebih selamat.
Penyepaduan Keselamatan ke dalam Pembangunan AI
Keselamatan semakin bersepadu ke dalam proses pembangunan AI. Ini termasuk menggabungkan pertimbangan keselamatan ke dalam reka bentuk model AI, menggunakan amalan pengekodan selamat dan menjalankan ujian keselamatan sepanjang kitaran hayat pembangunan.
Kerjasama Antara Pakar AI dan Keselamatan
Kerjasama antara pakar AI dan keselamatan adalah penting untuk memastikan keselamatan sistem AI. Kerjasama ini boleh membantu mengenal pasti potensi risiko keselamatan dan membangunkan strategi mitigasi yang berkesan.
Peningkatan Kesedaran tentang Risiko Keselamatan AI
Peningkatan kesedaran tentang risiko keselamatan AI mendorong pembangunan alat dan teknik keselamatan baharu. Ini termasuk alat untuk mengesan serangan permusuhan, menganalisis keselamatan model AI dan memantau sistem AI untuk aktiviti yang mencurigakan.
Dengan menangani cabaran keselamatan yang berkaitan dengan kod jana AI, organisasi boleh membuka potensi penuh pembangunan berkuasa AI sambil melindungi sistem dan data mereka daripada serangan siber. Ia memerlukan pelbagai langkah dan usaha bersepadu.