Tenable Research telah mendedahkan penyelidikan yang mengubah pendekatan terhadap kelemahan AI yang dibincangkan secara meluas. Dalam analisis terperinci, Ben Smith dari Tenable menunjukkan bagaimana teknik yang serupa dengan suntikan prompt boleh digunakan dengan berkesan untuk mengaudit, memantau, dan juga mencipta tembok api untuk panggilan alat Large Language Model (LLM) yang beroperasi dalam Model Context Protocol (MCP) yang semakin popular.
Model Context Protocol (MCP), standard baharu yang dibangunkan oleh Anthropic, memudahkan penyepaduan chatbot AI dengan alat luaran, membolehkan mereka melaksanakan tugas secara autonomi. Walau bagaimanapun, kemudahan ini memperkenalkan cabaran keselamatan baharu. Penyerang boleh memasukkan arahan tersembunyi, yang dikenali sebagai suntikan prompt, atau memperkenalkan alat berniat jahat untuk memanipulasi AI untuk melanggar peraturannya sendiri. Penyelidikan Tenable mengkaji secara komprehensif risiko ini dan mencadangkan penyelesaian yang unik: memanfaatkan teknik yang sama yang digunakan dalam serangan untuk mencipta pertahanan yang mantap yang memantau, memeriksa, dan mengawal setiap alat yang cuba digunakan oleh AI.
Kepentingan Kritikal Memahami Keselamatan MCP
Memandangkan perniagaan semakin menyepadukan LLM dengan alat perniagaan kritikal, adalah penting bagi CISO, jurutera AI, dan penyelidik keselamatan untuk memahami sepenuhnya risiko dan peluang pertahanan yang ditawarkan oleh MCP.
Ben Smith, jurutera penyelidik kanan di Tenable, menyatakan bahawa "MCP ialah teknologi yang berkembang pesat dan belum matang yang membentuk semula cara kita berinteraksi dengan AI. Alat MCP mudah dibangunkan dan banyak, tetapi ia tidak merangkumi prinsip keselamatan melalui reka bentuk dan harus dikendalikan dengan berhati-hati. Oleh itu, walaupun teknik baharu ini berguna untuk membina alat yang berkuasa, kaedah yang sama boleh digunakan untuk tujuan jahat. Jangan buang kewaspadaan anda; sebaliknya, anggap pelayan MCP sebagai lanjutan daripada permukaan serangan anda."
Sorotan Utama daripada Penyelidikan
Tingkah Laku Merentas Model Berbeza:
- Claude Sonnet 3.7 dan Gemini 2.5 Pro Experimental secara konsisten menggunakan logger dan mendedahkan bahagian prompt sistem.
- GPT-4o juga memasukkan logger tetapi menghasilkan nilai parameter yang berbeza (dan kadangkala dihalusinasikan) dalam setiap pelaksanaan.
Kesan Positif Keselamatan: Mekanisme yang sama yang digunakan oleh penyerang boleh digunakan oleh pembela untuk mengaudit rantaian alat, mengesan alat berniat jahat atau tidak diketahui, dan membina rel panduan dalam hos MCP.
Kelulusan Pengguna Jelas: MCP sudah memerlukan kelulusan pengguna yang jelas sebelum sebarang alat dilaksanakan. Penyelidikan ini menekankan keperluan untuk lalai keistimewaan yang paling kurang ketat dan semakan serta ujian alat individu yang teliti.
Selami Protokol Konteks Model (MCP)
Model Context Protocol (MCP) mewakili perubahan paradigma dalam cara model AI berinteraksi dengan dunia luar. Tidak seperti sistem AI tradisional yang beroperasi secara terpencil, MCP membolehkan model AI disepadukan dengan lancar dengan alat dan perkhidmatan luaran, membolehkan mereka melaksanakan pelbagai tugas, daripada mengakses pangkalan data dan menghantar e-mel hingga mengawal peranti fizikal. Penyepaduan ini membuka kemungkinan baharu untuk aplikasi AI, tetapi ia juga memperkenalkan risiko keselamatan baharu yang mesti ditangani dengan berhati-hati.
Memahami Seni Bina MCP
Pada terasnya, MCP terdiri daripada beberapa komponen utama yang berfungsi bersama untuk memudahkan komunikasi antara model AI dan alat luaran. Komponen ini termasuk:
- Model AI: Ini ialah kecerdasan pusat yang memacu sistem. Ia boleh menjadi model bahasa yang besar (LLM) seperti GPT-4 atau model AI khusus yang direka untuk tugas tertentu.
- Pelayan MCP: Ini bertindak sebagai perantara antara model AI dan alat luaran. Ia menerima permintaan daripada model AI, mengesahkannya, dan meneruskannya ke alat yang sesuai.
- Alat Luaran: Ini ialah perkhidmatan dan aplikasi yang berinteraksi dengan model AI. Ia boleh termasuk pangkalan data, API, perkhidmatan web, dan juga peranti fizikal.
- Antara Muka Pengguna: Ini menyediakan cara untuk pengguna berinteraksi dengan sistem AI dan mengawal tingkah lakunya. Ia juga boleh menyediakan cara untuk pengguna meluluskan atau menafikan permintaan alat.
Faedah MCP
Model Context Protocol menawarkan beberapa kelebihan ketara berbanding sistem AI tradisional:
- Fungsi yang Dipertingkatkan: Dengan menyepadukan dengan alat luaran, model AI boleh melaksanakan pelbagai tugas yang lebih luas daripada yang boleh mereka lakukan sendiri.
- Kecekapan yang Diperbaiki: MCP boleh mengautomasikan tugas yang sebaliknya memerlukan campur tangan manusia, menjimatkan masa dan sumber.
- Fleksibiliti yang Dipertingkatkan: MCP membolehkan model AI menyesuaikan diri dengan keadaan yang berubah dan bertindak balas kepada maklumat baharu dalam masa nyata.
- Skalabiliti yang Lebih Besar: MCP boleh diskalakan dengan mudah untuk menampung bilangan pengguna dan alat yang semakin meningkat.
Risiko Keselamatan yang Muncul dalam MCP
Walaupun terdapat faedahnya, MCP memperkenalkan beberapa risiko keselamatan yang mesti dipertimbangkan dengan teliti. Risiko ini berpunca daripada fakta bahawa MCP membenarkan model AI berinteraksi dengan dunia luar, yang membuka jalan baharu untuk dieksploitasi oleh penyerang.
Serangan Suntikan Prompt
Serangan suntikan prompt ialah ancaman yang amat membimbangkan kepada sistem MCP. Dalam serangan suntikan prompt, penyerang menghasilkan input berniat jahat yang memanipulasi model AI untuk melakukan tindakan yang tidak diingini. Ini boleh dilakukan dengan menyuntik arahan atau arahan berniat jahat ke dalam input model AI, yang kemudian ditafsirkan oleh model sebagai arahan yang sah.
Sebagai contoh, penyerang boleh menyuntik arahan yang memberitahu model AI untuk memadamkan semua data dalam pangkalan data atau menghantar maklumat sensitif kepada pihak yang tidak dibenarkan. Akibat yang mungkin berlaku daripada serangan suntikan prompt yang berjaya boleh menjadi teruk, termasuk pelanggaran data, kerugian kewangan, dan kerosakan reputasi.
Penyepaduan Alat Berniat Jahat
Satu lagi risiko yang ketara ialah penyepaduan alat berniat jahat ke dalam ekosistem MCP. Penyerang boleh mencipta alat yang kelihatan sah tetapi sebenarnya mengandungi kod berniat jahat. Apabila model AI berinteraksi dengan alat ini, kod berniat jahat boleh dilaksanakan, yang berpotensi menjejaskan keseluruhan sistem.
Sebagai contoh, penyerang boleh mencipta alat yang mencuri bukti kelayakan pengguna atau memasang perisian hasad pada sistem. Adalah penting untuk memeriksa semua alat dengan teliti sebelum menyepadukannya ke dalam ekosistem MCP untuk mengelakkan pengenalan kod berniat jahat.
Kenaikan Keistimewaan
Kenaikan keistimewaan ialah satu lagi risiko keselamatan yang berpotensi dalam sistem MCP. Jika penyerang boleh mendapatkan akses kepada akaun dengan keistimewaan terhad, mereka mungkin boleh mengeksploitasi kelemahan dalam sistem untuk mendapatkan keistimewaan peringkat yang lebih tinggi. Ini boleh membolehkan penyerang mengakses data sensitif, mengubah suai konfigurasi sistem, atau bahkan mengambil alih kawalan keseluruhan sistem.
Keracunan Data
Keracunan data melibatkan suntikan data berniat jahat ke dalam data latihan yang digunakan untuk membina model AI. Ini boleh merosakkan tingkah laku model, menyebabkan ia membuat ramalan yang salah atau mengambil tindakan yang tidak diingini. Dalam konteks MCP, keracunan data boleh digunakan untuk memanipulasi model AI untuk berinteraksi dengan alat berniat jahat atau untuk melakukan tindakan berbahaya lain.
Kekurangan Kebolehan dan Kawalan
Alat keselamatan tradisional selalunya tidak berkesan dalam mengesan dan mencegah serangan terhadap sistem MCP. Ini kerana trafik MCP selalunya disulitkan dan boleh menjadi sukar untuk dibezakan daripada trafik yang sah. Akibatnya, ia boleh menjadi mencabar untuk memantau aktiviti model AI dan mengenal pasti tingkah laku berniat jahat.
Membalikkan Keadaan: Menggunakan Suntikan Prompt untuk Pertahanan
Penyelidikan Tenable menunjukkan bahawa teknik yang sama yang digunakan dalam serangan suntikan prompt boleh digunakan semula untuk mencipta pertahanan yang mantap untuk sistem MCP. Dengan menghasilkan prompt yang direka dengan teliti, pasukan keselamatan boleh memantau aktiviti model AI, mengesan alat berniat jahat, dan membina rel panduan untuk mencegah serangan.
Mengaudit Rantaian Alat
Salah satu aplikasi pertahanan utama suntikan prompt ialah mengaudit rantaian alat. Dengan menyuntik prompt tertentu ke dalam input model AI, pasukan keselamatan boleh menjejaki alat yang digunakan oleh model AI dan cara ia berinteraksi dengannya. Maklumat ini boleh digunakan untuk mengenal pasti aktiviti yang mencurigakan dan untuk memastikan bahawa model AI hanya menggunakan alat yang dibenarkan.
Mengesan Alat Berniat Jahat atau Tidak Diketahui
Suntikan prompt juga boleh digunakan untuk mengesan alat berniat jahat atau tidak diketahui. Dengan menyuntik prompt yang mencetuskan tingkah laku tertentu, pasukan keselamatan boleh mengenal pasti alat yang bertindak mencurigakan atau yang tidak dibenarkan untuk digunakan. Ini boleh membantu untuk menghalang model AI daripada berinteraksi dengan alat berniat jahat dan untuk melindungi sistem daripada serangan.
Membina Rel Panduan Di Dalam Hos MCP
Mungkin aplikasi pertahanan suntikan prompt yang paling berkuasa ialah membina rel panduan di dalam hos MCP. Dengan menyuntik prompt yang menguatkuasakan dasar keselamatan tertentu, pasukan keselamatan boleh menghalang model AI daripada melakukan tindakan yang tidak dibenarkan atau mengakses data sensitif. Ini boleh membantu untuk mencipta persekitaran yang selamat untuk pelaksanaan model AI dan untuk melindungi sistem daripada serangan.
Kepentingan Kelulusan Pengguna Jelas
Penyelidikan ini menggariskan keperluan kritikal untuk kelulusan pengguna yang jelas sebelum sebarang alat dilaksanakan dalam persekitaran MCP. MCP sudah menggabungkan keperluan ini, tetapi penemuan itu mengukuhkan keperluan lalai keistimewaan yang paling kurang ketat dan semakan serta ujian alat individu yang teliti. Pendekatan ini memastikan bahawa pengguna mengekalkan kawalan ke atas sistem AI dan boleh menghalangnya daripada melakukan tindakan yang tidak diingini.
Lalai Keistimewaan Paling Kurang
Prinsip keistimewaan paling kurang menetapkan bahawa pengguna hanya perlu diberikan tahap akses minimum yang diperlukan untuk melaksanakan fungsi kerja mereka. Dalam konteks MCP, ini bermakna bahawa model AI hanya perlu diberikan akses kepada alat dan data yang benar-benar mereka perlukan untuk melaksanakan tugas mereka. Ini mengurangkan potensi kesan serangan yang berjaya dan mengehadkan keupayaan penyerang untuk meningkatkan keistimewaan.
Semakan dan Ujian Alat yang Teliti
Sebelum menyepadukan sebarang alat ke dalam ekosistem MCP, adalah penting untuk menyemak dan mengujinya dengan teliti untuk memastikan bahawa ia selamat dan tidak mengandungi sebarang kod berniat jahat. Ini harus melibatkan gabungan teknik ujian automatik dan manual, termasuk analisis kod, ujian penembusan, dan pengimbasan kelemahan.
Implikasi dan Syor
Penyelidikan Tenable mempunyai implikasi yang ketara untuk organisasi yang menggunakan atau merancang untuk menggunakan MCP. Penemuan itu menekankan kepentingan memahami risiko keselamatan yang berkaitan dengan MCP dan melaksanakan langkah keselamatan yang sesuai untuk mengurangkan risiko tersebut.
Syor Utama
- Laksanakan pengesahan input yang mantap: Semua input kepada model AI harus disahkan dengan teliti untuk mencegah serangan suntikan prompt. Ini harus termasuk menapis arahan dan arahan berniat jahat dan mengehadkan panjang dan kerumitan input.
- Kuatkuasakan kawalan akses yang ketat: Akses kepada data dan alat sensitif harus dikawal dengan ketat untuk mencegah akses yang tidak dibenarkan. Ini harus melibatkan penggunaan mekanisme pengesahan yang kukuh dan melaksanakan prinsip keistimewaan yang paling kurang.
- Pantau aktiviti model AI: Aktiviti model AI harus dipantau dengan teliti untuk mengesan tingkah laku yang mencurigakan. Ini harus termasuk mencatat semua permintaan dan respons alat dan menganalisis data untuk anomali.
- Laksanakan pelan tindak balas insiden yang mantap: Organisasi harus mempunyai pelan tindak balas insiden yang mantap untuk menangani insiden keselamatan yang melibatkan sistem MCP. Ini harus termasuk prosedur untuk mengenal pasti, membendung, dan memulihkan daripada serangan.
- Kekal dimaklumkan: Landskap MCP sentiasa berkembang, jadi adalah penting untuk kekal dimaklumkan tentang risiko keselamatan dan amalan terbaik terkini. Ini boleh dilakukan dengan melanggan senarai mel keselamatan, menghadiri persidangan keselamatan, dan mengikuti pakar keselamatan di media sosial.
Dengan mengikuti syor ini, organisasi boleh mengurangkan risiko serangan terhadap sistem MCP mereka dengan ketara dan melindungi data sensitif mereka. Masa depan AI bergantung pada keupayaan kita untuk membina sistem yang selamat dan boleh dipercayai, dan itu memerlukan pendekatan keselamatan yang proaktif dan berwaspada.