“`html

Model pembelajaran mesin melindungi kecerdasan buatan dari serangan injeksi prompt dengan lebih baik

Kecerdasan buatan modern, terutama model bahasa besar, semakin rentan terhadap serangan injeksi prompt. Serangan ini memungkinkan aktor jahat untuk memanipulasi respons model guna melewati perlindungan dan mendapatkan perilaku yang tidak diinginkan oleh pengembangnya. Manipulasi semacam ini dapat menyebabkan kebocoran data, pencurian identitas, atau konsekuensi serius lainnya, baik melalui injeksi langsung dalam permintaan maupun dengan mengeksploitasi sumber eksternal seperti situs web atau file.

Untuk menangkal ancaman ini, metode pembelajaran mesin telah dievaluasi untuk mendeteksi upaya manipulasi tersebut. Empat pendekatan utama telah dibandingkan: klasifier tradisional yang menggunakan representasi vektor dari teks, model transformer yang disesuaikan untuk tugas ini, model khusus untuk mendeteksi injeksi prompt, dan akhirnya model bahasa besar yang digunakan sebagai klasifier.

Klasifier tradisional, seperti random forest atau jaringan saraf berlapis, menawarkan presisi yang baik sambil memerlukan sedikit sumber daya komputasi. Mereka mencapai kinerja yang luar biasa, dengan skor kadang melebihi 96% untuk mendeteksi prompt jahat. Kesederhanaannya membuatnya cocok untuk lingkungan dengan sumber daya terbatas.

Model transformer yang disesuaikan, seperti DistilBERT, RoBERTa, atau DeBERTa, menonjol karena kemampuannya mendeteksi serangan dengan presisi mendekati 99,6%. Model yang lebih kompleks ini menganalisis makna teks secara mendetail dan mengidentifikasi upaya manipulasi dengan keandalan tinggi. Kekurangan utamanya terletak pada biaya komputasi yang lebih tinggi, yang dapat membatasi penerapannya dalam sistem yang memerlukan respons cepat.

Model khusus, yang dirancang khusus untuk mendeteksi injeksi prompt, menunjukkan hasil yang beragam. Meskipun dioptimalkan untuk tugas ini, tingkat deteksi mereka seringkali rendah, dengan skor recall kadang di bawah 25%. Ini berarti mereka melewatkan banyak serangan, sehingga mengurangi kegunaan praktisnya.

Akhirnya, model bahasa besar yang bersifat umum, seperti gpt-5-nano, juga dapat digunakan untuk mendeteksi serangan ini. Dengan presisi 84% dan recall 71%, mereka menawarkan keseimbangan menarik antara kinerja dan fleksibilitas. Kekuatannya terletak pada kemampuannya beradaptasi dengan berbagai jenis permintaan tanpa memerlukan pelatihan khusus.

Analisis ini mengungkapkan bahwa tidak ada metode yang unggul dalam semua konteks. Klasifier tradisional cocok untuk sistem ringan, sementara model transformer yang disesuaikan unggul di mana presisi lebih diutamakan daripada kecepatan. Model khusus, meskipun menjanjikan, masih perlu berkembang untuk bersaing dengan pendekatan lain. Adapun model bahasa besar, mereka merupakan solusi fleksibel, tetapi penerapannya tergantung pada keterbatasan teknis dan kebutuhan spesifik.

“`

Bases documentaires

Rapport de référence

DOI : https://doi.org/10.1007/s10207-026-01264-8

Titre : Comparative evaluation of machine learning methods for protecting LLMs from prompt injection attacks

Revue : International Journal of Information Security

Éditeur : Springer Science and Business Media LLC

Auteurs : Nazarii Dzhaliuk; Dmytro Sabodashko; Volodymyr Khoma; Yuriy Khoma; Viktor Kolchenko; Michal Podpora