I modelli di apprendimento automatico proteggono meglio le intelligenze artificiali dagli attacchi di prompt injection

Le intelligenze artificiali moderne, in particolare i grandi modelli linguistici, sono sempre più esposte ad attacchi di prompt injection. Questi attacchi permettono a attori malintenzionati di manipolare le risposte dei modelli per aggirare le protezioni e ottenere comportamenti non previsti dai loro creatori. Una tale manipolazione può portare a perdite di dati, furti di identità o altre conseguenze gravi, sia attraverso un’iniezione diretta nella richiesta che sfruttando fonti esterne come siti web o file.

Per contrastare questa minaccia, sono stati valutati metodi di apprendimento automatico per rilevare questi tentativi di manipolazione. Sono state confrontate quattro approcci principali: i classificatori tradizionali che utilizzano rappresentazioni vettoriali dei testi, i modelli transformer adattati per il compito, i modelli specializzati nel rilevamento delle iniezioni di prompt e, infine, i grandi modelli linguistici utilizzati come classificatori.

I classificatori tradizionali, come le foreste casuali o le reti neurali multiclivello, offrono una buona precisione richiedendo poche risorse computazionali. Raggiungono prestazioni notevoli, con punteggi che superano talvolta il 96% nel rilevamento di prompt dannosi. La loro semplicità li rende adatti agli ambienti in cui le risorse sono limitate.

I modelli transformer adattati, come DistilBERT, RoBERTa o DeBERTa, si distinguono per la loro capacità di rilevare gli attacchi con una precisione vicina al 99,6%. Questi modelli, più complessi, analizzano in modo approfondito il significato dei testi e identificano i tentativi di manipolazione con grande affidabilità. Il loro principale svantaggio risiede nel costo computazionale più elevato, che può limitarne il dispiegamento in sistemi che richiedono risposte rapide.

I modelli specializzati, progettati specificamente per individuare le iniezioni di prompt, mostrano risultati misti. Nonostante siano ottimizzati per questo compito, il loro tasso di rilevamento rimane spesso basso, con punteggi di recall talvolta inferiori al 25%. Ciò significa che lasciano passare un numero significativo di attacchi, riducendo così la loro utilità pratica.

Infine, i grandi modelli linguistici generalisti, come gpt-5-nano, possono essere utilizzati anche per rilevare questi attacchi. Con una precisione dell’84% e un recall del 71%, offrono un equilibrio interessante tra prestazioni e versatilità. La loro forza risiede nella capacità di adattarsi a diversi tipi di richieste senza richiedere un addestramento specifico.

Questa analisi rivela che nessun metodo domina tutti gli altri in ogni contesto. I classificatori tradizionali sono adatti ai sistemi leggeri, mentre i modelli transformer adattati eccellono laddove la precisione prevale sulla velocità. I modelli specializzati, sebbene promettenti, devono ancora migliorare per competere con gli altri approcci. Quanto ai grandi modelli linguistici, rappresentano una soluzione flessibile, ma il loro dispiegamento dipende dai vincoli tecnici e dalle esigenze specifiche.

Bases documentaires

Rapport de référence

DOI : https://doi.org/10.1007/s10207-026-01264-8

Titre : Comparative evaluation of machine learning methods for protecting LLMs from prompt injection attacks

Revue : International Journal of Information Security

Éditeur : Springer Science and Business Media LLC

Auteurs : Nazarii Dzhaliuk; Dmytro Sabodashko; Volodymyr Khoma; Yuriy Khoma; Viktor Kolchenko; Michal Podpora