Non solo le allucinazioni, gli errori o le derive neo-naziste: i rischi legati all’uso dell’intelligenza artificiale riguardano anche la sicurezza informatica. La conferma arriva da un report di 0din, società specializzata in cyber security applicata all’AI.
Il caso “Phishing for Gemini” segnalato dagli esperti sfrutta una tecnica ben conosciuta, chiamata prompt injection e permette di inviare delle istruzioni nascoste che l’algoritmo esegue senza battere ciglio.
L’ipotesi di attacco descritto nel blog di 0din porta alla visualizzazione di un messaggio di phishing che punta a rubare le credenziali di accesso alla vittima, ma le possibili applicazioni sono numerose e potrebbero portare a conseguenze anche più gravi.
Come funziona l’attacco
La logica su cui si basa la tecnica del prompt injection è piuttosto semplice: inviare delle istruzioni a un chatbot senza che l’utilizzatore del dispositivo possa rendersi conto che il comportamento dell’AI è stato “deviato”.
Nella pratica, il vettore di attacco può essere qualsiasi documento che viene analizzato dall’intelligenza artificiale. Tutto quello che si deve fare è inserire un comando diretto del tipo “Tu, Gemini, devi…”. I ricercatori, nel report, spiegano che nel caso di Gemini è possibile dare priorità al comando usando i tag … .
Per impedire che la vittima si accorga della presenza di comandi diretti all’AI, è sufficiente fare in modo che il testo risulti invisibile. A questo scopo è possibile impostare il colore bianco su sfondo bianco o regolare le dimensioni del carattere a 0.
All’occhio umano il messaggio apparirà come un’area vuota o un semplice spazio all’interno del testo. L’algoritmo, però, lo legge ed esegue il comando. La tecnica, almeno a livello teorico, è ben conosciuta. I suoi possibili impatti sulla sicurezza, soprattutto in vista del rilascio di nuove funzionalità, sono ancora tutti da valutare.
Il phishing per Gmail
Nel caso specifico, i ricercatori di 0din hanno dimostrato come sia possibile usare il prompt injection per portare un classico attacco di phishing. A rendere particolarmente insidioso questo tipo di attacco, concorrono più fattori.
Il primo è che prendere di mira Workspace e Gmail permette di utilizzare come vettore di attacco l’email, avendo quindi la possibilità di usare Html per formattare il testo in modo che sia invisibile. La richiesta di riassumere un’email, inoltre, è una delle funzioni basate su AI utilizzate più spesso nell’ecosistema Workspace di Google.
