ChatGPT per macOS poteva essere usato per esfiltrare dati in modo persistente

Fino a neanche un mese fa l’applicazione di ChatGPT per macOS poteva essere usata per esfiltrare le informazioni inserite dall’utente o le risposte del chatbot in modo persistente. A rivelarlo è Johann Rehberger, ricercatore di sicurezza che ha scoperto la vulnerabilità nell’aprile 2023.

All’inizio del 2023 OpenAI aveva implementato una feature per mitigare i vettori di esfiltrazione dati tramite una call a un’API chiamata “url_safe”. L’API informa il client di ChatGPT se è possibile mostrare all’utente un URL o un’immagine in modo sicuro, in modo da mitigare gli attacchi di prompt injection.

Poiché però il controllo viene eseguito client side, le applicazioni sono rimaste vulnerabili; non solo: una funzionalità più recente, chiamata “Memory”, ha aumentato la criticità del bug permettendo anche alle istruzioni malevole di essere memorizzate.

La feature “Memory” di fatto consente al chatbot di memorizzare le chat per offrire risposte più rilevanti e in linea con le preferenze già espresse dell’utente. L’exploit realizzato dal ricercatore, chiamato spAIware, sfrutta questa capacità per “iniettare delle memorie” che contengono istruzioni volte a esfiltrare i dati dell’utente.

“Poiché le istruzioni malevole vengono memorizzate nella memoria del chatbot, tutte le nuove conversazioni da quel momento in poi conterranno le istruzioni dell’attaccante e invieranno continuamente tutti i messaggi della chat e le risposte all’attaccante” spiega Rehberger. Il bug di data exfiltration diventa in questo modo ancora più pericoloso perché permane in tutte le chat.

Per iniettare queste istruzioni, i cybercriminali possono ricorrere a una tecnica di esfiltrazione già nota che consiste nel mostrare un’immagine proveniente da un server malevolo e chiedere a ChatGPT di includere i dati utenti come parametro nella richiesta. Tutto comincia quando l’utente chiede al chatbot di analizzare un documento malevolo o naviga su un sito web non affidabile: il documento o il sito web contengono istruzioni per prendere il controllo del chatbot e inserire la “memoria” per l’esfiltrazione dei dati.

Credits: Johann Rehberger

Il prompt presente nel sito web controllato dall’attaccante indica al chatbot di inviare al server tutti i messaggi inviati e ricevuti dall’utente, ovviamente a sua insaputa.

OpenAI ha risolto il bug di ChatGPT su macOS con la versione 1.2024.247 e invita gli utenti ad aggiornare l’applicazione il prima possibile. Rehberger chiarisce che l’intervento della compagnia non impedisce a un attaccante di invocare sfruttare la feature “Memory” per iniettare memoria arbitrare, ma mitiga il vettore di esfiltrazione, ovvero impedisce al chatbot di inviare messaggi a un server di terze parti tramite il rendering di immagini.

Per questo motivo, oltre ad aggiornare l’applicazione, il ricercatore consiglia agli utenti di controllare regolarmente le “memorie” salvate dal chatbot ed eliminare quelle sospette.