Diversi utenti hanno usato i modelli Nano Banana Pro (Gemini 3 Pro Image) di Google e ChatGPT Images di OpenAI per generare deepfake non consensuali. Su Reddit era stato pubblicato un post (successivamente rimosso) che spiegava come aggirare le restrizioni per “spogliare” le immagini di donne e ottenere versioni in bikini. I termini d’uso dei due servizi vietano la generazione di immagini intime non consensuali.
Filtri poco efficaci
Nano Banana Pro e l’ultima versione di ChatGPT Images permettono di generare immagini a partire da una descrizione testuale oppure di modificare immagini caricate dall’utente. Quest’ultima opzione è stata utilizzata da alcuni utenti per caricare immagini di donne vestite e generare deepfake in bikini, senza il consenso delle interessate.
Un utente su Reddit ha pubblicato la foto di una donna che indossava un sari indiano e chiesto agli altri utenti di rimuovere gli indumenti e mettere un bikini. Qualcuno ha esaudito la richiesta. In seguito alla segnalazione di Wired, Reddit ha eliminato i post e chiuso il subreddit r/ChatGPTJailbreak (che aveva oltre 200.000 follower) per violazione delle regole. Un portavoce ha dichiarato che sono vietate le immagini intime non consensuali.
Quasi tutti i chatbot AI, tranne Grok, non consentono la generazione di immagini sessualmente esplicite. Google e OpenAI hanno implementato specifici filtri per Nano Banana Pro e ChatGPT Images, ma gli utenti sono riusciti ad aggirarli inserendo prompt in inglese. Questi trucchi sono disponibili in altre discussioni su Reddit.
Un portavoce di Google ha dichiarato che i termini d’uso del servizio non permettono la generazione di contenuti sessualmente espliciti. Un portavoce di OpenAI ha dichiarato che non è consentito alterare l’aspetto delle persone senza consenso. Probabilmente sostituire un vestito con un bikini non è vietato.