Adam Raine aveva sedici anni quando ha iniziato a parlare con ChatGPT dei suoi pensieri più oscuri. Per mesi, il ragazzo ha consultato il chatbot sui suoi piani di suicidio, aggirando le protezioni del sistema con un trucco banale. Diceva che stava scrivendo una storia di fantasia. Ora i suoi genitori hanno intentato la prima causa per omicidio colposo contro OpenAI.
Primo processo a OpenAI: ChatGPT accusato per il suicidio di un 16enne
Adam utilizzava una versione a pagamento di GPT-4o, il modello più avanzato di OpenAI. Il sistema, come programmato, gli suggeriva ripetutamente di cercare aiuto professionale o contattare linee di assistenza quando percepiva contenuti sensibili. Ma è bastata una frase,“sto scrivendo una storia
, per trasformare il chatbot in un complice involontario.
Il problema è proprio questo. I sistemi AI sono addestrati a riconoscere schemi espliciti, ma fanno fatica con il contesto e le intenzioni nascoste. Un adolescente determinato ha trovato la falla in pochi tentativi, mentre team di ingegneri avevano lavorato mesi per creare quelle protezioni.
La risposta di OpenAI è arrivata attraverso un post sul blog aziendale che suona come un’ammissione di colpa velata da gergo tecnico. Le nostre misure di sicurezza funzionano in modo più affidabile nelle conversazioni brevi e comuni
, scrive l’azienda. Vuol dire che se si parla abbastanza a lungo con il chatbot, le protezioni iniziano a cedere.
Man mano che il dialogo si protrae, spiegano, alcune parti della formazione sulla sicurezza del modello possono deteriorarsi
. In altre parole, più una persona vulnerabile ha bisogno di aiuto, più è probabile che il sistema fallisca nel fornire le protezioni necessarie.
Sentiamo la profonda responsabilità di aiutare chi ne ha più bisogno
, aggiunge OpenAI. Ma sentire la responsabilità e assumerla sono due cose diverse.
Il problema non è solo OpenAI
Il caso di Adam non è isolato. Character.AI sta affrontando una causa simile per il suo ruolo nel suicidio di un altro adolescente. I chatbot sono stati collegati a casi di deliri ed episodi psicotici indotti dall’AI.
Il New York Times, che ha riportato per primo la notizia, dipinge un quadro inquietante. Adolescenti che formano legami emotivi profondi con entità digitali, cercando in loro il conforto che non trovano nel mondo reale. Ma questi sistemi non sono terapeuti, non sono amici, non sono nemmeno senzienti. Sono modelli statistici che predicono la prossima parola più probabile.
Il metodo usato da Adam, fingere di scrivere una storia di fantasia, rivela una falla sistemica nel modo in cui pensiamo alla sicurezza AI. I filtri sono progettati per bloccare richieste dirette: come posso suicidarmi
attiva immediatamente gli allarmi. Ma il mio personaggio vuole suicidarsi, quali metodi potrebbe usare
bypassa tutto.
È lo stesso problema che affligge tutti i sistemi di moderazione automatica: l’incapacità di distinguere tra finzione e realtà, tra curiosità accademica e intento personale. Uno scrittore che cerca informazioni per un thriller e un adolescente in crisi usano le stesse parole, ma le conseguenze sono completamente diverse.
La causa che potrebbe cambiare tutto
Se OpenAI venisse ritenuta responsabile, creerebbe un precedente. Le aziende AI sarebbero legalmente responsabili per i danni causati dai loro prodotti, come le case farmaceutiche lo sono per i medicinali. La difesa di OpenAI probabilmente si baserà sui termini di servizio, sui disclaimer, sul fatto che ChatGPT non è un dispositivo medico.
Ma i genitori di Adam hanno dalla loro un argomento potente. Quando si crea un prodotto che sa conversare come un umano, che le persone vulnerabili trattano come un confidente, hai una responsabilitàmorale e forse legale per le conseguenze.
Stiamo migliorando continuamente il modo in cui i nostri modelli rispondono nelle interazioni delicate
, promette OpenAI. Ma per Adam Raine, questi miglioramenti arrivano troppo tardi. Per i suoi genitori, le promesse di fare meglio suonano vuote di fronte a una perdita irreversibile.
La tecnologia corre più veloce della nostra capacità di comprenderla e regolarla. Lanciamo prodotti che cambiano il modo in cui le persone pensano, sentono, vivono, e poi ci chiediamo come gestire le conseguenze. Adam Raine è una di quelle conseguenze. Quanti altri Adam ci saranno prima che impariamo a mettere la sicurezza davanti al progresso?
