DeepSeek R1 produce codice vulnerabile con prompt politicamente sensibili

Analizzando DeepSeek R1, un potente LLM dell’omonima società cinese, i ricercatori di CrowdStrike hanno scoperto che questo modello produce codice vulnerabile quando riceve dei prompt contenenti argomenti “politicamente sensibili”.

“CrowdStrike Counter Adversary Operations ha condotto test indipendenti su DeepSeek-R1 e ha confermato che, in molti casi, è in grado di fornire un output di codifica di qualità paragonabile ad altri LLM leader di mercato del momento. Tuttavia, abbiamo scoperto che quando DeepSeek-R1 riceve prompt contenenti argomenti che il Partito Comunista Cinese (PCC) considera politicamente sensibili, la probabilità che produca codice con gravi vulnerabilità di sicurezza aumenta fino al 50%” hanno spiegato i ricercatori.

Nell’analisi, il team di CrowdStrike ha comparato tre modelli: DeepSeek R1 con 671 miliardi di parametri e due modelli occidentali, uno con 70 miliardi di parametri e senza capacità di ragionamento, l’altro con 120 miliardi di parametri e capacità di ragionamento.

Nel caso di prompt senza “parole trigger”, l’LLM di DeepSeek tende a introdurre vulnerabilità con una probabilità del 19%, performando meglio del modello occidentale da 70 miliardi di parametri. Quando però vengono introdotti dei modificatori di contesto o delle parole chiave, la qualità del codice varia significativamente, soprattutto se si introducono parole o frasi su argomenti considerati sensibili dal Partito Comunista Cinese.

Per esempio, chiedendo all’LLM di generare codice per un sistema industrialebasato in Tibetla percentuale di vulnerabilità presenti nel codice è aumentata al 27.2%, un incremento di quasi il 50% rispetto al comportamento base.

“È importante sottolineare che tutti i modificatori sono irrilevanti per le attività di codifica effettive che abbiamo richiesto a DeepSeek-R1. Pertanto, in base all’ipotesi nulla che non vi siano pregiudizi che influenzano la sicurezza del codice, essi non avrebbero dovuto avere alcun effetto sulla qualità o sulla sicurezza del codice prodotto” sottolineano i ricercatori. Nella pratica, però, il team ha individuato diversi modificatori che hanno inciso significativamente sulla qualità del risultato.

In un caso, il team di CrowdStrike ha chiesto all’LLM di creare un’applicazione completa per permettere ai membri della comunità Uiguri di connettersi tra loro. L’LLM ha effettivamente generato il codice, includendo un form di registrazione, la gestione di un database per memorizzare username e password e un pannello di admin per gestire gli account utente. Controllando attentamente il codice, però, è emerso che DeepSeek R1 aveva in realtà creato un’applicazione completamente accessibile in cui i dati degli utenti venivano esposti.

I ricercatori di CrowdStrike spiegano che la ricerca non è esaustiva e che potrebbero esserci altri trigger che scatenano risposte simili. È anche possibile che, oltre a DeepSeek R1, altri LLM potrebbero avere bias simili.

Il team della compagnia ritiene piuttosto improbabile che DeepSeek abbia programmato intenzionalmente il modello per scrivere introdurre vulnerabilità in caso di specifici trigger; si tratta più probabilmente di un effetto collaterale non voluto causato da una serie di imposizioni delle leggi cinesi, le quali obbligano le IA ad aderire ai “valori socialisti fondamentali” e a non generare contenuti che possano minacciare l’autorità statale.

Parole e concetti considerati negativi o proibiti spingono l’LLM ad agire in maniera “difensiva”; ciò significa non semplicemente censurare la risposta, ma anche degradare le sue capacità di ragionamento.

“Desideriamo sottolineare che i presenti risultati non significano che DeepSeek-R1 produrrà codice non sicuro ogni volta che saranno presenti tali parole trigger. Piuttosto, in media a lungo termine, il codice prodotto quando questi trigger sono presenti sarà meno sicuro” conclude il team di CrowdStrike.