Meta annuncia nuovi tool di sicurezza per Llama

Martedì scorso Meta ha annunciato nuovi tool di sicurezza per Llama allo scopo di aiutare gli sviluppatori a realizzare applicazioni di intelligenza artificiale più sicure.

La prima novità è LlamaFirewall, un framework open-source per aiutare gli sviluppatori a individuare e prevenire attacchi mirati come la prompt injection o le interazioni con plugin-in sospetti, ma anche lo sviluppo di codice non sicuro. LlamaFirewall si presenta come un orchestratore di modelli di IA ed è in grado di integrarsi con altri prodotti di sicurezza.

“LlamaFirewall è un framework progettato per rilevare e mitigare i rischi di sicurezza incentrati sull’intelligenza artificiale, supportando più livelli di input e output, come la tipica chat LLM e operazioni ad agenti multi-step più avanzate. È costituito da una serie di scanner per diversi rischi di sicurezza” ha specificato Meta su un repository GitHub del progetto per Llama.

Il framework si compone di tre moduli: Agent Alignment Checks, un auditor che si occupa di analizzare il flusso di ragionamento degli agenti per prevenire errori e prompt injection; CodeShield, un motore di analisi statica in grado di prevenire la generazione di codice non sicuro; infine, PromptGuard 2, un aggiornamento al precedente modello di classificazione.

La nuova versione di PromptGuard 2 migliora le funzionalità di individuazione di tentativi di jailbreak e prompt injection. Nella versione base, il nuovo modello funziona con 86 milioni di parametri, ma è disponibile anche in una versione più contenuta da 22 milioni di parametri, più veloce e con un costo computazionale notevolmente minore.

Rispetto alla versione precedente, il nuovo PromptGuard è stato addestrato su un dataset più ampio per analizzare più tipi di input e output differenti e per migliorare le sue capacità di detection. “Essendo un modello leggero, PromptGuard 2 è eseguibile sia sulla CPU che sulla GPU, rendendolo ideale per l’analisi real-time dell’input degli LLM e per facilitare l’individuazione rapida e accurata dei tentativi di jailbreak“.

Tra gli aggiornamenti, Meta segnala anche un aggiornamento per CyberSecEval, la suite di benchmark di cybersecurity per i modelli di IA. La suite include ora due nuovi tool: CyberSOC Eval, un framework che misura l’efficacia dei sistemi di IA nei SOC, e AutoPatchBench, un nuovo benchmark in grado di valutare la capacità di Llama e altri sistemi di IA di applicare automaticamente le patch per le vulnerabilità.