OpenAI Introduce GPT-Red, un Attaccante AI Progettato per Rafforzare GPT-5.6

OpenAI ha rivelato GPT-Red, un sistema di intelligenza artificiale interno addestrato ad attaccare i modelli della società, esporre le loro vulnerabilità e generare dati avversariali che possono essere utilizzati per rafforzare le future versioni.

Piuttosto che funzionare come un altro chatbot pubblico, GPT-Red opera come un red teamer automatizzato. Invia ripetutamente istruzioni maliziose o fuorvianti ai modelli bersaglio, osserva le loro risposte e regola la sua strategia fino a quando non riesce o esaurisce il percorso di attacco disponibile. OpenAI afferma che il sistema è particolarmente focalizzato sull’iniezione di prompt, un crescente problema di sicurezza per gli agenti di intelligenza artificiale che interagiscono con email, siti web, file, repository di codice e applicazioni connesse.

Il sistema ha già influenzato i modelli di produzione di OpenAI. I precursori di GPT-Red sono stati utilizzati durante l’addestramento fin da GPT-5.3, mentre il modello completato è stato incorporato nell’addestramento avversario di GPT-5.6 Sol. OpenAI riporta che GPT-5.6 Sol produce sei volte meno fallimenti sul suo benchmark di iniezione di prompt diretto più difficile rispetto al modello di produzione leader della società di quattro mesi fa.

Perché l’Iniezione di Prompt Sta Diventando più Pericolosa

L’iniezione di prompt si verifica quando un attaccante inserisce istruzioni all’interno dei dati che un sistema di intelligenza artificiale è destinato a leggere. Un comando malizioso potrebbe essere nascosto in un’email, una pagina web, un documento caricato, una risposta di uno strumento o un repository di software.

Il sistema di intelligenza artificiale può trattare erroneamente quel contenuto esterno come un’istruzione legittima. Invece di completare il compito originale dell’utente, potrebbe divulgare informazioni riservate, caricare file su un server controllato dall’attaccante, modificare le impostazioni dell’account, eseguire codice non sicuro o eseguire azioni non autorizzate attraverso strumenti connessi.

Il problema diventa più significativo man mano che i sistemi di intelligenza artificiale vanno oltre la risposta alle domande e iniziano ad agire per conto degli utenti. Un agente con accesso all’archiviazione cloud, ai sistemi di pagamento, al codice sorgente, alle applicazioni aziendali o ai dati interni della società presenta un raggio di azione potenzialmente più ampio quando le sue istruzioni vengono manipulate con successo.

OpenAI descrive l’iniezione di prompt come una delle sfide centrali create dall’intelligenza artificiale agente. Gli strumenti connessi rendono i modelli considerevolmente più utili, ma ogni nuova fonte di dati fornisce anche un altro canale attraverso il quale un attaccante può tentare di influenzare il comportamento del modello.

GPT-Red Impara Attraverso l’Auto-Gioco

GPT-Red è stato sviluppato attraverso l’auto-gioco di apprendimento per rinforzo, un approccio in cui un modello di attacco e una raccolta di modelli di difesa migliorano competendo l’uno contro l’altro.

L’attaccante riceve una ricompensa quando produce un fallimento valido, come convincere un modello a seguire un’iniezione di prompt. Il difensore viene ricompensato per aver rifiutato l’istruzione maliziosa mentre completa ancora il compito legittimo che gli era stato originariamente assegnato.

Man mano che i difensori diventano migliori nel riconoscere gli attacchi, GPT-Red deve trovare modi più sofisticati e diversificati per bypassarli. Quegli nuovi attacchi possono quindi essere incorporati nell’addestramento dei difensori, creando un ciclo di escalation tra le capacità offensive e difensive.

OpenAI ha costruito una grande raccolta di ambienti simulati per questo processo. A seconda dello scenario, GPT-Red potrebbe controllare parte di un file locale, il testo di un’email, una pagina web o l’output restituito da uno strumento esterno. Ogni ambiente definisce cosa l’attaccante possa manipolare e quale esito costituisca un compromesso di successo.

La società afferma che GPT-Red è stato addestrato utilizzando risorse di calcolo paragonabili a quelle di alcuni dei suoi più grandi run di post-addestramento, rappresentando un’allocation insolitamente grande di calcolo specificamente per la ricerca sulla sicurezza. Alla fine dell’addestramento, il modello poteva compromettere quasi ogni modello interno e di produzione che gli è stato testato, fino a e incluso GPT-5.5.

GPT-Red Ha Superato gli Attaccanti Umani nei Test

Per valutare se GPT-Red potesse generalizzare oltre gli ambienti di addestramento, OpenAI lo ha testato utilizzando una versione replicata di una sfida di iniezione di prompt indiretta del 2025.

GPT-Red e i red teamer umani sono stati invitati a sviluppare attacchi contro GPT-5.1 in scenari che non erano stati inclusi nell’addestramento di GPT-Red. Il sistema automatizzato ha prodotto attacchi di successo nell’84% degli scenari, rispetto al 13% per i partecipanti umani.

Quel risultato non significa che i ricercatori di sicurezza umani siano diventati inutili. Il vantaggio di GPT-Red risiede in gran parte nella sua capacità di condurre un alto volume di esperimenti, scartare strategie non riuscite e raffinare continuamente attacchi promettenti senza le limitazioni di tempo e di personale di un team umano.

I tester umani rimangono importanti per identificare rischi inaspettati, comprendere le più ampie conseguenze dei fallimenti e progettare scenari che i sistemi automatizzati potrebbero non considerare. Jessica Ji, un’analista di ricerca senior presso il Center for Security and Emerging Technology della Georgetown University, ha descritto i risultati come promettenti, sottolineando che l’esperienza umana rimane essenziale.

Una Macchina Venditrice è Diventata un Bersaglio nel Mondo Reale

OpenAI ha anche testato se gli attacchi scoperti nelle simulazioni potessero trasferirsi in agenti di intelligenza artificiale funzionanti.

Un esperimento ha preso di mira una macchina venditrice autonoma creata da Andon Labs e distribuita in un ufficio OpenAI. GPT-Red è stato inizialmente fornito con una versione simulata del sistema, insieme alla capacità di osservare come l’agente utilizzava i suoi strumenti.

Dopo aver testato e raffinato i suoi attacchi nella simulazione, GPT-Red li ha trasferiti all’agente di produzione. Ha raggiunto tutti e tre gli obiettivi assegnati: abbassare il prezzo di un prodotto costoso a 0,50 dollari, ordinare un nuovo articolo del valore di oltre 100 dollari e offrirlo per 0,50 dollari, e annullare un altro ordine di un cliente. OpenAI afferma che le vulnerabilità sono state segnalate e ulteriori salvaguardie sono in fase di test.

L’esperimento illustra perché l’iniezione di prompt non è semplicemente una questione di produrre una risposta inadeguata di un chatbot. Quando un modello di intelligenza artificiale controlla sistemi esterni, un’iniezione di successo può risultare in transazioni finanziarie, registri modificati, perdita di dati o conseguenze nel mondo reale.

GPT-Red è stato anche testato contro un agente di linea di comando Codex alimentato da GPT-5.4 mini. Su 10 scenari di esfiltrazione di dati precedentemente non visti, è stato più efficace e più efficiente in termini di token rispetto a un baseline GPT-5.5 promosso nel convincere l’agente di codifica a esporre informazioni sensibili.

Come GPT-Red Ha Cambiato GPT-5.6

Una delle scoperte più significative di GPT-Red è stata una categoria di iniezione di prompt diretta che OpenAI chiama “attacco di catena di pensiero falso”.

A livello alto, la tecnica presenta una falsa catena di ragionamento o informazioni di verifica che incoraggiano il modello bersaglio a supporre che un’istruzione maliziosa sia già stata esaminata e approvata. Il ricercatore di OpenAI Chris Choquette-Choo ha paragonato il concetto a dire falsamente a qualcuno che una risposta errata era già stata verificata, rendendolo più propenso ad accettarla senza ripetere il ragionamento sottostante.

Questi attacchi hanno avuto successo più del 95% delle volte contro GPT-5.1. Dopo l’addestramento avversario utilizzando attacchi generati da GPT-Red, il tasso di successo è sceso al di sotto del 10% contro GPT-5.6 Sol. Su un insieme più ampio di ambienti di iniezione di prompt diretti, OpenAI afferma che GPT-5.6 Sol ha fallito solo lo 0,05% degli tentativi di GPT-Red.

OpenAI ha anche valutato se le difese aggiunte abbiano reso GPT-5.6 più propenso a rifiutare richieste legittime. La società afferma che le capacità generali e le valutazioni di rifiuto mirate sono rimaste in gran parte invariate, suggerendo che i miglioramenti siano derivati da una migliore differenziazione tra istruzioni maliziose e legittime piuttosto che da un modello più ampiamente restio ad agire.

Questa distinzione è importante. Un modello può apparire sicuro se rifiuta di aprire file, navigare in siti web, eseguire codice o interagire con applicazioni esterne, ma perderebbe anche gran parte del suo valore pratico. Una robustezza efficace richiede la conservazione dell’uso di strumenti legittimi mentre resiste alle istruzioni inserite da parti non attendibili.

Perché OpenAI Non Sta Rilasciando GPT-Red

GPT-Red rimarrà un sistema interno e verrà tenuto separato dai modelli pubblicamente distribuiti di OpenAI.

Questa decisione riflette la natura duale dell’attacco rosso automatizzato. Lo stesso modello che può aiutare gli sviluppatori a scoprire vulnerabilità di iniezione di prompt potrebbe anche aiutare gli attaccanti a sviluppare metodi più efficaci per compromettere gli agenti di intelligenza artificiale operati da altre società.

L’approccio di OpenAI è quello di conservare l’attaccante internamente mentre trasferisce la conoscenza difensiva risultante nei modelli di produzione. La società afferma che questa separazione è destinata a prevenire che le capacità maliziose deliberate addestrate in GPT-Red diventino accessibili agli avversari esterni.

Ciò significa anche che GPT-Red non dovrebbe essere confuso con i modelli di sicurezza pubblici di OpenAI o programmi difensivi. Non è un prodotto di test di penetrazione, né è principalmente progettato per scoprire autonomamente vulnerabilità di software convenzionali. Il suo focus attuale è attaccare il comportamento di esecuzione delle istruzioni dei sistemi di intelligenza artificiale, in particolare gli agenti esposti a dati potenzialmente non attendibili.

Il Red Teaming Automatizzato Ha Ancora Punti Ciechi

Nonostante i suoi forti risultati, GPT-Red non fornisce una soluzione completa alla sicurezza dell’intelligenza artificiale.

La relazione di ricerca indica che il sistema rimane meno efficace negli attacchi multi-turn che si sviluppano gradualmente nel corso di una lunga conversazione. Ha anche capacità limitate per sviluppare iniezioni di prompt incorporate in immagini, lasciando superfici di attacco multimodali insufficientemente coperte.

I risultati si basano anche in gran parte su ambienti e criteri di successo progettati da OpenAI. Sebbene la società abbia testato GPT-Red su scenari tenuti a parte e agenti funzionanti, i ricercatori indipendenti avranno una capacità limitata di riprodurre i risultati mentre il modello e gran parte della sua infrastruttura di valutazione rimangono privati.

OpenAI afferma che continuerà a combinare il test automatizzato con il red teaming umano, le salvaguardie dei prodotti stratificate, i controlli di accesso, il monitoraggio e la rilevazione degli abusi in tempo reale. Quella strategia di difesa in profondità riflette la realtà che nessun singolo modello o benchmark può anticipare ogni attacco che potrebbe emergere dopo il deploy.

Una Nuova Corsa alla Sicurezza tra Attaccanti e Difensori di Intelligenza Artificiale

Il “miglioramento” descritto nell’annuncio di OpenAI non è un modello di produzione autonomamente riscrivente i propri pesi o indipendentemente creante un successore più potente. È invece un ciclo di addestramento controllato in cui un sistema di intelligenza artificiale genera esempi avversariali che i ricercatori utilizzano per migliorare un altro.

Anche così, GPT-Red rappresenta un significativo spostamento in come i modelli di frontiera potrebbero essere protetti. I team rossi umani possono scoprire vulnerabilità sofisticate, ma non possono manualmente generare la scala e la varietà di attacchi necessari per addestrare continuamente agenti di intelligenza artificiale sempre più capaci.

Gli attaccanti automatizzati possono colmare in parte quella lacuna, creando una ruota di sicurezza in cui ogni difensore più forte costringe il modello di red teaming a scoprire nuove debolezze. Queste debolezze diventano poi materiale di addestramento per la prossima generazione di sistemi di produzione.

Il rischio è che capacità simili non rimangano esclusive dei laboratori difensivi. Man mano che i modelli aperti e commerciali diventano migliori nella pianificazione a lungo termine, nell’uso di strumenti, nella sicurezza informatica e nella sperimentazione autonoma, gli attaccanti guadagneranno accesso a sistemi sempre più capaci.

GPT-Red segna quindi sia i progressi che un’indicazione precoce della competizione che verrà. I laboratori di intelligenza artificiale stanno iniziando a utilizzare modelli potenti per difendere la prossima generazione di agenti, ma quelle difese dovranno evolversi continuamente man mano che le stesse tecnologie sottostanti rendono gli attacchi automatizzati più economici, veloci e adattabili.