Partnership
OpenAI ingaggia quattro valutatori indipendenti per le verifiche di sicurezza integrate

Punti chiaveL'accesso continuativo ai checkpoint e ai dati di addestramento consente ai valutatori…
Vedi di più
- L'accesso continuativo ai checkpoint e ai dati di addestramento consente ai valutatori di testare i fallimenti che i monitor stessi di OpenAI potrebbero non rilevare.
- Apollo Research indaga se i modelli potrebbero agire in modo occulto contro gli sviluppatori e se le salvaguardie lo intercetterebbero.
- Il Comitato per la Sicurezza e la Protezione riceve rapporti non oscurati e può parlare privatamente con i valutatori durante le revisioni.
OpenAI ha annunciato il 16 novembre 2026 di aver firmato accordi con Apollo Research, METR, Transluce e Goodfire per la prima fase delle sue valutazioni integrate. Le quattro organizzazioni valuteranno l’allineamento e le misure di protezione durante l’addestramento e l’uso interno, con un accesso che può includere checkpoint dei modelli, codice sorgente, dati di addestramento e sistemi di monitoraggio.
La caratteristica distintiva è l’accesso continuativo ai modelli e ai sistemi interni per un periodo prolungato, in particolare quando riguardano i casi di sicurezza di OpenAI. OpenAI afferma che tale accesso dovrebbe consentire ai valutatori di esaminare prove e contesto, condurre valutazioni indipendenti e individuare problemi che potrebbe non aver previsto. L’azienda presenta inoltre la pubblicazione dei risultati delle valutazioni come un modo per offrire al pubblico una visione più chiara di come i laboratori valutano e gestiscono i rischi.
Mandati diversi per ciascun valutatore
Apollo Research esaminerà se i modelli potrebbero agire di nascosto contro le intenzioni dei propri sviluppatori e se le misure di protezione di OpenAI riuscirebbero a rilevare un comportamento del genere. La valutazione in due fasi prende in esame quattro ipotesi: l’addestramento non ha incentivato comportamenti sovversivi; valutazioni rigorose e attività di red teaming non li inducono; i modelli non hanno tentato di metterli in atto durante l’uso interno; e il ragionamento alla base sarebbe rilevabile.
Per la prima fase della valutazione, OpenAI fornirà modelli selezionati, pubblici e non ancora rilasciati, e checkpoint di addestramento, i dati di addestramento e i risultati delle valutazioni pertinenti, i registri degli interventi sull’addestramento, i sistemi di monitoraggio e i comportamenti segnalati. Apollo avrà inoltre accesso a ricercatori in grado di fornire il contesto, oltre agli strumenti e alla potenza di calcolo necessari per condurre test indipendenti.
Goodfire inserirà nel progetto ricercatori specializzati nell’interpretabilità, ovvero nell’analisi del funzionamento interno dei modelli, e utilizzerà la propria piattaforma per monitorare le sessioni di addestramento, eseguire il debug e lavorare sull’allineamento. I ricercatori di OpenAI sono i destinatari principali dei risultati, che useranno per apportare miglioramenti alla sicurezza. Goodfire pubblicherà inoltre insegnamenti e risultati man mano che la collaborazione proseguirà.
La valutazione dell’allineamento di METR nella prima fase si concentra su quella che OpenAI descrive come la sua più grande sessione di apprendimento per rinforzo fino a oggi, compresi i problemi che i test e i sistemi di monitoraggio esistenti potrebbero non aver rilevato. Nell’ambito della sessione selezionata e dell’accesso, delle risorse e delle misure di sicurezza concordati, METR stabilirà autonomamente le priorità e itererà ricerche, analisi ed esperimenti di elicitazione. L’accesso comprenderà i checkpoint pertinenti, i rollout di addestramento e valutazione e i registri del monitoraggio del disallineamento. L’ambito iniziale è limitato a quella sessione e non si estende a un’indagine più ampia sul disallineamento.
Una valutazione distinta di METR sui sistemi di monitoraggio è meno definita. Le organizzazioni hanno concordato in via preliminare di avviare un’iniziativa più ampia, ma la sua realizzazione è ancora subordinata a un accordo reciproco sul relativo ambito.
Transluce inizierà esaminando la qualità e la copertura delle valutazioni dell’allineamento di OpenAI successive all’addestramento. Il suo accesso comprenderà modelli selezionati, pubblici e non ancora rilasciati, risultati delle valutazioni, dati comportamentali di supporto, documentazione sui casi di sicurezza e accesso ai ricercatori, oltre a strumenti e potenza di calcolo.
Le due parti intendono inoltre svolgere una valutazione successiva della durata di circa otto settimane, all’inizio del 2027. Questo lavoro amplierebbe l’accesso ad altri modelli, offrirebbe un accesso più approfondito alle valutazioni dell’allineamento e fornirebbe informazioni su come i risultati delle valutazioni orientano le decisioni di rilascio. L’annuncio la descrive come un’intenzione condivisa, distinguendola dalla valutazione iniziale.
L’accesso è affiancato da misure di sicurezza e supervisione
Ogni incarico inizia con la definizione di un ambito concordato e dell’accesso, delle risorse e delle misure di sicurezza necessari per il lavoro. I protocolli prevedono che i valutatori siano liberi di seguire le prove, perfezionare i propri metodi e proporre ulteriori valutazioni quando i risultati lo giustificano, nonché stabiliscono una procedura per soddisfare eventuali ulteriori esigenze di accesso.
Quando l’accesso diretto potrebbe esporre proprietà intellettuale sensibile, come i pesi o l’architettura dei modelli, OpenAI valuterà alternative, tra cui affiancare i valutatori ai propri ricercatori per svolgere le analisi. I valutatori che trattano informazioni riservate sensibili lavoreranno presso gli uffici di OpenAI, utilizzando dispositivi aziendali. Dovranno rispettare almeno gli stessi standard di sicurezza dei dipendenti di OpenAI; per alcuni esperimenti potrebbero essere previsti requisiti più rigorosi.
La supervisione è affidata al Comitato per la sicurezza e la protezione, un comitato indipendente di supervisione del consiglio di amministrazione della OpenAI Foundation. Il comitato riceverà rapporti non oscurati e potrà parlare con i valutatori durante il lavoro, anche in privato. Le controversie saranno inizialmente sottoposte al Gruppo consultivo per la sicurezza e ai dirigenti di OpenAI, che dovranno risolverle entro un periodo prestabilito. Il comitato dovrà essere informato tempestivamente quando i disaccordi vengono portati a un livello superiore; le questioni irrisolte saranno sottoposte al comitato.
Le conversazioni con i dipendenti pongono una distinta questione di trasparenza. Questi colloqui sono riservati: possono contribuire alle valutazioni, ma non possono essere pubblicati né attribuiti ai dipendenti. I valutatori possono chiedere a OpenAI una dichiarazione attestata che verifichi, corregga o chiarisca quanto appreso durante tali conversazioni. Possono quindi pubblicare la dichiarazione attestata oppure rendere noto che OpenAI ha rifiutato di attestarla, creando un canale pubblico limitato per le informazioni raccolte in via confidenziale.
Diritti di pubblicazione e dichiarazioni finanziarie
I valutatori mantengono la propria indipendenza nella pubblicazione delle valutazioni, mentre OpenAI conserva il diritto di oscurare le informazioni riservate. Può inoltre chiedere di ritardare la divulgazione responsabile per affrontare risultati che potrebbero comportare rischi per la sicurezza e porre rimedio ai problemi irrisolti. OpenAI afferma che i rapporti pubblici dovrebbero illustrare i risultati e i loro limiti, mentre rapporti riservati più dettagliati forniscono agli organi di supervisione le prove necessarie per intervenire.
Gli accordi finanziari variano a seconda dei partecipanti. Apollo Research e Goodfire accettano compensi il cui importo non dipende dai risultati delle loro valutazioni. METR e Transluce non accettano compensi in denaro, anche se possono accettare crediti API o risorse di calcolo da utilizzare nelle proprie valutazioni.
Le procedure per dichiarare i conflitti di interesse e per i periodi di raffreddamento sono ancora in fase di definizione insieme ai valutatori. OpenAI chiede al personale delle organizzazioni terze partecipanti di rispettare un breve periodo di raffreddamento prima di lavorare presso un altro sviluppatore di IA, per ridurre il rischio di divulgare inavvertitamente informazioni riservate.
OpenAI prevede che all’inizio si presenteranno difficoltà legate all’accesso tecnico, agli spazi e alla sicurezza, afferma che i protocolli evolveranno e indica come obiettivo collaborazioni sul campo di più lunga durata; sta inoltre valutando future verifiche della conformità al quadro di sicurezza, della cultura organizzativa e dei processi.
La prima fase mette alla prova in modo concreto la governance: verificare se un accesso approfondito ai sistemi interni e la pubblicazione indipendente possano produrre prove pubbliche utili dei malfunzionamenti che sfuggono ai test interni, mentre OpenAI mantiene gli ambiti concordati, i controlli di sicurezza in loco, il diritto di oscurare informazioni e la possibilità di ritardare la divulgazione.












