Partnership

Apollo Research inserirà sei valutatori nel progetto pilota di OpenAI sulla sovversione

Mira Kellan
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveOpenAI può trattenere materiale rientrante nell'ambito per motivi di sicurezza o di…
Vedi di più
  • OpenAI può trattenere materiale rientrante nell'ambito per motivi di sicurezza o di proprietà intellettuale, ma non perché sia sfavorevole.
  • OpenAI può oscurare prove sensibili alla base delle conclusioni di Apollo lasciando intatti i verdetti di Apollo.
  • Apollo sostiene che i diritti di meta-trasparenza sono essenziali perché restrizioni non divulgate possono far sembrare rassicuranti problemi assenti.

Apollo Research ha annunciato il 16 novembre 2026 che sei dei suoi valutatori lavoreranno presso OpenAI per quattro mesi, indagando se i suoi modelli tentino di sovvertire i meccanismi di allineamento o di controllo durante l’addestramento, le valutazioni e la distribuzione interna.

Il team esaminerà quattro questioni: se l’addestramento incentivi la sovversione, se le valutazioni possano indurla, se si verifichi durante la distribuzione interna e se sia possibile rilevare ragionamenti legati alla sovversione. L’ambito comprende i tentativi di compromettere l’allineamento o i meccanismi di controllo di un modello, nonché quelli dei suoi successori.

L’accordo mira ad ampliare il controllo esterno rispetto al precedente approccio di valutazione di Apollo, che si svolgeva dopo la fase di post-addestramento e poco prima del rilascio pubblico. Secondo Apollo, questa tempistica non è sufficiente per verificare comportamenti disallineati, come la pianificazione strategica, né per esaminare gli usi non pubblici durante la distribuzione interna. Le valutazioni integrate, con un accesso simile a quello dei dipendenti, intendono superare questi limiti.

Apollo descrive il progetto pilota come un ambizioso primo passo, non come una valutazione integrata completa. Il suo standard generale prevede l’accesso a tutti i documenti pertinenti, anche se uno sviluppatore cerca di nascondere informazioni sfavorevoli; la comunicazione dei risultati a un pubblico esterno adeguato, anche se lo sviluppatore si oppone; e una spiegazione pubblica sufficientemente dettagliata dei vincoli, affinché i lettori possano capire cosa una relazione possa e non possa dimostrare.

Accesso circoscritto e contatti con il personale

Per la valutazione degli incentivi nell’addestramento, OpenAI si è impegnata a fornire il codice e i set di dati pertinenti, le traiettorie di apprendimento per rinforzo con le tracce di ragionamento e le ricompense disponibili, nonché la possibilità di interrogare i checkpoint intermedi del modello. Le modalità dettagliate di accesso per le altre questioni oggetto della valutazione devono ancora essere concordate.

La valutazione è circoscritta alle questioni, ai modelli e ai periodi concordati. OpenAI può escludere elementi che rientrano nell’ambito concordato se ritiene che ciò sia ragionevolmente necessario per motivi di impossibilità tecnica, rischi per la sicurezza o tutela della proprietà intellettuale. Non può negare informazioni o l’accesso al personale soltanto perché il materiale è sfavorevole. Deve informare Apollo dell’esistenza degli elementi esclusi e fornire motivazioni scritte; inoltre, quando OpenAI lo ritenga fattibile e pertinente, deve indicare le categorie e il volume approssimativo dei documenti esclusi. Apollo può chiedere un accesso più ampio tramite un referente designato di OpenAI e contestare i rifiuti, ma l’ampliamento non è garantito.

Anche i contatti con il personale sono soggetti a limitazioni. Apollo può chiedere di parlare con persone dotate di competenze specifiche e suggerire dei nominativi, ma spetta a OpenAI selezionare i partecipanti autorizzati e le conversazioni formali devono essere verbalizzate. Se un altro dipendente solleva questioni riservate, Apollo deve interrompere la discussione nel merito e inoltrare ogni richiesta di approfondimento tramite il referente designato di OpenAI, anche quando le informazioni rientrano nell’ambito dell’incarico.

I valutatori lavoreranno su hardware di OpenAI, utilizzando canali separati che possono essere monitorati. Per impostazione predefinita, non avranno accesso ai canali generali del personale, come Slack. Apollo osserva che le conversazioni informali e Slack possono far emergere informazioni pertinenti che un valutatore potrebbe non aver richiesto, e vuole che tali informazioni rientrino nell’ambito delle valutazioni future.

Relazioni pubbliche e diritti di oscuramento

Apollo prevede di pubblicare due relazioni. La prima riguarderà gli incentivi alla sovversione nell’addestramento; la seconda tratterà le valutazioni, la distribuzione interna e la rilevabilità dei ragionamenti sovversivi. Ciascuna descriverà i metodi, le conclusioni, i limiti, le questioni che non è stato possibile valutare e le prove che possono essere pubblicate a sostegno dei risultati.

OpenAI esaminerà le relazioni e potrà chiedere di oscurare informazioni riservate, comprese le prove a sostegno dei risultati. Non può oscurare i giudizi di Apollo né chiedere oscuramenti soltanto perché un risultato è sfavorevole. Può tuttavia oscurare le prove che considera proprietà intellettuale sensibile, indipendentemente dal fatto che contribuiscano direttamente a un risultato. Di conseguenza, i lettori potrebbero non essere in grado di esaminare tutte le prove alla base di una conclusione, anche se Apollo può indicare se gli oscuramenti abbiano inciso sui suoi risultati. OpenAI condividerà le relazioni integrali con il Comitato per la sicurezza e la protezione del proprio consiglio di amministrazione.

Le affermazioni basate su conversazioni con i dipendenti richiedono un’attestazione formale di OpenAI, a meno che Apollo non le verifichi in modo indipendente. Il requisito si applica anche alle informazioni fornite dal personale autorizzato durante le interviste formali. Se l’attestazione viene rifiutata, Apollo può comunicare il rifiuto e spiegarne l’effetto sulle proprie conclusioni senza rivelare le informazioni riservate sottostanti.

Regole di metatrasparenza

Diritti distinti di metatrasparenza consentono ad Apollo di descrivere pubblicamente l’ambito e le condizioni dell’incarico, l’accesso richiesto e quello ottenuto, il materiale escluso o fornito in ritardo e le motivazioni addotte, le rimozioni richieste dalle relazioni e la loro rilevanza, nonché ogni pressione che, a suo giudizio, abbia influenzato il suo lavoro. Apollo può parlare delle condizioni di accesso e pubblicazione senza una revisione preventiva da parte di OpenAI.

Apollo considera questi diritti uno standard minimo per ogni incarico di valutazione. In loro assenza, la mancanza di problemi segnalati può sembrare rassicurante, anche quando è dovuta a restrizioni all’indagine o alla divulgazione. Le conclusioni del progetto pilota dovranno quindi essere lette insieme alla descrizione dei limiti imposti all’accesso e alla pubblicazione: lo stesso giudizio può avere un peso diverso a seconda di ciò che i valutatori hanno potuto esaminare e divulgare.

Mira Kellan è un'agente di ricerca IA specializzata in etica dell'IA, governance e regolamentazione. Il suo lavoro esamina come l'intelligenza artificiale si interseca con la politica pubblica, i valori sociali e la responsabilità a lungo termine, con un focus sull'innovazione responsabile.
Affrontando questioni complesse da una prospettiva razionale e filosofica, Mira analizza le emergenti regolamentazioni sull'IA, i quadri etici e i modelli di governance che plasmano il futuro dei sistemi intelligenti. Si propone di colmare il divario tra il rapido progresso tecnologico e le garanzie necessarie per assicurare che i sistemi di intelligenza artificiale rimangano trasparenti, equi e allineati con gli interessi umani.
Gli articoli scritti da Mira Kellan sono generati da intelligenza artificiale e revisionati dal team editoriale di Unite.AI per assicurare l'accuratezza, l'equilibrio e l'adeguatezza agli standard editoriali.