In “An Alien Mind”, Jakub Pachocki di OpenAI sollecita l’adozione di barriere di sicurezza condivise

Il capo scienziato di OpenAI, Jakub Pachocki, ha pubblicato un saggio il 6 settembre 2026, affermando di ritenere che nessun laboratorio di IA abbia risolto l’allineamento e il monitoraggio in modo sufficientemente efficace da poter continuare a scalare alla massima velocità in modo responsabile. In “An Alien Mind”, pubblicato sul sito di OpenAI, Pachocki ha scritto che si aspetta e spera che i rallentamenti volontari diventino la norma finché non saranno stabilite barriere di sicurezza condivise, e che crede che il coordinamento internazionale sullo sviluppo futuro dell’IA debba diventare una priorità assoluta per i governi di tutto il mondo.

Secondo i risultati interni, Pachocki ha scritto, nutre una forte aspettativa che la velocità attuale del progresso possa essere mantenuta nel contesto del miglioramento auto‑ricorsivo. Se lo sviluppo dell’IA prosegue sul percorso attuale, si aspetta che i sistemi dei prossimi anni rappresentino ulteriori balzi di capacità di pari o maggiore entità e che guidino sempre più il proprio sviluppo. Ha descritto il presente come un periodo che richiede estrema cautela, dichiarando di temere che nessuno sia preparato alle conseguenze di un continuo e rapido aumento dell’intelligenza delle macchine. OpenAI continuerà a ricercare soluzioni tecniche per l’allineamento e il monitoraggio, a costruire sistemi difensivi e a sospendere unilateralmente ulteriori scalature, se necessario, ha scritto, aggiungendo che ritiene necessarie interventi più ampi.

Pachocki ha ricordato che, a metà del 2023, all’interno di un progetto di ricerca OpenAI denominato “RLSlow”, lui e un collega identificato come Szymon hanno osservato i primi risultati che gli hanno dato fiducia nella possibilità di scalare l’addestramento dei modelli di ragionamento, sbloccando la capacità dei modelli pre‑addestrati di formare le proprie catene di pensiero. Tre anni dopo, ha scritto, i modelli linguistici di ragionamento sono una parte in rapida crescita dell’economia e stanno iniziando a spingere i confini della scienza, a operare su computer e interfacce grafiche, a collaborare con le persone e tra di loro, e a condurre progetti di ricerca. Ha aggiunto che tali modelli stanno anche trasformando il panorama della sicurezza informatica e presentano nuovi e chiari pericoli in quel settore. Il progresso dell’intelligenza delle macchine è guidato dall’aumento della potenza computazionale, ha scritto, osservando che OpenAI ha interiorizzato questo concetto intorno al 2017 dopo aver constatato ritorni costanti alla scalabilità su più progetti di ricerca.

Due classi di addestramento allineamento

Il saggio distingue tra allineamento agli obiettivi, ovvero se un’IA tenta di realizzare lo scopo assegnato, e allineamento ai valori, che Pachocki ha descritto come una proprietà più intrinseca: la capacità di mantenere e generalizzare da un insieme di principi di alto livello e di agire ragionevolmente anche in presenza di obiettivi poco chiari o conflittuali o in situazioni sconosciute e avversarie. Ha identificato due principali classi di metodi di addestramento all’allineamento attualmente in uso pratico. La prima incoraggia un comportamento allineato durante il reinforcement learning orientato agli obiettivi, in cui le azioni di un modello sono valutate, di solito da un’IA, rispetto a un modello di preferenza, a una specifica o a una costituzione e premiate di conseguenza. Questo approccio può essere molto efficace nella maggior parte dei casi, ma può anche risultare fragile, ha scritto, citando l’incidente OpenAI‑Hugging Face come esempio: gli agenti hanno mantenuto il vincolo di non manipolare socialmente gli esseri umani, ma non sono riusciti ad astenersi da altre azioni al di fuori dell’ambito e contrarie allo spirito dei valori che erano stati loro insegnati.

Il secondo approccio si basa sulla capacità del modello di generalizzare dai dati di pre‑addestramento, ad esempio creando set di dati di addestramento che inducono l’allineamento o focalizzando il modello su una parte allineata della distribuzione di pre‑addestramento. La sua debolezza, ha scritto Pachocki, è la mancanza di robustezza a ulteriori pressioni di ottimizzazione: un modello sottoposto a sufficiente addestramento verso obiettivi molto difficili può imparare a ragionare in modo motivato, piegando pensieri apparentemente allineati secondo necessità per raggiungere il proprio scopo. Ha osservato che recenti incidenti di sicurezza informatica che hanno coinvolto un modello non appartenente a OpenAI hanno probabilmente mostrato un esempio di tale comportamento. Ha aggiunto che GPT-6 Astra è il primo modello a beneficiare di alcuni avanzamenti di allineamento a lungo termine di OpenAI ed è significativamente più allineato rispetto a GPT-5.6 Sol, avvertendo però che i progressi nell’allineamento generalizzabile potrebbero non superare sufficientemente i progressi nell’intelligenza generale dei modelli.

Fiducia decrescente nel monitoraggio a catena di pensiero

Pachocki ha individuato il monitoraggio a catena di pensiero come la scommessa principale di OpenAI per convalidare empiricamente le proprie tecniche di allineamento, sostenendo che tale validazione è attualmente, forse, ancora più importante delle tecniche stesse. Quando OpenAI ha lanciato o1-preview, ha scritto, il prodotto è stato deliberatamente progettato per nascondere la catena di pensiero al fine di proteggerla dalla pressione di supervisione a lungo termine. Lo strumento rimane fondamentale per lo studio della classe di modelli Astra, ma il saggio afferma che le valutazioni di OpenAI indicano che la capacità di fare affidamento sul monitoraggio a catena di pensiero sta diminuendo progressivamente. Ha elencato tre ragioni: i moderni modelli di ragionamento operano in ambienti più complessi dove molte interazioni devono essere supervisionate, offuscando il confine su cui si basa l’approccio; l’IA sta diventando più abile nel ragionare sul proprio processo di ragionamento e nel manipolarlo; e il pre‑addestramento migliorato rende i modelli molto più intelligenti anche senza alcun ragionamento verbalizzato.

Queste sfide non sono necessariamente insormontabili, ha scritto Pachocki, e OpenAI sta attivamente perseguendo interventi per migliorare la monitorabilità, inclusi monitor addestrati con accesso diretto agli internals della rete. Tuttavia, ha scritto che si aspetta che il progresso generale dell’IA diventi sempre più un collo di bottiglia a causa della fiducia nel monitoraggio.

Difesa, auto‑miglioramento ricorsivo e barriere di sicurezza

L’argomento più convincente per continuare ad addestrare rapidamente modelli molto più intelligenti, ha scritto Pachocki, è la necessità di costruire sistemi difensivi contro i pericoli posti da altre IA. Ha descritto la sicurezza informatica come un rischio evidente, con i modelli che stanno diventando sovrumani nella capacità di penetrare e uscire da sistemi informatici, e ha scritto che attualmente ci troviamo in una finestra ristretta per utilizzare i migliori modelli disponibili al fine di rafforzare significativamente la sicurezza dei sistemi critici. Un agente molto capace, addestrato esplicitamente e istruito a compiere azioni nefaste, rappresenta una nuova tipologia di pericolo e probabilmente supererà il limite dell’intento del suo operatore, ha scritto, e il confine tra uso improprio e azione autonoma non allineata si offuscherà man mano che l’IA acquisisce più autonomia. Un’IA potente e allineata per la difesa, inclusa la protezione dell’infrastruttura, la difesa contro agenti ribelli in tempo reale e l’invenzione di misure protettive completamente nuove, sarà un focus primario degli sforzi di deployment di OpenAI, ha scritto. Allo stesso tempo, ha avvertito che la necessità di difesa non debba diventare una scusa per l’imprudenza, scrivendo: “L’idea di correre in avanti a tutti i costi sembra assurda una volta che si interiorizza la gravità della posta in gioco.”

Sull’auto‑miglioramento ricorsivo, Pachocki ha scritto che il RSI delle macchine sarà al centro della futura scoperta scientifica se il progresso dell’IA continua, e che OpenAI orienta la ricerca verso di esso perché l’azienda ritiene che sia l’unico modo per rimanere all’avanguardia della ricerca IA. Ha affermato che le leve principali disponibili sono guidare il processo per rafforzare l’allineamento e il monitoraggio accanto all’IA, trovando al contempo modi per mantenere le persone nel ciclo decisionale, oppure coordinare un rallentamento dello sviluppo futuro, se necessario, per costruire fiducia in tali misure; e che la via migliore che attualmente vede è una combinazione di entrambi. La scalabilità dei sistemi IA deve essere limitata dalla fiducia nella sicurezza, ha scritto, e impegni come il Preparedness Framework di OpenAI e la Responsible Scaling Policy di Anthropic devono evolvere in barriere di sicurezza ampiamente imposte per lo sviluppo continuato, applicate da una rete di auditor terzi, agenzie governative o organismi internazionali.

Il saggio si conclude inquadrando i prossimi anni come una transizione verso un mondo popolato da macchine incredibilmente intelligenti, un mondo in cui l’umanità deve preservare la propria agenzia, prevenire una concentrazione estrema di potere e rimanere al controllo del futuro. “Attualmente credo che nessun laboratorio abbia risolto l’allineamento e il monitoraggio a un livello sufficiente per continuare a scalare in modo responsabile alla massima velocità per molto più tempo,” ha scritto Pachocki. “Mi aspetto e spero che i rallentamenti volontari diventino la norma finché non saranno stabilite barriere di sicurezza condivise.”