Anthropic pubblica indicazioni per valutazioni di sicurezza dell’IA più affidabili

Il 13 novembre 2026, Anthropic ha pubblicato raccomandazioni per valutazioni di sicurezza dell’IA più affidabili, riportando tassi aggregati di risposte innocue compresi tra il 94% e il 98% per tutti i modelli recenti nei test API a turno singolo. Questi test, ormai saturi, sono utili soprattutto come verifiche di regressione per modalità di errore note; le valutazioni a più turni offrono maggiore variabilità e possono rilevare cambiamenti graduali nel corso di una conversazione.

Una valutazione di sicurezza misura la propensione di un modello a causare o contribuire a un danno, se la sua risposta renda tale danno più o meno probabile e quanto grave potrebbe essere, anziché una capacità specifica. Una questione centrale è la validità di costrutto, cioè se un test misuri effettivamente il concetto che intende misurare. Il tasso di rifiuto può essere fuorviante nelle conversazioni sul suicidio e sull’autolesionismo, perché anche il semplice rifiuto di interagire può costituire un fallimento: la risposta auspicabile offre sostegno e indirizza l’utente verso l’aiuto di una persona. Le valutazioni di Anthropic a più turni misurano invece il tasso di risposte appropriate nell’intera conversazione, usando rubriche specifiche per ciascun rischio in cui un solo turno inadeguato fa fallire l’intero scambio.

Test a più turni e copertura del mondo reale

Per elaborare questi test, un esperto del settore redige una specifica che definisce obiettivi, tattiche, profilo, situazione, tono e stile conversazionale dell’utente simulato. Il primo turno dell’utente rimane fisso, mentre un modello Claude distinto genera i turni successivi in risposta al modello sottoposto al test. Ogni scenario viene eseguito più volte con diverse combinazioni di caratteristiche e un modello valutatore assegna un punteggio alla trascrizione completa sulla base della rubrica di rischio pertinente.

Variare le dimensioni in modo indipendente aiuta a individuare i fattori che determinano il comportamento: se ogni caso grave presenta anche un tono urgente, non è possibile separare gli effetti della gravità da quelli del tono. Anthropic raccomanda inoltre di basarsi su comportamenti osservati, dati pubblici, trascrizioni di attività di red teaming, rapporti sugli incidenti o interviste con esperti, anziché affidarsi soltanto a situazioni inventate. Le sue suite di test a turno singolo coprono 16 aree di policy in sette lingue e su più superfici di prodotto; inoltre, l’ambiente di valutazione corrisponde a quello della distribuzione sottoposta al test.

Anche l’esecuzione dei test richiede misure di contenimento. Per le valutazioni sulla sicurezza informatica, le indicazioni prevedono sandbox senza accesso a Internet e monitoraggio in tempo reale, così da poter interrompere un’esecuzione se le azioni di un modello rischiano di causare danni nel mondo reale.

Validazione dei valutatori e limiti statistici

I valutatori automatizzati introducono un ulteriore rischio di misurazione, perché i sistemi malfunzionanti possono continuare a produrre punteggi plausibili. Tra le misure di tutela raccomandate figurano criteri atomici con risposta sì o no, indicazioni esplicite su come trattare le avvertenze e i casi limite, avvisi ben visibili in caso di errore e verifiche per individuare distorsioni legate alla lunghezza della risposta, alla posizione e all’autopreferenza. Revisori umani dovrebbero etichettare in modo indipendente un campione di trascrizioni, così da poter confrontare la concordanza tra valutatore ed esperti con quella tra gli esperti stessi.

Questo valore di riferimento umano determina quale rimedio adottare. Se gli esperti concordano tra loro ma non con il valutatore, occorre intervenire sulla rubrica o sul valutatore; se invece gli esperti sono in disaccordo tra loro, la valutazione potrebbe non avere una risposta stabile da misurare. Le indicazioni raccomandano inoltre di preregistrare metriche, confronti e soglie di miglioramento prima di esaminare i risultati.

Le dimensioni dei campioni sono alla base di queste valutazioni. Anthropic adotta soglie minime di 100 elementi per le complesse valutazioni a più turni e di 1.000 per i test più semplici a turno singolo, oltre a esecuzioni ripetute per tenere conto di risultati rumorosi e non deterministici. Anthropic riferisce che gli intervalli di confidenza nelle valutazioni API a più turni possono superare ±10 punti percentuali: in una valutazione a più turni sulle truffe sentimentali condotta su claude.ai, Claude Opus 5 e Opus 5.5 hanno registrato tassi di risposte appropriate rispettivamente del 98% e del 94%, ma la differenza non era statisticamente significativa. L’esempio mostra perché uno scarto numerico, da solo, non basta a stabilire quale modello si sia comportato in modo più sicuro.

Impostazioni di distribuzione e rendicontazione

La configurazione di distribuzione è un’altra variabile documentata. Nell’esaminare Claude Fable 5.1, Anthropic ha rilevato che alcune risposte avallavano implicitamente l’autolesionismo come strategia per affrontare le difficoltà, anche quando scoraggiavano l’autolesionismo e indirizzavano l’utente verso il sostegno di una persona. L’azienda riferisce che ripetendo la valutazione con misure di mitigazione mirate nel prompt di sistema si è ottenuto su claude.ai un tasso di risposte appropriate del 94%, rispetto al 60% sull’API. Il confronto dimostra perché i punteggi ottenuti con configurazioni diverse non possono essere considerati equivalenti.

Le raccomandazioni sulla rendicontazione riguardano anche le versioni dei modelli, le impostazioni di campionamento, i prompt, le versioni dei valutatori e le date; prevedono inoltre una valutazione continua durante la messa a punto, anziché un unico controllo prima del rilascio. I difetti gravi dei sistemi distribuiti dovrebbero essere comunicati prima allo sviluppatore, in modo che abbia il tempo di correggerli prima della pubblicazione dei risultati.

Le tre priorità principali di Anthropic sono definire il costrutto prima di raccogliere i dati, convalidare il valutatore rispetto al giudizio umano e rendicontare l’incertezza. La conclusione più ampia è che affermare che un modello sia più sicuro di un altro dipende tanto dalla progettazione del test, dal contesto di distribuzione e dalla potenza statistica quanto dal punteggio in evidenza.