Chi può auditare l’AI di frontiera? La definizione mancante del White House Accord

Questa settimana, i leader di Google, OpenAI, Anthropic, Meta, xAI e Nvidia hanno firmato il White House Accord on Super Intelligence. Le aziende si sono impegnate a quattro livelli di supervisione per i modelli di frontiera: controlli interni, un team interno che li verifica, un revisore o valutatore esterno indipendente e un comitato del consiglio indipendente. Gli impegni sono volontari per ora, e l’accordo afferma che potrebbero eventualmente essere inseriti nella legge.

Dei quattro livelli, la valutazione esterna ha il peso maggiore. È l’unico livello che mette qualcuno al di fuori dell’azienda in grado di dire se le salvaguardie funzionano. Ha anche la definizione più debole. L’accordo non specifica chi si qualifica come valutatore indipendente, quale standard utilizza, quanto accesso ottiene, o come l’indipendenza resiste quando un valutatore vende anche servizi all’azienda che valuta. Ogni azienda sceglie il proprio valutatore.

Con queste condizioni, due aziende possono entrambe annunciare di aver superato una valutazione indipendente e intendere cose molto diverse. Colmare tale divario richiederà risposte a tre domande.

Cosa dovrebbe decidere chi si qualifica

Una definizione credibile di valutatore AI indipendente deve coprire almeno quattro aspetti.

Indipendenza. Un valutatore non dovrebbe esaminare le salvaguardie che ha contribuito a progettare, né dovrebbe vendere lavori di rimedio o consulenza alla stessa azienda che valuta. I settori di audit maturi monitorano anche la dipendenza dalle commissioni. Quando un cliente rappresenta una larga quota dei ricavi del valutatore, quest’ultimo ha un motivo per essere indulgente.

Competenza adeguata al lavoro. \”Audit\” copre diverse attività nell’IA. Testare un modello per capacità pericolose, come assistere in un attacco informatico o in un’arma biologica, richiede ricercatori di machine learning ed esperti di dominio. Verificare se le salvaguardie di un’azienda sono ben progettate e funzionano nella pratica richiede auditor esperti di controlli. Un valutatore qualificato per una attività non è automaticamente qualificato per l’altra, e il rapporto di valutazione dovrebbe indicare quale è stata eseguita.

Accesso e ambito. Un valutatore che vede solo la documentazione può confermare che una salvaguardia esista sulla carta. Confermare che abbia funzionato richiede accesso a sistemi, registri, documenti di approvazione e persone per un periodo di tempo. I modelli di frontiera cambiano tra le sessioni di addestramento e le distribuzioni, quindi il valutatore ha anche bisogno di una regola chiara su quando una modifica richieda una nuova verifica.

Supervisione del valutatore. Qualcuno deve controllare i controllori. Nei mercati di audit consolidati, gli organismi di accreditamento esaminano il lavoro dei valutatori e possono revocare il loro status quando è insufficiente. Questo meccanismo di salvaguardia è ciò che conferisce peso alle conclusioni di una valutazione.

L’infrastruttura già esistente

 Niente di tutto ciò deve essere inventato da zero. ISO 42001, lo standard internazionale per i sistemi di gestione dell’IA, fornisce alle organizzazioni un quadro per governare l’IA, con controlli documentati, responsabili chiari e miglioramento continuo. Il suo standard complementare, ISO 42006, stabilisce i requisiti per gli organismi che auditano e certificano secondo ISO 42001, inclusa la competenza che gli auditor devono dimostrare e le regole di imparzialità che devono seguire. Poiché gli organismi di certificazione operano sotto accreditamento, una terza parte supervisiona gli stessi auditor.

AIUC-1 certifica specifici agenti AI in specifiche implementazioni, con test ricorrenti di terze parti per problemi come allucinazioni, jailbreak e uso non sicuro di strumenti, e si basa sui controlli di ISO 42001.

Gli stati stanno anche testando modelli per supervisionare direttamente i valutatori. Il Connecticut ha approvato una legge quest’anno creando un programma pilota, a partire da luglio 2027, in cui il Dipartimento di protezione dei consumatori dello stato approverà fino a cinque organizzazioni di verifica indipendenti. Ognuna dovrà stipulare un accordo supervisionato dallo stato che definisca il suo ambito, i metodi, gli obblighi di rendicontazione e la governance. Tale struttura risponde a diverse delle domande aperte dall’accordo: chi approva i valutatori, a cosa sono tenuti e chi li supervisiona.

Questi elementi non sono stati creati per la valutazione dei modelli di frontiera e non dovrebbero essere presentati come una risposta completa. Il lavoro futuro consiste nel collegarli, in modo che l’assicurazione del sistema di gestione, il test tecnico dei modelli e la supervisione dei valutatori si integrino sotto un’unica definizione credibile di indipendenza.

Perché le regole devono arrivare prima

Gli impegni dell’accordo sono attualmente volontari. Se dovessero diventare legge, le regole su chi può fungere da valutatore devono essere in vigore prima che il mandato entri in vigore, per tre motivi.

Prima, la pratica precoce diventa un precedente. Una volta che i firmatari iniziano a nominare valutatori e a pubblicare risultati, il mercato si stabilizzerà su definizioni operative di \”indipendente\” e \”qualificato\”. Le definizioni stabilite senza pressioni esterne tendono a favorire la convenienza. I legislatori che arriveranno più tardi troveranno tali definizioni già incorporate nei contratti e nelle aspettative.

Secondo, la capacità qualificata richiede tempo per essere costruita. Accreditare gli organismi di valutazione, formare valutatori che comprendano sia i modelli di frontiera sia i test di controllo, e sviluppare metodi condivisi richiede anni. Un mandato che arrivi prima che tale capacità esista sarà soddisfatto da chiunque sia disponibile.

Terzo, un requisito privo di un mercato di valutatori qualificati genera una mera spunta di caselle. Le aziende si limiteranno a soddisfare la lettera della regola, i regolatori avranno pochi motivi per contestare valutazioni deboli e il pubblico avrà solo l’apparenza di una supervisione senza sostanza.

Alcuni sostengono che sia troppo presto per stabilire queste regole perché la scienza della valutazione dei modelli di frontiera è ancora giovane. È una preoccupazione legittima riguardo ai metodi di test, i quali dovrebbero continuare a evolversi insieme ai modelli. Le domande sollevate qui riguardano il valutatore: se è privo di conflitti, qualificato per il ruolo, dotato di accesso sufficiente e soggetto a supervisione. Quelle domande hanno risposte stabili, e altri ambiti di garanzia le stanno affrontando da decenni.

Cosa possono fare le organizzazioni ora

Le aziende che costruiscono o implementano IA avanzata non devono attendere un mandato. Quando scelgono un valutatore, possono chiedere quali altri servizi l’azienda fornisce loro, quali qualifiche possiede il suo team per il tipo specifico di valutazione, quanto accesso includa l’incarico e chi supervisiona il lavoro dell’azienda. Realizzare ora un sistema di gestione dell’IA fornisce inoltre a qualsiasi futuro valutatore qualcosa di concreto e documentato da valutare.

L’accordo istituisce una struttura solida per la responsabilità dell’IA. Il suo valore dipenderà da chi ricopre il ruolo di valutatore e da quali standard gli vengano applicati, e il tempo per definirlo è prima che chiunque sia obbligato a utilizzarlo.