L’industria dell’IA vuole la nostra fiducia, ma prima deve dotarsi di controlli migliori

In materia di sicurezza, non possiamo aspettare che qualcosa vada storto per scoprire se i nostri controlli funzionano. Li testiamo. Li mettiamo alla prova. Partiamo dal presupposto che prima o poi qualcuno troverà la falla che ci è sfuggita.

È la sicurezza informatica 101.

Perché l’IA di frontiera dovrebbe essere sottoposta a standard diversi?

Man mano che i sistemi di IA diventano più autonomi e ottengono un accesso più ampio ai sistemi del mondo reale, assistiamo a qualcosa che dovrebbe preoccupare chiunque abbia esperienza nel campo difensivo della sicurezza informatica: le capacità avanzano più rapidamente dei controlli.

E la velocità non è una giustificazione per una sicurezza più debole. È il motivo per cui ne serve una più solida.

Una recente valutazione della non profit Guidelight AI ha esaminato le prove disponibili al pubblico sulle pratiche di controllo dell’IA presso Anthropic, Google, Meta, OpenAI e xAI. Nessuna ha ottenuto un voto complessivo superiore a C+.

Questo non significa che queste aziende siano irresponsabili. Né significa che dietro le porte chiuse non siano in funzione ulteriori controlli.

Ma la sicurezza non si basa su supposizioni. Se ci viene chiesto di fidarci di sistemi sempre più potenti, dovremmo aspettarci prove che i controlli predisposti siano in grado di superare lo stesso livello di scrutinio che esigeremmo in qualsiasi altro ambito.

Smettiamola di trattare i fallimenti come storie interessanti

Quando un agente di IA si comporta in modo imprevisto, ottiene un accesso non previsto o mette in luce una vulnerabilità, l’attenzione tende a concentrarsi su ciò che ha fatto la tecnologia.

È interessante.

Ma non è la domanda più importante.

Chi si occupa di sicurezza vuole sapere: l’attività è stata registrata? Qualcuno si è accorto di quello che stava accadendo? Le azioni pericolose erano soggette a controlli? Qualcuno avrebbe potuto fermare il sistema? Esisteva un piano di contenimento ed era stato testato?

Queste domande non riguardano solo l’IA. Sono le stesse che ci poniamo da anni nel campo della sicurezza informatica.

Eppure, la prevenzione e il contenimento sembrano restare punti deboli nel sistema di controllo emergente dell’IA di frontiera. Le prove disponibili al pubblico sull’uso di azioni sottoposte a controlli, sui meccanismi di interruzione e sul contenimento d’emergenza restano limitate.

Questo dovrebbe contare più della novità dell’incidente. Quando qualcosa va storto, voglio sapere che cosa non ha funzionato, che cosa ha impedito che la situazione peggiorasse e che cosa è cambiato in seguito.

La trasparenza è utile. Imparare dagli errori è ancora meglio.

Il vero problema della sicurezza dell’IA è la velocità

Non credo che la principale minaccia a breve termine sia che l’IA inventi all’improvviso una categoria completamente nuova di attacchi informatici. Il problema più serio è molto più concreto: l’IA può accelerare notevolmente gli attacchi che già conosciamo.

Ricerche che un tempo richiedevano ore possono essere completate in pochi minuti. Le tecniche di attacco possono essere combinate più rapidamente. Le vulnerabilità possono essere individuate e sfruttate prima che un processo di sicurezza incentrato sull’intervento umano riesca a completare la sua prima chiamata di escalation.

È un problema, perché gran parte delle infrastrutture di sicurezza odierne presuppone che ci sia il tempo di intervenire.

A volte, quel tempo non ci sarà.

Se un attacco si sviluppa rapidamente, un processo di risposta basato su ticket, riunioni, approvazioni ed escalation manuali può diventare obsoleto prima ancora che qualcuno arrivi al terzo passaggio.

Ed è qui che l’industria dell’IA deve fare la sua parte.

Se i laboratori di IA di frontiera si aspettano che le aziende ripensino visibilità, gestione delle vulnerabilità, architettura e risposta agli incidenti per l’era dell’IA, dovrebbero dimostrarci di aver fatto altrettanto al proprio interno.

«Fidati di noi» non è un modello di controllo

Ho trascorso la mia carriera nel campo dei test di sicurezza e un principio si è dimostrato particolarmente valido: le buone intenzioni non dimostrano che un sistema sia sicuro. Lo dimostrano le prove.

• Esegui test.
• Monitora.
• Cerca di mandare tutto in crisi.

Scopri che cosa succede quando i controlli non funzionano come previsto dallo schema architetturale. E assicurati che qualcuno abbia l’autorità di fermare il sistema quando è necessario. L’IA di frontiera dovrebbe essere sottoposta allo stesso standard.

Ciò significa sottoporre i controlli a rigorosi test avversariali, raccogliere prove misurabili della loro efficacia e attribuire chiaramente a qualcuno l’autorità di arrestare i sistemi quando qualcosa va storto.

Significa anche ripensare il contenimento.

I laboratori di frontiera non possono improvvisare misure di contenimento dopo che un agente di IA ha oltrepassato i limiti previsti. Mentre addestrano e testano modelli sempre più capaci, devono assumersi la responsabilità delle azioni che questi sistemi possono compiere. A tal fine servono rigorosi test avversariali, misure di sicurezza autorizzate in anticipo, limiti chiari all’autorità degli agenti e modalità comprovate per intervenire o arrestare un sistema prima che un guasto si propaghi.

Il giudizio umano resta importante. Ma i laboratori che sviluppano questi sistemi devono stabilirne i limiti, verificare che tengano e risponderne quando non è così.

La loro responsabilità non consiste semplicemente nel dimostrare cosa può fare un agente. Devono dimostrare che l’agente è in grado di operare in sicurezza, che il suo comportamento può essere controllato e che le nuove capacità rendono il mondo più sicuro, non meno.

La fiducia va guadagnata

Non sostengo che si debba frenare fino quasi a fermarla l’innovazione nell’IA. Sostengo che la sicurezza debba tenere il passo. Se investiamo risorse enormi per rendere l’IA più capace, dobbiamo dedicarci con altrettanta urgenza a renderla difendibile.

Ma mentre i laboratori all’avanguardia accelerano l’addestramento e la sperimentazione di nuovi modelli di IA con capacità in ambito informatico, devono tenere presenti le esigenze di chi si occupa di difesa. In primo luogo, aiutandolo a individuare le minacce e a rispondervi più rapidamente. Ma, cosa ancora più importante, impedendo a quei sistemi di diventare essi stessi una minaccia. Questa responsabilità richiede anche di accettare verifiche esterne.

La valutazione indipendente non può diventare qualcosa che le aziende accettano solo quando avvalora la narrazione che vogliono proporre. Se i sistemi di IA all’avanguardia sono abbastanza potenti da cambiare il panorama delle minacce, i loro controlli dovrebbero essere abbastanza solidi da superare verifiche indipendenti significative.

L’industria dell’IA vuole la nostra fiducia.

Come professionista della sicurezza, sono disposto a concedergliela. Ma prima, mostratemi i controlli.