La supervisione dell’IA ha tre punti ciechi — e la maggior parte delle aziende non sta guardando nessuno di loro

La maggior parte della conversazione sulla sicurezza dell’IA all’interno delle aziende è rivolta al bersaglio sbagliato. I team trascorrono settimane a discutere su quale modello utilizzare, quindi collegano quel modello alla loro email, ai loro pagamenti, al loro database dei clienti e al loro codice, senza fermarsi a chiedersi una domanda molto più semplice: quando questa cosa fa qualcosa, chi sta guardando e può qualcuno fermarla?

I numeri dicono che questo sta per diventare costoso. Gartner ritiene che almeno il 15% delle decisioni di lavoro di routine saranno prese in modo autonomo dall’IA nel 2028, rispetto a quasi zero nel 2024. Nella stessa ricerca avverte che oltre il 40% dei progetti di IA agente verranno cancellati entro la fine del 2027, e una delle ragioni che adduce è il controllo dei rischi debole. Leggete di nuovo. I progetti non muoiono perché i modelli sono cattivi. Muoiono perché nessuno ha costruito un modo per governarli.

Costruisco sistemi di governance per l’IA per vivere, quindi vedo gli stessi gap più e più volte. Ce ne sono tre. La maggior parte delle aziende non sta guardando nessuno di loro in modo appropriato e molte non stanno guardando zero.

Gli agenti sono quelli rumorosi

Tutti si preoccupano degli agenti autonomi e hanno ragione di farlo. Ma la maggior parte delle persone si preoccupa della parte sbagliata. La cosa inquietante di un agente non è che ragiona. È che agisce. Non propone il rimborso; lo paga. Non redige l’email; la invia. Date a un modello un set di strumenti e gli avete dato la capacità di raggiungere sistemi reali e cambiarli.

Sbagliare questo e il fallimento non è una frase goffa. È denaro fuori dalla porta o un tavolo silenziosamente rimosso da un database. E c’è un bordo più affilato. L’iniezione di prompt si trova proprio in cima alla lista dei rischi dell’OWASP per le applicazioni LLM, e per buona ragione: alimentate un modello con il testo sbagliato e può essere convinto a fare qualcosa che nessuno ha chiesto. Quando il modello può solo parlare, è un fastidio. Quando il modello può chiamare strumenti, è un attaccante che tiene le vostre chiavi API.

La risposta standard è quella di registrare tutto ciò che l’agente fa e guardare le tracce. Bene. Ma una traccia è una descrizione di qualcosa che è già successo. È la registrazione della telecamera di sorveglianza dopo che la cassa è stata svuotata, utile per l’indagine, inutile per fermare il furto.

Quello silenzioso che nessuno menziona

Il secondo punto cieco non compare mai in una diapositiva, perché è noioso. È la semplice chiamata API. Non un agente, non un framework, solo un pezzo di codice da qualche parte in un servizio che assembla una prompt e la spara a un modello.

La maggior parte dell’IA in produzione assomiglia a questo e è la parte meno governata dell’intero stack proprio perché è così ordinaria. È una richiesta HTTP sepolta tre livelli più in basso in qualche servizio, scritta da un ingegnere che non ha mai sentito parlare della vostra politica di IA e non saprebbe dove trovarla. Quella singola chiamata potrebbe spedire i dati di un cliente a un modello di terze parti o attivare un’azione a valle e nulla sta controllando se dovrebbe, e nulla indipendente sta scrivendo che l’ha fatto.

Quello disordinato sono le persone

Il terzo punto cieco sono le persone, ed è per questo che è il peggiore. Il vostro personale ha capito mesi fa che incollare un compito in ChatGPT o Claude lo fa più velocemente, quindi lo fanno tutto il giorno, di solito da account personali che non potete vedere. Non è ipotetico. L’analisi di Cyberhaven sull’uso reale sul posto di lavoro ha scoperto che una quota reale di dipendenti ha incollato dati aziendali riservati in ChatGPT, gran parte di essi attraverso account che l’azienda non può vedere.

Se volete la storia di ammonimento, è Samsung. Nel 2023 ha vietato l’uso di IA generativa internamente dopo che gli ingegneri avevano incollato codice sorgente proprietario in ChatGPT, tre volte in meno di un mese. Non erano attori malvagi. Erano buoni ingegneri che cercavano di debuggere più velocemente. È tutta la trappola: la perdita sembra identica alla produttività. E i vostri vecchi strumenti di perdita di dati non la cattureranno, perché è una copia e incolla in una scheda del browser, non un file che esce dall’edificio.

Cosa funziona realmente

Allineare i tre e la correzione smette di essere specifica degli agenti e si trasforma in un’unica idea: governare cosa fa l’IA prima che lo faccia, non dopo. Alcune cose che veramente contano, imparate per lo più a fatica.

Siediti davanti all’azione, non dietro di essa. Questo è l’intero gioco e il motivo per cui continuo a insistere che l’osservabilità e la governance non sono la stessa parola. Un cruscotto che vi dice che un agente ha spostato 40.000 sterline ieri è un rapporto di perdita. Qualcosa che può trattenere quel trasferimento per farlo esaminare da un umano prima che esca è un controllo. Se il vostro setup può solo dirvi cosa è successo, non avete una supervisione. Avete una retrospettiva.

Usa un unico punto di controllo, non uno per strumento. Gli agenti, le chiamate API e il personale che incolla in un chatbot sembrano tre problemi separati, quindi le aziende acquistano tre strumenti separati e finiscono con tre set di lacune tra di essi. Le cose cattive vivono nelle lacune. Tutto ciò che fa l’IA, ovunque provenga, dovrebbe dover passare lo stesso cancello.

Mantieni un registro che l’IA non può riscrivere. Se il sistema che fa la cosa è anche l’unico a registrarla, non avete un registro. Avete un diario che gli è consentito modificare. È esattamente dove stanno andando le regole. Il requisito di registrazione dell’AI Act dell’UE, Articolo 12, esiste in modo che ciò che fa un sistema ad alto rischio possa essere ricostruito da qualcuno diverso dal sistema. Nella pratica significa un registro tenuto al di fuori della cosa registrata, uno che non può essere modificato silenziosamente dopo i fatti.

Metti un umano sulle grandi, irreversibili chiamate. Non tutto, fate questo e annegherete le persone nelle approvazioni fino a quando non le timbreranno tutte. Ma le chiamate che non potete ritirare, spostare denaro, esportare dati, eliminare record, dovrebbero fermarsi e aspettare. L’AI Act dell’UE rende già obbligatorio il controllo umano per i sistemi ad alto rischio, Articolo 14. La cosa da ricordare è che la supervisione conta solo se la persona ha il tempo e il contesto per dire realmente di no. Un’approvazione che nessuno legge è solo teatro.

Il controllo di gut onesto

Nessuno di questi tre è un caso d’angolo. Sono il modo ordinario in cui la maggior parte delle aziende sta eseguendo l’IA proprio adesso, silenziosamente, senza molta rete di sicurezza. I team che supereranno i prossimi due anni senza un incidente brutto non saranno quelli con i grafici più belli. Saranno quelli che hanno deciso presto che tutto ciò che fa l’IA, l’agente, la chiamata API, il paragrafo incollato, passa attraverso un cancello prima che accada, non dopo.

Se volete un test rapido del vostro setup, rispondete onestamente a due domande. Di quelle tre superfici, quante potete realmente vedere? E di quelle che potete vedere, quante potete fermare? Per molte aziende la risposta onesta alla seconda è zero. È il numero da sistemare per primo.