Perché gli acquisti stanno diventando lo strumento normativo più potente dell’IA

Per tutta l’attenzione rivolta alla legislazione sull’IA, alcune delle regole più decisive che disciplinano la tecnologia potrebbero provenire da un luogo davvero inaspettato: i dipartimenti di approvvigionamento.

Come molti inizi normativi negli Stati Uniti, la California offre un esempio precoce: lo stato ha costruito requisiti specifici per l’acquisto di prodotti e servizi che utilizzano l’IA generativa. Le entità statali devono valutare il rischio associato agli acquisti di GenAI, con gli usi a rischio moderato e alto soggetti a ulteriori controlli da parte del California Department of Technology (CDT). Le gare d’appalto richiedono un linguaggio di divulgazione della GenAI, e i fornitori potrebbero dover dichiarare l’uso della tecnologia anche quando l’IA è incidentale al prodotto o al servizio acquistato.

Ancora più interessante è ciò che accade dopo la conclusione dell’accordo. La Guida agli acquisti di GenAI estende la supervisione oltre l’acquisto iniziale. Ci si aspetta che i responsabili dei contratti monitorino la tecnologia GenAI nel tempo perché certe modifiche alla tecnologia possono innescare una nuova valutazione del rischio.

Questo cambia le cose per i fornitori poiché superare l’approvvigionamento non è più una questione di rispondere a un questionario di sicurezza e consegnare qualche documentazione. La governance dell’IA sta iniziando a diventare parte del prezzo d’ingresso per fare affari in California. E mentre questa è la situazione attuale in California, spesso influenza altri stati quando non esiste una legislazione federale, il che significa che le aziende sarebbero miope nel considerare questo come un problema di approvvigionamento della California.

Quando l’acquirente inizia a stabilire le regole

Come i dipartimenti di approvvigionamento sono diventati il punto di partenza per la governance dell’IA? I governi possono impiegare anni a dibattere la legislazione, ma le regole di approvvigionamento possono essere più agili perché hanno un pubblico molto più immediato: chiunque voglia il contratto.

In assenza di una legislazione completa sull’IA, gli acquirenti hanno trovato un altro modo per stabilire le proprie aspettative sull’IA. Possono decidere cosa devono sapere sull’uso della tecnologia da parte di un fornitore, quali prove si aspettano di vedere e quale livello di rischio sono disposti ad accettare prima di firmare un contratto. Per i grandi acquirenti, in particolare governi e grandi imprese, tali requisiti possono avere un peso considerevole.

I team di approvvigionamento del settore privato hanno le proprie ragioni per iniziare a porre domande su aspetti come dove viene utilizzata l’IA o quali prove esistono che vi siano controlli adeguati. Le imprese già dedicano tempo considerevole a esaminare le pratiche di sicurezza e privacy dei propri fornitori. L’introduzione dell’IA aggiunge un ulteriore insieme di rischi che gli acquirenti devono sempre più comprendere prima di affidare a un fornitore i propri dati, inserire la sua tecnologia in un processo critico o consentirgli di prendere decisioni che influenzano clienti e dipendenti.

Il tuo rischio IA potrebbe appartenere a qualcun altro

Una delle cose più importanti dell’approccio della California è che riconosce quanto sia diventato difficile tracciare una linea netta sull’uso dell’IA da parte di un’organizzazione. Che abbia acquistato una propria offerta di IA, lavori con società di consulenza che forniscono servizi, o semplicemente utilizzi servizi basati su cloud, l’IA è integrata nelle organizzazioni o nelle loro catene di fornitura.

Il processo di approvvigionamento della California tiene conto di parte di questo. Copre acquisti IT e non IT che coinvolgono GenAI, inclusi i consulenti che usano la tecnologia, e richiede una valutazione del rischio quando la GenAI viene identificata durante l’approvvigionamento.

Il processo è simile a quando i team di sicurezza informatica hanno capito che proteggere solo i propri sistemi non era sufficiente se un fornitore con accesso ai loro dati o infrastrutture aveva controlli deboli. Tale consapevolezza ha trasformato la sicurezza informatica di terze parti in una parte importante della gestione del rischio dei fornitori, una direzione verso cui sembra orientarsi anche l’IA.

Crea anche un problema scomodo per le organizzazioni che hanno costruito programmi separati per sicurezza, privacy, governance dell’IA e ogni nuovo obbligo di conformità che arriva. I rischi non rispettano questi confini organizzativi. Un’applicazione IA può generare contemporaneamente questioni di privacy, esposizione alla sicurezza e obblighi normativi.

Costruire un altro silo per governarla aggiunge solo un altro punto in cui qualcosa può sfuggire al controllo.

Il problema nel dimostrare la conformità una sola volta

Una complicazione aggiuntiva a una questione già complessa è che l’IA si muove. I modelli vengono aggiornati, i fornitori rilasciano nuove funzionalità, i dipendenti trovano usi per gli strumenti che nessuno aveva previsto al momento dell’acquisto, e i dati cambiano. Questa fluidità significa che anche la normativa deve evolversi.

Eppure gran parte dell’attività di conformità è ancora costruita intorno a un momento specifico. Arriva un audit, quindi si raccolgono le prove. Un cliente invia un questionario, così qualcuno reperisce le risposte. Arriva un nuovo requisito e inizia un altro progetto di conformità.

Questo approccio era già ingombrante, ma con l’IA diventa sempre più difficile da difendere. Una valutazione del rischio effettuata al momento dell’acquisto di un prodotto può essere perfettamente accurata all’epoca, ma risultare gravemente obsoleta un anno dopo.

California sembra riconoscere questo, poiché le sue linee guida per il monitoraggio dei contratti richiede una valutazione continua dei risultati di GenAI, inclusi output imprecisi, contenuti fabbricati e bias. Modifiche o aggiunte alla tecnologia GenAI nei contratti, che in precedenza richiedevano la consulenza CDT, possono anche richiedere una rivalutazione.

Il NIST AI Risk Management Framework adotta una visione simile della gestione del rischio AI, considerandola un processo continuo lungo l’intero ciclo di vita dell’AI. Questo richiederà una mentalità diversa da parte delle organizzazioni abituate a prepararsi per il prossimo audit e poi tirare un sospiro di sollievo quando è finito.

Gli acquisti richiedono prove, non una corsa frenetica

C’è molto entusiasmo intorno alla conformità automatizzata, soprattutto mentre le aziende cercano di tenere il passo con un numero crescente di requisiti di sicurezza, privacy e AI. L’attrazione è comprensibile, ma il pericolo nasce quando l’efficienza viene confusa con la governance.

Completare un flusso di lavoro non indica se il rischio sottostante è cambiato. Per esempio, un fornitore che non utilizzava l’AI per un determinato servizio sei mesi fa potrebbe ora usarla. Per questo la conformità deve funzionare più come un ciclo che come un traguardo. Le organizzazioni devono sapere cosa stanno governando, verificare che i controlli continuino a fare ciò che devono fare e integrare nuovi rischi e requisiti nel processo man mano che emergono.

Se fatto correttamente, ciò rende anche gli acquisti notevolmente meno dolorosi. Quando un cliente chiede come viene governata l’AI, la risposta non si trova in un documento scritto l’anno scorso per un audit. Esiste un corpo di prove attuale e continuo che mostra come i rischi vengano gestiti nella pratica, il che sta diventando commercialmente importante.

La California dimostra come gli acquisti possano trasformare i principi di governance dell’AI in requisiti che i fornitori devono effettivamente soddisfare se vogliono il business. Altri acquirenti del settore pubblico possono fare lo stesso, mentre i team di procurement aziendali hanno molti incentivi a porre domande più incisive ai propri fornitori.

Le aziende potrebbero alla fine scoprire che la governance dell’AI non è qualcosa che fanno semplicemente perché un regolatore lo richiede. Governeranno l’AI perché un team di procurement ha deciso di chiedere loro di dimostrarlo, cosa che faranno volentieri per ottenere il business.