Leader di pensiero

Nuove esposizioni di sicurezza dell’adozione rapida di GenAI che le organizzazioni devono affrontare

Dr. Madhu Shashanka Lane Sullivan
Aggiungi Unite.AI alle tue fonti preferite su Google
Punti chiaveLa GenAI compromette il principio del minimo privilegio assorbendo dati senza ereditare…
Vedi di più
  • La GenAI compromette il principio del minimo privilegio assorbendo dati senza ereditare i controlli di accesso originali.
  • Lo Shadow AI crea rischi invisibili di esfiltrazione dati poiché i dipendenti adottano immediatamente strumenti non autorizzati.
  • Le aziende non possono ritirare i dati dai modelli GenAI una volta assimilati, creando lacune di governance permanenti.

L’Intelligenza Artificiale Generativa (GenAI) è passata da una curiosità a una forza centrale nella tecnologia aziendale. La sua capacità di generare testo, codice, immagini e informazioni su richiesta l’ha resa indispensabile per i dipendenti che desiderano ridurre la complessità e accelerare la produttività. Ma con questa innovazione e efficienza arrivano enormi esposizioni al rischio.

Nelle chiamate con esecutivi e leader della governance dell’AI in vari settori, un tema emerge costantemente: la sicurezza dei dati è passata da una preoccupazione chiave al punto focale della loro strategia e ora è la sfida definitiva dell’adozione dell’AI. A differenza del software tradizionale o anche delle precedenti ondate di apprendimento automatico, la GenAI cambia fondamentalmente il processo di sicurezza dei dati all’interno di un’organizzazione.

Uno studio recente del MIT ha scoperto che il 95% dei progetti pilota di GenAI aziendale falliscono. Non è perché la tecnologia è debole; è perché le aziende mancano dei framework di governance e sicurezza necessari per operare la GenAI in modo appropriato e responsabile. In un altro studio del MIT, i leader aziendali hanno citato la sicurezza dei dati come il principale rischio aziendale e di sicurezza che ostacola un’adozione più rapida dell’AI. Inoltre, l'”AI ombra”, che è l’uso non autorizzato di strumenti pubblici da parte dei dipendenti, è ampiamente riconosciuto come un driver di rischi di dati in aumento al di fuori del controllo aziendale.

L’accesso con privilegi minimi è un modello di sicurezza in cui qualsiasi entità, sia essa un utente, un programma o un processo, riceve solo il livello minimo di accesso e autorizzazioni necessarie per eseguire le sue funzioni legittime. La GenAI, tuttavia, capovolge l’intero paradigma: il privilegio minimo stesso diventa una limitazione che confligge con il modo in cui questi sistemi sono progettati per funzionare. Ciò è dovuto al fatto che gli strumenti di GenAI aziendale tendono a fornire maggiori guadagni di produttività quando hanno accesso a più dati aziendali e contesto aziendale.

Man mano che l’adozione di GenAI accelera, gli utenti continuano a scoprire nuove applicazioni di GenAI, la maggior parte delle quali emerge da esperimenti organici e curiosità, piuttosto che da pianificazioni aziendali dall’alto verso il basso. Se un’entità non può definire le attività per cui verrà utilizzata la GenAI o i tipi di dati a cui deve accedere, diventa infeasibile configurare le autorizzazioni di accesso con privilegi minimi. Inoltre, un utente può avere un accesso appropriato a un set di dati e fornirlo legittimamente come input a uno strumento di GenAI, ma una volta che i dati vengono inglobati, non sono più vincolati dalle autorizzazioni originali dell’utente. Invece, possono essere assorbiti nel modello, presentati in output futuri o resi accessibili ad altri che utilizzano lo stesso strumento. Poiché la GenAI non eredita necessariamente i controlli di accesso dei dati, rende effettivamente inapplicabile il privilegio minimo.

Esposizioni di GenAI da considerare

La GenAI crea una vasta e sempre più ampia superficie di dati, complicando la governance e la sicurezza dei dati aziendali in vari modi interconnessi. Questi includono:

Perdita di input – La GenAI può ingerire dati nella loro forma grezza, compresi testo, immagini, audio, video e dati strutturati. Gli utenti finali possono ora dirigere gli strumenti di GenAI a nuovi set di dati con minimo sforzo o competenza. Invece di essere limitati a tabelle accuratamente curate e strutturate con schemi e relazioni definite, questi set di dati possono includere registrazioni di chiamate di vendita, note di posta elettronica CRM, trascrizioni del servizio clienti e altro. Nella pratica, i dipendenti alimentano i prompt con informazioni aziendali altamente sensibili, comprese le informazioni personali dei clienti, la proprietà intellettuale, le previsioni finanziarie e persino il codice sorgente.

Esposizione di output – I modelli generativi non solo consumano, ma sintetizzano. Un prompt può involontariamente trarre informazioni da più set di dati ed esporle agli utenti senza autorizzazione appropriata. In alcuni casi, gli output possono anche “allucinare” dati che appaiono legittimi ma contengono frammenti di materiale di addestramento reale e altamente sensibile.

Gli strumenti di GenAI funzionano meglio quando hanno un contesto per il compito in corso. Di conseguenza, non solo la GenAI ingerisce le informazioni esistenti, ma gli utenti stanno anche creando nuovi dati per guidarla sotto forma di prompt estesi e dettagliati che documentano il contesto aziendale, i processi interni e altre informazioni potenzialmente sensibili o critiche per l’azienda.

Accessibilità senza controllo – I sistemi aziendali tradizionali richiedevano l’onboarding dei fornitori e il provisioning IT. Oggi la GenAI è integrata ovunque – nelle suite di Microsoft Office, nei browser, negli strumenti di chat e nelle piattaforme SaaS. I dipendenti possono adottarla istantaneamente, bypassando la governance interamente. Questo accesso senza attrito alimenta l'”AI ombra” e ogni utilizzo non autorizzato di GenAI è un potenziale evento di esfiltrazione di dati che si verifica invisibilmente, su larga scala e al di fuori del perimetro di governance dell’azienda.

Rischio di catena di approvvigionamento di secondo livello – Un fornitore può apparire sicuro, ma spesso si affida a subappaltatori come host cloud, servizi di annotazione o laboratori di AI di terze parti. Ognuno introduce i propri accordi di licenza utente finale (EULA) e politiche. I dati aziendali sensibili possono propagarsi attraverso molte mani non viste, eppure la responsabilità rimane interamente con l’azienda. Ad esempio, un’azienda potrebbe avere un fornitore che ha completato il processo di onboarding, ma quel fornitore ora utilizza uno strumento di GenAI che potrebbe consentire che i dati dell’azienda vengano utilizzati come dati di addestramento, con significativi impatti a valle.

Lacune di governance nei dati di addestramento – Una volta che i dati entrano in un modello di AI, il controllo effettivo termina. Le aziende non possono facilmente ritirare o governare come le loro informazioni vengono utilizzate. La conoscenza proprietaria può persistere e poi emergere negli output a lungo dopo che la sua fonte è stata dimenticata. Non abbiamo ancora incontrato nessuno strumento di GenAI che consenta richieste di rimozione delle informazioni che ha ingerito, simile a quanto visto nelle norme sulla privacy come il Regolamento Generale sulla Protezione dei Dati (GDPR) o la Legge sulla Privacy dei Consumatori della California (CCPA). L’implementazione di tali processi è improbabile fino a quando la regolamentazione non guiderà il cambiamento.

Rischio di codice di applicazione – L’AI sta scrivendo sempre più il codice che sottostà ai sistemi aziendali. Gli sviluppatori che utilizzano strumenti di GenAI come Microsoft Copilot per generare codice possono inconsapevolmente introdurre dipendenze insicure, propagare vulnerabilità o incorporare codice sotto licenze open-source conflittuali. Una volta distribuito il codice, queste debolezze diventano incorporate nella catena di approvvigionamento del software.

Affrontare il rischio di GenAI

La GenAI è già integrata nei flussi di lavoro aziendali, quindi la domanda per le aziende non è se adottarla, ma come farlo in modo responsabile. Adottare la GenAI senza governance rischia di provocare violazioni costose, sanzioni normative e danni alla reputazione. Ma bloccarla solo spinge i dipendenti a utilizzare soluzioni non autorizzate. L’unico modo in avanti è l’abilitazione avvolta nella visibilità e nel controllo.

La governance di GenAI richiede visibilità guidata dal contesto non solo su quali dati un’azienda possiede, dove si trovano e chi ha accesso a essi, ma anche su come la GenAI viene utilizzata. Le aziende devono vedere quali strumenti vengono acceduti, quali prompt vengono inseriti e se i dati sensibili stanno lasciando il loro ambiente. Da lì, possono applicare i controlli appropriati per monitorare i prompt e gli output in tempo reale, segnalare sessioni rischiose o flussi di dati anomali, bloccare strumenti non autorizzati, filtrare i prompt sensibili prima che lascino, de-identificare i dati sensibili man mano che vengono inseriti nei prompt e applicare restrizioni basate su ruolo alle informazioni guidate dall’AI.

La GenAI è un nuovo livello di rischio e opportunità aziendale. Gestirla richiede una mentalità che considera la sicurezza non come un freno all’innovazione, ma come la base che la rende sicura.

Il dott. Shashanka è direttore scientifico e cofondatore di Concentric. Prima di entrare in Concentric, il dott. Shashanka ha ricoperto il ruolo di direttore generale del team di Scienza dei dati e apprendimento automatico di Charles Schwab. Ha cofondato PetaSecure e ne è stato direttore scientifico prima che l’azienda venisse acquisita da Niara.

Lane Sullivan ricopre il ruolo di vicepresidente senior e responsabile della sicurezza delle informazioni e della strategia presso Concentric AI, guidando il programma di sicurezza informatica globale dell'azienda e influenzando la strategia dei prodotti per migliorare la sicurezza dei dati aziendali e la governance dell'AI. In precedenza, Lane ha ricoperto il ruolo di vicepresidente senior e responsabile della sicurezza delle informazioni presso Magellan Health, concentrandosi sulla conformità in un ambiente altamente regolamentato. L'esperienza include anche la direzione di un programma di sicurezza informatica da diversi milioni di dollari presso Ingram Content Group e la fornitura di leadership infrastrutturale presso C&S Wholesale Grocers. I ruoli di leadership di Lane risalgono a JT Investments, dove sono state gestite operazioni e tecnologia, e Basin Home Health & Hospice Inc., dove sono stati raggiunti significativi progressi nell'IT sanitaria. La formazione accademica di Lane include una laurea magistrale in sicurezza dei sistemi informatici e dei sistemi informativi presso la Western Governors University, che completa una laurea di primo livello in gestione delle tecnologie informatiche presso la stessa istituzione.