Come eseguire un audit AI nel 2023

L'audit AI si riferisce alla valutazione dei sistemi AI per garantire che funzionino come previsto senza pregiudizio o discriminazione e sono in linea con gli standard etici e legali. L'intelligenza artificiale ha registrato una crescita esponenziale nell'ultimo decennio. Di conseguenza, i rischi legati all'IA sono diventati una preoccupazione per le organizzazioni. Come ha detto Elon Musk:

"L'intelligenza artificiale è un raro caso in cui penso che dobbiamo essere proattivi nella regolamentazione piuttosto che reattivi".

Le organizzazioni devono sviluppare strategie di governance, valutazione del rischio e controllo per i dipendenti che lavorano con l'IA. La responsabilità dell'IA diventa fondamentale nel processo decisionale in cui la posta in gioco è alta, come il dispiegamento della polizia in un'area e non nell'altra, l'assunzione e il rifiuto di candidati.

Questo articolo presenterà una panoramica dell'audit AI, dei framework e delle normative per gli audit AI e una lista di controllo per l'audit delle applicazioni AI.

Fattori da considerare

• Conformità: valutazione del rischio relativa alla conformità di un sistema di IA a considerazioni legali, normative, etiche e sociali.
• Tecnologia: valutazione del rischio relativo alle capacità tecniche, incluso l'apprendimento automatico, gli standard di sicurezza e le prestazioni del modello.

Sfide per il controllo dei sistemi di intelligenza artificiale

• Pregiudizio: i sistemi di intelligenza artificiale possono amplificare i pregiudizi nei dati su cui sono addestrati e prendere decisioni ingiuste. Riconoscendo questo problema, è stato lanciato un istituto di ricerca sui problemi di ricerca presso la Stanford University, Human Centered AI (HAI). una sfida per l'innovazione da 71,000 dollari per progettare audit di intelligenza artificiale migliori. L'obiettivo di questa sfida era vietare la discriminazione nei sistemi di IA.
• Complessità: i sistemi di intelligenza artificiale, in particolare quelli che utilizzano il deep learning, sono complessi e mancano di interpretabilità.

Regolamenti e quadri esistenti per l'audit dell'IA

normativa e i framework fungono da stella polare per il controllo dell'IA. Alcuni importanti quadri e regolamenti di revisione sono discussi di seguito.

Quadri di controllo

1. COBIT Framework (Control Objectives for Information and related Technology): è il framework per la governance e la gestione IT di un'impresa.
2. AI Auditing Framework dell'IIA (Institute of Internal Auditing): questo framework AI mira a valutare la progettazione, lo sviluppo e il funzionamento dei sistemi di AI e il loro allineamento con gli obiettivi dell'organizzazione. Tre componenti principali dell'AI Auditing Framework di IIA sono la strategia, la governance e il fattore umano. Ha sette elementi che sono i seguenti:

• Resilienza informatica
• Competenze IA
• Qualità dei dati
• Architettura e infrastruttura dei dati
• Misurare le prestazioni
• Etica
• La scatola nera

3. COSO ERM Framework: questo framework fornisce un quadro di riferimento per la valutazione dei rischi per i sistemi di intelligenza artificiale in un'organizzazione. Ha cinque componenti per l'audit interno:

• Ambiente interno: garantire che la governance e la gestione dell'organizzazione stiano gestendo i rischi dell'IA
• Impostazione dell'obiettivo: collaborare con le parti interessate per elaborare una strategia di rischio
• Identificazione degli eventi: identificazione dei rischi nei sistemi di intelligenza artificiale come pregiudizi involontari, violazione dei dati
• Valutazione del rischio: quale sarà l'impatto del rischio?
• Risposta al rischio: in che modo l'organizzazione risponderà a situazioni di rischio, come una qualità dei dati non ottimale?

normativa

Il regolamento generale sulla protezione dei dati (GDPR) è una legge del regolamento dell'UE che impone alle organizzazioni l'obbligo di utilizzare i dati personali. Ha sette principi:

• Legittimità, correttezza e trasparenza: il trattamento dei dati personali deve rispettare la legge
• Limitazione dello scopo: utilizzo dei dati solo per uno scopo specifico
• Minimizzazione dei dati: i dati personali devono essere adeguati e limitati
• Accuratezza: i dati devono essere accurati e aggiornati
• Limitazione di archiviazione: non archiviare dati personali che non sono più richiesti
• Integrità e riservatezza: i dati personali venivano elaborati in modo sicuro
• Responsabilità: Titolare del trattamento dei dati in modo responsabile in seguito agli adempimenti

Altri regolamenti includono CCPA ed PIPEDA.

Lista di controllo per l'audit AI

Origine dei dati

L'identificazione e il controllo delle fonti di dati è la considerazione principale nell'audit dei sistemi di intelligenza artificiale. I revisori controllano la qualità dei dati e se l'azienda può utilizzare i dati.

Convalida incrociata

Garantire che il modello sia opportunamente convalidato in modo incrociato è una delle liste di controllo dei revisori. I dati di convalida non dovrebbero essere utilizzati per l'addestramento e le tecniche di convalida dovrebbero garantire la generalizzabilità del modello.

Sito Sicuro

In alcuni casi, i sistemi di intelligenza artificiale utilizzano dati personali. È importante valutare che i servizi di hosting o cloud soddisfino i requisiti di sicurezza delle informazioni come le linee guida OWASP (Open Web Application Security Project).

AI spiegabile

AI spiegabile si riferisce all'interpretazione e alla comprensione delle decisioni prese dal sistema di IA e dei fattori che lo influenzano. I revisori verificano se i modelli sono sufficientemente spiegabili utilizzando tecniche come LIME e SHAP.

Uscite del modello

L'equità è la prima cosa che gli auditor assicurano negli output del modello. Gli output del modello dovrebbero rimanere coerenti quando vengono modificate variabili come sesso, razza o religione. Inoltre, viene valutata anche la qualità delle previsioni utilizzando il metodo di punteggio appropriato.

Feedback sociale

AI Auditing è un processo continuo. Una volta schierati, gli auditor dovrebbero vedere l'impatto sociale del sistema di IA. Il sistema di intelligenza artificiale e la strategia di rischio dovrebbero essere modificati e verificati di conseguenza in base al feedback, all'utilizzo, alle conseguenze e all'influenza, positiva o negativa.

Aziende che controllano pipeline e applicazioni AI

Le cinque principali aziende che controllano l'IA sono le seguenti:

• Deloitte: Deloitte è la più grande società di servizi professionali al mondo e fornisce servizi relativi a revisione contabile, fiscalità e consulenza finanziaria. Deloitte impiega RPA, IA e analisi per aiutare le organizzazioni nella valutazione del rischio dei propri sistemi di IA.
• PwC: PwC è la seconda rete di servizi professionali per fatturato. Hanno sviluppato metodologie di audit per aiutare le organizzazioni a garantire responsabilità, affidabilità e trasparenza.
• EY: Nel 2022, EY ha annunciato un investimento di 1 miliardo di dollari in una piattaforma tecnologica abilitata all'intelligenza artificiale per fornire servizi di auditing di alta qualità. Le aziende guidate dall'intelligenza artificiale sono ben informate per controllare i sistemi di intelligenza artificiale.
• KPMG: KPMG è la quarta più grande società di servizi di contabilità. KPMG fornisce servizi personalizzati nella governance dell'IA, nella valutazione del rischio e nei controlli.
• Grant Thronton: aiutano i clienti a gestire i rischi legati all'implementazione dell'IA e alla conformità con l'etica e le normative dell'IA.

Vantaggi dell'audit dei sistemi di intelligenza artificiale

• Gestione del rischio: l'audit previene o attenua i rischi associati ai sistemi di intelligenza artificiale.
• Trasparenza: il controllo garantisce che le applicazioni di intelligenza artificiale siano prive di pregiudizi e discriminazioni.
• Conformità: controllare le applicazioni AI significa che il sistema segue le conformità legali e normative.

Auditing AI: cosa riserva il futuro

Le organizzazioni, le autorità di regolamentazione e i revisori dovrebbero tenersi in contatto con i progressi dell'IA, rendersi conto delle sue potenziali minacce e rivedere frequentemente le normative, i quadri e le strategie per garantire un uso equo, privo di rischi ed etico.

Nel 2021, 193 stati membri di UNESCO ha adottato un accordo globale sull'etica dell'IA. L'intelligenza artificiale è un ecosistema in continua evoluzione.

Vuoi più contenuti relativi all'intelligenza artificiale? Visita unire.ai.