Come eseguire un audit di AI nel 2023

L’audit di AI si riferisce alla valutazione dei sistemi di intelligenza artificiale per assicurarsi che funzionino come previsto senza bias o discriminazione e siano allineati con gli standard etici e legali. L’AI ha sperimentato una crescita esponenziale nell’ultimo decennio. Di conseguenza, i rischi legati all’AI sono diventati una preoccupazione per le organizzazioni. Come ha detto Elon Musk:

“L’AI è un caso raro in cui credo che dobbiamo essere proattivi nella regolamentazione piuttosto che reattivi.”

Le organizzazioni devono sviluppare governance, valutazione dei rischi e strategie di controllo per i dipendenti che lavorano con l’AI. La responsabilità dell’AI diventa critica nella decision-making dove le poste in gioco sono alte, come ad esempio il dispiegamento della polizia in una zona e non in un’altra, l’assunzione e il rifiuto di candidati.

Questo articolo presenterà una panoramica dell’audit di AI, dei framework e delle normative per gli audit di AI, e una checklist per l’audit delle applicazioni di AI.

Fattori da considerare

• Conformità: Valutazione dei rischi legati alla conformità di un sistema di AI con considerazioni legali, regolamentari, etiche e sociali.
• Tecnologia: Valutazione dei rischi legati alle capacità tecniche, comprese l’apprendimento automatico, gli standard di sicurezza e le prestazioni del modello.

Sfide per l’audit dei sistemi di AI

• Bias: I sistemi di AI possono amplificare i pregiudizi presenti nei dati su cui sono stati addestrati e prendere decisioni ingiuste. Riconoscendo questo problema, un istituto di ricerca di Stanford University, Human Centered AI (HAI), ha lanciato una sfida di innovazione da 71.000 dollari per progettare audit di AI migliori. L’obiettivo di questa sfida era di proibire la discriminazione nei sistemi di AI.
• Complessità: I sistemi di AI, in particolare quelli che utilizzano l’apprendimento profondo, sono complessi e mancano di interpretazione.

Normative e framework esistenti per l’audit di AI

Le normative e i framework agiscono come stella polare per l’audit di AI. Alcuni importanti framework e normative per l’audit sono discussi di seguito.

Framework di audit

1. COBIT Framework (Control Objectives for Information and related Technology): È il framework per la governance e la gestione dell’IT di un’azienda.
2. IIA’s (Institute of Internal Auditors) AI Auditing Framework: Questo framework di AI mira a valutare la progettazione, lo sviluppo e il funzionamento dei sistemi di AI e il loro allineamento con gli obiettivi dell’organizzazione. I tre componenti principali del framework di audit di AI dell’IIA sono Strategia, Governance e Fattore umano. Ha sette elementi che sono i seguenti:

• Resilienza informatica
• Competenze di AI
• Qualità dei dati
• Architettura e infrastruttura dei dati
• Misurazione delle prestazioni
• Etica
• La scatola nera

3. COSO ERM Framework: Questo framework fornisce un quadro di riferimento per la valutazione dei rischi per i sistemi di AI in un’organizzazione. Ha cinque componenti per l’audit interno:

• Ambiente interno: Assicurarsi che la governance e la gestione dell’organizzazione gestiscano i rischi di AI
• Definizione degli obiettivi: Collaborare con gli stakeholder per definire la strategia di rischio
• Identificazione degli eventi: Identificare i rischi nei sistemi di AI, come ad esempio pregiudizi non intenzionali, violazioni dei dati
• Valutazione dei rischi: Qual sarà l’impatto del rischio?
• Risposta ai rischi: Come l’organizzazione risponderà alle situazioni di rischio, come ad esempio una qualità dei dati subottimale?

Normative

Il Regolamento generale sulla protezione dei dati (GDPR) è una legge dell’UE che impone obblighi alle organizzazioni per l’uso dei dati personali. Ha sette principi:

• Legittimità, equità e trasparenza: L’elaborazione dei dati personali deve essere conforme alla legge
• Limitazione della finalità: Utilizzare i dati solo per uno scopo specifico
• Minimizzazione dei dati: I dati personali devono essere adeguati e limitati
• Esattezza: I dati devono essere esatti e aggiornati
• Limitazione dell’archiviazione: Non archiviare dati personali che non sono più necessari
• Integrità e riservatezza: I dati personali devono essere elaborati in modo sicuro
• Responsabilità: Il titolare del trattamento dei dati è responsabile dell’elaborazione dei dati in modo responsabile e conforme alle norme

Altre normative includono CCPA e PIPEDA.

Checklist per l’audit di AI

Fonti di dati

L’identificazione e la verifica delle fonti di dati è la considerazione principale nell’audit dei sistemi di AI. Gli auditor verificano la qualità dei dati e se l’azienda può utilizzare i dati.

Convalida incrociata

Assicurarsi che il modello sia convalidato incrociatamente è una delle voci della checklist degli auditor. I dati di convalida non devono essere utilizzati per l’addestramento e le tecniche di convalida devono garantire la generalizzabilità del modello.

Hosting sicuro

In alcuni casi, i sistemi di AI utilizzano dati personali. È importante valutare se i servizi di hosting o cloud soddisfano i requisiti di sicurezza delle informazioni, come ad esempio le linee guida di OWASP (Open Web Application Security Project).

AI spiegabile

L’AI spiegabile si riferisce all’interpretazione e alla comprensione delle decisioni prese dal sistema di AI e dei fattori che lo influenzano. Gli auditor verificano se i modelli sono sufficientemente spiegabili utilizzando tecniche come LIME e SHAP.

Output del modello

La correttezza è la prima cosa che gli auditor verificano negli output del modello. Gli output del modello devono rimanere coerenti quando vengono modificati fattori come il genere, la razza o la religione. Inoltre, la qualità delle previsioni utilizzando il metodo di punteggio appropriato viene valutata.

Feedback sociale

L’audit di AI è un processo continuo. Una volta distribuito, gli auditor devono valutare l’impatto sociale del sistema di AI. Il sistema di AI e la strategia di rischio devono essere modificati e auditati di conseguenza in base al feedback, all’uso, alle conseguenze e all’influenza, sia positiva che negativa.

Aziende che eseguono audit di pipeline e applicazioni di AI

Cinque importanti aziende che eseguono audit di AI sono le seguenti:

• Deloitte: Deloitte è la più grande azienda di servizi professionali del mondo e fornisce servizi relativi all’audit, alla tassazione e alla consulenza finanziaria. Deloitte utilizza RPA, AI e analisi per aiutare le organizzazioni nella valutazione dei rischi dei loro sistemi di AI.
• PwC: PwC è la seconda più grande rete di servizi professionali per entrate. Hanno sviluppato metodologie di audit per aiutare le organizzazioni a garantire la responsabilità, l’affidabilità e la trasparenza.
• EY: Nel 2022, EY ha annunciato un investimento di 1 miliardo di dollari in una piattaforma tecnologica abilitata all’AI per fornire servizi di audit di alta qualità. Le aziende guidate dall’AI sono ben informate per eseguire audit di AI.
• KPMG: KPMG è la quarta più grande azienda di servizi di contabilità. KPMG fornisce servizi personalizzati in materia di governance di AI, valutazione dei rischi e controllo.
• Grant Thronton: Aiutano i clienti a gestire i rischi legati al dispiegamento di AI e alla conformità con l’etica e le normative di AI.

Vantaggi dell’audit di AI

• Gestione dei rischi: L’audit prevenisce o mitiga i rischi associati ai sistemi di AI.
• Trasparenza: L’audit garantisce che le applicazioni di AI siano libere da pregiudizi e discriminazione.
• Conformità: L’audit di AI significa che il sistema segue le normative e le leggi.

Il futuro dell’audit di AI

Le organizzazioni, le autorità di regolamentazione e gli auditor devono rimanere in contatto con gli sviluppi dell’AI, riconoscere le minacce potenziali e revisionare frequentemente le normative, i framework e le strategie per garantire un uso equo, senza rischi e etico.

Nel 2021, 193 stati membri dell’UNESCO hanno adottato un accordo globale sull’etica dell’AI. L’AI è un ecosistema in continua evoluzione.

Desideri ulteriore contenuto relativo all’AI? Visita unite.ai.