Hvordan utføre en AI-revisjon i 2023

AI-revisjon refererer til evaluering av AI-systemer for å sikre at de fungerer som forventet uten bias eller diskriminering og er i samsvar med etiske og juridiske standarder. AI har opplevd eksponentiell vekst i det siste tiåret. Derfor har AI-relaterte risikoer blitt en bekymring for organisasjoner. Som Elon Musk sa:

“AI er et sjeldent tilfelle der jeg mener vi må være proaktive i reguleringen rather enn reaktiv.”

Organisasjoner må utvikle styring, risikovurdering og kontrollstrategier for ansatte som arbeider med AI. AI-ansvar blir kritisk i beslutningstaking hvor innsatsen er høy, som for eksempel deployering av politi i ett område og ikke i et annet, ansettelse og avvisning av kandidater.

Denne artikkelen vil gi en oversikt over AI-revisjon, rammer og reguleringer for AI-revisjoner, og en sjekkeliste for å revisere AI-applikasjoner.

Faktorer å vurdere

• Overholdelse: Risikovurdering i forhold til et AI-systems overholdelse av juridiske, reguleringstekniske, etiske og sosiale overveielser.
• Teknologi: Risikovurdering i forhold til tekniske evner, inkludert maskinlæring, sikkerhetsstandarder og modellprestasjon.

Ufordringer for revisjon av AI-systemer

• Bias: AI-systemer kan forsterke bias i dataene de er trenet på og gjøre urettferdige beslutninger. I erkjennelse av dette problemet, lanserte et forskningsinstitutt ved Stanford University, Human Centered AI (HAI), en 71 000-dollar innovasjonsutfordring for å designe bedre AI-revisjoner. Målet med denne utfordringen var å forby diskriminering i AI-systemer.
• Kompleksitet: AI-systemer, spesielt de som benytter dypt læring, er komplekse og mangler tolkbarhet.

Eksisterende reguleringer og rammer for AI-revisjon

Reguleringer og rammer fungerer som en nordstjerne for revisjon av AI. Noen viktige revisjonsrammer og reguleringer diskuteres nedenfor.

Revisjonsrammer

1. COBIT-rammen (Control Objectives for Information and related Technology): Denne er rammeverket for IT-styring og -ledelse i en organisasjon.
2. IIA’s (Institute of Internal Auditors) AI-revisjonsramme: Denne AI-rammen har som mål å vurdere design, utvikling og drift av AI-systemer og deres samsvar med organisasjonens mål. De tre hovedkomponentene i IIA’s AI-revisjonsramme er Strategi, Styring og Menneskefaktor. Den har syv elementer som følger:

• Cyber Resilience
• AI-kompetanse
• Datakvalitet
• Dataarkitektur og -infrastruktur
• Måling av prestasjon
• Etikk
• Den svarte boksen

3. COSO ERM-rammen: Denne rammeverket gir en ramme for å vurdere risikoer for AI-systemer i en organisasjon. Den har fem komponenter for intern revisjon:

• Intern miljø: Sikre at organisasjonens styring og ledelse håndterer AI-risikoer
• Målsetting: Samarbeide med interessenter for å lage en risikostretegi
• Hendelsesidentifikasjon: Identifisere risikoer i AI-systemer, som uforutsette bias, databrudd
• Risikovurdering: Hva vil være effekten av risikoen?
• Risikorespons: Hvordan vil organisasjonen respondere på risikosituasjoner, som for eksempel underoptimal datakvalitet?

Reguleringer

Den generelle persondataforordningen (GDPR) er en lov i EU-reguleringen som legger på organisasjoner å bruke persondata. Den har syv prinsipper:

• Lovlighet, rettferdighet og åpenhet: Persondatabehandling må overholde loven
• Formålsbegrensning: Bruke data kun for et bestemt formål
• Dataminimering: Persondata må være adekvate og begrensede
• Nøyaktighet: Data skal være nøyaktige og oppdaterte
• Lagringsbegrensning: Ikke lagre persondata som ikke lenger er nødvendig
• Integritet og konfidensialitet: Persondata skal behandles sikkerhetsmessig
• Ansvar: Kontrollører skal behandle data ansvarlig i henhold til overholdelse

Andre reguleringer inkluderer CCPA og PIPEDA.

Sjekkeliste for AI-revisjon

Datakilder

Identifisering og vurdering av datakilder er den primære overveielsen ved revisjon av AI-systemer. Revisorer sjekker for datakvalitet og om selskapet kan bruke dataene.

Kryssvalidering

Sikre at modellen er riktig kryssvalideret er en av revisorenes sjekkelister. Valideringsdata skal ikke brukes til trening, og valideringsteknikkene skal sikre modellens generell gyldighet.

Sikker vertshosting

I noen tilfeller bruker AI-systemer persondata. Det er viktig å vurdere at vertshosting eller skytjenester møter informasjonssikkerhetskravene, som for eksempel OWASP (Open Web Application Security Project)-retningslinjer.

Forklarbar AI

Forklarbar AI refererer til å tolke og forstå beslutningene som er tatt av AI-systemet og faktorene som påvirker det. Revisorer sjekker om modellene er tilstrekkelig forklarbare ved hjelp av teknikker som LIME og SHAP.

Modellutdata

Fairness er det første revisorene sikrer i modellutdata. Modellutdataene skal forbli konsistente når variabler som kjønn, rase eller religion endres. I tillegg vurderes kvaliteten på forutsagnene ved hjelp av en passende scoringsmetode.

Sosial tilbakekobling

AI-revisjon er en kontinuerlig prosess. Når den er deployert, skal revisorer se på den sosiale innvirkningen av AI-systemet. AI-systemet og risikostretegien skal modifiseres og revisjoneres i henhold til tilbakekoblingen, bruken, konsekvensene og innvirkningen, enten positiv eller negativ.

Selskaper som revisjon av AI-pipelines og -applikasjoner

Fem store selskaper som revisjon av AI er som følger:

• Deloitte: Deloitte er det største profesjonelle tjenesteselskapet i verden og tilbyr tjenester relatert til revisjon, skatt og finansiell rådgivning. Deloitte bruker RPA, AI og analytikk for å hjelpe organisasjoner med risikovurdering av deres AI-systemer.
• PwC: PwC er det nest største profesjonelle tjenestenettverket etter omsetning. De har utviklet revisjonsmetodologier for å hjelpe organisasjoner sikre ansvar, pålitelighet og åpenhet.
• EY: I 2022 annonserte EY en investering på 1 milliard dollar i en AI-aktivert teknologiplattform for å tilby høykvalitets revisjonstjenester. Selskaper som er AI-drevne er godt informert for å revisjon av AI-systemer.
• KPMG: KPMG er det fjerde største regnskaps- og revisjonstjenesteselskapet. KPMG tilbyr tilpassede tjenester i AI-styring, risikovurdering og kontroll.
• Grant Thronton: De hjelper kunder med å håndtere risikoer relatert til AI-deployering og overholdelse av AI-etikk og reguleringer.

Fordelene med å revisjon av AI-systemer

• Risikostyring: Revisjon forebygger eller mildner risikoer forbundet med AI-systemer.
• Åpenhet: Revisjon sikrer at AI-applikasjoner er fri for bias og diskriminering.
• Overholdelse: Revisjon av AI-applikasjoner betyr at systemet overholder juridiske og reguleringstekniske krav.

AI-revisjon: Hva fremtiden bringer

Organisasjoner, reguleringer og revisorer må holde seg oppdatert om AI-fremgang, erkjenne dens potensielle trusler og ofte revidere reguleringer, rammer og strategier for å sikre en rettferdig, risikofri og etisk bruk.

I 2021 antok 193 medlemsstater i UNESCO en global avtale om AI-etikk. AI er en kontinuerlig utviklingsøkosystem.

Ønsker du mer AI-relatert innhold? Besøk unite.ai.