Hvordan utføre en AI-revisjon i 2023

AI-revisjon refererer til evaluering av AI-systemer for å sikre at de fungerer som forventet uten bias eller diskriminering og er i samsvar med etiske og juridiske standarder. AI har opplevd eksponentiell vekst i det siste tiåret. Derfor har AI-relaterte risikoer blitt en bekymring for organisasjoner. Som Elon Musk sa:

“AI er et sjeldent tilfelle der jeg mener vi må være proaktive i reguleringen i stedet for reaktiv.”

Organisasjoner må utvikle styring, risikovurdering og kontrollstrategier for ansatte som arbeider med AI. AI-ansvar blir kritisk i beslutningstaking der innsatsen er høy, som å deployere politi i ett område og ikke i et annet, ansettelser og avvisninger av kandidater.

Denne artikkelen vil gi en oversikt over AI-revisjon, rammer og reguleringer for AI-revisjoner, og en sjekkeliste for revisjon av AI-applikasjoner.

Faktorer å vurdere

• Overholdelse: Risikovurdering relatert til et AI-systems overholdelse av lovmessige, reguleringstekniske, etiske og sosiale overveielser.
• Teknologi: Risikovurdering relatert til tekniske evner, inkludert maskinlæring, sikkerhetsstandarder og modellprestasjon.

Utfordringer for revisjon av AI-systemer

• Bias: AI-systemer kan forsterke bias i dataene de er trent på og ta urettferdige beslutninger. Ved å erkjenne dette problemet, lanserte et forskningsinstitutt ved Stanford University, Human Centered AI (HAI), en innovasjonsutfordring på 71 000 dollar for å designe bedre AI-revisjoner. Målet med denne utfordringen var å forby diskriminering i AI-systemer.
• Kompleksitet: AI-systemer, spesielt de som anvender dypt læring, er komplekse og mangler tolkbarhet.

Eksisterende reguleringer og rammer for AI-revisjon

Reguleringer og rammer fungerer som en nordstjerne for revisjon av AI. Noen viktige revisjonsrammer og reguleringer diskuteres nedenfor.

Revisjonsrammer

1. COBIT-rammen (Control Objectives for Information and related Technology): Denne er rammeverket for IT-styring og -ledelse i en organisasjon.
2. IIA’s (Institute of Internal Auditors) AI-revisjonsramme: Denne AI-rammen har som mål å vurdere design, utvikling og funksjon av AI-systemer og deres samsvar med organisasjonens mål. De tre hovedkomponentene i IIA’s AI-revisjonsramme er Strategi, Styring og Menneskefaktor. Den har syv elementer som følger:

• Cyber Resilience
• AI-kompetanse
• Datakvalitet
• Dataarkitektur og -infrastruktur
• Måling av prestasjon
• Etikk
• Den sorte boksen

3. COSO ERM-rammen: Denne rammeverket gir en ramme for å vurdere risikoer for AI-systemer i en organisasjon. Den har fem komponenter for intern revisjon:

• Intern miljø: Sikre at organisasjonens styring og ledelse håndterer AI-risikoer
• Målsetting: Samarbeide med interessenter for å lage en risikostretegi
• Hendelsesidentifikasjon: Identifisere risikoer i AI-systemer, som uventede bias, databrudd
• Risikovurdering: Hva vil være effekten av risikoen?
• Risikorespons: Hvordan vil organisasjonen responderer på risikosituasjoner, som underoptimal datakvalitet?

Reguleringer

Den generelle persondataforordningen (GDPR) er en lovgivning i EU som legger på organisasjoner å bruke persondata. Den har syv prinsipper:

• Lovlighet, rettferdighet og gjennomsiktighet: Persondatabehandling må følge loven
• Formålsbegrensning: Bruke data bare for et bestemt formål
• Dataminimering: Persondata må være tilstrekkelig og begrenset
• Nøyaktighet: Data skal være nøyaktig og oppdatert
• Lagringsbegrensning: Ikke lagre persondata som ikke lenger er nødvendig
• Integritet og konfidensialitet: Persondata skal behandles sikkerhetsmessig
• Ansvar: Kontrollører skal behandle data ansvarlig og følge loven

Andre reguleringer inkluderer CCPA og PIPEDA.

Sjekkeliste for AI-revisjon

Datakilder

Identifisering og vurdering av datakilder er den primære overveielsen ved revisjon av AI-systemer. Revisorer sjekker datakvalitet og om selskapet kan bruke dataene.

Kryssvalidering

Sikre at modellen er korrekt kryssvalideret er en av revisorenes sjekkelister. Valideringsdata skal ikke brukes til trening, og valideringsteknikkene skal sikre modellens generaliserbarhet.

Sikker vertshosting

I noen tilfeller bruker AI-systemer persondata. Det er viktig å vurdere at vertshosting eller skytjenester møter informasjonssikkerhetskravene, som OWASP-veiledningen (Open Web Application Security Project).

Forklarbar AI

Forklarbar AI refererer til å tolke og forstå beslutningene som AI-systemet tar og faktorene som påvirker det. Revisorer sjekker om modellene er tilstrekkelig forklarbare ved hjelp av teknikker som LIME og SHAP.

Modellutdata

Rettferdighet er det første revisorene sikrer i modellutdata. Modellutdataene skal forbli konsistente når variabler som kjønn, rase eller religion endres. I tillegg vurderes også kvaliteten på prediksjonene ved hjelp av en passende scoringsmetode.

Sosial tilbakemelding

AI-revisjon er en kontinuerlig prosess. Når den er deployert, skal revisorer se på den sosiale effekten av AI-systemet. AI-systemet og risikostretegien skal modifiseres og revideres i henhold til tilbakemeldingen, bruken, konsekvensene og påvirkningen, enten positiv eller negativ.

Selskaper som reviderer AI-pipelines og -applikasjoner

Fem store selskaper som reviderer AI er følgende:

• Deloitte: Deloitte er det største profesjonelle tjenesteselskapet i verden og tilbyr tjenester relatert til revisjon, skatt og finansiell rådgivning. Deloitte anvender RPA, AI og analyser for å hjelpe organisasjoner med risikovurdering av deres AI-systemer.
• PwC: PwC er det nest største profesjonelle tjenestenettverket etter omsetning. De har utviklet revisjonsmetodologier for å hjelpe organisasjoner sikre ansvar, pålitelighet og gjennomsiktighet.
• EY: I 2022 kunngjorde EY en investering på 1 milliard dollar i en AI-aktivert teknologiplattform for å tilby høykvalitets revisjonstjenester. Selskaper som er AI-drevne er godt informert om å revidere AI-systemer.
• KPMG: KPMG er det fjerde største regnskaps- og revisjonsselskapet. KPMG tilbyr tilpassede tjenester innen AI-styring, risikovurdering og kontroll.
• Grant Thronton: De hjelper kunder med å håndtere risikoer relatert til AI-deployering og overholdelse av AI-etikk og reguleringer.

Fordelene med å revidere AI-systemer

• Risikostyring: Revisjon forebygger eller mildner risikoer forbundet med AI-systemer.
• Gjennomsiktighet: Revisjon sikrer at AI-applikasjoner er fri for bias og diskriminering.
• Overholdelse: Revisjon av AI-applikasjoner betyr at systemet følger lovmessige og reguleringstekniske krav.

AI-revisjon: Hva fremtiden holder

Organisasjoner, reguleringstjenester og revisorer må holde kontakt med AI-fremgang, erkjenne potensielle trusler og ofte revidere reguleringer, rammer og strategier for å sikre en rettferdig, risikofri og etisk bruk.

I 2021 adopterte 193 medlemsstater i UNESCO en global avtale om etikk i AI. AI er et kontinuerlig utviklende økosystem.

Ønsker du mer AI-relatert innhold? Besøk unite.ai.