Hvordan udfører man en AI-revision i 2023

AI-revision henviser til evaluering af AI-systemer for at sikre, at de fungerer som forventet uden bias eller diskrimination og er i overensstemmelse med etiske og lovmæssige standarder. AI har oplevet eksponentiel vækst i det sidste årti. Derfor er AI-relaterede risici blevet en bekymring for organisationer. Som Elon Musk sagde:

“AI er en sjælden sag, hvor jeg mener, vi skal være proaktive i forhold til regulering i stedet for reaktiv.”

Organisationer må udvikle styring, risikovurdering og kontrolstrategier for medarbejdere, der arbejder med AI. AI-ansvarlighed bliver kritisk i beslutningstagning, hvor indsatsen er høj, såsom udstationering af politi i et område og ikke i et andet, ansættelse og afvisning af kandidater.

Denne artikel vil give en oversigt over AI-revision, rammer og reguleringer for AI-revisioner samt en checkliste for revision af AI-applikationer.

Faktorer at overveje

• Overholdelse: Risikovurdering i forhold til en AI-systems overholdelse af lovmæssige, regulative, etiske og sociale overvejelser.
• Teknologi: Risikovurdering i forhold til tekniske evner, herunder maskinlæring, sikkerhedsstandarder og modelpræstation.

Udfordringer for revision af AI-systemer

• Bias: AI-systemer kan forstærke bias i de data, de er trænet på, og træffe uretfærdige beslutninger. I erkendelse af dette problem lancerede et forskningsinstitut ved Stanford University, Human Centered AI (HAI), en $71.000 innovationsudfordring til design af bedre AI-revisioner. Formålet med denne udfordring var at forhindre diskrimination i AI-systemer.
• Kompleksitet: AI-systemer, især de, der anvender dyb læring, er komplekse og mangler fortolkning.

Eksisterende reguleringer og rammer for AI-revision

Reguleringer og rammer fungerer som den nordlige stjerne for revision af AI. Nogle vigtige revisionsrammer og reguleringer diskuteres nedenfor.

Revisionsrammer

1. COBIT-ramme (Control Objectives for Information and related Technology): Det er rammen for IT-styring og ledelse af en virksomhed.
2. IIA’s (Institute of Internal Auditors) AI-revisionsramme: Dette AI-ramme sigter mod at vurderer design, udvikling og drift af AI-systemer og deres overensstemmelse med virksomhedens mål. De tre hovedkomponenter i IIA’s AI-revisionsramme er Strategi, Styring og Menneskefaktor. Den har syv elementer, som følger:

• Cyber Resilience
• AI-kompetencer
• Datakvalitet
• Dataarkitektur og infrastruktur
• Måling af præstation
• Etik
• Den sorte kasse

3. COSO ERM-ramme: Denne ramme giver en ramme for reference for vurdering af risici for AI-systemer i en virksomhed. Den har fem komponenter for intern revision:

• Intern miljø: Sikring af, at virksomhedens styring og ledelse håndterer AI-risici
• Målfastsættelse: Samarbejde med interessenter for at udvikle en risikostategi
• Hændelsesidentifikation: Identifikation af risici i AI-systemer, såsom uventede bias, dataovertrædelse
• Risikovurdering: Hvad vil være risikoen?
• Risikorespons: Hvordan vil virksomheden reagere på risikosituationer, såsom underoptimal datakvalitet?

Reguleringer

Den generelle databeskyttelsesforordning (GDPR) er en lov i EU-reguleringen, der pålægger virksomheder at bruge persondata. Den har syv principper:

• Lovlighed, retfærdighed og gennemsigtighed: Behandling af persondata skal overholde loven
• Formålsvirksomhed: Brug af data kun til et bestemt formål
• Dataminimering: Persondata skal være tilstrækkeligt og begrænset
• Nøjagtighed: Data skal være nøjagtigt og opdateret
• Opbevaringsbegrænsning: Ikke gemme persondata, der ikke længere er nødvendigt
• Integritet og fortrolighed: Persondata skal behandles sikkert
• Ansvar: Kontrollør til at behandle data ansvarligt i overensstemmelse med loven

Andre reguleringer omfatter CCPA og PIPEDA.

Checkliste for AI-revision

Datakilder

Identifikation og vurdering af datakilder er den primære overvejelse ved revision af AI-systemer. Revisorer tjekker for datakvalitet og om virksomheden kan bruge dataene.

Krydsvalidering

Sikring af, at modellen er korrekt krydsvalideret, er en af revisorernes checkliste. Valideringsdata skal ikke bruges til træning, og valideringsteknikkerne skal sikre modellens generaliserbarhed.

Sikker hosting

I nogle tilfælde bruger AI-systemer persondata. Det er vigtigt at vurderer, om hosting- eller cloudtjenester opfylder informations sikkerheds krav, såsom OWASP (Open Web Application Security Project) retningslinjer.

Forklarbar AI

Forklarbar AI henviser til at fortolke og forstå beslutninger truffet af AI-systemet og de faktorer, der påvirker det. Revisorer tjekker, om modellerne er tilstrækkeligt forklarbare ved hjælp af teknikker som LIME og SHAP.

Modellernes output

Fairness er det første, revisorer sikrer i modellernes output. Modellernes output skal forblive konsekvent, når variabler som køn, race eller religion ændres. Desuden vurderes også kvaliteten af forudsigelserne ved hjælp af den passende scoremetode.

Social feedback

AI-revision er en kontinuerlig proces. Når den er udstationeret, skal revisorer se på den sociale impact af AI-systemet. AI-systemet og risikostategien skal ændres og revideres herefter baseret på feedback, brug, konsekvenser og indflydelse, enten positiv eller negativ.

Virksomheder, der reviderer AI-pipelines og -applikationer

Fem store virksomheder, der reviderer AI, er følgende:

• Deloitte: Deloitte er den største professionelle servicesvirksomhed i verden og tilbyder services relateret til revision, skat og finansielle rådgivning. Deloitte anvender RPA, AI og analytics til at hjælpe virksomheder med risikovurdering af deres AI-systemer.
• PwC: PwC er den andenstørste professionelle servicesnetværk efter omsætning. De har udviklet revisionsmetoder til at hjælpe virksomheder med at sikre ansvarlighed, pålidelighed og gennemsigtighed.
• EY: I 2022 annoncerede EY en investering på 1 milliard dollar i en AI-aktiveret teknologiplatform til at tilbyde højkvalitets revisionservices. Virksomheder, der er drevet af AI, er godt informerede om at revidere AI-systemer.
• KPMG: KPMG er den fjerdestørste regnskabsvirksomhed. KPMG tilbyder tilpassede services i AI-styring, risikovurdering og kontrol.
• Grant Thronton: De hjælper kunder med at håndtere risici relateret til AI-udstationering og overholdelse af AI-etik og reguleringer.

Fordele ved revision af AI-systemer

• Risikostyring: Revision forhindrer eller mildner risici forbundet med AI-systemer.
• Gennemsigtighed: Revision sikrer, at AI-applikationer er fri for bias og diskrimination.
• Overholdelse: Revision af AI-applikationer betyder, at systemet overholder lovmæssige og regulative overholdelser.

AI-revision: Hvad fremtiden bringer

Virksomheder, reguleringer og revisorer skal holde sig ajour med AI-fremgang, erkende dets potentielle trusler og hyppigt revidere reguleringer, rammer og strategier for at sikre en retfærdig, risikofri og etisk brug.

I 2021 vedtog 193 medlemsstater i UNESCO en global aftale om AI-etik. AI er en kontinuerligt udviklende økosystem.

Ønsker du mere AI-relateret indhold? Besøg unite.ai.