Sådan gennemfører du en AI-revision i 2023

AI-revision henviser til evaluering af AI-systemer for at sikre, at de fungerer som forventet uden fordomme eller diskrimination og er i overensstemmelse med etiske og juridiske standarder. AI har oplevet eksponentiel vækst i det sidste årti. Derfor er AI-relaterede risici blevet en bekymring for organisationer. Som Elon Musk sagde:

“AI er en sjælden sag, hvor jeg mener, vi skal være proaktive i regulering i stedet for reaktive.”

Organisationer skal udvikle styring, risikovurdering og kontrolstrategier for medarbejdere, der arbejder med AI. AI-ansvarlighed bliver kritisk i beslutningstagning, hvor indsatsen er høj, såsom udstationering af politi i et område og ikke i et andet, ansættelse og afvisning af kandidater.

Denne artikel vil give en oversigt over AI-revision, rammer og reguleringer for AI-revisioner samt en tjekliste for revision af AI-applikationer.

Faktorer at overveje

• Overholdelse: Risikovurdering i forhold til et AI-systems overholdelse af lovgivning, regulering, etiske og sociale overvejelser.
• Teknologi: Risikovurdering i forhold til tekniske evner, herunder maskinlæring, sikkerhedsstandarder og modelpræstation.

Udfordringer for revision af AI-systemer

• Fordomme: AI-systemer kan forstærke fordomme i de data, de er trænet på, og træffe uretfærdige beslutninger. I erkendelse af dette problem lancerede et forskningsinstitut ved Stanford University, Human Centered AI (HAI), en 71.000 $ Innovation Challenge for at designe bedre AI-revisioner. Formålet med denne udfordring var at forhindre diskrimination i AI-systemer.
• Kompleksitet: AI-systemer, især de, der anvender dyb læring, er komplekse og mangler fortolkning.

Eksisterende reguleringer og rammer for AI-revision

Reguleringer og rammer fungerer som den nordlige stjerne for revision af AI. Nogle vigtige revisionsrammer og reguleringer diskuteres nedenfor.

Revisionsrammer

1. COBIT-ramme (Control Objectives for Information and related Technology): Det er rammen for IT-styring og -ledelse i en virksomhed.
2. IIA’s (Institute of Internal Auditors) AI-revisionsramme: Denne AI-ramme har til formål at vurderer design, udvikling og funktionsmåde af AI-systemer og deres overensstemmelse med virksomhedens mål. De tre hovedkomponenter i IIA’s AI-revisionsramme er Strategi, Styring og Menneskefaktor. Den har syv elementer, som følger:

• Cyber Resilience
• AI-kompetencer
• Datakvalitet
• Dataarkitektur og -infrastruktur
• Mål for præstation
• Etik
• Den sorte kasse

3. COSO ERM-ramme: Denne ramme giver en ramme for vurdering af risici for AI-systemer i en virksomhed. Den har fem komponenter til intern revision:

• Internt miljø: Sikring af, at virksomhedens styring og ledelse håndterer AI-risici
• Målfastsættelse: Samarbejde med interessenter for at udvikle en risikestrategi
• Identifikation af begivenheder: Identifikation af risici i AI-systemer, såsom uventede fordomme, dataovertrædelser
• Risikovurdering: Hvad vil være effekten af risikoen?
• Risikoresponsering: Hvordan vil virksomheden reagere på risikosituationer, såsom underoptimal datakvalitet?

Reguleringer

Den generelle dataværnsforordning (GDPR) er en lov i EU-reguleringen, der pålægger virksomheder at bruge personlige data. Den har syv principper:

• Lovlighed, retfærdighed og gennemsigtighed: Behandling af personlige data skal overholde loven
• Formålsvirksomhed: Brug af data kun til et bestemt formål
• Dataminimering: Personlige data skal være tilstrækkelige og begrænsede
• Nøjagtighed: Data skal være nøjagtige og opdaterede
• Opbevaringsbegrænsning: Ikke opbevare personlige data, der ikke længere er nødvendige
• Integritet og fortrolighed: Personlige data skal behandles sikkert
• Ansvar: Kontrollør til at behandle data ansvarligt i overensstemmelse med lovgivningen

Andre reguleringer omfatter CCPA og PIPEDA.

Tjekliste for AI-revision

Datakilder

Identifikation og vurdering af datakilder er den primære overvejelse ved revision af AI-systemer. Revisorer checker for datakvalitet og om virksomheden kan bruge dataene.

Krydsvalidering

Sikring af, at modellen er korrekt krydsvalideret, er en af revisorernes tjeklister. Valideringsdata skal ikke bruges til træning, og valideringsteknikkerne skal sikre modellens generaliserbarhed.

Sikker hosting

I nogle tilfælde bruger AI-systemer personlige data. Det er vigtigt at evaluere, om hosting eller skytjenester opfylder informations sikkerheds krav, såsom OWASP (Open Web Application Security Project) retningslinjer.

Fortolkbar AI

Fortolkbar AI henviser til at fortolke og forstå beslutninger truffet af AI-systemet og de faktorer, der påvirker det. Revisorer checker, om modellerne er tilstrækkeligt fortolkbare ved hjælp af teknikker som LIME og SHAP.

Modeloutput

Fairness er det første, revisorer sikrer i modeloutput. Modeloutput skal forblive konsekvent, når variabler som køn, race eller religion ændres. Desuden vurderes også kvaliteten af forudsigelser ved hjælp af den passende vurderingsmetode.

Social feedback

AI-revision er en kontinuerlig proces. Når den er udstationeret, skal revisorer se på den sociale effekt af AI-systemet. AI-systemet og risikastrategien skal ændres og revideres herefter baseret på feedback, brug, konsekvenser og indflydelse, enten positiv eller negativ.

Virksomheder, der reviderer AI-pipelines og -applikationer

Fem store virksomheder, der reviderer AI, er følgende:

• Deloitte: Deloitte er den største professionelle servicesvirksomhed i verden og tilbyder services relateret til revision, skat og finansielle rådgivning. Deloitte anvender RPA, AI og analytics til at hjælpe virksomheder med risikovurdering af deres AI-systemer.
• PwC: PwC er den andenstørste professionelle servicesnetværk efter omsætning. De har udviklet revisionsmetoder til at hjælpe virksomheder med at sikre ansvarlighed, pålidelighed og gennemsigtighed.
• EY: I 2022 annoncerede EY en investering på 1 milliard dollars i en AI-aktiveret teknologiplatform til at levere højkvalitets revisions services. Virksomheder, der er drevet af AI, er godt informerede om at revidere AI-systemer.
• KPMG: KPMG er den fjerdestørste regnskabs services-virksomhed. KPMG tilbyder tilpassede services i AI-styring, risikovurdering og kontrol.
• Grant Thronton: De hjælper kunder med at håndtere risici relateret til AI-udstationering og overholdelse af AI-etik og reguleringer.

Fordele ved revision af AI-systemer

• Risikostyring: Revision forebygger eller mildner risici forbundet med AI-systemer.
• Gennemsigtighed: Revision sikrer, at AI-applikationer er fri for fordomme og diskrimination.
• Overholdelse: Revision af AI-applikationer betyder, at systemet overholder lovgivning og reguleringer.

AI-revision: Hvad fremtiden bringer

Virksomheder, reguleringer og revisorer skal holde sig ajour med AI-fremgang, erkende dens potentielle trusler og ofte revidere reguleringer, rammer og strategier for at sikre en retfærdig, risikofri og etisk brug.

I 2021 vedtog 193 medlemsstater i UNESCO en global aftale om AI-etik. AI er en kontinuerligt udviklende økosystem.

Ønsker du mere AI-relateret indhold? Besøg unite.ai.