Hur man utför en AI-revision 2023

AI-revision avser utvärdering av AI-system för att säkerställa att de fungerar som förväntat utan bias eller diskriminering och är i linje med etiska och juridiska standarder. AI har upplevt exponentiell tillväxt under det senaste decenniet. Följaktligen har AI-relaterade risker blivit en oro för organisationer. Som Elon Musk sa:

“AI är ett sällsynt fall där jag tycker att vi behöver vara proaktiva i reglering snarare än reaktiva.”

Organisationer måste utveckla styrning, riskbedömning och kontrollstrategier för anställda som arbetar med AI. AI-ansvar blir kritiskt i beslutsfattande där insatserna är höga, såsom att distribuera polis i ett område och inte i ett annat, anställa och avvisa kandidater.

Den här artikeln kommer att presentera en översikt av AI-revision, ramverk och regler för AI-revisioner, och en checklista för granskning av AI-applikationer.

Faktorer att beakta

• Regelefterlevnad: Riskbedömning relaterad till ett AI-systems regelefterlevnad med juridiska, regulatoriska, etiska och sociala överväganden.
• Teknologi: Riskbedömning relaterad till tekniska förmågor, inklusive maskinlärning, säkerhetsstandarder och modellprestanda.

Utmaningar för granskning av AI-system

• Bias: AI-system kan förstärka biasen i de data de tränas på och fatta orättvisa beslut. Med erkännande av detta problem, lanserade en forskningsinstitut vid Stanford University, Human Centered AI (HAI), en 71 000 dollar Innovationsutmaning för att utforma bättre AI-granskningar. Målet med denna utmaning var att förhindra diskriminering i AI-system.
• Komplexitet: AI-system, särskilt de som använder djupinlärning, är komplexa och saknar tolkbarhet.

Befintliga regler och ramverk för AI-revision

Regler och ramverk fungerar som den nordliga stjärnan för granskning av AI. Några viktiga granskningsramverk och regler diskuteras nedan.

Granskningsramverk

1. COBIT-ramverk (Control Objectives for Information and related Technology): Det är ramverket för IT-styrning och hantering av ett företag.
2. IIA:s (Institute of Internal Auditors) AI-granskningsramverk: Detta AI-ramverk syftar till att bedöma design, utveckling och funktion av AI-system och deras anpassning till organisationens mål. Tre huvudkomponenter i IIA:s AI-granskningsramverk är Strategi, Styrning och Mänsklig faktor. Det har sju element som följer:

• Cyber Resilience
• AI-kompetenser
• Datakvalitet
• Dataarkitektur & infrastruktur
• Mätning av prestanda
• Etik
• Den svarta lådan

3. COSO ERM-ramverk: Detta ramverk ger en referensram för att bedöma risker för AI-system i en organisation. Det har fem komponenter för intern granskning:

• Intern miljö: Säkerställa att organisationens styrning och ledning hanterar AI-risker
• Målsättning: Samarbeta med intressenter för att göra riskstrategi
• Händelseidentifiering: Identifiera risker i AI-system såsom oavsiktlig bias, dataintrång
• Riskbedömning: Vad kommer att vara effekten av risken?
• Riskrespons: Hur kommer organisationen att svara på riskSituationer, såsom undermålig datakvalitet?

Regler

Den allmänna dataskyddsförordningen (GDPR) är en lag i EU-förordningen som lägger skyldigheter på organisationer att använda personuppgifter. Den har sju principer:

• Laglighet, rättvisa och transparens: Personuppgiftsbehandling måste följa lagen
• Syftesbegränsning: Använda data endast för ett specifikt syfte
• Dataminimering: Personuppgifter måste vara adekvata och begränsade
• Noggrannhet: Data ska vara korrekt och uppdaterad
• Lagringsbegränsning: Inte lagra personuppgifter som inte längre behövs
• Integritet och konfidentialitet: Personuppgifter som används ska behandlas säkert
• Ansvar: Kontrollant att behandla data ansvarsfullt enligt föreskrifter

Andra regler inkluderar CCPA och PIPEDA.

Checklista för AI-revision

Datakällor

Att identifiera och granska datakällorna är det primära övervägandet vid granskning av AI-system. Revisorer kontrollerar datakvalitet och om företaget kan använda data.

Korsvalidering

Att säkerställa att modellen är korrekt korsvaliderad är en av revisorernas checklista. Valideringsdata ska inte användas för utbildning, och valideringsteknikerna ska säkerställa modellens generaliserbarhet.

Säker värd

I vissa fall använder AI-system personuppgifter. Det är viktigt att utvärdera att värd- eller molntjänster uppfyller informations­säkerhetskraven såsom OWASP (Open Web Application Security Project) riktlinjer.

Förklarlig AI

Förklarlig AI avser att tolka och förstå besluten som fattas av AI-systemet och de faktorer som påverkar det. Revisorer kontrollerar om modellerna är tillräckligt förklarliga med hjälp av tekniker som LIME och SHAP.

Modellutdata

Rättvisa är det första som revisorer säkerställer i modellutdata. Modellutdatan ska förbli konsekventa när variabler som kön, ras eller religion ändras. Dessutom bedöms kvaliteten på förutsägelser med hjälp av lämplig poängsättningsmetod.

Social återkoppling

AI-granskning är en kontinuerlig process. När den väl är distribuerad bör revisorer se den sociala påverkan av AI-systemet. AI-systemet och riskstrategin ska modifieras och granskas enligt återkoppling, användning, konsekvenser och inflytande, antingen positivt eller negativt.

Företag som granskar AI-pipelines och applikationer

Fem stora företag som granskar AI är följande:

• Deloitte: Deloitte är det största företaget för professionella tjänster i världen och erbjuder tjänster relaterade till granskning, skatt och finansiell rådgivning. Deloitte använder RPA, AI och analytik för att hjälpa organisationer med riskbedömning av deras AI-system.
• PwC: PwC är det andra största professionella tjänstnätverket efter omsättning. De har utvecklat granskningsmetoder för att hjälpa organisationer säkerställa ansvar, tillförlitlighet och transparens.
• EY: 2022 meddelade EY en investering på 1 miljard dollar i en AI-aktiverad teknisk plattform för att tillhandahålla högkvalitativa gransknings­tjänster. Företag som drivs av AI är väl informerade för att granska AI-system.
• KPMG: KPMG är det fjärde största företaget för redovisningstjänster. KPMG erbjuder anpassade tjänster inom AI-styrning, riskbedömning och kontroll.
• Grant Thronton: De hjälper kunder att hantera risker relaterade till AI-distribution och regelefterlevnad med AI-etik och regler.

Fördelar med att granska AI-system

• Riskhantering: Granskning förebygger eller mildrar risker förknippade med AI-system.
• Transparens: Granskning säkerställer att AI-applikationer är fria från bias och diskriminering.
• Regelefterlevnad: Granskning av AI-applikationer innebär att systemet följer juridiska och regulatoriska krav.

AI-granskning: Vad framtiden håller

Organisationer, regulatoriska myndigheter och revisorer bör hålla sig à jour med AI-utvecklingen, inse dess potentiella hot och regelbundet revidera regler, ramverk och strategier för att säkerställa en rättvis, riskfri och etisk användning.

2021 antog 193 medlemsstater i UNESCO en global överenskommelse om AI-etik. AI är ett kontinuerligt utvecklande ekosystem.

Vill du ha mer AI-relaterat innehåll? Besök unite.ai.