Hoe een AI-audit uit te voeren in 2023

AI-audit verwijst naar het evalueren van AI-systemen om ervoor te zorgen dat ze werken zoals verwacht zonder bias of discriminatie en in overeenstemming zijn met ethische en juridische normen. AI heeft in het afgelopen decennium een exponentiële groei doorgemaakt. Als gevolg hiervan zijn AI-gerelateerde risico’s een zorg voor organisaties geworden. Zoals Elon Musk zei:

“AI is een zeldzaam geval waarin ik denk dat we proactief moeten zijn in regulering in plaats van reactief.”

Organisaties moeten governance, risicobeoordeling en controlestrategieën ontwikkelen voor medewerkers die met AI werken. AI-verantwoordelijkheid wordt kritisch in besluitvorming waarbij de inzet hoog is, zoals het inzetten van politie in een bepaald gebied en niet in een ander, het aannemen en afwijzen van kandidaten.
Dit artikel zal een overzicht geven van AI-audit, kaders en regelgeving voor AI-audits en een controlelijst voor het auditen van AI-toepassingen.

Factoren om te overwegen

• Naleving: Risicobeoordeling met betrekking tot de naleving van een AI-systeem met wettelijke, regelgevende, ethische en sociale overwegingen.
• Technologie: Risicobeoordeling met betrekking tot technische mogelijkheden, waaronder machine learning, beveiligingsnormen en modelprestaties.

Uitdagingen voor het auditen van AI-systemen

• Bias: AI-systemen kunnen de biases in de data waarop ze zijn getraind versterken en ongerechtvaardigde beslissingen nemen. Het onderkennen van dit probleem, lanceerde een onderzoeksinstelling van de Stanford University, Human Centered AI (HAI), een innovatie-uitdaging van $71.000 om betere AI-audits te ontwerpen. Het doel van deze uitdaging was om discriminatie in AI-systemen te verbieden.
• Complexiteit: AI-systemen, vooral die met diepe leerlingen, zijn complex en ontbreken aan interpretatie.

Bestaande regelgeving en kaders voor AI-audit

Regelgeving en kaders fungeren als de Poolster voor het auditen van AI. Enkele belangrijke auditkaders en regelgeving worden hieronder besproken.

Auditkaders

1. COBIT-kader (Control Objectives for Information and related Technology): Dit is het kader voor IT-governance en -beheer van een onderneming.
2. IIA’s (Institute of Internal Auditors) AI-auditkader: Dit AI-kader heeft als doel de ontwerp, ontwikkeling en werking van AI-systemen en hun afstemming met de doelstellingen van de organisatie te beoordelen. Drie hoofdcomponenten van IIA’s AI-auditkader zijn Strategie, Governance en Human Factor. Het heeft zeven elementen die als volgt zijn:

• Cyber Resilience
• AI-competenties
• Datakwaliteit
• Data-architectuur en -infrastructuur
• Prestatie meten
• Ethiek
• De Black Box

3. COSO ERM-kader: Dit kader biedt een referentiekader voor het beoordelen van risico’s voor AI-systemen in een organisatie. Het heeft vijf componenten voor interne audit:

• Interne omgeving: Ervoor zorgen dat de governance en het beheer van de organisatie AI-risico’s beheren
• Doelstellingen vaststellen: Samenwerken met stakeholders om een risicestrategie te maken
• Gebeurtenisidentificatie: Risico’s in de AI-systemen identificeren, zoals onbedoelde biases, data-inbreuken
• Risicobeoordeling: Wat zal de impact van het risico zijn?
• Risicoreactie: Hoe zal de organisatie reageren op risicosituaties, zoals suboptimale datakwaliteit?

Regelgeving

De Algemene Verordening Gegevensbescherming (GDPR) is een wet in de EU-regelgeving die verplichtingen oplegt aan organisaties om persoonsgegevens te gebruiken. Het heeft zeven principes:

• Rechtmatigheid, billijkheid en transparantie: Verwerking van persoonsgegevens moet in overeenstemming zijn met de wet
• Doelbeperking: Gegevens alleen gebruiken voor een specifiek doel
• Gegevensminimalisatie: Persoonsgegevens moeten adequaat en beperkt zijn
• Accuraatheid: Gegevens moeten accuraat en up-to-date zijn
• Opslagbeperking: Persoonsgegevens niet langer opslaan dan nodig
• Integriteit en vertrouwelijkheid: Persoonsgegevens moeten op een veilige manier worden verwerkt
• Verantwoordelijkheid: De verantwoordelijke moet gegevens verwerken op een verantwoorde manier, in overeenstemming met de regelgeving

Andere regelgevingen zijn CCPA en PIPEDA.

Controlelijst voor AI-audit

Gegevensbronnen

Het identificeren en screenen van gegevensbronnen is de primaire overweging bij het auditen van AI-systemen. Auditors controleren de gegevenskwaliteit en of het bedrijf de gegevens mag gebruiken.

Cross-validatie

Ervoor zorgen dat het model op de juiste manier wordt gevalideerd, is een van de controlepunten van de auditors. Validatiegegevens mogen niet worden gebruikt voor training, en de validatietechnieken moeten de generaliseerbaarheid van het model waarborgen.

Beveiligde hosting

In sommige gevallen gebruiken AI-systemen persoonsgegevens. Het is belangrijk om te evalueren of de hosting- of clouddiensten voldoen aan de informatiebeveiligingsvereisten, zoals de richtlijnen van het Open Web Application Security Project (OWASP).

Verklaarbare AI

Verklaarbare AI verwijst naar het interpreteren en begrijpen van de beslissingen die door het AI-systeem worden genomen en de factoren die deze beïnvloeden. Auditors controleren of modellen voldoende verklaarbaar zijn met behulp van technieken zoals LIME en SHAP.

Modeluitvoer

Eerlijkheid is het eerste dat auditors waarborgen in modeluitvoer. De modeluitvoer moet consistent blijven wanneer variabelen zoals geslacht, ras of religie worden gewijzigd. Bovendien wordt de kwaliteit van de voorspellingen met behulp van de juiste scoresmethode beoordeeld.

Sociaal feedback

AI-auditing is een continu proces. Eenmaal geïmplementeerd, moeten auditors de sociale impact van het AI-systeem bekijken. Het AI-systeem en de risicestrategie moeten worden aangepast en geaudit op basis van feedback, gebruik, gevolgen en invloed, zowel positief als negatief.

Bedrijven die AI-pijplijnen en -toepassingen auditen

Vijf grote bedrijven die AI auditen, zijn als volgt:

• Deloitte: Deloitte is het grootste professionele dienstverleningsbedrijf ter wereld en biedt diensten aan op het gebied van auditing, belastingen en financieel advies. Deloitte gebruikt RPA, AI en analytics om organisaties te helpen bij de risicobeoordeling van hun AI-systemen.
• PwC: PwC is het tweede grootste professionele dienstverleningsnetwerk naar omzet. Zij hebben auditmethoden ontwikkeld om organisaties te helpen bij het waarborgen van verantwoordelijkheid, betrouwbaarheid en transparantie.
• EY: In 2022 kondigde EY een investering van $1 miljard aan in een AI-geactiveerd technologieplatform om hoogwaardige auditservices te bieden. Bedrijven die door AI worden aangedreven, zijn goed geïnformeerd om AI-systemen te auditen.
• KPMG: KPMG is het vierde grootste accountantsdienstverleningsbedrijf. KPMG biedt maatwerkdiensten aan op het gebied van AI-governance, risicobeoordeling en -controle.
• Grant Thronton: Zij helpen klanten om risico’s te beheren die verband houden met de implementatie van AI en de naleving van AI-ethiek en -regelgeving.

Voordelen van het auditen van AI-systemen

• Risicobeheer: Auditing voorkomt of mitigeert risico’s die verband houden met AI-systemen.
• Transparantie: Auditing waarborgt dat AI-toepassingen vrij zijn van bias en discriminatie.
• Naleving: Auditing van AI-toepassingen betekent dat het systeem in overeenstemming is met wettelijke en regelgevende vereisten.

AI-auditing: Wat de toekomst brengt

Organisaties, regelgevende autoriteiten en auditors moeten op de hoogte blijven van de ontwikkelingen op het gebied van AI, de potentiële bedreigingen erkennen en regelgeving, kaders en strategieën regelmatig herzien om een eerlijke, risicovrije en ethische toepassing te waarborgen.
In 2021 namen 193 lidstaten van UNESCO een wereldwijde overeenkomst over de ethiek van AI aan. AI is een continu evoluerend ecosysteem.
Wil je meer AI-gerelateerde inhoud? Bezoek unite.ai.