Jak provést audit AI v roce 2023

Audit AI se týká hodnocení systémů AI, aby se zajistilo, že fungují podle očekávání, bez předpojatosti nebo diskriminace a jsou v souladu s etickými a právními standardy. AI zažila exponenciální růst v posledních deseti letech. V důsledku toho se rizika související s AI stala problémem pro organizace. Jak řekl Elon Musk:

“AI je vzácný případ, kdy si myslím, že bychom měli být proaktivní v regulaci, spíše než reaktivní.”

Organizace musí vyvinout governance, risk assessment a kontrolní strategie pro zaměstnance, kteří pracují s AI. Odpovědnost AI se stává kritickou v rozhodování, kde jsou vysoké sázky, jako je nasazení policie v jedné oblasti a ne v jiné, přijímání a odmítání kandidátů.

Tento článek poskytne přehled o auditu AI, rámcích a regulacích pro audity AI a kontrolní seznam pro auditování aplikací AI.

Činitele, které je třeba zvážit

• Shoda: Hodnocení rizik souvisejících s dodržováním právních, regulačních, etických a sociálních hledisek systémem AI.
• Technologie: Hodnocení rizik souvisejících s technickými možnostmi, včetně strojového učení, bezpečnostních standardů a výkonu modelu.

Výzvy pro auditování systémů AI

• Předpojatost: Systémy AI mohou zesílit předpojatosti v datech, na kterých jsou trénovány, a činit nespravedlivé rozhodnutí. Rozpoznání tohoto problému, výzkumný ústav na Stanford University, Human Centered AI (HAI), spustil inovační výzvu v hodnotě 71 000 dolarů za návrh lepšího auditu AI. Cílem této výzvy bylo zakázat diskriminaci v systémech AI.
• Složitost: Systémy AI, zejména ty, které využívají hluboké učení, jsou složité a postrádají interpretovatelnost.

Existující regulace a rámce pro audit AI

Regulace a rámce slouží jako severní hvězda pro auditování AI. Některé důležité auditorské rámce a regulace jsou diskutovány níže.

Auditorské rámce

1. COBIT Framework (Control Objectives for Information and related Technology): Je to rámec pro IT governance a management podniku.
2. IIA’s (Institute of Internal Auditors) AI Auditing Framework: Tento AI rámec má za cíl posoudit návrh, vývoj a fungování systémů AI a jejich soulad s cíli organizace. Tři hlavní součásti IIA’s AI Auditing Framework jsou Strategie, Governance a Lidský faktor. Má sedm prvků, které jsou následující:

• Kybernetická odolnost
• AI kompetence
• Kvalita dat
• Architektura a infrastruktura dat
• Měření výkonu
• Etika
• Černá skříňka

3. COSO ERM Framework: Tento rámec poskytuje referenční rámec pro hodnocení rizik systémů AI v organizaci. Má pět součástí pro interní audit:

• Interní prostředí: Zajištění, že governance a management organizace spravují rizika AI
• Nastavení cílů: Spolupráce se stakeholders pro vytvoření strategie rizik
• Identifikace událostí: Identifikace rizik v systémech AI, jako jsou neúmyslné předpojatosti, porušení dat
• Hodnocení rizik: Jaký bude dopad rizika?
• Reakce na riziko: Jak bude organizace reagovat na rizika, jako je suboptimální kvalita dat?

Regulace

Obecné nařízení o ochraně osobních údajů (GDPR) je zákonem v EU regulaci, který ukládá organizacím povinnosti při zpracování osobních údajů. Má sedm principů:

• Zákonnost, spravedlnost a transparentnost: Zpracování osobních údajů musí být v souladu se zákonem
• Omezení účelu: Používání dat pouze pro specifický účel
• Minimalizace dat: Osobní údaje musí být přiměřené a omezené
• Přesnost: Data by měla být přesná a aktuální
• Omezení uložení: Není třeba ukládat osobní údaje, které již nejsou potřebné
• Integrita a důvěrnost: Osobní údaje by měly být zpracovávány bezpečně
• Odpovědnost: Odpovědnost za zpracování dat podle předpisů

Další regulace zahrnují CCPA a PIPEDA.

Kontrolní seznam pro audit AI

Zdroje dat

Identifikace a prověření zdrojů dat je primárním hlediskem při auditování systémů AI. Auditoři kontrolují kvalitu dat a zda společnost může použít data.

Příčná validace

Zajištění, že model je vhodně validován, je jedním z kontrolních seznamů auditorů. Validace dat by neměla být použita pro trénování a validační techniky by měly zajistit obecnost modelu.

Zabezpečené hostování

V některých případech systémy AI používají osobní údaje. Je důležité vyhodnotit, zda hosting nebo cloud služby splňují požadavky na bezpečnost informací, jako jsou pokyny OWASP (Open Web Application Security Project).

Vysvětlitelná AI

Vysvětlitelná AI se týká interpretace a pochopení rozhodnutí učiněných systémem AI a faktorů, které je ovlivňují. Auditoři kontrolují, zda jsou modely dostatečně vysvětlitelné pomocí technik, jako je LIME a SHAP.

Výstupy modelu

Spravedlnost je prvním, co auditoři zajišťují u výstupů modelu. Výstupy modelu by měly zůstat konzistentní, když se mění proměnné, jako je pohlaví, rasa nebo náboženství. Kromě toho se také hodnotí kvalita předpovědí pomocí vhodných metod skórování.

Sociální zpětná vazba

Auditování AI je kontinuální proces. Jakmile je nasazen, auditoři by měli sledovat sociální dopad systému AI. Systém AI a strategie rizik by měly být upraveny a audity podle zpětné vazby, použití, důsledků a vlivu, ať pozitivního nebo negativního.

Společnosti, které audity AI potrubí a aplikací

Pět hlavních společností, které audity AI, je následující:

• Deloitte: Deloitte je největší profesionální služba na světě a poskytuje služby související s auditem, daněmi a finančním poradenstvím. Deloitte využívá RPA, AI a analytiku, aby pomohla organizacím při hodnocení rizik jejich systémů AI.
• PwC: PwC je druhá největší profesionální služba podle příjmů. Vyvinuli auditorské metodologie, aby pomohli organizacím zajistit odpovědnost, spolehlivost a transparentnost.
• EY: V roce 2022 EY oznámil investici 1 miliardy dolarů do AI-podporované technologické platformy, aby poskytoval vysoce kvalitní auditorské služby. Společnosti, které jsou poháněny AI, jsou dobře informovány, aby auditovaly systémy AI.
• KPMG: KPMG je čtvrtá největší účetní firma. KPMG poskytuje přizpůsobené služby v oblasti AI governance, hodnocení rizik a kontrol.
• Grant Thronton: Pomáhají klientům spravovat rizika související s nasazením AI a dodržováním etiky a regulací AI.

Výhody auditování systémů AI

• Risk Management: Auditování zabraňuje nebo zmírňuje rizika spojená se systémy AI.
• Transparentnost: Auditování zajišťuje, že aplikace AI jsou bez předpojatosti a diskriminace.
• Shoda: Auditování aplikací AI znamená, že systém dodržuje právní a regulační předpisy.

Auditování AI: Co nás čeká

Organizace, regulační orgány a auditoři by měli být v kontaktu s pokroky AI, uvědomovat si potenciální hrozby a pravidelně revidovat regulace, rámce a strategie, aby zajistili spravedlivé, bezrizikové a etické použití.

V roce 2021 193 členských států UNESCO přijalo globální dohodu o etice AI. AI je kontinuálně se vyvíjející ekosystém.

Chcete více obsahu souvisejícího s AI? Navštivte unite.ai.