Jak provést audit AI v roce 2023

Audit AI se týká hodnocení systémů AI, aby se zajistilo, že bez nich fungují podle očekávání předsudek nebo diskriminace a jsou v souladu s etickými a právními normami. AI zažila v posledním desetiletí exponenciální růst. V důsledku toho se rizika spojená s umělou inteligencí stala pro organizace problémem. Jak řekl Elon Musk:

"AI je vzácný případ, kdy si myslím, že musíme být v regulaci proaktivní spíše než reaktivní."

Organizace musí vyvinout strategie řízení, hodnocení rizik a kontroly pro zaměstnance pracující s AI. Zodpovědnost umělé inteligence se stává kritickou při rozhodování tam, kde jde o vysoké sázky, jako je nasazení policie v jedné oblasti a ne ve druhé, najímání a odmítání kandidátů.

Tento článek představí přehled auditu AI, rámců a předpisů pro audity AI a kontrolní seznam pro audit aplikací AI.

Faktory, které je třeba zvážit

• Soulad: Posouzení rizik souvisejících se souladem systému AI s právními, regulačními, etickými a společenskými ohledy.
• Technologie: Hodnocení rizik související s technickými možnostmi, včetně strojového učení, bezpečnostních standardů a výkonu modelu.

Výzvy pro audit systémů AI

• Předpojatost: Systémy umělé inteligence mohou zesílit předsudky v datech, na kterých jsou trénovány, a dělat nespravedlivá rozhodnutí. S rozpoznáním tohoto problému byl spuštěn výzkumný ústav pro výzkum problémů na Stanfordské univerzitě, Human Centered AI (HAI). Inovační výzva v hodnotě 71,000 XNUMX USD k navrhování lepších auditů AI. Cílem této výzvy bylo zakázat diskriminaci v systémech umělé inteligence.
• Složitost: Systémy umělé inteligence, zejména ty, které využívají hluboké učení, jsou složité a postrádají interpretovatelnost.

Stávající předpisy a rámce pro audit AI

Předpisy a frameworky fungují jako severní hvězda pro audit AI. Některé důležité rámce a předpisy auditu jsou diskutovány níže.

Rámce auditu

1. COBIT Framework (Control Objectives for Information and related Technology): Jedná se o rámec pro IT governance a management podniku.
2. Rámec auditu umělé inteligence IIA (Institutu interních auditorů): Tento rámec umělé inteligence má za cíl posoudit návrh, vývoj a fungování systémů umělé inteligence a jejich soulad s cíli organizace. Tři hlavní součásti rámce auditu AI IIA jsou strategie, řízení a lidský faktor. Má sedm prvků, které jsou následující:

• Kybernetická odolnost
• Kompetence AI
• Kvalita dat
• Datová architektura a infrastruktura
• Měření výkonu
• Etika
• Černá skříňka

3. COSO ERM Framework: Tento rámec poskytuje referenční rámec pro hodnocení rizik pro systémy AI v organizaci. Má pět složek pro interní audit:

• Interní prostředí: Zajištění toho, že řízení a správa organizace řídí rizika AI
• Stanovení cíle: Spolupráce se zúčastněnými stranami při vytváření strategie rizik
• Identifikace událostí: Identifikace rizik v systémech umělé inteligence, jako jsou nezamýšlené zkreslení, únik dat
• Posouzení rizik: Jaký bude dopad rizika?
• Reakce na riziko: Jak bude organizace reagovat na rizikové situace, jako je suboptimální kvalita dat?

Předpisy

Obecné nařízení o ochraně osobních údajů (GDPR) je zákon v nařízení EU, který ukládá organizacím povinnost používat osobní údaje. Má sedm zásad:

• Zákonnost, spravedlnost a transparentnost: Zpracování osobních údajů musí být v souladu se zákonem
• Omezení účelu: Používání dat pouze pro konkrétní účel
• Minimalizace údajů: Osobní údaje musí být přiměřené a omezené
• Přesnost: Údaje by měly být přesné a aktuální
• Omezení úložiště: Neukládejte osobní údaje, které již nepotřebujete
• Integrita a důvěrnost: Osobní údaje byly dříve zpracovány bezpečně
• Odpovědnost: Správce bude zpracovávat údaje odpovědně v souladu s dodržováním předpisů

Mezi další předpisy patří CCPA a PIPEDA.

Kontrolní seznam pro audit AI

Zdroje dat

Identifikace a prověření zdrojů dat je primárním hlediskem při auditování systémů umělé inteligence. Auditoři kontrolují kvalitu dat a zda společnost může data použít.

Křížové ověření

Jedním z kontrolních seznamů auditorů je zajistit, aby byl model náležitě křížově validován. Validační data by se neměla používat pro školení a validační techniky by měly zajistit zobecnitelnost modelu.

Secure Hosting

V některých případech systémy umělé inteligence používají osobní údaje. Je důležité vyhodnotit, zda hostingové nebo cloudové služby splňují požadavky na bezpečnost informací, jako jsou směrnice OWASP (Open Web Application Security Project).

Vysvětlitelná AI

Vysvětlitelná AI odkazuje na interpretaci a pochopení rozhodnutí učiněných systémem AI a faktorů, které jej ovlivňují. Auditoři ověřují, zda jsou modely dostatečně vysvětlitelné pomocí technik jako LIME a SHAP.

Modelové výstupy

Spravedlnost je první věcí, kterou auditoři zajišťují ve výstupech modelu. Výstupy modelu by měly zůstat konzistentní, když se změní proměnné, jako je pohlaví, rasa nebo náboženství. Kromě toho je také hodnocena kvalita předpovědí pomocí vhodné skórovací metody.

Sociální zpětná vazba

Audit AI je nepřetržitý proces. Po nasazení by auditoři měli vidět sociální dopad systému AI. Systém umělé inteligence a strategie rizik by měly být odpovídajícím způsobem upraveny a auditovány na základě zpětné vazby, použití, důsledků a vlivu, ať už pozitivního nebo negativního.

Společnosti, které auditují potrubí a aplikace AI

Pět hlavních společností, které auditují AI, je následujících:

• Deloitte: Deloitte je největší firma poskytující profesionální služby na světě a poskytuje služby související s auditem, daněmi a finančním poradenstvím. Společnost Deloitte využívá RPA, AI a analytiku, aby pomohla organizacím s hodnocením rizik jejich systémů AI.
• PwC: PwC je druhá největší síť profesionálních služeb podle tržeb. Vyvinuli metodiky auditu, které organizacím pomáhají zajistit odpovědnost, spolehlivost a transparentnost.
• EY: V roce 2022, EY oznámil investici ve výši 1 miliardy dolarů v technologické platformě s podporou umělé inteligence pro poskytování vysoce kvalitních auditorských služeb. Firmy, které jsou řízeny umělou inteligencí, jsou dobře informovány o auditu systémů umělé inteligence.
• KPMG: KPMG je čtvrtá největší společnost poskytující účetní služby. KPMG poskytuje přizpůsobené služby v oblasti AI governance, hodnocení rizik a kontrol.
• Grant Thronton: Pomáhají klientům řídit rizika související s nasazením AI a dodržováním etiky a předpisů AI.

Výhody auditování systémů AI

• Řízení rizik: Audit předchází nebo zmírňuje rizika spojená se systémy AI.
• Transparentnost: Audit zajišťuje, že aplikace umělé inteligence jsou bez zaujatosti a diskriminace.
• Soulad: Audit aplikací umělé inteligence znamená, že systém dodržuje právní a regulační požadavky.

Audit AI: Co přináší budoucnost

Organizace, regulační úřady a auditoři by měli zůstat v kontaktu s pokrokem AI, uvědomit si její potenciální hrozby a často revidovat předpisy, rámce a strategie, aby zajistili spravedlivé, bezrizikové a etické používání.

V roce 2021 193 členských států UNESCO přijala globální dohodu o etice umělé inteligence. AI je neustále se vyvíjející ekosystém.

Chcete více obsahu souvisejícího s umělou inteligencí? Návštěva unite.ai.