Jak przeprowadzić audyt AI w 2023 roku

Audyt AI odnosi się do oceny systemów AI w celu zapewnienia, że działają one zgodnie z oczekiwaniami, bez uprzedzeń lub dyskryminacji, oraz że są zgodne z normami etycznymi i prawnymi. AI doświadczyło wykładniczego wzrostu w ciągu ostatniej dekady. W związku z tym, ryzyka związane z AI stały się problemem dla organizacji. Jak powiedział Elon Musk:

“AI to rzadki przypadek, w którym uważam, że musimy być proaktywni w regulacji, a nie reaktywni.”

Organizacje muszą opracować strategie zarządzania, oceny ryzyka i kontroli dla pracowników pracujących z AI. Odpowiedzialność AI staje się kluczowa w procesach decyzyjnych, w których stawka jest wysoka, takich jak wdrożenie policji w jednej okolicy, a nie w innej, przyjmowanie i odrzucanie kandydatów.

Artykuł ten przedstawi przegląd audytu AI, ram i regulacji dotyczących audytu AI, oraz checklistę dla audytu aplikacji AI.

Czynniki do rozważenia

• Zgodność: Ocena ryzyka związana z zgodnością systemu AI z przepisami prawa, regulacjami, normami etycznymi i społecznymi.
• Technologia: Ocena ryzyka związana z możliwościami technicznymi, w tym z uczeniem maszynowym, standardami bezpieczeństwa i wydajnością modelu.

Wyzwania dla audytu systemów AI

• Uprzedzenia: Systemy AI mogą nasilać uprzedzenia w danych, na których są szkolone, i podejmować niesprawiedliwe decyzje. Rozpoznając ten problem, instytut badawczy na Uniwersytecie Stanforda, Human Centered AI (HAI), uruchomił wyzwanie innowacyjne o wartości 71 000 dolarów, aby zaprojektować lepsze audyty AI. Celem tego wyzwania było zakaz dyskryminacji w systemach AI.
• Złożoność: Systemy AI, szczególnie te, które wykorzystują głębokie uczenie, są złożone i pozbawione interpretowalności.

Istniejące regulacje i ramy dla audytu AI

Regulacje i ramy służą jako gwiazda polarna dla audytu AI. Poniżej omówiono niektóre ważne ramy i regulacje audytu.

Ramy audytu

1. Rama COBIT (Control Objectives for Information and related Technology): Jest to rama zarządzania i kontroli IT w przedsiębiorstwie.
2. Rama audytu AI IIA (Institute of Internal Auditors): Ta rama AI ma na celu ocenę projektu, rozwoju i funkcjonowania systemów AI oraz ich zgodności z celami organizacji. Trzy główne składniki ramy audytu AI IIA to Strategia, Zarządzanie i Czynnik Ludzki. Składa się z siedmiu elementów, które są następujące:

• Odporność na cyberzagrożenia
• Umiejętności AI
• Jakość danych
• Architektura i infrastruktura danych
• Pomiar wydajności
• Etyka
• Czarna skrzynka

3. Rama COSO ERM: Ta rama zapewnia ramę odniesienia dla oceny ryzyka systemów AI w organizacji. Składa się z pięciu składników dla audytu wewnętrznego:

• Środowisko wewnętrzne: Zapewnienie, że zarządzanie i kierownictwo organizacji zarządzają ryzykiem AI
• Ustawienie celów: Współpraca z interesariuszami w celu opracowania strategii ryzyka
• Identyfikacja zdarzeń: Identyfikacja ryzyka w systemach AI, takich jak niezamierzone uprzedzenia, naruszenia danych
• Ocena ryzyka: Jaki będzie wpływ ryzyka?
• Reakcja na ryzyko: Jak organizacja zareaguje na sytuacje ryzyka, takie jak nieoptymalna jakość danych?

Regulacje

Rozporządzenie o ochronie danych (GDPR) jest prawem w Unii Europejskiej, które nakłada obowiązki na organizacje w zakresie wykorzystania danych osobowych. Składa się z siedmiu zasad:

• Prawidłowość, uczciwość i przejrzystość: Przetwarzanie danych osobowych musi być zgodne z prawem
• Ograniczenie celu: Używanie danych tylko w określonym celu
• Minimalizacja danych: Dane osobowe muszą być odpowiednie i ograniczone
• Dokładność: Dane powinny być dokładne i aktualne
• Ograniczenie przechowywania: Nie przechowywać danych osobowych, które nie są już wymagane
• Integralność i poufność: Dane osobowe powinny być przetwarzane w sposób bezpieczny
• Odpowiedzialność: Administrator powinien przetwarzać dane w sposób odpowiedzialny, zgodnie z przepisami

Inne regulacje obejmują CCPA i PIPEDA.

Checklista dla audytu AI

Źródła danych

Identyfikacja i weryfikacja źródeł danych jest podstawowym czynnikiem w audycie systemów AI. Audytorzy sprawdzają jakość danych i czy firma może używać danych.

Kontrola krzyżowa

Zapewnienie, że model jest odpowiednio sprawdzany, jest jednym z elementów checklisty audytorów. Dane walidacyjne nie powinny być używane do szkolenia, a techniki walidacyjne powinny zapewniać ogólną użyteczność modelu.

Bezpieczne hostowanie

W niektórych przypadkach systemy AI wykorzystują dane osobowe. Ważne jest, aby ocenić, czy usługi hostingu lub chmury spełniają wymagania bezpieczeństwa informacji, takie jak wytyczne OWASP (Open Web Application Security Project).

Wyjaśnialna AI

Wyjaśnialna AI odnosi się do interpretowania i zrozumienia decyzji podejmowanych przez system AI oraz czynników, które je wpływają. Audytorzy sprawdzają, czy modele są wystarczająco wyjaśnialne, przy użyciu technik takich jak LIME i SHAP.

Wyniki modelu

Sprawiedliwość jest pierwszą rzeczą, której audytorzy zapewniają w wynikach modelu. Wyniki modelu powinny pozostać spójne, gdy zmieniają się zmienne, takie jak płeć, rasa lub religia. Ponadto oceniana jest również jakość predykcji przy użyciu odpowiedniej metody punktacji.

Opinia społeczna

Audyt AI jest procesem ciągłym. Po wdrożeniu audytorzy powinni sprawdzić wpływ społeczny systemu AI. System AI i strategia ryzyka powinny być modyfikowane i audytowane odpowiednio, w oparciu o opinię, użytkowanie, konsekwencje i wpływ, zarówno pozytywny, jak i negatywny.

Firmy, które audytują rurociągi i aplikacje AI

Pięć głównych firm, które audytują AI, to:

• Deloitte: Deloitte jest największą firmą świadczącą usługi profesjonalne na świecie i świadczy usługi związane z audytem, podatkami i doradztwem finansowym. Deloitte wykorzystuje RPA, AI i analitykę, aby pomóc organizacjom w ocenie ryzyka ich systemów AI.
• PwC: PwC jest drugą co do wielkości siecią usług profesjonalnych pod względem przychodu. Rozwinięto metodyki audytu, aby pomóc organizacjom zapewnić odpowiedzialność, niezawodność i przejrzystość.
• EY: W 2022 roku EY ogłosił inwestycję w wysokości 1 miliarda dolarów w platformę technologiczną umożliwiającą AI, aby świadczyć usługi audytorskie wysokiej jakości. Firmy, które są napędzane przez AI, są dobrze poinformowane, aby audytować systemy AI.
• KPMG: KPMG jest czwartą co do wielkości firmą świadczącą usługi audytorskie. KPMG świadczy usługi dostosowane do zarządzania AI, oceny ryzyka i kontroli.
• Grant Thronton: Pomagają klientom zarządzać ryzykiem związanym z wdrożeniem AI i zgodnością z etyką AI i regulacjami.

Korzyści z audytu systemów AI

• Zarządzanie ryzykiem: Audyt zapobiega lub łagodzi ryzyko związane z systemami AI.
• Przejrzystość: Audyt zapewnia, że aplikacje AI są wolne od uprzedzeń i dyskryminacji.
• Zgodność: Audyt aplikacji AI oznacza, że system jest zgodny z przepisami prawa i regulacjami.

Audyt AI: Co przynosi przyszłość

Organizacje, organy regulacyjne i audytorzy powinni być na bieżąco z postępem AI, zdawać sobie sprawę z potencjalnych zagrożeń i często przeglądać regulacje, ramy i strategie, aby zapewnić uczciwe, bezpieczne i etyczne wykorzystanie.

W 2021 roku 193 państwa członkowskie UNESCO przyjęło globalne porozumienie w sprawie etyki AI. AI to ciągle ewoluujący ekosystem.

Chcesz więcej treści związanych z AI? Odwiedź unite.ai.