Jak AI wyjaśnialne zwiększa niezawodność i godność zaufania

Podczas gdy sztuczna inteligencja (AI) staje się coraz bardziej demokratyczna w przedsiębiorstwach, powoli wbudowuje się w tkankę naszego istnienia. Ważnym aspektem tej demokratyzacji jest to, że użytkownicy końcowi powinni być w stanie w pełni zrozumieć proces i mechanizmy, których AI używa, aby dojść do wniosku lub jak działa, aby dostarczyć pożądane wyniki. Jako ludzie, mamy głęboko zakorzenione potrzeby, aby odkryć “dlaczego” i “jak” zjawiska, co przyspieszyło nasz postęp technologiczny. W kontekście AI, to zrozumienie nazywa się “wyjaśnialnością”.

Dlaczego wyjaśnialność jest potrzebna?

Często podejmujemy AI jako “czarną skrzynkę”, gdzie mamy tylko świadomość wejść i wyjść, ale gdzieś procesy używane są niezrozumiałe dla nas. Zwiększony problem jest tym, że algorytmy, które napędzają najpopularniejsze formy AI, takie jak złożone systemy predykcyjne oparte na głębokim uczeniu i Przetwarzaniu Języka Naturalnego (NLP), są bardzo abstrakcyjne, nawet dla ich najbardziej doświadczonych praktyków.

Zaufanie i transparentność: Aby użytkownicy ufali predykcyjnym możliwościom AI, musi ona mieć pewien poziom wyjaśnialności. Na przykład, jeśli lekarz musi polecić leczenie na podstawie predykcyjnych możliwości AI, musi być pewien tej predykcyjnej możliwości. Bank musi mieć pełne zaufanie do decyzji o odrzuceniu lub zatwierdzeniu kredytu i musi być w stanie uzasadnić to wszystkim zainteresowanym stronom. AI używana do selekcji i rekrutacji musi udowodnić, że podstawowe mechanizmy są sprawiedliwe i równoprawne dla wszystkich grup aplikantów.

Czyń AI bardziej ludzkim i zwiększaj przyjęcie: W raporcie The state of AI in 2020 dowiadujemy się, że producent używa niezwykle przejrzystych modeli do akceptacji przez pracowników fabryki, którzy muszą ufać sądom AI dotyczącym ich bezpieczeństwa. Dla szybkiego przyjęcia AI, uzyskanie zaufania ze strony zainteresowanych jest główną przeszkodą w skalowaniu od prostych rozwiązań punktowych do poziomu przedsiębiorstwa i uzyskaniu największych korzyści z inwestycji. To jest znacznie ułatwione, jeśli wyniki są wyjaśnialne dla szerszej publiczności. Z biznesowego punktu widzenia, wyjaśnialność poprawia ogólny user experience i zwiększa satysfakcję klienta. Zgodnie z wynikami ankiety IBM Institute for Business Value, 68 procent najlepszych menedżerów uważa, że klienci będą wymagać więcej wyjaśnialności od AI w ciągu najbliższych trzech lat.

Odkryj stronniczości i popraw wydajność modelu: Deweloper musi wiedzieć, jak poprawić wydajność modelu i jak dokładnie debugować i dostosowywać go. Wyraźna ramka wyjaśnialności jest jednym z najważniejszych narzędzi do przeprowadzenia dokładnej analizy, która jest potrzebna.

Uzyskaj bardziej wyrafinowane, wszechstronne spojrzenie: Pełne, 360-stopniowe spojrzenie jest potrzebne do pełnego zrozumienia wszelkich recept AI. Na przykład, jeśli AI jest używana do podejmowania decyzji inwestycyjnych, jeden również potrzebuje wiedzy o powodach, aby przenieść to uczenie się do innych obszarów i zrozumieć potencjalne pułapki podejmowania tej decyzji. Silne zrozumienie, jak AI działa, również umożliwi decydentom odkryć nowe przypadki użycia.

Regulacje i odpowiedzialność: Kilka regulacji, takich jak GDPR, nakazuje prawo do wyjaśnienia, aby rozwiązać problemy odpowiedzialności, które wynikają z procesu podejmowania decyzji automatycznych. W systemach, takich jak samochody autonomiczne, jeśli coś pójdzie nie tak, prowadząc do utraty życia i mienia, właściwa wiedza jest potrzebna na temat pierwotnej przyczyny, co będzie trudne do ustalenia w systemie “czarnej skrzynki”.

Jak AI może być bardziej wyjaśnialne?

Systemy AI wyjaśnialne (XAI) są rozwijane przy użyciu różnych technik, które koncentrują się albo na wyjaśnianiu modelu jako całości, albo na wyjaśnianiu powodów indywidualnych predykcyjnych za pomocą algorytmu.

Większość technik wyjaśnialności opiera się na:

• rozłożeniu modelu na poszczególne składniki)
• wizualizacji predykcyjnych modeli (na przykład, jeśli model klasyfikuje samochód jako określonej marki, podświetla część, która spowodowała, że został on sklasyfikowany jako taki)
• wyjaśnianiu (używaniu technik uczenia maszynowego do znajdowania istotnych danych, które wyjaśniają predykcyjne możliwości algorytmu sztucznej inteligencji).

W jednej z takich technik, zwanej proxy modelingiem, prostszy i bardziej zrozumiały model, taki jak drzewo decyzyjne, jest używany do przybliżonego reprezentowania bardziej skomplikowanego modelu AI. Te proste wyjaśnienia dają ogólne pojęcie modelu na wysokim poziomie, ale czasami mogą tłumić pewne niuanse.

Innym podejściem jest “wyjaśnialność przez projektowanie”, które nakłada ograniczenia w projekcie i szkoleniu sieci AI w nowy sposób, który próbuje zbudować całą sieć z mniejszych i prostszych wyjaśnialnych kawałków. To wymaga kompromisu między poziomem dokładności a wyjaśnialnością i ogranicza pewne podejścia z narzędziowego zestawu danych. Może to być również bardzo obliczeniowo intensywne.

Szkolenie i testowanie AI mogą również wykorzystywać techniki weryfikacji danych agnostycznych, takie jak lokalnie interpretowalny model (LIME) i Shapley Additive exPlanations (SHAP), i powinny być dostosowane do osiągania wysokiej dokładności za pomocą F-wartości, precyzyjności i innych wskaźników. I, oczywiście, wszystkie wyniki powinny być monitorowane i weryfikowane przy użyciu szerokiej gamy danych. Używając LIME, na przykład, organizacje są w stanie tworzyć tymczasowe modele, które naśladują predykcyjne możliwości nieprzejrzystych algorytmów, takich jak maszynowe uczenie. Te modele LIME mogą następnie tworzyć szeroki zakres permutacji na podstawie danego zestawu danych i jego odpowiadającego wyjścia, które mogą być następnie użyte do szkolenia prostszych i bardziej interpretowalnych modeli wraz z pełnymi listami wyjaśnień dla każdej decyzji i/lub predykcyjnej możliwości. SHAP framework, który ma swoje podstawy w teorii gier i konkretnie w kooperatywnej teorii gier, jest modelem, który łączy optymalną alokację kredytu z lokalnymi wyjaśnieniami za pomocą oryginalnych Shapley wartości z teorii gier i ich potomków.

Operacje zasadnicze

Na bardziej strategicznym poziomie jednak ramy niezawodności AI powinny obejmować szeroki zestaw zasad mających na celu zapewnienie właściwych wyników zarówno na początku wdrożenia, jak i w czasie, gdy modele ewoluują w obecności zmieniających się okoliczności. Co najmniej, te ramy powinny zawierać takie rzeczy, jak:

• Wykrywanie stronniczości – wszystkie zestawy danych powinny być oczyszczone z stronniczości i dyskryminacyjnych atrybutów, a następnie nadane odpowiednią wagą i dyskrecją przy aplikowaniu do modelu szkoleniowego;
• Udział ludzi – operatorzy powinni być w stanie badać i interpretować dane wyjściowe algorytmu w każdym czasie, szczególnie gdy modele są używane do egzekwowania prawa i ochrony wolności obywatelskich;
• Uzasadnienie – wszystkie predykcyjne możliwości muszą być w stanie wytrzymać kontrolę, co wymaga dużej przejrzystości, aby zewnętrzni obserwatorzy mogli ocenić procesy i kryteria użyte do uzyskania wyników;
• Odtwarzalność – niezawodne modele AI muszą być spójne w swoich predykcyjnych możliwościach i muszą wykazywać wysoki poziom stabilności, gdy spotykają nowe dane.

Ale XAI nie powinno być postrzegane tylko jako środek do poprawy zysku, ale również do zapewnienia odpowiedzialności, aby instytucje mogły wyjaśnić i uzasadnić wpływ swoich tworów na społeczeństwo jako całość.