Co to jest Explainable AI?

Gdy sztuczna inteligencja (AI) staje się coraz bardziej złożona i powszechnie stosowana w społeczeństwie, jednym z najważniejszych zestawów procesów i metod jest wyjaśnialna inteligencja (XAI), czasem określana jako XAI.

Wyjaśnialna inteligencja można zdefiniować jako:

• Zestaw procesów i metod, które pomagają ludzkim użytkownikom zrozumieć i zaufać wynikom algorytmów uczenia maszynowego.

Jak można się spodziewać, ta wyjaśnialność jest niezwykle ważna, gdy algorytmy AI przejmują kontrolę nad wieloma sektorami, co wiąże się z ryzykiem uprzedzeń, wadliwych algorytmów i innych problemów. Dzięki osiąganiu przejrzystości za pomocą wyjaśnialności, świat może naprawdę wykorzystać potęgę AI.

Wyjaśnialna inteligencja, jak sama nazwa wskazuje, pomaga opisać model AI, jego wpływ i potencjalne uprzedzenia. Odgrywa również rolę w charakteryzowaniu dokładności modelu, uczciwości, przejrzystości i wyników w procesach podejmowania decyzji opartych na AI.

Dziś organizacje napędzane przez AI powinny zawsze przyjmować procesy wyjaśnialnej inteligencji, aby pomóc budować zaufanie i pewność w modelach AI w produkcji. Wyjaśnialna inteligencja jest również kluczem do stania się odpowiedzialną firmą w dzisiejszym środowisku AI.

Ponieważ dzisiejsze systemy AI są tak zaawansowane, ludzie zwykle wykonują proces obliczeniowy, aby odtworzyć, jak algorytm doszedł do swojego wyniku. Ten proces staje się “czarną skrzynką”, co oznacza, że nie jest możliwe zrozumienie. Gdy te niewyjaśnialne modele są rozwijane bezpośrednio z danych, nikt nie może zrozumieć, co się dzieje wewnątrz nich.

Dzięki zrozumieniu, jak systemy AI działają za pomocą wyjaśnialnej inteligencji, deweloperzy mogą upewnić się, że system działa tak, jak powinien. Może to również pomóc upewnić się, że model spełnia standardy regulacyjne i zapewnia możliwość zakwestionowania lub zmiany modelu.

Image: Dr. Matt Turek/DARPA

Różnice między AI a XAI

Istnieją pewne kluczowe różnice, które pomagają oddzielić “zwykłą” AI od wyjaśnialnej inteligencji, ale najważniejsze, XAI wdraża określone techniki i metody, które pomagają upewnić się, że każda decyzja w procesie ML jest śledzalna i wyjaśnialna. W porównaniu, zwykła AI zwykle dochodzi do swojego wyniku za pomocą algorytmu ML, ale nie jest możliwe pełne zrozumienie, jak algorytm doszedł do swojego wyniku. W przypadku zwykłej AI jest niezwykle trudno sprawdzić dokładność, co skutkuje utratą kontroli, odpowiedzialności i audytu.

Korzyści z wyjaśnialnej inteligencji

Istnieją wiele korzyści dla każdej organizacji, która chce przyjąć wyjaśnialną inteligencję, takich jak:

• Szybsze wyniki: Wyjaśnialna inteligencja umożliwia organizacjom systematyczne monitorowanie i zarządzanie modelami w celu optymalizacji wyników biznesowych. Możliwe jest ciągłe ocenianie i poprawianie wydajności modelu oraz dostosowywanie rozwoju modelu.
• Zmniejszenie ryzyka: Przyjmując procesy wyjaśnialnej inteligencji, można upewnić się, że modele AI są wyjaśnialne i przejrzyste. Można zarządzać ryzykiem regulacyjnym, zgodności, ryzyka i innymi wymogami, jednocześnie minimalizując nakład pracy inspekcji ręcznej. To wszystko pomaga również zmniejszyć ryzyko niezamierzonego uprzedzenia.
• Budowanie zaufania: Wyjaśnialna inteligencja pomaga ustanowić zaufanie w produkcji AI. Modele AI mogą być szybko wdrożone, można upewnić się, że modele są interpretowalne i wyjaśnialne, a proces oceny modelu może być uproszczony i uczyniony bardziej przejrzystym.

Techniki wyjaśnialnej inteligencji

Istnieją pewne techniki XAI, które każda organizacja powinna wziąć pod uwagę, i składają się one z trzech głównych metod: dokładność predykcji, śledzalność i zrozumienie decyzji.

Pierwsza z trzech metod, dokładność predykcji, jest niezbędna do pomyślnego wykorzystania AI w codziennych operacjach. Symulacje mogą być przeprowadzane, a dane wyjściowe XAI mogą być porównywane z wynikami w zestawie danych szkoleniowych, co pomaga określić dokładność predykcji. Jedną z bardziej popularnych technik do osiągnięcia tego jest tzw. Local Interpretable Model-Agnostic Explanations (LIME), technika, która wyjaśnia predykcję klasyfikatorów przez algorytm uczenia maszynowego.

Druga metoda to śledzalność, która jest osiągana przez ograniczenie, w jaki sposób mogą być podejmowane decyzje, a także ustanowienie węższego zakresu dla reguł i cech ML. Jedną z najbardziej popularnych technik śledzalności jest DeepLIFT, czyli Deep Learning Important FeaTures. DeepLIFT porównuje aktywację każdego neuronu z jego neuronem referencyjnym, demonstrując śledzalny link między każdym aktywowanym neuronem. Pokazuje również zależności między nimi.

Trzecia i ostatnia metoda to zrozumienie decyzji, która jest ukierunkowana na ludzi, w przeciwieństwie do dwóch poprzednich metod. Zrozumienie decyzji obejmuje edukowanie organizacji, szczególnie zespołu pracującego z AI, aby umożliwić im zrozumienie, jak i dlaczego AI podejmuje decyzje. Ta metoda jest niezwykle ważna do ustanowienia zaufania w systemie.

Zasady wyjaśnialnej inteligencji

Aby zapewnić lepsze zrozumienie XAI i jego zasad, Narodowy Instytut Standardów (NIST), który jest częścią amerykańskiego Departamentu Handlu, zapewnia definicje dla czterech zasad wyjaśnialnej inteligencji:

1. System AI powinien zapewnić dowody, wsparcie lub uzasadnienie dla każdego wyniku.  
2. System AI powinien zapewnić wyjaśnienia, które mogą być zrozumiane przez jego użytkowników.  
3. Wyjaśnienie powinno dokładnie odzwierciedlać proces użyty przez system do uzyskania swojego wyniku.  
4. System AI powinien działać tylko w warunkach, dla których został zaprojektowany, i nie powinien zapewniać wyniku, gdy brakuje mu wystarczającej pewności co do wyniku.

Te zasady mogą być zorganizowane dalej w:

• Znaczące: Aby osiągnąć zasadę znaczącości, użytkownik powinien zrozumieć wyjaśnienie. Mogłoby to również oznaczać, że w przypadku algorytmu AI używanego przez różne typy użytkowników, mogą istnieć różne wyjaśnienia. Na przykład, w przypadku samochodu autonomicznego, jednym z wyjaśnień mogłoby być: “AI sklasyfikował plastikową torbę na drodze jako kamień i podjął działanie, aby go uniknąć”. Podczas gdy ten przykład mógłby działać dla kierowcy, nie byłby zbyt przydatny dla dewelopera AI, który chce poprawić problem. W tym przypadku deweloper musi zrozumieć, dlaczego nastąpiło błędne sklasyfikowanie.  
• Dokładność wyjaśnienia: W przeciwieństwie do dokładności wyniku, dokładność wyjaśnienia obejmuje algorytm AI, który dokładnie wyjaśnia, jak doszedł do swojego wyniku. Na przykład, jeśli algorytm zatwierdzania kredytu wyjaśnia decyzję na podstawie dochodu wnioskodawcy, podczas gdy w rzeczywistości opierał się na miejscu zamieszkania wnioskodawcy, wyjaśnienie byłoby niedokładne.  
• Ograniczenia wiedzy: Ograniczenia wiedzy AI mogą być osiągnięte na dwa sposoby i obejmują dane wejściowe, które są poza zakresem ekspertyzy systemu. Na przykład, jeśli system jest zbudowany do klasyfikacji gatunków ptaków i otrzymuje zdjęcie jabłka, powinien być w stanie wyjaśnić, że dane wejściowe nie są ptakiem. Jeśli system otrzymuje niewyraźne zdjęcie, powinien być w stanie zgłosić, że nie jest w stanie zidentyfikować ptaka na zdjęciu lub że jego identyfikacja ma bardzo niską pewność.

Rola danych w wyjaśnialnej inteligencji

Jednym z najważniejszych składników wyjaśnialnej inteligencji są dane.

Według Google (GOOGL ) , odnosząc się do danych i wyjaśnialnej inteligencji, “system AI jest najlepiej zrozumiany przez dane szkoleniowe i proces szkolenia, a także wynikowy model AI”. To zrozumienie opiera się na możliwości mapowania nauczonych modeli AI na dokładny zestaw danych, których użyto do ich szkolenia, a także na możliwości dokładnego zbadania danych.

Aby poprawić wyjaśnialność modelu, ważne jest, aby zwrócić uwagę na dane szkoleniowe. Zespoły powinny określić pochodzenie danych użytych do szkolenia algorytmu, legalność i etykę ich pozyskania, potencjalne uprzedzenia w danych oraz to, co można zrobić, aby je zminimalizować.

Innym krytycznym aspektem danych i XAI jest to, że dane nieistotne dla systemu powinny być wykluczone. Aby to osiągnąć, nieistotne dane nie powinny być zawarte w zestawie danych szkoleniowych lub danych wejściowych.

Google zaleca zestaw praktyk, aby osiągnąć interpretowalność i odpowiedzialność:

• Zaplanuj opcje, aby osiągnąć interpretowalność
• Traktuj interpretowalność jako podstawową część doświadczenia użytkownika
• Zaprojektuj model, aby był interpretowalny
• Wybierz metryki, które odzwierciedlają cel końcowy i zadanie końcowe
• Zrozum nauczony model
• Przekazuj wyjaśnienia użytkownikom modelu
• Przeprowadź wiele testów, aby upewnić się, że system AI działa zgodnie z zamierzeniem

Przestrzegając tych zalecanych praktyk, Twoja organizacja może upewnić się, że osiąga wyjaśnialną inteligencję, co jest kluczem do każdej organizacji napędzanej przez AI w dzisiejszym środowisku.