Badacze AI opracowują szybką metodę obliczania przedziałów ufności i raportowania, kiedy modelowi nie należy ufać

Naukowcy z MIT ostatnio opracował technikę umożliwia to modelom sieci głębokiego uczenia się szybkie obliczanie poziomów ufności, co może pomóc analitykom danych i innym użytkownikom sztucznej inteligencji wiedzieć, kiedy zaufać przewidywaniom przedstawionym przez model.

Systemy AI oparte na sztucznych sieciach neuronowych odpowiadają obecnie za coraz więcej decyzji, w tym wiele decyzji dotyczących zdrowia i bezpieczeństwa ludzi. Z tego powodu sieci neuronowe powinny mieć jakąś metodę szacowania zaufania do swoich wyników, umożliwiając badaczom danych stwierdzenie, jak wiarygodne są ich przewidywania. Niedawno zespół naukowców z Harvardu i MIT opracował szybki sposób, w jaki sieci neuronowe mogą generować informacje o pewności modelu wraz z jego przewidywaniami.

W ciągu ostatniej dekady modele głębokiego uczenia się stawały się coraz bardziej wyrafinowane i obecnie mogą z łatwością przewyższać ludzi w zadaniach klasyfikacji danych. Modele głębokiego uczenia się są stosowane w dziedzinach, w których zdrowie i bezpieczeństwo ludzi może być zagrożone w przypadku awarii, w prowadzeniu pojazdów autonomicznych i diagnozowaniu schorzeń na podstawie skanów. W takich przypadkach nie wystarczy, że model jest dokładny w 99%; 1% przypadków niepowodzenia modelu może potencjalnie doprowadzić do katastrofy. W rezultacie musi istnieć sposób, w jaki badacze danych będą mogli określić, jak wiarygodna jest dana prognoza.

Istnieje kilka sposobów generowania przedziału ufności wraz z przewidywaniami sieci neuronowych, ale tradycyjne metody szacowania niepewności sieci neuronowej są dość powolne i kosztowne obliczeniowo. Sieci neuronowe mogą być niezwykle duże i złożone, wypełnione miliardami parametrów. Samo wygenerowanie prognoz może być kosztowne obliczeniowo i zająć znaczną ilość czasu, a wygenerowanie poziomu ufności dla prognoz zajmuje jeszcze więcej czasu. Większość poprzednich metod ilościowego określania niepewności opierała się na próbkowaniu lub wielokrotnym uruchamianiu sieci w celu oszacowania jej pewności. Nie zawsze jest to wykonalne w przypadku aplikacji wymagających dużego ruchu.

Jak podaje MIT News, Alexander Amini kieruje połączoną grupą badaczy z MIT i Harvardu i według Amini opracowana przez ich badaczy metoda przyspiesza proces generowania szacunków niepewności za pomocą techniki zwanej „głęboką regresją dowodową”. Amini wyjaśnił za pośrednictwem MIT, że badacze danych potrzebują zarówno szybkich modeli, jak i wiarygodnych szacunków niepewności, aby można było rozpoznać modele niewiarygodne. Aby zachować zarówno szybkość modelu, jak i wygenerować oszacowanie niepewności, badacze opracowali sposób szacowania niepewności na podstawie tylko jednego przebiegu modelu.

Naukowcy zaprojektowali model sieci neuronowej w taki sposób, że przy każdej decyzji generowany był rozkład probabilistyczny. Sieć przechowuje dowody na podstawie swoich decyzji podczas procesu uczenia, generując rozkład prawdopodobieństwa na podstawie dowodów. Rozkład dowodowy reprezentuje pewność modelu i reprezentuje niepewność zarówno co do ostatecznej decyzji modelu, jak i pierwotnych danych wejściowych. Wychwytywanie niepewności zarówno w przypadku danych wejściowych, jak i decyzji jest ważne, ponieważ zmniejszanie niepewności zależy od znajomości źródła niepewności.

Naukowcy przetestowali swoją technikę szacowania niepewności, stosując ją do zadania z zakresu wizji komputerowej. Po wytrenowaniu modelu na serii obrazów, wygenerował on zarówno prognozy, jak i oszacowania niepewności. Sieć poprawnie prognozowała wysoką niepewność w przypadkach, gdy prognoza była błędna. „Był on bardzo dobrze skalibrowany pod kątem błędów popełnianych przez sieć, co naszym zdaniem było jednym z najważniejszych czynników oceny jakości nowego estymatora niepewności” – powiedział Amini, odnosząc się do wyników testów modelu.

Zespół badawczy przeprowadził więcej testów architektury sieci. Aby przetestować tę technikę, przetestowano także dane „poza dystrybucją”, czyli zbiory danych składające się z obiektów, których sieć nigdy wcześniej nie widziała. Zgodnie z oczekiwaniami sieć zgłosiła wyższą niepewność w przypadku tych niewidocznych obiektów. Podczas szkolenia w pomieszczeniach zamkniętych sieć wykazywała dużą niepewność podczas testowania na obrazach ze środowiska zewnętrznego. Testy wykazały, że sieć potrafi wskazać sytuacje, w których jej decyzje są obarczone dużą niepewnością i w pewnych okolicznościach obciążonych wysokim ryzykiem nie należy ufać.

Zespół badawczy poinformował nawet, że sieć potrafi rozpoznać, kiedy obrazy zostały sfałszowane. Kiedy zespół badawczy zmienił zdjęcia szumem kontradyktoryjnym, sieć oznaczyła nowo zmienione obrazy z dużą niepewnością szacunkową, mimo że efekt był zbyt subtelny, aby przeciętny ludzki obserwator mógł go dostrzec.

Jeśli technika okaże się niezawodna, głęboka regresja dowodowa może ogólnie poprawić bezpieczeństwo modeli sztucznej inteligencji. Według Amini głęboka regresja dowodowa może pomóc ludziom w podejmowaniu ostrożnych decyzji podczas korzystania z modeli sztucznej inteligencji w ryzykownych sytuacjach. Jak wyjaśnił Amini za pośrednictwem MIT News:

„Zaczynamy obserwować, jak coraz więcej modeli [sieci neuronowych] wydostaje się z laboratoriów badawczych i trafia do świata rzeczywistego, do sytuacji, w których ludzie mają potencjalnie zagrażające życiu konsekwencje. Każdy, kto korzysta z tej metody, niezależnie od tego, czy jest lekarzem, czy osobą siedzącą na miejscu pasażera w samochodzie, musi być świadomy ryzyka i niepewności związanych z tą decyzją”.