Badacze sztucznej inteligencji opracowali szybką metodę obliczania przedziałów ufności, informując, kiedy model nie powinien być ufał

Badacze z MIT niedawno opracowali technikę, która umożliwia głębokim sieciom neuronowym szybkie obliczanie poziomów ufności, co mogłoby pomóc naukowcom danych i innym użytkownikom sztucznej inteligencji wiedzieć, kiedy ufać przewidywaniom generowanym przez model.

Systemy sztucznej inteligencji oparte na sieciach neuronowych są odpowiedzialne za coraz więcej decyzji, w tym wiele decyzji dotyczących zdrowia i bezpieczeństwa ludzi. Z tego powodu sieci neuronowe powinny mieć jakiś sposób szacowania ufności w swoich danych wyjściowych, umożliwiając naukowcom danych określenie, jak godne zaufania są ich przewidywania. Niedawno zespół badaczy z Harvardu i MIT opracował szybki sposób generowania wskazania ufności modelu wraz z jego przewidywaniami.

Modele głębokiego uczenia się stały się coraz bardziej zaawansowane w ciągu ostatniej dekady i mogą teraz łatwo przewyższać ludzi w zadaniach klasyfikacji danych. Modele głębokiego uczenia się są stosowane w dziedzinach, w których zdrowie i bezpieczeństwo ludzi mogą być zagrożone, jeśli zawiodą, takich jak prowadzenie pojazdów autonomicznych i diagnozowanie stanów medycznych na podstawie obrazów. W tych przypadkach nie wystarczy, że model jest 99% dokładny, ponieważ 1% przypadków, w których model zawodzi, może prowadzić do katastrofy. W związku z tym konieczne jest znalezienie sposobu, aby naukowcy danych mogli określić, jak godne zaufania jest dane przewidywanie.

Istnieje kilka sposobów generowania przedziału ufności wraz z przewidywaniami sieci neuronowych, ale tradycyjne metody szacowania niepewności dla sieci neuronowej są dość wolne i wymagają dużych zasobów obliczeniowych. Sieci neuronowe mogą być niezwykle duże i złożone, zawierające miliardy parametrów. Samo generowanie przewidywań może być kosztowne obliczeniowo i wymagać znacznej ilości czasu, a generowanie poziomu ufności dla przewidywań zajmuje jeszcze więcej czasu. Większość poprzednich metod ilościowania niepewności opierała się na próbkowaniu lub wielokrotnym uruchamianiu sieci, aby uzyskać szacunek ufności. Nie zawsze jest to wykonalne w aplikacjach, które wymagają dużej prędkości.

Jak podaje MIT News, Alexander Amini kieruje zespołem badaczy z MIT i Harvardu, a według Amini metoda opracowana przez ich badaczy przyspiesza proces generowania szacunków niepewności za pomocą techniki zwanej “głęboką regresją dowodową”. Amini wyjaśnił za pośrednictwem MIT, że naukowcy danych wymagają zarówno szybkich modeli, jak i niezawodnych szacunków niepewności, aby można było rozpoznać niewiarygodne modele. Aby zachować zarówno szybkość modelu, jak i wygenerować szacunek niepewności, badacze opracowali sposób szacowania niepewności z tylko jednego uruchomienia modelu.

Badacze opracowali model sieci neuronowej w taki sposób, aby generować rozkład prawdopodobieństwa wraz z każdą decyzją. Sieć przechowuje dowody swoich decyzji podczas procesu szkolenia, generując rozkład prawdopodobieństwa na podstawie tych dowodów. Rozkład dowodowy reprezentuje ufność modelu i reprezentuje niepewność zarówno dla ostatecznej decyzji modelu, jak i oryginalnych danych wejściowych. Uchwycenie niepewności zarówno dla danych wejściowych, jak i decyzji jest ważne, ponieważ redukcja niepewności zależy od znalezienia źródła niepewności.

Badacze przetestowali swoją technikę szacowania niepewności, stosując ją do zadania komputerowego widzenia. Po tym, jak model został przeszkolony na serii obrazów, wygenerował zarówno przewidywania, jak i szacunki niepewności. Sieć poprawnie przewidziała wysoką niepewność w przypadkach, w których przewidywanie było błędne. “Było to bardzo skorelowane z błędami, które sieć popełnia, co uważamy za jeden z najważniejszych aspektów oceny nowego estymatora niepewności”, powiedział Amini odnosząc się do wyników testów modelu.

Zespół badawczy przeprowadził więcej testów ze swoją architekturą sieci. Aby przetestować technikę, przetestowali również dane na “zewnętrznych danych”, zestawach danych składających się z obiektów, których sieć nigdy wcześniej nie widziała. Jak oczekiwano, sieć zgłosiła wyższą niepewność dla tych nieznanych obiektów. Po przeszkoleniu w środowiskach wewnętrznych sieć wykazała wysoką niepewność podczas testowania na obrazach z zewnętrznych środowisk. Testy wykazały, że sieć może wskazywać, kiedy jej decyzje są poddane wysokiej niepewności i nie powinny być ufałe w pewnych, wysokich sytuacjach.

Zespół badawczy nawet zgłosił, że sieć może rozpoznać, kiedy obrazy zostały sfabrykowane. Kiedy zespół badawczy zmodyfikował zdjęcia z hałasem przeciwnym, sieć oznaczyła nowo zmodyfikowane obrazy wysokimi szacunkami niepewności, pomimo faktu, że efekt był zbyt subtelny, aby był widoczny dla przeciętnego obserwatora ludzkiego.

Jeśli technika okaże się niezawodna, głęboka regresja dowodowa może poprawić bezpieczeństwo modeli sztucznej inteligencji w ogóle. Według Amini, głęboka regresja dowodowa może pomóc ludziom w podejmowaniu ostrożnych decyzji podczas korzystania z modeli sztucznej inteligencji w sytuacjach ryzykownych. Jak wyjaśnił Amini za pośrednictwem MIT News:

“Zaczynamy widzieć coraz więcej tych [sieci neuronowych] modeli, które wychodzą z laboratorium badawczego i wchodzą w świat rzeczywisty, w sytuacje, które dotykają ludzi z potencjalnymi, grożącymi życiu konsekwencjami. Każdy użytkownik metody, czy to lekarz, czy osoba w pasażerskim fotelu pojazdu, musi być świadomy jakiegokolwiek ryzyka lub niepewności związanej z tą decyzją.”