Atak optyczny może zmienić znaczenie znaków drogowych

Naukowcy w USA opracowali atak optyczny na możliwość systemów machine learning do poprawnej interpretacji tego, co widzą – w tym misji-krytyczne elementy, takie jak znaki drogowe – poprzez skierowanie wzorzystego światła na rzeczywiste obiekty. W jednym eksperymencie, podejście powiodło się w zmianie znaczenia znaku drogowego “STOP” w znak ograniczenia prędkości “30mph”.

Perturbacje na znaku, utworzone przez skierowanie spreparowanego światła na niego, zniekształcają sposób, w jaki jest interpretowany w systemie machine learning. Źródło: https://arxiv.org/pdf/2108.06247.pdf

Badanie badawcze nosi tytuł Atak optyczny, i pochodzi z Purdue University w Indiana.

Atak optyczny (OPAD), jak został on przedstawiony w artykule, wykorzystuje strukturalne oświetlenie do zmiany wyglądu obiektów docelowych, i wymaga tylko projektorów, kamery i komputera. Naukowcy byli w stanie pomyślnie przeprowadzić ataki białej i czarnej skrzynki przy użyciu tej techniki.

Ustawienie OPAD, i minimalnie postrzegane (przez ludzi) zniekształcenia, które są wystarczające do spowodowania błędnej klasyfikacji.

Ustawienie dla OPAD składa się z projektorów ViewSonic 3600 Lumens SVGA, kamery Canon T6i i laptopa komputera.

Ataki czarnej skrzynki i ukierunkowane

Ataki białej skrzynki są mało prawdopodobne scenariusze, w których atakujący może mieć bezpośredni dostęp do procedury szkoleniowej modelu lub do zarządzania danymi wejściowymi. Ataki czarnej skrzynki, z drugiej strony, są zwykle formułowane przez wnioskowanie, jak działa system machine learning, lub przynajmniej jak się zachowuje, tworząc “cieniowe” modele, i rozwijając ataki optyczne zaprojektowane do pracy na oryginalnym modelu.

Widzimy tu ilość wizualnych perturbacji niezbędnych do oszukania klasyfikatora.

W tym przypadku, nie jest potrzebny specjalny dostęp, chociaż takie ataki są znacznie ułatwione przez powszechność otwartych bibliotek i baz danych w bieżących badaniach akademickich i komercyjnych.

Wszystkie ataki OPAD opisane w nowym artykule są “ukierunkowanymi” atakami, które specjalnie zmierzają do zmiany, w jaki sposób są interpretowane pewne obiekty. Chociaż system został również wykazany jako zdolny do osiągnięcia uogólnionych, abstrakcyjnych ataków, naukowcy twierdzą, że rzeczywisty atakujący będzie miał bardziej konkretny cel destrukcyjny.

Atak OPAD jest po prostu wersją świata rzeczywistego często badanego principu wstrzykiwania szumu do obrazów, które będą wykorzystywane w systemach widzenia komputera. Wartość tego podejścia polega na tym, że można po prostu “projektować” perturbacje na obiekt docelowy, aby spowodować błędną klasyfikację, podczas gdy upewnienie się, że “koń trojański” obrazów kończy się w procesie szkolenia, jest znacznie trudniejsze do osiągnięcia.

W przypadku, gdy OPAD był w stanie narzucić znaczenie obrazu “prędkość 30” w zbiorze danych na znak “STOP”, obraz bazowy został uzyskany przez jednolite oświetlenie obiektu przy intensywności 140/255. Następnie zastosowano skompensowane oświetlenie projektorowe jako atak gradientu.

Przykłady ataków OPAD błędnej klasyfikacji.

Naukowcy obserwują, że głównym wyzwaniem projektu było skalibrowanie i ustawienie mechanizmu projektorowego, aby osiągnąć “czyste” oszustwo, ponieważ kąty, optyka i kilka innych czynników są wyzwaniem dla eksploatacji.

Ponadto, podejście to jest prawdopodobnie skuteczne tylko w nocy. Czy oczywiste oświetlenie ujawni “hak” jest również czynnikiem; jeśli obiekt, taki jak znak, jest już oświetlony, projektor musi skompensować to oświetlenie, a ilość odbitej perturbacji również musi być odporna na światła mijanego samochodu. Wydaje się, że jest to system, który będzie działał najlepiej w środowiskach miejskich, gdzie oświetlenie jest prawdopodobnie bardziej stabilne.

Badanie efektywnie buduje iterację ukierunkowaną na ML Columbia University’s 2004 badania nad zmianą wyglądu obiektów przez projekcję innych obrazów na nich – eksperyment optyczny, który nie ma złośliwego potencjału OPAD.

W teście, OPAD był w stanie oszukać klasyfikator w 31 z 64 ataków – 48% wskaźnik powodzenia. Naukowcy zauważają, że wskaźnik powodzenia zależy znacznie od rodzaju obiektu, który jest atakowany. Plamiste lub zakrzywione powierzchnie (takie jak odpowiednio pluszowy miś i kubek) nie mogą zapewnić wystarczającej bezpośredniej odbicia, aby przeprowadzić atak. Z drugiej strony, zamierzone, odbijające płaskie powierzchnie, takie jak znaki drogowe, są idealnym środowiskiem dla zniekształcenia OPAD.

Otwarte powierzchnie ataku

Wszystkie ataki zostały przeprowadzone przeciwko określonemu zestawowi baz danych: niemieckiej bazie danych rozpoznawania znaków drogowych (GTSRB, nazywanej GTSRB-CNN w nowym artykule), który został wykorzystany do szkolenia modelu dla podobnego scenariusza ataku w 2018 roku; ImageNet VGG16 zestaw danych; i ImageNet Resnet-50 zestaw.

Czy te ataki są “tylko teoretyczne”, ponieważ są skierowane do otwartych zestawów danych, a nie do zamkniętych systemów w pojazdach autonomicznych? Byłyby, gdyby główne gałęzie badań nie polegały na otwartych strukturach, w tym algorytmach i zestawach danych, i zamiast tego pracowały w tajemnicy, aby wyprodukować zamknięte zestawy danych i nieprzezroczyste algorytmy rozpoznawania.

Ale ogólnie, tak nie działa. Klasyczne zestawy danych stają się punktem odniesienia, według którego mierzy się wszystki postęp (i uznanie), podczas gdy otwarte systemy rozpoznawania obrazu, takie jak seria YOLO, wyprzedzają, dzięki współpracy globalnej, każdy wewnętrznie rozwijany, zamknięty system, który działa na podobnych zasadach.

Ekspozycja FOSS

Nawet w przypadku, gdy dane w ramach systemu widzenia komputera zostaną ostatecznie zastąpione przez całkowicie zamknięte dane, wagi “opuszczonych” modeli są nadal często kalibrowane na wczesnym etapie rozwoju przez dane FOSS, które nigdy nie zostaną całkowicie odrzucone – co oznacza, że wynikające systemy mogą potencjalnie być celami FOSS.

Ponadto, poleganie na podejściu otwartym do systemów CV tego rodzaju umożliwia firmom prywatnym korzystanie z innowacji z innych globalnych projektów badawczych, dodając finansową zachętę, aby utrzymać architekturę dostępną. Następnie mogą one spróbować zamknąć system tylko w momencie komercjalizacji, kiedy cała seria inferowalnych metryk FOSS jest głęboko osadzona w nim.