Atak optyczny może zmienić znaczenie znaków drogowych

Naukowcy w Stanach Zjednoczonych opracowali atak na możliwość prawidłowej interpretacji przez systemy machine learning, w tym elementy krytyczne, takie jak znaki drogowe, poprzez rzucanie światła z wzorem na rzeczywiste obiekty. W jednym eksperymencie udało się zmienić znaczenie znaku “STOP” na znak ograniczenia prędkości do 30 mph.

Perturbacje na znaku, wytworzone przez rzucanie światła z wzorem, zniekształcają sposób, w jaki jest interpretowany w systemie machine learning. Źródło: https://arxiv.org/pdf/2108.06247.pdf

Badanie to nosi tytuł Optyczny atak przeciwny i pochodzi z Uniwersytetu Purdue w stanie Indiana.

Atak optyczny przeciwny (OPAD), jak proponują autorzy, wykorzystuje strukturalne oświetlenie do zmiany wyglądu obiektów docelowych i wymaga tylko projektorów, kamery i komputera. Naukowcy byli w stanie pomyślnie przeprowadzić ataki białej i czarnej skrzynki przy użyciu tej techniki.

Układ OPAD i minimalnie postrzegane (przez ludzi) zniekształcenia, które są wystarczające do spowodowania błędnej klasyfikacji.

Układ OPAD składa się z projektorów ViewSonic 3600 Lumens SVGA, kamery Canon T6i i laptopa.

Czarna skrzynka i ataki celowe

Ataki białej skrzynki są mało prawdopodobne, ponieważ atakujący może mieć bezpośredni dostęp do procedury modelu szkoleniowego lub do zarządzania danymi wejściowymi. Ataki czarnej skrzynki są zwykle formułowane przez wnioskowanie, w jaki sposób działa system machine learning, tworzenie “cienkich” modeli i rozwijanie ataków przeciwnych zaprojektowanych do pracy na oryginalnym modelu.

Widzimy tutaj ilość perturbacji wizualnych niezbędnych do oszukania klasyfikatora.

W tym drugim przypadku nie jest wymagany specjalny dostęp, choć takie ataki są znacznie ułatwione przez powszechność otwartych bibliotek i baz danych w bieżących badaniach akademickich i komercyjnych.

Wszystkie ataki OPAD opisane w nowym artykule są atakami “celowymi”, które specjalnie zmierzają do zmiany sposobu interpretacji pewnych obiektów. Chociaż system został również wykazany jako zdolny do osiągania uogólnionych, abstrakcyjnych ataków, naukowcy twierdzą, że rzeczywisty atakujący będzie miał bardziej konkretny cel destrukcyjny.

Atak OPAD jest po prostu wersją świata rzeczywistego często badanego zasady wstrzykiwania szumu do obrazów, które będą wykorzystywane w systemach widzenia komputerowego. Wartość tego podejścia polega na tym, że można po prostu “projektować” perturbacje na obiekt docelowy, aby spowodować błędną klasyfikację, podczas gdy upewnienie się, że “koń trojański” trafia do procesu szkolenia, jest znacznie trudniejsze do osiągnięcia.

Przykłady ataków OPAD na błędną klasyfikację.

Naukowcy zauważają, że głównym wyzwaniem projektu było skalibrowanie i ustawienie mechanizmu projekcyjnego tak, aby osiągnąć “czyste” oszustwo, ponieważ kąty, optyka i wiele innych czynników są wyzwaniem dla eksploatacji.

Ponadto podejście to działa tylko w nocy. Czy oczywiste oświetlenie ujawni “hak” jest również czynnikiem; jeśli obiekt, taki jak znak, jest już oświetlony, projektor musi skompensować to oświetlenie, a ilość odbitej perturbacji również musi być odporna na światła mijanego samochodu. Wydaje się, że jest to system, który działa najlepiej w środowiskach miejskich, gdzie oświetlenie jest bardziej stabilne.

Badanie efektywnie buduje iterację ukierunkowaną na ML badań Uniwersytetu Columbia z 2004 roku na temat zmiany wyglądu obiektów przez rzucanie innych obrazów na nie – eksperyment optyczny, który nie ma złośliwego potencjału OPAD.

Podczas testów OPAD był w stanie oszukać klasyfikator w 31 z 64 ataków – 48% wskaźnik powodzenia. Naukowcy zauważają, że wskaźnik powodzenia zależy w dużej mierze od rodzaju atakowanego obiektu. Powierzchnie kropkowane lub zakrzywione (takie jak odpowiednio pluszowy miś i kubek) nie mogą zapewnić wystarczającej bezpośredniej odbicia, aby przeprowadzić atak. Z drugiej strony, celowo odbijające płaskie powierzchnie, takie jak znaki drogowe, są idealnym środowiskiem dla zniekształcenia OPAD.

Otwarte powierzchnie ataku

Wszystkie ataki zostały przeprowadzone przeciwko określonemu zestawowi baz danych: niemieckiej bazie danych rozpoznawania znaków drogowych (GTSRB, nazywanej GTSRB-CNN w nowym artykule), która została wykorzystana do szkolenia modelu dla podobnego scenariusza ataku w 2018 roku; ImageNet VGG16 zestaw danych; i ImageNet Resnet-50 zestaw.

Czy te ataki są “tylko teoretyczne”, ponieważ są skierowane do otwartych baz danych, a nie do zamkniętych systemów w pojazdach autonomicznych? Byłyby, gdyby główne gałęzie badań nie polegały na otwartych ekosystemach, w tym algorytmach i bazach danych, i zamiast tego pracowały w tajemnicy, aby wytworzyć zamknięte źródła danych i nieprzezroczyste algorytmy rozpoznawania.

Ale ogólnie rzecz biorąc, tak nie jest. Klasyczne zestawy danych stają się punktem odniesienia, wobec którego mierzone są wszystkie postępy (i uznanie), podczas gdy otwarte systemy rozpoznawania obrazów, takie jak seria YOLO, wyprzedzają, dzięki współpracy globalnej, każdy wewnętrznie opracowany, zamknięty system, który działa na podobnych zasadach.

Narażenie FOSS

Nawet w przypadku, gdy dane w ramach systemu widzenia komputerowego zostaną ostatecznie zastąpione całkowicie zamkniętymi danymi, wagi “opustoszałych” modeli są nadal często kalibrowane na wczesnych etapach rozwoju przez FOSS dane, które nigdy nie zostaną całkowicie porzucone – co oznacza, że wynikowe systemy mogą potencjalnie być atakowane przez metody FOSS.

Ponadto, poleganie na podejściu otwartoźródłowym do systemów CV tego rodzaju umożliwia firmom prywatnym skorzystanie z gałęzi innowacji z innych globalnych projektów badawczych, bezpłatnie, dodając finansową zachętę do utrzymania architektury dostępnej. Następnie mogą próbować zamknąć system tylko w punkcie komercjalizacji, w którym to momencie cały szereg inferowalnych metryk FOSS jest głęboko osadzony w nim.