Optický adversní útok může změnit význam dopravních značek

Vědci ve Spojených státech vyvinuli adversní útok proti schopnosti systémů strojového učení správně interpretovat to, co vidí – včetně kriticky důležitých položek, jako jsou dopravní značky – tím, že na reálné objekty svítí strukturované světlo. V jednom experimentu se podařilo změnit význam dopravní značky “STOP” na značku omezení rychlosti “30 mph”.

Perturbace na značce, vytvořené svícením na ni, zkreslují, jak je interpretována v systému strojového učení. Source: https://arxiv.org/pdf/2108.06247.pdf

Tento výzkum se nazývá Optický adversní útok a pochází z Purdue University v Indianě.

Optický adversní útok (OPAD), jak je navržen v článku, používá strukturované osvětlení ke změně vzhledu cílových objektů a vyžaduje pouze komerční projektor, kameru a počítač. Vědci byli schopni úspěšně provést jak bílý, tak černý boxový útok pomocí této techniky.

Nastavení OPAD a minimálně vnímané (lidmi) zkreslení, které je dostatečné k vyvolání chybné klasifikace.

Nastavení pro OPAD se skládá z projektoru ViewSonic 3600 Lumens SVGA, kamery Canon T6i a notebooku.

Černý box a cílené útoky

Bílý boxový útok je nepravděpodobný scénář, ve kterém útočník může mít přímý přístup k proceduře školení modelu nebo k řízení vstupních dat. Černý boxový útok, na druhé straně, je obvykle formulován tak, že se odhaduje, jak je strojové učení složeno, nebo alespoň jak se chová, vytváří se “stínové” modely a vyvíjí se adversní útoky navržené tak, aby fungovaly na původním modelu.

Zde vidíme množství vizuálních perturbací nezbytných k oklamání klasifikátoru.

V druhém případě není vyžadován žádný speciální přístup, i když takové útoky jsou značně usnadněny všudypřítomností open source knihoven a databází počítačového vidění v současné akademické a komerční výzkumu.

Všechny útoky OPAD popsány v novém článku jsou “cílené” útoky, které specificky snaží změnit, jak jsou některé objekty interpretovány. Ačkoli systém byl také prokázán jako schopný dosáhnout obecných, abstraktních útoků, vědci tvrdí, že reálný útočník by měl více specifický rušivý cíl.

Útok OPAD je jednoduše reálnou verzí často zkoumaného principu vkládání šumu do obrazů, které budou použity v systémech počítačového vidění. Hodnota tohoto přístupu spočívá v tom, že lze jednoduše “projektovat” perturbace na cílový objekt, aby se spustila chybná klasifikace, zatímco zajištění toho, aby “Trojské koně” obrázky skončily ve školicím procesu, je mnohem obtížnější.

V případě, kdy OPAD mohl vnutit význam “rychlost 30” obrazu v datové sadě na značku “STOP”, byla základní obraz získán osvětlením objektu rovnoměrně při intenzitě 140/255. Poté byla aplikována projektor-kompenzovaná osvětlení jako projektovaná gradientní sestupný útok.

Příklady útoků OPAD na chybnou klasifikaci.

Vědci pozorují, že hlavní výzvou projektu bylo kalibrovat a nastavit projektorový mechanismus tak, aby dosáhl “čistého” klamu, protože úhly, optika a několik dalších faktorů jsou výzvou pro využití.

Kromě toho tento přístup pravděpodobně funguje pouze v noci. Zda zjevné osvětlení odhalí “hack” je také faktorem; pokud je objekt, jako je značka, již osvětlen, projektor musí kompenzovat toto osvětlení, a množství odražených perturbací také musí být odolné vůči světlometům. Zdá se, že je to systém, který by fungoval nejlépe v městských prostředích, kde je osvětlení pravděpodobně stabilnější.

Výzkum efektivně buduje iteraci orientovanou na strojové učení z výzkumu Kolumbijské univerzity z roku 2004 o změně vzhledu objektů projekcí jiných obrazů na ně – experiment založený na optice, který postrádá maligní potenciál OPAD.

Při testování OPAD oklamal klasifikátor u 31 z 64 útoků – úspěch 48 %. Vědci poznamenávají, že míra úspěchu závisí značně na typu objektu, který je útokem zasažen. Skvrnité nebo zakřivené povrchy (jako například medvěd a hrnek) nemohou poskytnout dostatečnou přímou odrazivost pro provedení útoků. Na druhé straně úmyslně reflexní ploché povrchy, jako jsou dopravní značky, jsou ideálním prostředím pro zkreslení OPAD.

Otevřené útočné plochy

Všechny útoky byly provedeny proti specifické sadě databází: německé databázi rozpoznávání dopravních značek (GTSRB, nazývané GTSRB-CNN v novém článku), která byla použita pro školení modelu pro podobný útočný scénář v roce 2018; ImageNet VGG16 datová sada; a ImageNet Resnet-50 sada.

Jsou tyto útoky “pouze teoretické”, protože jsou zaměřeny na open source datové sady, a ne na proprietární, uzavřené systémy v autonomních vozidlech? Byly by, kdyby hlavní výzkumné oddělení nedůvěřovala open source ekosystému, včetně algoritmů a databází, a místo toho pracovala v tajnosti na vytváření uzavřených datových sad a neprůhledných algoritmů rozpoznávání.

Ale obecně to tak nefunguje. Značkové datové sady se stávají měřítkem, proti kterému se měří весь pokrok (a prestiž), zatímco open source systémy rozpoznávání obrazů, jako je série YOLO, se díky globální spolupráci rychle vyvíjí a předhánějí uzavřené systémy, které jsou určeny pro podobné principy.

Expozice FOSS

I když data v rámci počítačového vidění budou nakonec nahrazena zcela uzavřenou datovou sadou, váhy “vyprázdněných” modelů jsou stále často kalibrovány ve fázi vývoje pomocí FOSS dat, která nikdy nebudou zcela odstraněna – což znamená, že výsledné systémy lze potenciálně zaměřit pomocí FOSS metod.

Kromě toho použití open source přístupu k systémům počítačového vidění tohoto typu umožňuje soukromým společnostem využít inovace z jiných globálních výzkumných projektů zdarma, přidává finanční pobídku k zachování architektury přístupné. Poté mohou tyto společnosti pokusit se systém uzavřít pouze v okamžiku komercializace, kdy je již celá řada odvozených FOSS metrik hluboce zakotvena v něm.