Optický adversní útok může změnit význam dopravních značek

Výzkumníci ve Spojených státech vyvinuli adversní útok proti schopnosti systémů strojového učení správně interpretovat to, co vidí – včetně kriticky důležitých položek, jako jsou dopravní značky – tím, že na skutečné objekty svítí se strukturovaným světlem. V jednom experimentu se podařilo změnit význam dopravní značky “STOP” na značku omezení rychlosti “30 mph”.

Perturbace na značce, vytvořené pomocí projektovaného světla, zkreslují, jak je značka interpretována v systému strojového učení. Zdroj: https://arxiv.org/pdf/2108.06247.pdf

Výzkum je nazvaný Optický adversní útok a pochází z Purdue University v Indianě.

Optický adversní útok (OPAD), jak je navržen v článku, používá strukturované osvětlení ke změně vzhledu cílových objektů a vyžaduje pouze komerční projektor, kameru a počítač. Výzkumníci se podařilo úspěšně provést jak bílé, tak černé útoky pomocí této techniky.

Nastavení OPAD a minimálně vnímané (lidmi) zkreslení, které je dostatečné k vyvolání chybné klasifikace.

Nastavení pro OPAD se skládá z projektoru ViewSonic 3600 Lumens SVGA, kamery Canon T6i a notebooku.

Černá skříňka a cílené útoky

Bílé útoky jsou nepravděpodobné scénáře, ve kterých útočník může mít přímý přístup k proceduře školení modelu nebo k správě vstupních dat. Černé útoky, na druhé straně, jsou obvykle formulovány tak, že se odhaduje, jak je systém strojového učení složen, nebo alespoň jak se chová, vytváří se “stíny” modelů a vyvíjí se adversní útoky, které jsou navrženy tak, aby fungovaly na původním modelu.

Zde vidíme množství vizuálních perturbací nezbytných k oklamání klasifikátoru.

V druhém případě není potřeba žádný speciální přístup, i když takové útoky jsou značně usnadněny všudypřítomností open-source knihoven a databází počítačového vidění v současné akademické a komerční výzkumu.

Všechny útoky OPAD popsány v novém článku jsou “cílené” útoky, které se specificky snaží změnit, jak jsou某些 objekty interpretovány. Ačkoli systém byl také prokázán jako schopný dosáhnout obecných, abstraktních útoků, výzkumníci tvrdí, že skutečný útočník by měl více specifický rušivý cíl.

Útok OPAD je jednoduše reálnou verzí často zkoumaného principu vkládání šumu do obrazů, které budou použity v systémech počítačového vidění. Hodnota tohoto přístupu spočívá v tom, že lze jednoduše “projektovat” perturbace na cílový objekt, aby se vyvolala chybná klasifikace, zatímco zajištění toho, aby “Trojský kůň” obrázky skončily ve školicím procesu, je mnohem obtížnější.

V případě, kdy OPAD dokázal vnutit význam “rychlost 30” obrazu v datové sadě na značku “STOP”, byla základní obraz získán osvětlením objektu rovnoměrně při intenzitě 140/255. Poté byla aplikována projektorem kompenzovaná osvětlení jako projektovaný gradientní sestupný útok.

Příklady útoků OPAD na chybnou klasifikaci.

Výzkumníci poznamenávají, že hlavním problémem projektu bylo kalibrovat a nastavit projektorový mechanismus tak, aby dosáhl “čistého” klamu, protože úhly, optika a několik dalších faktorů jsou výzvou pro tento exploit.

Dále je přístup pouze pravděpodobně funkční v noci. Otázka, zda zjevné osvětlení odhalí “hack”, je také faktorem; pokud je objekt, jako je značka, již osvětlen, projektor musí kompenzovat toto osvětlení, a množství odražených perturbací také musí být odolné vůči světlometům. Zdá se, že by to byl systém, který by fungoval nejlépe v městských prostředích, kde je osvětlení pravděpodobně stabilnější.

Výzkum efektivní staví ML-orientovanou iteraci výzkumu Kolumbijské univerzity z roku 2004 o změně vzhledu objektů projekcí jiných obrazů na ně – optický experiment, který postrádá maligní potenciál OPAD.

Při testování OPAD dokázal oklamat klasifikátor u 31 z 64 útoků – úspěch 48%. Výzkumníci poznamenávají, že úspěch závisí značně na typu objektu, který je napaden. Skvrnité nebo zakřivené povrchy (jako například medvídek a hrnek) nemohou poskytnout dostatečnou přímou odrazivost k provedení útoků. Na druhé straně úmyslně reflexní ploché povrchy, jako jsou dopravní značky, jsou ideálním prostředím pro zkreslení OPAD.

Otevřené útočné plochy

Všechny útoky byly provedeny proti specifické sadě databází: německé databázi rozpoznávání dopravních značek (GTSRB, nazvané GTSRB-CNN v novém článku), která byla použita k výcviku modelu pro podobný útočný scénář v roce 2018; ImageNet VGG16 dataset; a ImageNet Resnet-50 set.

Jsou tyto útoky “pouze teoretické”, protože jsou zaměřeny na open-source databáze, a ne na proprietární, uzavřené systémy v autonomních vozidlech? Byly by, kdyby hlavní výzkumné organizace nezávisely na open-source ekosystému, včetně algoritmů a databází, a místo toho pracovaly v tajnosti na vývoji uzavřených databází a neprůhledných algoritmů rozpoznávání.

Ale obecně to tak nefunguje. Značkové datové sady se stávají měřítky, proti kterým se měří veškerý pokrok (a uznání), zatímco open-source systémy rozpoznávání obrazů, jako je série YOLO, se díky globální spolupráci dostávají před uzavřené systémy, které jsou vyvinuty pro podobné principy.

Expozice FOSS

I když data v rámci počítačového vidění budou nakonec nahrazena zcela uzavřeným datem, váhy “vyprázdněných” modelů jsou stále často kalibrovány v raných fázích vývoje pomocí FOSS dat, která nikdy nebudou zcela odstraněna – což znamená, že výsledné systémy mohou být potenciálně cíleny FOSS metodami.

Dále, spoléhání se na open-source přístup k systémům počítačového vidění tohoto typu umožňuje soukromým společnostem využít se zdarma inovací z jiných globálních výzkumných projektů, přidávajících finanční pobídky k udržení architektury přístupné. Poté mohou tyto společnosti pokusit se uzavřít systém pouze v okamžiku komercializace, ve kterém okamžiku je již celá řada odvoditelných FOSS metrik hluboce zakotvena v něm.