Optický útok může změnit význam dopravních značek

Výzkumníci v USA vyvinuli útočný systém proti schopnosti systémů strojového učení správně interpretovat to, co vidí – včetně kriticky důležitých prvků, jako jsou dopravní značky – a to tak, že na reálné objekty svítí vzorované světlo. V jednom experimentu se tomuto přístupu podařilo transformovat význam značky „STOP“ u silnice na značku s omezením rychlosti „30 mph“.

Poruchy na značce, vytvořené tím, že na ni svítí uměle vytvořené světlo, zkreslují způsob, jakým je interpretován v systému strojového učení. Zdroj: https://arxiv.org/pdf/2108.06247.pdf

Jedno výzkum je oprávněn Optický nepřátelský útok, a pochází z Purdue University v Indianě.

Optický ADversarial útok (OPAD), jak je navržen v článku, používá strukturované osvětlení ke změně vzhledu cílových objektů a vyžaduje pouze projektor, kameru a počítač. Vědci byli pomocí této techniky schopni úspěšně podniknout útoky na bílou i černou skříňku.

Nastavení OPAD a minimálně vnímané (lidmi) zkreslení, která jsou adekvátní k tomu, aby způsobily nesprávnou klasifikaci.

Sestava pro OPAD se skládá z projektoru ViewSonic 3600 Lumens SVGA, fotoaparátu Canon T6i a přenosného počítače.

Černá skříňka a cílené útoky

Útoky metodou bílé skříňky jsou nepravděpodobné scénáře, kdy by útočník mohl mít přímý přístup k proceduře trénovacího modelu nebo ke správě vstupních dat. Útoky metodou černé skříňky jsou naopak obvykle formulovány na základě odvození toho, jak je strojové učení složeno, nebo alespoň jak se chová, vytvářením „stínových“ modelů a vývojem adversarialních útoků určených k práci s původním modelem.

Zde vidíme množství vizuálních poruch nezbytných k oklamání klasifikaceehm.

V druhém případě není potřeba žádný zvláštní přístup, i když takovým útokům značně napomáhá všudypřítomnost knihoven a databází počítačového vidění s otevřeným zdrojovým kódem v současném akademickém a komerčním výzkumu.

Všechny útoky OPAD popsané v novém článku jsou „cílené“ útoky, které se konkrétně snaží změnit způsob interpretace určitých objektů. Ačkoli se u systému prokázala schopnost provádět i zobecněné, abstraktní útoky, vědci tvrdí, že útočník v reálném světě by měl specifičtější rušivý cíl.

Útok OPAD je jednoduše reálnou verzí často zkoumaného principu vkládání šumu do obrazů, které budou použity v systémech počítačového vidění. Hodnota tohoto přístupu spočívá v tom, že lze jednoduše „promítnout“ poruchy na cílový objekt, aby se spustila chybná klasifikace, zatímco zajistit, aby se do trénovacího procesu dostaly obrazy „trojských koní“, je poněkud obtížnější.

V případě, kdy byl OPAD schopen vložit hašovaný význam obrázku „rychlost 30“ v datové sadě na značku „STOP“, byl základní obraz získán rovnoměrným osvětlením objektu s intenzitou 140/255. Poté bylo jako promítané světlo aplikováno osvětlení kompenzované projektorem. gradientní sestup útok.

Příklady útoků nesprávné klasifikace OPAD.

Výzkumníci poznamenávají, že hlavní výzvou projektu byla kalibrace a nastavení mechanismu projektoru tak, aby dosáhl čistého „klamu“, jelikož úhly, optika a několik dalších faktorů představují pro jeho využití výzvu.

Tento přístup bude navíc pravděpodobně fungovat pouze v noci. Důležitým faktorem je také to, zda by zjevné osvětlení odhalilo „hack“; pokud je objekt, jako je například cedule, již osvětlen, musí projektor toto osvětlení kompenzovat a množství odraženého rušení musí být také odolné vůči světlometům. Zdá se, že by se jednalo o systém, který by fungoval nejlépe v městském prostředí, kde je osvětlení prostředí pravděpodobně stabilnější.

Výzkum efektivně buduje iteraci Kolumbijské univerzity orientovanou na strojové učení. Výzkum 2004 do změny vzhledu objektů promítáním jiných obrázků na ně – experiment založený na optice, který postrádá škodlivý potenciál OPADu.

Při testování byl OPAD schopen oklamat klasifikátor pro 31 z 64 útoků – úspěšnost 48 %. Výzkumníci poznamenávají, že úspěšnost velmi závisí na typu napadeného objektu. Strakaté nebo zakřivené povrchy (jako je medvídek a hrnek) nemohou poskytnout dostatečnou přímou odrazivost k provedení útoku. Na druhou stranu záměrně reflexní ploché povrchy, jako jsou dopravní značky, jsou ideálním prostředím pro zkreslení OPADu.

Útočné povrchy s otevřeným zdrojem

Všechny útoky byly provedeny proti specifické sadě databází: Německá databáze pro rozpoznávání dopravních značek (GTSRB, nazvaný GTSRB-CNN v novém článku), který byl použit k trénování modelu pro a podobný scénář útoku v roce 2018; ImageNet VGG16 datový soubor; a ImageNet Resnet-50 nastavit.

Jsou tedy tyto útoky „pouze teoretické“, jelikož jsou zaměřeny na datové sady s otevřeným zdrojovým kódem, a nikoli na proprietární, uzavřené systémy v autonomních vozidlech? Byly by, kdyby se hlavní výzkumné obory nespoléhaly na ekostrukturu open source, včetně algoritmů a datových sad, a místo toho by tajně pracovaly na vytváření datových sad s uzavřeným zdrojovým kódem a neprůhledných rozpoznávacích algoritmů.

Ale obecně to tak nefunguje. Datové sady s orientačním bodem se stávají měřítkem, podle kterého se měří veškerý pokrok (a uznání/váženost), zatímco systémy pro rozpoznávání obrázků s otevřeným zdrojovým kódem, jako je řada YOLO, díky společné globální spolupráci předbíhají jakýkoli interně vyvinutý, uzavřený systém, který má fungovat na podobných principech.

Expozice FOSS

I v případech, kdy jsou data v rámci počítačového vidění nakonec nahrazena zcela uzavřenými daty, jsou váhy „vyprázdněných“ modelů stále často kalibrovány v raných fázích vývoje pomocí dat FOSS, která nebudou nikdy zcela zahozena – což znamená, že výsledné systémy mohou být potenciálně cílem metod FOSS.

Navíc spoléhání se na open source přístup k CV systémům této povahy umožňuje soukromým společnostem využívat bezplatně rozvětvené inovace z jiných globálních výzkumných projektů, což přidává finanční pobídku k tomu, aby byla architektura přístupná. Poté se mohou pokusit uzavřít systém pouze v okamžiku komercializace, kdy je v něm hluboce zakořeněna celá řada nevyvoditelných metrik FOSS.