Proč jsou adversářské útoky na obrázky žádná legrace

Útoky na systémy rozpoznávání obrázků pomocí pečlivě vytvořených adversářských obrázků byly v posledních pěti letech považovány za zábavnou, ale triviální demonstraci. Nová studie z Austrálie však naznačuje, že běžné používání velmi populárních datasetů pro komerční projekty AI by mohlo vytvořit nový bezpečnostní problém.

Skupina akademiků z University of Adelaide se již několik let snaží vysvětlit něco velmi důležitého o budoucnosti systémů rozpoznávání obrázků založených na AI.

Jedná se o problém, který by byl obtížné (a velmi drahé) vyřešit právě teď, a který by byl nemorálně nákladný na řešení, až budou současné trendy ve výzkumu rozpoznávání obrázků plně rozvinuty do komerčních a industrializovaných nasazení za 5-10 let.

Než se ponoříme do problému, podívejme se na květ, který je klasifikován jako prezident Barack Obama, z jednoho ze šesti videí, které tým zveřejnil na projektové stránce:

Source: https://www.youtube.com/watch?v=Klepca1Ny3c

V výše uvedeném obrázku je systém rozpoznávání tváří, který jasně ví, jak rozpoznat Baracka Obamu, oklámán 80% jistotou, že anonymní muž držící vyrobený, vytisknutý adversářský obrázek květu je také Barack Obama. Systém se ani nezajímá o to, že “falečná tvář” je na hrudi subjektu, místo na ramenou.

Je pozoruhodné, že výzkumníci byli schopni dosáhnout tohoto druhu identifikačního zachycení generováním koherentního obrázku (květu) místo obvyklého náhodného šumu, ale zdá se, že takovéhle útoky se objevují poměrně často ve bezpečnostním výzkumu počítačového vidění. Například ty podivně vyřezávané brýle, které byly schopny oklamat rozpoznávání tváří v roce 2016, nebo speciálně vytvořené adversářské obrázky, které pokusily se přepsat dopravní značky.

Pokud máte zájem, model Convolutional Neural Network (CNN), který je v výše uvedeném příkladu napaden, je VGGFace (VGG-16), který byl vyškoleno na datasetu PubFig z Kolumbijské univerzity. Další ukázkové útoky, které výzkumníci vyvinuli, používaly různé zdroje v různých kombinacích.

Klávesnice je opět klasifikována jako lastura, v modelu WideResNet50 na ImageNet. Výzkumníci také zajistili, že model nemá žádnou předpojatost vůči lasturám. Viz celý video pro rozšířené a další demonstrace na https://www.youtube.com/watch?v=dhTTjjrxIcU

Rozpoznávání obrázků jako vznikající vektor útoků

Mnohé působivé útoky, které výzkumníci popisují a ilustrují, nejsou kritikou jednotlivých datasetů nebo konkrétních architektur strojového učení, které je používají. Ani je nelze snadno bránit proti tím, že se přepnou na jiné datasety nebo modely, nebo tím, že se modely přeškolí, nebo jinými “jednoduchými” prostředky, které způsobují, že praktici strojového učení se vysmívají sporadickým demonstracím tohoto druhu triků.

Rather, útoky týmu z Adelaide demonstrují centrální slabost v celé současné architektuře vývoje AI pro rozpoznávání obrázků; slabost, která by mohla vystavit mnoho budoucích systémů rozpoznávání obrázků facilnímu manipulování útočníky a následným obranným opatřením.

Představte si nejnovější adversářské útoky na obrázky (jako květ výše) přidány jako “zero-day exploit” do bezpečnostních systémů budoucnosti, stejně jako současné anti-malware a antivirus frameworky aktualizují své definice virů každý den.

Potenciál pro nové adversářské útoky na obrázky by byl nevyčerpatelný, protože základní architektura systému nečekala na downstream problémy, jako se stalo s internetem, Millennium Bug a šikmou věží v Pise.

Jakým způsobem tedy nastavujeme scénu pro tento problém?

Získání dat pro útok

Adversářské obrázky, jako je výše uvedený “květ”, jsou generovány pomocí přístupu k datasetům, které byly použity k výcviku počítačových modelů. Není třeba “privilegovaný” přístup k trénovacím datům (nebo architekturám modelů), protože nejpopulárnější datasety (a mnoho trénovaných modelů) jsou široce dostupné v robustní a neustále aktualizované síti.

Například dataset ImageNet, který je považován za největšího giganta v počítačovém vidění, je dostupný ke stažení ve všech svých mnoha iteracích, čímž se obcházejí jeho obvyklá omezení, a jsou k dispozici důležité sekundární prvky, jako jsou validační sady.

Source: https://academictorrents.com

Pokud máte data, můžete (jak pozorují výzkumníci z Adelaide) efektivní “reverse-engineer” jakýkoli populární dataset, jako je CityScapes, nebo CIFAR.

V případě datasetu PubFig, který umožnil “Obama Flower” v předchozím příkladu, Kolumbijská univerzita řešila rostoucí trend v autorských problémech kolem redistribuce datasetů obrázků tím, že instruovala výzkumníky, jak reprodukovat dataset pomocí kuriózních odkazů, místo aby přímo zpřístupnila kompilaci, a to s poznámkou ‘Tohle se zdá být způsobem, jakým se ostatní velké webové databáze zdají být vyvíjeny’.

Většinou tomu tak není nutné: Kaggle odhaduje, že deset nejpopulárnějších datasetů obrázků v počítačovém vidění jsou: CIFAR-10 a CIFAR-100 (oba přímo ke stažení); CALTECH-101 a 256 (oba dostupné, a aktuálně dostupné jako torrenty); MNIST (oficiálně dostupný, také na torrentech); ImageNet (viz výše); Pascal VOC (dostupný, také na torrentech); MS COCO (dostupný, a na torrentech); Sports-1M (dostupný); a YouTube-8M (dostupný).

Tato dostupnost je také reprezentativní pro širší řadu dostupných datasetů obrázků v počítačovém vidění, protože neznámost je smrt v kultuře otevřeného vývoje “publikuj nebo zemři”.

V každém případě, nedostatek spravovatelných nových datasetů, vysoká cena vývoje datasetů obrázků, závislost na “starých oblíbencích” a tendence pouze přizpůsobit starší datasety všechny zhoršují problém popsáný v nové studii z Adelaide.

Typické kritiky metod adversářských útoků na obrázky

Nejběžnější kritika strojních inženýrů proti účinnosti nejnovější techniky adversářského útoků na obrázky je, že útok je specifický pro konkrétní dataset, konkrétní model, nebo obojí; že není “generalizovatelný” na jiné systémy; a že tedy představuje pouze triviální hrozbu.

Druhá nejčastější stížnost je, že adversářský útok na obrázky je ‘bílá skříňka’, což znamená, že byste potřebovali přímý přístup k trénovacímu prostředí nebo datům. To je skutečně nepravděpodobný scénář, ve většině případů – například, pokud byste chtěli využít trénovací proces pro systémy rozpoznávání tváří londýnské metropolitní policie, museli byste se nabourat do NEC, buď s konzolí nebo sekerou.

Dlouhodobá “DNA” populárních datasetů počítačového vidění

Pokud jde o první kritiku, měli bychom uvážit nejen to, že hrstka datasetů počítačového vidění dominuje průmyslu rok co rok (tj. ImageNet pro různé typy objektů, CityScapes pro scény řízení, a FFHQ pro rozpoznávání tváří); ale také to, že jako jednoduchá anotovaná data jsou “platform agnostické” a vysoce přenositelné.

Podle svých schopností najde každý trénovací architektur počítačového vidění nějaké rysy objektů a tříd v datasetu ImageNet. Některé architektury mohou najít více rysů než ostatní, nebo udělat více užitečných spojení než ostatní, ale všechny by měly najít alespoň nejvyšší úroveň rysů:

Data ImageNet s minimálním počtem správných identifikací – ‘vyšší úroveň’ rysů.

Ty “vyšší úrovně” rysů rozlišují a “otiskují” dataset, a jsou spolehlivými “háčky” pro dlouhodobou metodiku adversářských útoků na obrázky, která může překročit různé systémy a růst spolu s “starým” datasetem, jak je tento dataset dále rozšiřován v nových výzkumech a produktech.

Více sofistikovaná architektura produkuje více přesné a jemné identifikace, rysy a třídy:

Avšak, čím více se generátor adversářského útoků spoléhá na tyto nižší rysy (tj. “Mladý běloch” místo “Tvář”), tím méně účinný bude v přechodu nebo pozdějších architekturách, které používají různé verze původního datasetu – jako je podmnožina nebo filtrovaná sada, kde mnoho původních obrázků z plného datasetu není přítomno:

Adversářské útoky na “zeroed”, předtrénované modely

Co se týče případů, kdy si prostě stáhnete předtrénovaný model, který byl původně trénován na velmi populárním datasetu, a dáte mu zcela nová data?

Model již byl trénován na (například) ImageNet, a vše, co zbývá, jsou váhy, které mohou trvat týdny nebo měsíce, a jsou nyní připraveny pomoci identifikovat podobné objekty jako ty, které existovaly v původních (nyní chybějících) datech.

S původními daty odstraněnými z trénovací architektury, co zbývá, je ‘predispozice’ modelu klasifikovat objekty způsobem, jakým se původně naučil dělat, což bude způsobovat, že mnoho původních ‘signatur’ se opět vytvoří a stane se zranitelnými vůči stejným starým metodám adversářských útoků na obrázky.

Ty váhy jsou cenné. Bez dat nebo váhy máte vlastně prázdnou architekturu bez dat. Budete muset ji trénovat od začátku, při velkých nákladech času a výpočetních zdrojů, stejně jako původní autoři (pravděpodobně na výkonnějším hardwaru a s vyšším rozpočtem, než máte k dispozici).

Problém je, že váhy jsou již poměrně dobře vytvořené a odolné. Ačkoli se budou přizpůsobovat při tréninku, budou se chovat podobně na vašich nových datech, jako na původních datech, a budou produkovat signatury, na které může útočník opětovně zaútočit.

V dlouhodobém horizontu to také zachovává “DNA” datasetů počítačového vidění, které jsou dvanáct nebo více let staré, a které mohou projít významnou evolucí od otevřených zdrojů až po komerční nasazení – i když původní trénovací data byla zcela odstraněna na začátku projektu. Některé z těchto komerčních nasazení se nemusí objevit až za několik let.

Žádná bílá skříňka není potřeba

Pokud jde o druhou nejčastější kritiku adversářských útoků na obrázky, autoři nové studie zjistili, že jejich schopnost oklamat systémy rozpoznávání s vyrobenými obrázky květů je vysoce přenositelná napříč několika architekturami.

Zatímco pozorují, že jejich metoda “Universal NaTuralistic adversarial paTches” (TnT) je první, která používá rozpoznatelné obrázky (místo náhodného šumu) k oklamání systémů rozpoznávání obrázků, autoři také uvádějí:

‘[TnTs] jsou účinné proti několika státním klasifikátorům, od široce používaného WideResNet50 v úkolu Large-Scale Visual Recognition datasetu ImageNet až po modely VGG-face v úkolu rozpoznávání tváří datasetu PubFig v cílených i necílených útocích.

‘TnTs mohou mít: i) naturalismus, kterého lze dosáhnout [s] spouštěcími metodami útoků Trojan; a ii) generalizaci a přenositelnost adversářských příkladů na jiné sítě.

‘To vyvolává obavy o bezpečnost a bezpečnost již nasazených DNN i budoucích nasazení DNN, kde útočníci mohou použít nenápadné, přírodní objekty k oklamání neuronových systémů bez poškození modelu a rizika odhalení.’

Autoři navrhují, že konvenční protiopatření, jako je zhoršení Clean Acc. sítě, by teoreticky mohla poskytnout určitou obranu proti TnT patche, ale že ‘TnTs stále mohou úspěšně obejít tuto SOTA prokazatelnou obranu metodami s většinou obranných systémů, které dosahují 0% odolnosti’.

Možnými dalšími řešeními jsou federované učení, kde je prokazatelnost přispívajících obrázků chráněna, a nové přístupy, které by mohly přímo “zašifrovat” data během tréninku, jako jeden nedávno navrhl Nanjing University of Aeronautics and Astronautics.

I v těchto případech by bylo důležité trénovat na skutečně nová data obrázků – nyní jsou obrázky a přidružené anotace v malé skupině nejpopulárnějších datasetů počítačového vidění tak zakořeněny ve vývojových cyklech po celém světě, že připomínají spíše software než data; software, který často nebyl významně aktualizován za roky.

Závěr

Adversářské útoky na obrázky jsou umožněny nejen otevřenými praktikami strojového učení, ale také firemní kulturou AI, která je motivována k opětovnému použití zavedených datasetů počítačového vidění z několika důvodů: již prokázaly svou účinnost; jsou mnohem levnější než “začít od začátku”; a jsou udržovány a aktualizovány předními mysliteli a organizacemi v akademické a průmyslové sféře, na úrovni financování a personálu, které by bylo obtížné pro jednu společnost replikovat.

Kromě toho, v mnoha případech, kde data nejsou původní (na rozdíl od CityScapes), byly obrázky shromážděny před nedávnými kontroverzemi kolem otázek ochrany osobních údajů a sběru dat, což tyto starší datasety umístilo do jistého poloprávního limbu, který by se mohl jevit jako “bezpečný přístav” z pohledu společnosti.

TnT Attacks! Universal Naturalistic Adversarial Patches Against Deep Neural Network Systems je společným dílem Bao Gia Doana, Minhuie Xue, Ehsana Abbasnejada, Damitha C. Ranasingheho z University of Adelaide, a Shiqing Ma ze Střediska pro počítačové vědy na Rutgers University.

Aktualizováno 1st prosinec 2021, 7:06am GMT+2 – corrected typo.