Tým výzkumu z MIT navrhl síť AI, která odolává adversním příkladům

Tým výzkumníků z MIT vyvinul algoritmus hlubokého učení, který má pomoci AI vyrovnat se s „adversními“ příklady, které mohou způsobit, že AI udělá špatné předpovědi a provede špatné akce. Algoritmus navržený týmem z MIT může pomoci AI systémům udržet jejich přesnost a vyhnout se chybám, když jsou konfrontovány s matoucími daty.

AI systémy analyzují vstupní funkce události, aby rozhodly, jak na ni reagovat. AI odpovědný za řízení autonomního vozidla musí zpracovat data z kamer vozidla a rozhodnout, co dělat na základě údajů obsažených v těchto obrazech. Existuje však možnost, že obrazová data analyzovaná AI nejsou přesným obrazem skutečného světa. Chyba v systému kamery může změnit některé pixely, což vede k tomu, že AI vyvodí nesprávné závěry o vhodném průběhu akce.

„Adversní vstupy“ jsou jako optické iluze pro AI systém. Jsou to vstupy, které AI nějakým způsobem zmátly. Adversní vstupy lze vytvořit s cílem způsobit, že AI udělá chyby, tím, že údaje představí způsobem, který vede AI k přesvědčení, že obsah příkladu je něco jiného, než ve skutečnosti je. Například je možné vytvořit adversní příklad pro počítačový vidění tím, že se provedou malé změny v obrazech koček, což vede k tomu, že AI špatně klasifikuje tyto obrázky jako počítačové monitory. Tým výzkumu z MIT navrhl algoritmus, který pomáhá chránit proti adversním příkladům, tím, že umožňuje modelu udržet určitou „skepsi“ vůči vstupům, které obdrží.

Výzkumníci z MIT nazvali svůj přístup „Certified Adversarial Robustness for Deep Reinforcement Learning“, nebo CARRL. CARRL se skládá z učení posilování a tradiční hluboké neuronové sítě spojené dohromady. Učení posilování používá koncept „odměn“ pro trénování modelu, poskytující modelu proporcionálně více odměn, čím blíže se přiblíží k dosažení svého cíle. Model učení posilování se používá pro trénování Deep Q-Netowrku, nebo DQN. DQNs fungují podobně jako tradiční neuronové sítě, ale také spojují vstupní hodnoty s úrovní odměny, podobně jako systémy učení posilování.

CARRL funguje tak, že modeluje řadu různých možných hodnot pro vstupní data.

Předpokládejme, že AI se snaží sledovat polohu bodu v rámci většího obrazu, AI předpokládá, že poloha bodu může být výsledkem adversního vlivu a předpokládá oblasti, kde by bod mohl být. Síť poté činí rozhodnutí na základě nejhoršího scénáře pro polohu bodu, rozhodující se pro akci, která by produkovala nejvyšší odměnu v tomto nejhorším scénáři.

Typická metoda ochrany proti adversním příkladům spočívá v tom, že se mírně pozměněné verze vstupního obrazu provedou prostřednictvím AI sítě, aby se zjistilo, zda je vždy učiněno stejné rozhodnutí. Pokud změny v obraze nemají dramatický vliv na výsledek, je velká šance, že síť je odolná vůči adversním příkladům. Nicméně, tato strategie není životaschopná pro scénáře, kde je třeba učinit rychlá rozhodnutí, protože tyto jsou časově náročné a výpočetně nákladné metody testování. Z tohoto důvodu se tým z MIT rozhodl vytvořit neuronovou síť, která by mohla činit rozhodnutí na základě nejhorších předpokladů, schopnou fungovat v situacích, kde je bezpečnost kritická.

Výzkumníci z MIT otestovali své algoritmy tím, že nechali AI hrát hru Pong. Zahrnuli adversní příklady tím, že AI poskytli instance, kde byl míč zobrazen mírně níže na obrazovce, než ve skutečnosti byl. Jak vliv adversních příkladů rostl, standardní korekční techniky začaly selhávat, zatímco CARRL byl schopen vyhrát více her ve srovnání. CARRL byl také otestován na úkolu vyhnutí se kolizi. Úkol se udál v virtuálním prostředí, kde se dvě různé agentury pokusily vyměnit pozice bez nárazu. Výzkumný tým pozměnil vnímání první agentury o druhé agentuře a CARRL byl schopen úspěšně nasměrovat první agenturu kolem druhé agentury, i v podmínkách vysoké nejistoty, ačkoli došlo k bodu, kdy se CARRL stal příliš opatrným a skončil vyhýbáním se svému cíli úplně.

Navzdory tomu, Michael Everett, postdoktorand z oddělení aeronautiky a astronautiky MIT, který vedl studii, vysvětlil, že výzkum by mohl mít důsledky pro schopnost robotů zvládat nepředvídatelné situace. Jak Everett vysvětlil prostřednictvím MIT News:

„Lidé mohou být adversní, jako když se postaví před robota, aby zablokovali jeho senzory, nebo interagují s nimi, ne nutně s nejlepšími úmysly,“ říká Everett. „Jak může robot myslet na všechny věci, které lidé mohou udělat, a pokusit se jim vyhnout? Jaký druh adversních modelů chceme bránit? To je něco, o čem přemýšlíme, jak to udělat.“