Výskumný tím MIT navrhuje sieť AI, aby odolala príkladom nepriateľov

Tím výskumníkov z MIT hvyvinula algoritmus hlbokého učenia určené na pomoc AI vyrovnať sa s „nepriateľskými“ príkladmi, ktoré môžu spôsobiť, že AI urobí nesprávne predpovede a vykoná nesprávne akcie. Algoritmus navrhnutý tímom MIT môže pomôcť systémom AI udržať si presnosť a vyhnúť sa chybám, keď čelia mätúcim dátovým bodom.

Systémy AI analyzujú vstupné vlastnosti udalosti, aby sa rozhodli, ako na túto udalosť reagovať. Umelá inteligencia zodpovedná za manévrovanie s autonómnym vozidlom musí prevziať údaje z kamier vozidla a rozhodnúť sa, čo urobí na základe údajov obsiahnutých v týchto obrázkoch. Existuje však šanca, že obrazové údaje analyzované AI nie sú presnou reprezentáciou skutočného sveta. Chyba v kamerovom systéme by mohla zmeniť niektoré pixely, čo by viedlo k tomu, že AI vyvodila nesprávne závery o vhodnom postupe.

„Nepriateľské vstupy“ sú ako optické ilúzie pre systém AI. Sú to vstupy, ktoré v určitej forme zamieňajú AI. Nepriaznivé vstupy môžu byť vytvorené s výslovným cieľom spôsobiť, že AI robí chyby, a to reprezentovaním údajov spôsobom, vďaka ktorému AI verí, že obsah príkladu je jedna vec namiesto druhej. Napríklad je možné vytvoriť odporný príklad pre systém počítačového videnia vykonaním malých zmien na obrázkoch mačiek, čo spôsobí, že AI nesprávne klasifikuje obrázky ako počítačové monitory. Výskumný tím MIT navrhol algoritmus, ktorý má pomôcť chrániť sa pred nepriaznivými príkladmi tým, že nechá model zachovať určitý stupeň „skepsy“ o vstupoch, ktoré dostáva.

Výskumníci z MIT nazvali svoj prístup „Certified Adversarial Robustness for Deep Reinforcement Learning“, resp. CARRL. CARRL sa skladá z posilňovacej vzdelávacej siete a tradičnej hlbokej neurónovej siete, ktoré sú navzájom spojené. Posilňovacie učenie využíva koncept „odmien“ na trénovanie modelu, čím dáva modelu proporcionálne väčšiu odmenu, čím viac sa blíži k dosiahnutiu svojho cieľa. Model učenia posilňovania sa používa na trénovanie Deep Q-Netowrkk alebo DQN. DQN fungujú ako tradičné neurónové siete, ale tiež spájajú vstupné hodnoty s úrovňou odmeny, podobne ako posilňovacie vzdelávacie systémy.

CARRL funguje na základe modelovania rozsahu rôznych možných hodnôt pre vstupné dáta.

Za predpokladu, že AI sa snaží sledovať polohu bodky na väčšom obrázku, AI sa domnieva, že pozícia bodky by mohla byť výsledkom nepriaznivého vplyvu a zvažuje oblasti, kde by bodka mohla byť. Sieť potom robí rozhodnutia na základe najhoršieho scenára pre pozíciu bodky a rozhoduje sa o akcii, ktorá by v tomto najhoršom scenári priniesla najvyššiu odmenu.

Typická metóda ochrany pred nepriaznivými príkladmi zahŕňa spustenie mierne zmenených verzií vstupného obrazu cez sieť AI, aby sa zistilo, či sa vždy urobí rovnaké rozhodnutie. Ak zmeny v obraze dramaticky neovplyvnia výsledok, je veľká šanca, že sieť bude odolná voči nepriaznivým príkladom. Toto však nie je životaschopná stratégia pre scenáre, kde je potrebné robiť rýchle rozhodnutia, pretože ide o časovo náročné a výpočtovo nákladné metódy testovania. Z tohto dôvodu sa tím MIT rozhodol vytvoriť neurónovú sieť, ktorá by mohla robiť rozhodnutia založené na predpokladoch najhoršieho prípadu, ktorá je schopná fungovať v scenároch, kde je bezpečnosť kritická.

Výskumníci z MIT testovali svoje algoritmy tým, že nechali AI hrať hru Pong. Zahrnuli protichodné príklady napájaním inštancií AI, keď bola loptička zobrazená o niečo nižšie na obrazovke, ako v skutočnosti bola. Ako rástol vplyv protichodných príkladov, štandardné opravné techniky začali zlyhávať, zatiaľ čo CARRL bol schopný vyhrať viac hier v porovnaní. CARRL bol testovaný aj pri úlohe vyhýbania sa kolízii. Úloha sa rozvinula vo virtuálnom prostredí, kde sa dvaja rôzni agenti pokúšali vymeniť si pozície bez toho, aby do seba narazili. Výskumný tím zmenil vnímanie druhého agenta prvým agentom a CARRL bol schopný úspešne nasmerovať prvého agenta okolo druhého agenta, dokonca aj v podmienkach vysokej neistoty, aj keď nastal bod, kedy bol CARRL príliš opatrný a nakoniec sa vyhýbal jeho cieľ celkom.

Bez ohľadu na to, postdoktor oddelenia letectva a astronautiky MIT Michael Everett, ktorý viedol štúdiu, vysvetlil, že výskum by mohol mať dôsledky na schopnosť robotov zvládať nepredvídateľné situácie. Ako Everett vysvetlil cez správy MIT:

"Ľudia môžu byť nepriateľskí, napríklad dostať sa pred robota, aby zablokovali jeho senzory, alebo s nimi interagovať, nie nevyhnutne s najlepšími úmyslami," hovorí Everett. „Ako môže robot myslieť na všetky veci, ktoré by sa ľudia mohli pokúsiť urobiť, a pokúsiť sa im vyhnúť? Akým druhom nepriateľských modelov sa chceme brániť? To je niečo, o čom uvažujeme, ako to urobiť.“