Přehnaná interpretace může být větším a složitějším ohrožením než přeučení

Pokud vaše dobrá kamarádka Alice ráda nosí žluté svetry, budete vidět mnohem více žlutých svetrů než průměrný člověk. Po nějaké době je možné, že když uvidíte odlišnou ženu v žlutém svetru, základní koncept Alice vám bude připomínat.

Pokud uvidíte ženu v žlutém svetru, která podobá Alici trochu, můžete ji dokonce na chvíli splést s vaší kamarádkou.

Ale to není Alice. Nakonec si uvědomíte, že žlutý svetr není užitečným klíčem pro identifikaci Alice, protože ona nikdy nenosí žluté svetry v létě a ani v zimě je nenosí vždy. Někdy během přátelství začnete snižovat žlutý svetr jako možný identifikátor Alice, protože vaše zkušenost s ním byla neuspokojivá a kognitivní energie použitá na udržování tohoto zkratku není často odměněna.

Pokud jste počítačový systém rozpoznávání obrazů, je však možné, že vidíte Alici všude, kde vidíte žlutý svetr.

Není to vaše vina; jste byli pověřeni identifikovat Alici za všech okolností, z minimální dostupné informace, a není nedostatek kognitivních zdrojů pro udržování tohoto reduktivního Alice cribu.

Neobvyklé rozpoznání

Podle nedávné studie z MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) a Amazon Web Services je tento syndrom, nazvaný přehnaná interpretace, rozšířený v oblasti počítačového vidění (CV); nemůže být zmírněn řešením přeučení (protože není přímým důsledkem přeučení); je běžně pozorován ve výzkumu, který používá dvě nejvlivnější datové sady pro rozpoznání a transformaci obrazů, CIFAR-10 a ImageNet; a nemá žádné snadné řešení – určitě žádné levné řešení.

Výzkumníci zjistili, že když redukují vstupní trénovací obrázky na pouhých 5% jejich koherentního obsahu, široká škála populárních rámců pokračuje v korektní klasifikaci obrázků, které se v meisten případech jeví jako vizuální “šum” pro jakéhokoli lidského pozorovatele:

Originální trénovací obrázky z CIFAR-10, redukované na pouhých 5% původního pixelového obsahu, ale korektně klasifikované širokou škálou populárních rámců počítačového vidění s přesností mezi 90-99%. Source: https://arxiv.org/pdf/2003.08907.pdf

V některých případech klasifikační rámce dokonce najdou tyto redukované obrázky snadnější korektně klasifikovat než plné snímky v původních trénovacích datech, s autory pozorujícími ‘[CNNs] jsou více sebevědomé na těchto pixelových podmnožinách než na plných obrazech’.

To naznačuje potenciálně podkopávající typ “podvodu”, který se vyskytuje jako běžná praxe pro systémy CV, které používají referenční datové sady, jako jsou CIFAR-10 a ImageNet, a referenční rámce, jako je VGG16, ResNet20 a ResNet18.

Přehnaná interpretace má významné důsledky pro systémy autonomních vozidel založených na počítačovém vidění, které se nedávno staly středem pozornosti s rozhodnutím Tesly upřednostnit interpretaci obrazů před LiDAR a jinými ray-založenými systémy pro algoritmy samořídících se vozidel.

Ačkoli “zkratkové učení” je známou výzvou, a oblast aktivního výzkumu v počítačovém vidění, autoři studie komentují, že německo-kanadský výzkum, který významně definoval problém v roce 2019, neuznává, že “nepříslušné” pixelové podmnožiny, které charakterizují přehnanou interpretaci, jsou “statisticky platná data”, která mohou vyžadovat řešení z hlediska architektury a vyšších přístupů, spíše než pečlivější kuraci datových sad.

Studie s názvem přehnaná interpretace odhaluje patologie modelů klasifikace obrazů pochází od Brandona Cartera, Siddharthy Jaina a Davida Gifforda z CSAIL, ve spolupráci s Jonasem Muellerem z Amazon Web Services. Kód pro studii je k dispozici na https://github.com/gifford-lab/overinterpretation.

Řešení dat

Data-stripped obrázky, které výzkumníci použili, jsou označovány jako Dostačující vstupní podmnožiny (SIS) – ve skutečnosti obsahuje SIS obrázek minimální “vnější kostru”, která může dostatečně definovat obrázek, aby počítačový systém mohl identifikovat původní předmět obrázku (tj. pes, loď atd.).

V horním řádku vidíme kompletní validační obrázky ImageNet; dole, SIS podmnožiny, korektně klasifikované modelem Inception V3 s 90% jistotou, založené na pozadí. Přirozeně má poslední sloupec významné důsledky pro rozpoznávání značek v algoritmech samořídících se vozidel.

Komentář k výsledkům získaným v obrázku, výzkumníci pozorují:

‘Zjistili jsme, že SIS pixely jsou koncentrovány mimo skutečný předmět, který určuje třída. Například v obrázku “pizza”, SIS je koncentrován na tvar talíře a pozadí stolu, spíše než na pizzu samotnou, což naznačuje, že model může generalizovat špatně na obrázky s odlišnými kruhovými předměty na stole. V obrázku “obří panda”, SIS obsahuje bambus, který se pravděpodobně objevil v kolekci ImageNet fotografií pro tuto třídu.

‘V obrázcích “semaphore” a “ulice”, SIS se skládá z pixelů v obloze, což naznačuje, že systémy autonomních vozidel, které mohou spoléhat na tyto modely, by měly být pečlivě vyhodnoceny pro přehnanou interpretaci.’

SIS obrázky nejsou ořezány náhodně, ale byly vytvořeny pro projekt pomocí procesu Batched Gradient Backselect, na Inception V3 a ResNet50 přes PyTorch. Obrázky jsou odvozeny z ablační rutiny, která bere v úvahu vztah mezi schopností modelu přesně klasifikovat obrázek a oblastmi, ve kterých je původní data iterativně odstraněno.

Pro potvrzení platnosti SIS, autoři otestovali proces náhodného odstranění pixelů a zjistili, že výsledky jsou “signifikantně méně informativní” ve testech, což naznačuje, že SIS obrázky skutečně reprezentují minimální data, která populární modely a datové sady potřebují k přijatelným předpovědím.

Pohled na libovolný z redukovaných obrázků naznačuje, že tyto modely by měly selhat v souladu s lidskou úrovní vizuální diskrece, což by vedlo k mediánu přesnosti nižší než 20%.

S SIS obrázky redukovanými na pouhých 5% původních pixelů, lidé dosahují sotva “větší než náhodnou” klasifikační úspěšnost, ve srovnání s 90-99% úspěšností populárních datových sad a rámců studovaných v článku.

Mimo přeučení

Přeučování se vyskytuje, když se model strojového učení trénuje natolik na datové sadě, že se stává zdatným v předpovídání konkrétních dat, ale je mnohem méně účinný (nebo dokonce zcela neúčinný) na nových datech, která jsou mu představena po tréninku (mimo distribuci data).

Výzkumníci poznamenávají, že současný akademický a průmyslový zájem na potírání přeučení nebude zároveň řešit přehnanou interpretaci, protože redukované pixelové podmnožiny, které reprezentují identifikovatelné obrázky pro počítače a nonsensické dauby pro lidi, jsou ve skutečnosti skutečně aplikovatelná data, spíše než “obsedantní” koncentrace na špatně kurátorovaná nebo anemická data:

‘Přehnaná interpretace je související s přeučením, ale přeučení lze diagnostikovat pomocí snížené testovací přesnosti. Přehnaná interpretace může pocházet z skutečných statistických signálů v základních datech, které vznikají z konkrétních vlastností datového zdroje (například dermatologických pravítek).

‘Přehnaná interpretace může být obtížnější diagnostikovat, protože připouští rozhodnutí, která jsou učiněna na základě statisticky platných kritérií, a modely, které používají tato kritéria, mohou vyniknout v benchmarcích.’

Možná řešení

Autoři navrhují, že seskupení modelů, kde multiple architektury přispívají k hodnocení a tréninkovému procesu, by mohlo částečně zmírnit přehnanou interpretaci. Také zjistili, že aplikování input dropoutu, původně navrženého pro potírání přeučení, vedlo k “malému poklesu” v CIFAR-10 testovací přesnosti (což je pravděpodobně žádoucí), ale k “signifikantnímu” (∼ 6%) zvýšení přesnosti modelů na neviditelných datech. Nicméně, nízké čísla naznačují, že jakékoli následné léky na přeučení jsou nepravděpodobné, že zcela vyřeší přehnanou interpretaci.

Autoři připouštějí možnost použití saliency map pro označení oblastí obrázku, které jsou důležité pro extrakci funkcí, ale poznamenávají, že to poráží cíl automatického zpracování obrázků a vyžaduje lidské anotace, které jsou nepraktické v měřítku. Dále pozorují, že saliency mapy byly nalezeny jako pouze hrubé odhady z hlediska vhledu do operací modelu.

Studie uzavírá:

‘Vzhledem k existenci nesignifikantních pixelových podmnožin, které samy o sobě stačí pro korektní klasifikaci, model může spoléhat pouze na tyto vzory. V tomto případě by metoda interpretability, která věrně popisuje model, měla vyprodukovat tyto nonsensické racionální důvody, zatímco metody interpretability, které zkreslují racionální důvody směrem k lidským prioritám, mohou produkovat výsledky, které svádějí uživatele, aby si mysleli, že jejich modely se chovají, jak je zamýšleno.’

Poprvé publikováno 13. ledna 2022.