Společné předpoklady o selháních strojového učení mohou být špatné

Hluboké neuronové sítě jsou jedním z nejzákladnějších aspektů umělé inteligence (AI), protože se používají ke zpracování obrazů a dat prostřednictvím matematického modelování. Jsou odpovědné za některé z největších pokroků v oboru, ale také selhávají různými způsoby. Tyto selhání mohou mít buď malý nebo neexistující dopad, jako je například jednoduché špatné rozpoznání, nebo více dramatický a smrtelný, jako je například selhání samořiditelného vozidla.

Nový výzkum z University of Houston naznačuje, že naše společné předpoklady o těchto selháních mohou být špatné, což by mohlo pomoci vyhodnotit spolehlivost sítí v budoucnu.

Článek byl zveřejněn v Nature Machine Intelligence v listopadu.

„Adversní příklady“

Strojové učení a další typy AI jsou zásadní ve mnoha sektorech a úkolech, jako jsou bankovnictví a systémy kybernetické bezpečnosti. Podle Camerona Bucknera, asocičního profesora filozofie na UH, je třeba pochopit selhání způsobená „adversními příklady“. Tyto adversní příklady nastávají, když systém hluboké neuronové sítě špatně vyhodnotí obrázky a další data, když narazí na informace mimo trénovací vstupy, které byly použity k vývoji sítě.

Adversní příklady jsou vzácné, protože jsou často vytvářeny nebo objeveny jinou sítí strojového učení.

„Některé z těchto adversních událostí mohou být místo toho artefakty, a my potřebujeme lépe vědět, co jsou, abychom věděli, jak spolehlivé jsou tyto sítě,“ napsal Buckner.

Buckner říká, že selhání může být způsobeno interakcí mezi skutečnými vzory a tím, co síť má za úkol zpracovat, což znamená, že to není úplná chyba.

Vzory jako artefakty

„Porozumění dopadům adversních příkladů vyžaduje prozkoumání třetí možnosti: že alespoň některé z těchto vzorů jsou artefakty,“ řekl Buckner. „Takže jsou目前 obě náklady na jednoduché odstranění těchto vzorů a nebezpečí při jejich naivním použití.“

I když to není vždycky případ, úmyslná škodlivost je nejvyšším rizikem týkajícím se těchto adversních událostí, které způsobují selhání strojového učení.

„To znamená, že škodlivé aktéry mohou oklamat systémy, které spoléhají na jinak spolehlivou síť,“ řekl Buckner. „To má bezpečnostní aplikace.“

To by mohlo být hackování bezpečnostního systému založeného na technologii rozpoznávání obličeje nebo nesprávně označené dopravní značky, aby se zmátly autonomní vozidla.

Dříve provedený výzkum ukázal, že některé z adversních příkladů jsou přirozeně se vyskytující, ke kterým dochází, když systém strojového učení špatně interpretuje data prostřednictvím neočekávané interakce, což je odlišné od chyb v datech. Tyto přirozeně se vyskytující příklady jsou vzácné a jediný způsob, jak je objevit, je prostřednictvím AI.

Buckner říká, že výzkumníci potřebují přehodnotit způsoby, jakými se vyrovnávají s anomáliemi.

Tyto anomálie, nebo artefakty, jsou vysvětleny Bucknerem prostřednictvím analogie s lens flare v fotografii, která není způsobena vadou v objektivu, ale interakcí světla s kamerou.

Pokud víte, jak interpretovat lens flare, můžete získat důležité informace, jako je poloha slunce. Proto Buckner myslí, že je možné získat stejně cenné informace z nežádoucích událostí ve strojovém učení, které jsou způsobeny artefaktem.

Buckner také říká, že to vše automaticky neznamená, že hluboké učení není platné.

„Některé z těchto adversních událostí mohou být artefakty,“ řekl. „Musíme vědět, co jsou tyto artefakty, abychom věděli, jak spolehlivé jsou tyto sítě.“