Výzkumníci z oblasti umělé inteligence vyvinuli rychlou metodu pro výpočet intervalů spolehlivosti, hlásí, kdy se model nemá důvěřovat

Výzkumníci z MIT nedávno vyvinuli techniku, která umožňuje hlubokým učícím se sítím rychle vypočítat úroveň spolehlivosti, což by mohlo pomoci vědcům a uživatelům umělé inteligence zjistit, kdy lze důvěřovat předpovědím modelu.

Systémy umělé inteligence založené na umělých neuronových sítích jsou odpovědné za stále více rozhodnutí, včetně mnoha rozhodnutí, která se týkají zdraví a bezpečnosti lidí. Z tohoto důvodu by neuronové sítě měly mít nějakou metodu pro odhadnutí spolehlivosti svých výstupů, aby mohli vědci určit, jak spolehlivé jsou jejich předpovědi. Nedávno tým výzkumníků z Harvardu a MIT navrhl rychlý způsob, jak neuronové sítě mohou generovat ukazatel spolehlivosti modelu spolu s jeho předpověďmi.

Modely hlubokého učení se staly stále sofistikovanějšími za posledních deset let a nyní mohou snadno překonat lidi v úkolech klasifikace dat. Modely hlubokého učení se používají v oblastech, kde může selhání ohrozit zdraví a bezpečnost lidí, jako je řízení autonomních vozidel a diagnostika lékařských stavů z vyšetření. V těchto případech nestačí, že model je 99% přesný, 1% případů, kdy model selže, může mít katastrofální důsledky. Proto je zapotřebí metoda, pomocí které lze určit, jak spolehlivá je každá předpověď.

Existuje několik způsobů, jak lze vygenerovat interval spolehlivosti spolu s předpověďmi neuronových sítí, ale tradiční metody odhadu nejistoty pro neuronovou síť jsou poměrně pomalé a výpočetně náročné. Neuronové sítě mohou být velmi velké a složité, s miliardami parametrů. Pouze generování předpovědí může být výpočetně náročné a vyžadovat značné množství času, a generování úrovně spolehlivosti pro předpovědi trvá ještě déle. Většina předchozích metod kvantifikace nejistoty spoléhala na vzorkování nebo opakované spuštění sítě, aby se získal odhad její spolehlivosti. To není vždy proveditelné pro aplikace, které vyžadují vysokou rychlost.

Jak uvádí MIT News, Alexander Amini vede kombinovaný tým výzkumníků z MIT a Harvardu, a podle Aminiho metoda vyvinutá jejich výzkumníky urychluje proces generování odhadů nejistoty pomocí techniky nazvané “hluboká evidenční regrese”. Amini vysvětlil prostřednictvím MIT, že vědci vyžadují jak rychlé modely, tak spolehlivé odhady nejistoty, aby se mohli rozlišit nedůvěryhodné modely. Aby se zachovala jak rychlost modelu, tak generování odhadu nejistoty, výzkumníci navrhli způsob, jak odhadnout nejistotu z jediného běhu modelu.

Výzkumníci navrhli neuronovou síť tak, aby generovala pravděpodobnostní distribuci spolu s každým rozhodnutím. Síť uchovává důkazy pro svá rozhodnutí během procesu učení, generuje pravděpodobnostní distribuci na základě důkazů. Evidenční distribuce reprezentuje spolehlivost modelu a reprezentuje nejistotu jak pro konečné rozhodnutí modelu, tak pro původní vstupní data. Zachycení nejistoty pro vstupní data i rozhodnutí je důležité, protože snížení nejistoty závisí na znalosti zdroje nejistoty.

Výzkumníci otestovali svou techniku odhadu nejistoty aplikací na úkol počítačového vidění. Po том, co byl model trénován na sérii obrázků, generoval jak předpovědi, tak odhady nejistoty. Síť správně předpovídala vysokou nejistotu pro případy, kdy byla učiněna špatná předpověď. “Byla to velmi kalibrovaná na chyby, které síť dělá, což jsme považovali za jednu z nejdůležitějších věcí při hodnocení kvality nového odhadu nejistoty,” řekl Amini o výsledcích testu.

Výzkumný tým provedl další testy se svou architekturou sítě. Aby otestovali techniku, také otestovali data na “mimo-distribuční” data, soubory dat složené z objektů, které síť nikdy předtím neviděla. Jak se očekávalo, síť hlásila vyšší nejistotu pro tyto neviděné objekty. Když byl trénován na vnitřních prostředích, síť zobrazovala vysokou nejistotu, když byla testována na obrázcích z venkovních prostředí. Testy ukázaly, že síť může označit, kdy její rozhodnutí jsou podrobená vysoké nejistotě a neměla by být důvěřována v určitých, vysoce rizikových situacích.

Výzkumný tým dokonce uvedl, že síť může rozlišit, zda byly obrázky upraveny. Když výzkumný tým upravil fotografie s adversní šumem, síť označila nově upravené obrázky za vysoké odhady nejistoty, ačkoli účinek byl příliš jemný na to, aby ho mohl vidět průměrný lidský pozorovatel.

Pokud se technika ukáže jako spolehlivá, hluboká evidenční regrese by mohla zlepšit bezpečnost modelů umělé inteligence obecně. Podle Aminiho by hluboká evidenční regrese mohla pomoci lidem učinit pečlivá rozhodnutí, když používají modely umělé inteligence v rizikových situacích. Jak Amini vysvětlil prostřednictvím MIT News:

“Začněme vidět více z těchto [neuronových] modelů, které se dostávají z výzkumné laboratoře do skutečného světa, do situací, které se dotýkají lidí s potenciálně život ohrožujícími důsledky. Každý uživatel metody, ať už je to lékař nebo osoba v cestujícím vozidle, musí být vědom si jakéhokoli rizika nebo nejistoty spojené s tímto rozhodnutím.”