Hluboké učící modely mohou mít potíže s rozpoznáním obrazů generovaných umělou inteligencí

Nález nové studie naznačuje, že nejmodernější umělá inteligence je podstatně méně schopná rozpoznat a interpretovat obrazы generované umělou inteligencí než lidé, což může být problémem v budoucím klimatu, kde se modely strojového učení budou stále více učit na syntetických datech a nebude vždy známo, zda data jsou “skutečná” nebo ne.

Zde vidíme model resnext101_32x8d_wsl, který má potíže v kategorii “bagel”. V testech se považovalo za selhání rozpoznání, pokud nebylo hlavní cílové slovo (v tomto případě “bagel”) mezi pěti nejvýše hodnocenými výsledky. Zdroj: https://arxiv.org/pdf/2208.10760.pdf

Nová studie testovala dvě kategorie počítačového rozpoznávání: rozpoznávání objektů a vizuální otázky a odpovědi (VQA).

Vlevo jsou úspěchy a neúspěchy systému rozpoznávání objektů; vpravo jsou úkoly VQA navržené pro zkoumání porozumění scénám a obrazům umělou inteligencí způsobem, který je více průzkumný a významný. Zdroje: https://arxiv.org/pdf/2105.05312.pdf a https://arxiv.org/pdf/1505.00468.pdf

Z deseti testovaných modelů, všechny trénované na ImageNet, byl nejlepší model schopen dosáhnout pouze 60% a 80% přesnosti v top-5 přesnosti napříč dvěma typy testů, zatímco ImageNet, trénovaný na nesyntetických, reálných datech, může dosáhnout 91% a 99% v stejné kategorii, zatímco lidské výsledky jsou obvykle podstatně vyšší.

Při řešení problémů kolem posunutí distribuce (také známého jako “Model Drift”, kde predikční modely procházejí sníženou predikční kapacitou, když jsou přesunuty z trénovacích dat do “reálných” dat), studie uvádí:

‘Lidé jsou schopni rozpoznat generované obrázky a odpovědět na otázky o nich snadno. Docházíme k závěru, že a) hluboké modely mají potíže s porozuměním generovanému obsahu a mohou se zlepšit po jemném ladění, a b) existuje velký posunutí distribuce mezi generovanými obrázky a reálnými fotografiemi. Posunutí distribuce se zdá být závislé na kategorii.’

Vzhledem k množství syntetických obrázků, které již zaplavují internet po minulém týdnu sensationalizace powerful Stable Diffusion latentní difúzní syntézy modelu, přírodní otázka, která vyvstává, je, zda jako “falešné” obrázky zaplaví průmyslové standardní sady dat, jako je Common Crawl, a zda se může změnit přesnost v průběhu let v důsledku “nereálných” obrázků.

Although syntetická data byla oslavována jako potenciální spasitel počítačového vidění výzkumu, který často postrádá zdroje a rozpočet pro hyperscale kúru, nová vlna Stable Diffusion obrázků (spolu s obecným vzestupem syntetických obrázků od vynálezu a komercializace DALL-E 2) je nepravděpodobné, že všechny budou mít užitečné štítky, anotace a hashtagy, které je odlišují jako “falešné” v okamžiku, kdy je strojové vidění systém nasává z internetu.

Rychlost vývoje v otevřených zdrojových rámcích pro syntézu obrázků výrazně překročila naši schopnost kategorizovat obrázky z těchto systémů, což vedlo k rostoucímu zájmu o systémy detekce “falešných” obrázků, podobných systémům detekce deepfake, ale zaměřeným na hodnocení celých obrázků místo částí obličeje.

Nová studie nese název Jak dobré jsou hluboké modely v porozumění generovaným obrázkům a pochází od Ali Borjiho ze sanfranciského startupu strojového učení Quintic AI.

Data

Studie předchází vydání Stable Diffusion a experimenty používají data generovaná DALL-E 2 a Midjourney napříč 17 kategoriemi, včetně slona, houb, pizzy, pretzlu, traktoru a králika.

Příklady obrázků, z nichž byly testované systémy rozpoznávání a VQA vyzvány k identifikaci nejvýznamnějšího klíčového konceptu.

Obrázky byly získány prostřednictvím vyhledávání na webu a prostřednictvím Twitteru a, v souladu s politikou DALL-E 2 (alespoň v té době), neobsahovaly žádné obrázky s lidskými obličeji. Byly vybrány pouze kvalitní obrázky, které jsou rozpoznatelné lidmi.

Byly vytvořeny dvě sady obrázků, jedna pro rozpoznávání objektů a jedna pro VQA.

Počet obrázků v každé testované kategorii pro rozpoznávání objektů.

Testování rozpoznávání objektů

Pro testy rozpoznávání objektů byly testovány deset modelů, všechny trénované na ImageNet: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit, a ResNext_WSL.

Některé třídy v testovaných systémech byly jemnější než ostatní, což vyžadovalo použití průměrných přístupů. Například ImageNet obsahuje tři třídy související s “hodinami” a bylo nutné definovat somekind arbitrální metriky, kde byla zahrnuta jakákoli “hodina” v top pět získaných štítků pro jakýkoli obrázek považována za úspěch v tom případě.

Výkon modelu napříč 17 kategoriemi.

Nejlepší model v tomto kole byl resnext101_32x8d_ws, který dosáhl téměř 60% pro top-1 (tj. kdy jeho preferovaná predikce z pěti tipů byla správný koncept zobrazený na obrázku) a 80% pro top-pět (tj. kdy byl požadovaný koncept alespoň uveden v modelových pěti tipech o obrázku).

Autor navrhuje, že dobrý výkon tohoto modelu je způsoben tím, že byl trénován pro slabě dohledované předpovědi hashtagů na sociálních médiích. Nicméně, tyto vedoucí výsledky, autor poznamenává, jsou podstatně nižší než to, co ImageNet dosahuje na reálných datech, tj. 91% a 99%. Navrhuje, že je to způsobeno velkou disproporcí mezi distribucí ImageNet obrázků (které jsou také získány z webu) a generovanými obrázky.

Pět nejobtížnějších kategorií pro systém, v pořadí obtížnosti, byly drak, želva, věverka, sluneční brýle a přilba. Studie poznamenává, že drak třída je často zaměňována s balónem, padákem a deštníkem, ačkoli tyto rozdíly jsou pro lidské pozorovatele snadno rozlišitelné.

Některé kategorie, včetně draka a želvy, způsobily univerzální selhání napříč všemi modely, zatímco jiné (zejména pretzel a traktor) vedly k téměř univerzálnímu úspěchu napříč testovanými modely.

Polarizující kategorie: některé z cílových kategorií vybraných buď zmátly všechny modely, nebo byly pro všechny modely snadno identifikovatelné.

Autoři se domnívají, že tyto výsledky naznačují, že všechny modely rozpoznávání objektů mohou mít podobné silné a slabé stránky.

Testování vizuálních otázek a odpovědí

Další, autor testoval modely VQA na otevřených a volných VQA, s binárními otázkami (tj. otázkami, na které lze odpovědět pouze “ano” nebo “ne”). Studie poznamenává, že nedávné modely VQA jsou schopny dosáhnout 95% přesnosti na VQA-v2 dataset.

Pro tuto fázi testování autor připravil 50 obrázků a formuloval 241 otázek kolem nich, 132 z nich mělo pozitivní odpovědi a 109 negativní. Průměrná délka otázky byla 5,12 slov.

Tato fáze použila OFA model, framework, který je agnostický k úkolu a modalitě, pro testování komplexnosti úkolu, a nedávno byl vedoucím skóristou v VQA-v2 test-std set. OFA skóroval 77,27% přesnosti na generovaných obrázkách, ve srovnání se svým vlastním skóre 94,7% v VQA-v2 test-std set.

Příklad otázek a výsledků z části VQA testů. ‘GT” je ‘Ground Truth’, tj. správná odpověď.

Autor studie navrhuje, že část důvodu může být, že generované obrázky obsahují semantické koncepty, které nejsou přítomny ve VQA-v2 datasetu, a že otázky napsané pro VQA testy mohou být náročnější než obecný standard VQA-v2 otázek, ačkoli se domnívá, že první důvod je pravděpodobnější.

LSD v datovém proudu?

Opinion

Nová proliferace umělou inteligencí generovaných obrázků, která může představovat okamžité spojení a abstrakce základních konceptů, které neexistují v přírodě, a které by byly prohibitivně časově náročné produkovat pomocí konvenčních metod, může představovat zvláštní problém pro slabě dohledované systémy sběru dat, které nemusí být schopny selhat elegantně – hlavně protože nebyly navrženy pro zpracování velkého objemu, nelabelovaných syntetických dat.

V takových případech může existovat riziko, že tyto systémy budou zahrnovat určitý procentní podíl “podivných” syntetických obrázků do nesprávných kategorií pouze proto, že obrázky obsahují odlišné objekty, které ve skutečnosti spolu nepatří.

‘Astronaut jezdící na koni’ se možná stal nejvýraznějším vizuálním symbolem pro novou generaci systémů syntézy obrázků – ale tyto ‘nereálné’ vztahy by mohly vstoupit do reálných detekčních systémů, pokud nebude učiněn dostatečný úsilí.

Pokud to nelze zabránit v předzpracování před tréninkem, tyto automatizované potrubí by mohly vést k tomu, že se nepravděpodobné nebo dokonce groteskní asociace budou učit do systémů strojového učení, což by snižovalo jejich účinnost a riskovalo by přenést vysoké asociace do down-stream systémů a sub-kategorií a kategorií.

Alternativně, nesouvisející syntetické obrázky by mohly mít “ochlazující efekt” na přesnost pozdějších systémů, pokud by se objevily nové nebo upravené architektury, které by se pokusily zohlednit ad hoc syntetické obrázky a které by byly příliš široké.

V každém případě by syntetické obrázky v post-Stable Diffusion éře mohly být problémem pro počítačové vidění výzkumu, jehož úsilí umožnilo vznik těchto podivných kreací a schopností – nejméně proto, že ohrožují naději tohoto odvětví, že shromažďování a kúra dat může být nakonec mnohem více automatizovaná, než je tomu現在, a mnohem méně nákladná a časově náročná.

Poprvé publikováno 1. září 2022.