Použití AI halucinací pro hodnocení realismu obrazů

Nový výzkum z Ruska navrhuje netradiční metodu pro detekci nerealistických obrazů generovaných umělou inteligencí – ne tím, že by zlepšoval přesnost velkých modelů jazyka a vidění (LVLM), ale tím, že úmyslně využívá jejich tendenci k halucinacím.

Nový přístup extrahuje několik “atomických faktů” o obraze pomocí LVLM, poté aplikuje přirozenou jazykovou inferenci (NLI), aby systematicky měřil rozpory mezi těmito výroky – efektivní přeměna modelových chyb na diagnostický nástroj pro detekci obrazů, které porušují zdravý rozum.

Dvě obrazy ze souboru WHOOPS! vedle automaticky generovaných výroků modelem LVLM. Levý obraz je realistický, což vede k konzistentním popisům, zatímco neobvyklý pravý obraz způsobuje, že model halucinuje, produkuje rozporuplné nebo falešné výroky. Zdroj: https://arxiv.org/pdf/2503.15948

Pokud je model požádán, aby zhodnotil realističnost druhého obrazu, LVLM může vidět, že něco není v pořádku, protože zobrazený velbloud má tři hrboly, což je neznámé v přírodě.

Však LVLM původně spojuje >2 hrboly s >2 zvířaty, protože to je jediný způsob, jak můžete vidět tři hrboly na jednom “obrázku velblouda”. Poté pokračuje v halucinaci něčeho ještě méně pravděpodobného než tři hrboly (tj. “dvě hlavy”) a nikdy nepopisuje tu věc, která zdá se, že vyvolala jeho podezření – nepravděpodobný další hrbol.

Výzkumníci nového díla zjistili, že modely LVLM mohou provádět tuto kind evaluace nativně a na stejné úrovni (nebo lepší) jako modely, které byly jemně naladěny pro úkol tohoto druhu. Jelikož jemné naladění je komplikované, drahé a rather křehké z hlediska následného použití, objev native použití pro jednu z největších překážek v současném AI revoluci je osvěžující zvrat na obecné trendy v literatuře.

Otevřené hodnocení

Důležitost přístupu, tvrzení autorů, spočívá v tom, že může být nasazen s open source rámci. Zatímco pokročilý a vysoce investiční model, jako je ChatGPT, může (článek uznává) potenciálně nabízet lepší výsledky v tomto úkolu, sporná skutečná hodnota literatury pro většinu z nás (a zejména pro komunitu hobbyistů a VFX) je možnost začlenění a vývoje nových průlomů v místních implementacích; naopak vše, co je určeno pro proprietární komerční API systém, je podrobeno stažení, libovolnému zvýšení cen a cenzurním politikám, které jsou více pravděpodobné, že odrážejí zájmy společnosti než potřeby a odpovědnosti uživatelů.

Nový článek se jmenuje Nepoužívejte halucinace, používejte je: Odhad realismu obrazu pomocí NLI nad atomickými fakty a pochází od pěti výzkumníků ze Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology a ruských společností MTS AI a AIRI. Práce má doprovodnou GitHub stránku.

Metoda

Autoři používají izraelsko-americký WHOOPS! Dataset pro projekt:

Příklady nemožných obrazů ze souboru WHOOPS! Je pozoruhodné, jak tyto obrazy sestavují pravděpodobné prvky a že jejich nemožnost musí být vypočtena na základě spojení těchto neslučitelných prvků. Zdroj: https://whoops-benchmark.github.io/

Soubor se skládá z 500 syntetických obrazů a více než 10 874 anotací, speciálně navržených pro testování AI modelů zdravého rozumu a kompoziční understanding. Byl vytvořen ve spolupráci s designéry, kteří generovali výzvoucí obrazy pomocí text-to-image systémů, jako je Midjourney a série DALL-E – produkující scénáře, které jsou obtížné nebo nemožné zachytit přirozeně:

Další příklady ze souboru WHOOPS! Zdroj: https://huggingface.co/datasets/nlphuji/whoops

Nový přístup funguje ve třech fázích: první, LVLM (konkrétně LLaVA-v1.6-mistral-7b) je vyzván k generování několika jednoduchých výroků – nazývaných “atomické fakty” – popisujících obraz. Tyto výroky jsou generovány pomocí Diverse Beam Search, což zajišťuje variabilitu ve výstupech.

Diverse Beam Search produkuje lepší variabilitu možností popisu tím, že optimalizuje pro diversity-augmented objekt. Zdroj: https://arxiv.org/pdf/1610.02424

Poté je každý generovaný výrok systematicky porovnán s každým jiným výrokem pomocí modelu Natural Language Inference, který přiřazuje skóre, které odráží, zda páry výroků implikují, rozporují nebo jsou neutrální vůči sobě navzájem.

Rozpory indikují halucinace nebo nerealistické prvky v obraze:

Schéma pro detekční potrubí.

Nakonec metoda agreguje tyto párové NLI skóre do jediného “skóre reality”, které kvantifikuje celkovou koherenci generovaných výroků.

Výzkumníci prozkoumali různé agregační metody, s clustering-based přístupem, který fungoval nejlépe. Autoři aplikovali k-means clustering algoritmus pro oddělení jednotlivých NLI skóre do dvou clusterů a centroid nižšího clusteru byl poté vybrán jako konečná metrika.

Použití dvou clusterů přímo souvisí s binární povahou klasifikační úlohy, tj. rozlišování realistických a nerealistických obrazů. Logika je podobná jako výběr nejnižšího skóre celkově; nicméně, clustering umožňuje, aby metrika reprezentovala průměrný rozpor napříč několika fakty, spíše než spoléhání se na jeden outlier.

Data a testy

Výzkumníci otestovali svůj systém na WHOOPS! baseline benchmark, pomocí rotujících test splits (tj. cross-validation). Modely, které byly testovány, byly BLIP2 FlanT5-XL a BLIP2 FlanT5-XXL v rozdělech a BLIP2 FlanT5-XXL v zero-shot formátu (tj. bez dalšího tréninku).

Pro instrukční baseline, autoři vyzvali LVLM s frází ‘Je tohle neobvyklé? Vysvětlete stručně jedním větou’, které předchozí výzkum nalezl účinným pro detekci nerealistických obrazů.

Modely, které byly vyhodnoceny, byly LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B a dvě velikosti (7/13 miliard parametrů) InstructBLIP.

Testovací procedura se soustředila na 102 páry realistických a nerealistických (“zvláštních”) obrazů. Každý pár se skládal z jednoho normálního obrazu a jednoho obrazu, který porušuje zdravý rozum.

Tři lidské anotátory označily obrazy, dosáhli konsensu 92%, což indikuje silnou lidskou shodu na tom, co tvořilo “zvláštnost”. Přesnost hodnocení metod byla měřena jejich schopností správně rozlišit mezi realistickými a nerealistickými obrazy.

Systém byl vyhodnocen pomocí tří-fold cross-validation, náhodného rozdělení dat s pevným semenem. Autoři upravili váhy pro implikace skóre (výroky, které logicky souhlasí) a rozpor skóre (výroky, které logicky rozporují) během tréninku, zatímco “neutrální” skóre byly fixovány na nulu. Konečná přesnost byla vypočtena jako průměr přes všechny testovací rozdělení.

Srovnání různých NLI modelů a agregací metod na podmnožině pěti generovaných faktů, měřeno přesností.

Pokud jde o počáteční výsledky uvedené výše, článek uvádí:

‘Metoda [“clust”] vyniká jako jedna z nejlepších. To znamená, že agregace všech rozporů je zásadní, spíše než soustředění se pouze na extrémní hodnoty. Kromě toho největší NLI model (nli-deberta-v3-large) překonává všechny ostatní pro všechny agregace metody, což naznačuje, že zachycuje podstatu problému více účinně.’

Autoři zjistili, že optimální váhy konzistentně upřednostňovaly rozpor před implikací, což naznačuje, že rozpory byly více informativní pro rozlišení nerealistických obrazů. Jejich metoda překonala všechny ostatní zero-shot metody, které byly testovány, a blížila se výkonu fine-tuned modelu BLIP2:

Výkon různých přístupů na WHOOPS! benchmark. Fine-tuned (ft) metody se objevují nahoře, zatímco zero-shot (zs) metody jsou uvedeny níže. Velikost modelu indikuje počet parametrů a přesnost se používá jako metrika hodnocení.

Také poznamenali, somewhat neočekávaně, že InstructBLIP fungoval lépe než srovnatelné modely LLaVA dané stejné výzvy. Zatímco uznávají superioritu GPT-4o, článek zdůrazňuje autorů preference pro demonstraci praktických, open-source řešení a, zdá se, může rozumně nárokovat novinku v explicitním využití halucinací jako diagnostického nástroje.

Závěr

Autoři nicméně uznávají, že jejich projekt je dlužný 2024 FaithScore outing, spolupráci mezi University of Texas at Dallas a Johns Hopkins University.

Ilustrace toho, jak FaithScore hodnocení funguje. Nejprve jsou identifikovány popisné výroky v rámci LVLM-generované odpovědi. Poté jsou tyto výroky rozděleny na jednotlivé atomické fakty. Nakonec jsou atomické fakty porovnány s vstupním obrazem, aby se ověřila jejich přesnost. Zdroj: https://arxiv.org/pdf/2311.01477

FaithScore měří věrnost LVLM-generovaných popisů tím, že ověřuje konzistenci proti obrazovému obsahu, zatímco nové metody explicitně využívají LVLM halucinace k detekci nerealistických obrazů prostřednictvím rozporů v generovaných faktech pomocí Natural Language Inference.

Nová práce je, samozřejmě, závislá na excentricitě současné jazykové modely, a na jejich dispozici k halucinacím. Pokud by vývoj modelu někdy přinesl zcela nehalucinující model, ani obecné principy nové práce by již nebyly aplikovatelné. Nicméně, toto zůstává výzvou.

Poprvé publikováno úterý, 25. března 2025