Snížení halucinací v obrazových modelech AI pomocí jejich přehánění

Modely vidění stylu ChatGPT často “halucinují” prvky, které do obrazu nepatří. Nová metoda snižuje tyto chyby tím, že modelu ukazuje přeháněné verze jeho vlastních halucinací na základě popisků – a pak ho žádá, aby to zkusil znovu. Tento přístup nevyžaduje žádné přeškolování nebo extra data a lze jej aplikovat na širokou škálu modelů a typů modelů.

Nová publikace z Číny nabízí zajímavý pohled na problematické halucinace v obrazových a videích generovaných umělou inteligencí – prvky, které jasně do obrazu nepatří, na základě požadavku a vstupních dat uživatele.

V podstatě systém vezme obraz a nechá model, aby ho popsal, jako obvykle; poté změní tento popisek na nový obraz pomocí modelu text-to-image – a jakýkoli další objekt nebo detail v tomto druhém obraze bude přímým představitelem halucinací modelu. Poté, srovnáním původního a generovaného obrazu, systém jemně směruje model pryč od těchto chyb příště, když se o to pokusí:

Ilustrace toho, jak nová metoda identifikuje a snižuje halucinace v popiscích obrazů. Standardní model popisuje ptáky, které v původním obraze nejsou, což vede k rekonstruovanému obrazu, který je přidává. Tyto chyby jsou označeny červeně. Naopak, navrhovaná metoda se těmto vynalezeným detailům vyhýbá, zatímco udržuje popisek specifický a srozumitelný. Source: https://arxiv.org/pdf/2509.21997

Metoda začíná tím, že modelu ukazuje skutečné obrazy a nechá ho, aby je popsal, včetně některých popisů, které obsahují objekty nebo detaily, které ve skutečnosti nejsou přítomny. Tyto halucinované popisky jsou poté použity k generování syntetických obrazů, které činí chyby snazší k rozpoznání. Srovnáním skutečného a generovaného obrazu systém zjistí, které vnitřní vzory v modelu tendují k vytváření vynalezeného obsahu.

Once tyto chybové vzory jsou identifikovány, mohou být uloženy a použity později. Když je modelu dán nový obraz, systém upraví jeho vnitřní signály během popisu, šetrně ho směruje pryč od známých vzorů, které způsobují halucinace. To funguje v jednom kroku a nevyžaduje žádné extra data, přeškolování nebo novou generaci obrazů v době testování.

Spletitá síť

V ukázaném příkladu výše, z dokumentu, můžeme vidět, že spojení je pravděpodobně zodpovědné za přidání “ptáků” do vstupního obrazu, i když první obraz zdá se, že neobsahuje žádné ptáky.

Spojení nastává, když model trvá na asociaci určitých konceptů s jinými koncepty, jednoduše protože tyto dva (nebo více) koncepty tendují k častému výskytu společně v původní datové distribuci, na které byl model trénován. V tomto případě model mohl vidět mnoho obrázků letadel+ptáků, což způsobilo asociaci, která se nevztahuje na konkrétní obraz, ale přesto se dostává do odvozeného popisku.

Ačkoli spojení lze zmírnit zastavením trénování dříve (což obecně činí model maximálně flexibilním a přizpůsobivým), to také snižuje detail a rozlišení všech trénovaných konceptů, zanechávající modeláře s trvalým dilematem: vytvořit model, který je velmi flexibilní a rozlišený; nebo vytvořit model, který je více generativně silný, ale také více náchylný k “asociovaným” halucinacím?

Jestliže kvalita popisu a pozornost k detailům v kuraci původních dat pro generativní model byly lepší než logistika obvykle dovoluje, popisky pro všechny zdrojové obrazy by podrobně popsaly každý objekt v každém obraze, aby trénovaný model mohl přidělit jim diskrétní a rozlišené položky ve svém latentním prostoru.

Jak stojí, tak sekvence SEO popisků, kombinovaná s tím, že ad hoc hyperscale web-scraping zůstává nejlepší zdroj pro trénování skutečně silných generativních modelů, znamená, že obrazové popisky tendují k tomu, aby podstatně pokulhávaly za tímto standardem:

Ilustrace toho, jak slabé popisky omezují užitečnost LAION obrázků pro trénování modelů jako Stable Diffusion. Mnoho textových popisků je povrchních, vágních nebo optimalizovaných pro SEO spíše než pro přesný popis, což činí obtížnější pro model naučit se jemné vizuální koncepty, jako jsou rysy obličeje. (Původní zdroj byl https://rom1504.github.io/, nyní nefunkční).

Proto, jelikož fundamentální řešení je nepravděpodobné, že by se někdy stalo praktickým, snížení LLM/VLM halucinací pomocí workaroundů a kompromisů se stalo silným podtématem v literatuře.

Nová čínská technika odhalená tento týden, autoři prohlašují, byla testována napříč různými architekturami v různých podmínkách, a mohla by naznačit užitečný způsob, jak snížit “halucinační znečištění”.

Oni říkají:

‘Rozsáhlé experimenty napříč několika benchmarky ukazují, že naše metoda významně snižuje halucinace na úrovni objektů, atributů a vztahů, zatímco ve velké míře zachovává recall a bohatost popisku.’

‘Tato metoda je aplikovatelná na širokou škálu modelů a modelových typů.’

Nový dokument je nazvaný Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors a pochází od tří výzkumníků z Univerzity vědy a technologie Číny a Nanjing University.

Metoda

Autoři vytvořili koncový pipeline, který je uveden níže, navržený tak, aby odhalil a potlačil halucinace v popiscích obrazů:

Ilustrace plného pipeline. Model vidění nejprve generuje popisek z vstupního obrazu, který může obsahovat halucinovaný obsah. Tento popisek je poté použit k vytvoření rekonstruovaného obrazu pomocí modelu text-to-image, což činí jakékoli halucinace snazší k rozpoznání. Embeddingy z původního a rekonstruovaného obrazu jsou extrahovány a použity k úpravě vnitřních reprezentací modelu, což pomáhá modelu potlačit halucinované detaily, zatímco zachovává kvalitu popisku.

Začněte od skutečného vstupního obrazu, model vidění generuje popisný popisek, který může obsahovat vynalezené objekty nebo vztahy. Tento popisek je poté zaveden do generátoru text-to-image, aby vytvořil rekonstruovaný obraz, který přesně zobrazuje, co popisek popisuje. Srovnáním tohoto rekonstruovaného obrazu s původním činí vynalezený obsah zjevným a měřitelným, což obrací jemné chyby v textu na zjevné rozdíly, které systém může cílit a snížit.

Chcete-li modelu pomoci se vyhnout “vynalézání” detailů, systém srovnává dvě verze stejného obrazu: původní a rekonstruovanou na základě popisku. Každý obraz je převeden do kompaktního embeddingu, který zachycuje jeho obsah.

Původní obraz slouží jako spolehlivá referenční hodnota, zatímco rekonstruovaný obraz zdůrazňuje, kde se halucinace mohou dostat. Upravováním svých vnitřních reprezentací, aby se přiblížily k původnímu a vzdálily od rekonstruovaného, model se učí korigovat sám. Jelikož tento proces nezávisí na ručně nastavených pravidlech nebo externích datech, zůstává plně samoučící.

Dokument prohlašuje:

‘Halucinace v MLLM jsou intrinsicky obtížně detekovatelné, protože jsou lingvisticky dobře utvořené a často nerozlišitelné od věrných popisů na úrovni textu. Rozdíl spočívá nejen v jazykové přijatelnosti, ale v nesouladu s vizuálními důkazy, na které model sám je obvykle necitlivý.’

‘Abychom tento problém vyřešili, zavedli jsme mechanismus pro odhalení halucinací, který využívá generativní rekonstrukci k převodu implicitních nesrovnalostí na explicitní a pozorovatelné signály.’

Daný vstupní obraz a jeho popisek, systém používá model FLUX.1-dev text-to-image, aby rekonstruoval obraz z popisku samotného. Tento rekonstruovaný obraz tenduje k přehánění významu popisku, což činí jakékoli falešné detaily zjevnějšími. Tyto zesílené chyby poté slouží jako užitečné signály, které pomáhají modelu rozpoznat a korigovat své vlastní chyby.

Chcete-li otestovat svůj přístup, autoři vložili halucinace do popisků a použili model text-to-image k generování rekonstruovaných obrazů. Tyto obrazy byly poté popsány LLaVA, a sémantická podobnost mezi původními a halucinovanými popisky byla vyhodnocena:

Ilustrace toho, jak mechanismus zesílení halucinací činí jemné chyby zjevnými. Každý bod ukazuje podobnost mezi popisky původních a rekonstruovaných obrazů pro jeden pár obraz-popisek. Oranžová linie reprezentuje podobnost měřenou přímo mezi původními a halucinovanými popisky, která zůstává vysoká a maskuje malé chyby; modrá linie reprezentuje podobnost po rekonstrukci, která prudce klesá, ukazující, že proces mění skryté halucinace na zjevné sémantické markery, které lze detekovat a korigovat.

Podobnost prudce klesá po rekonstrukci, ukazující, že proces činí jemné chyby detekovatelnějšími.

Data a testy

Validace účinnosti nové metody zahrnovala použití tří vhodných benchmarků: hodnocení halucinací v popiscích s ohledem na relevanci obrazu (CHAIR); hodnocení MLLM (MME); a hodnocení založené na poolingu pro objektové testy (POPE).

Z dokumentu CHAIR: příklady halucinovaných objektů generovaných dvěma předními systémy popisu, TopDown a NBT, kde každý model vynalézá vizuální prvky, které ve skutečnosti nejsou přítomny v obraze, jako jsou notebooky, dřezy nebo surfovací prkna. Source: https://arxiv.org/pdf/1809.02156

Standardní metriky, jako je míra halucinací nebo recall, mohou být zavádějící, protože model může vyhnout halucinacím tím, že produkuje krátké nebo vágní popisky. Aby se vyrovnal kompromis mezi recall a halucinacemi, byla použita kombinovaná metrika nazvaná Halucinace a recall (HAR@β), která hodnotí popisky na základě přesnosti a úplnosti a umožňuje úpravu rovnováhy v závislosti na tom, zda je důležitější vyhnout se chybám nebo zahrnout více detailů.

POPE byl použit k hodnocení kontextově závislých halucinací objektů, a MME k hodnocení halucinací na úrovni atributů, oba byly formulovány jako úkoly ano/ne.

Experimenty byly provedeny napříč různými reprezentativními datovými soubory, pomocí modelu Flux a varianty LLaVA-v1.5-7B. Použité datové soubory byly Microsoft COCO; A-OKVQA; a GQA.

Latentní úprava byla provedena pro druhou vrstvu modelu, v souladu s předchozími souvisejícími pracemi, zatímco hyperparametry a teplota byly konzistentní napříč všemi modely.

Počáteční výsledky na CHAIR jsou uvedeny níže*:

Výkon na benchmarku CHAIR pro snížení halucinací, hodnocen pomocí několika metrik.

Z těchto výsledků autoři komentují:

‘Naše metoda konzistentně překonává ostatní benchmarky na obou CHAIR_S a CHAIR_I, což ukazuje na její vyšší účinnost při potlačování halucinací. Mezitím, ačkoli téměř všechny metody nevyhnutelně snižují recall, zatímco potlačují halucinace, odrážející kompromis mezi věrností a informativností, náš přístup dosahuje nejmenšího poklesu.’

‘To ukazuje, že naše metoda zachycuje širokou škálu skutečných objektů. S metrikou HAR@β naše metoda dosahuje nejvyššího skóre, což zdůrazňuje její schopnost snižovat halucinace, zatímco zachovává pokrytí.’

Výzkumníci připisují tyto silné výsledky dvojímu superviznímu nastavení, kde čisté semantiky z původního obrazu byly posíleny, zatímco zavádějící signály z rekonstruovaného obrazu byly potlačeny. Jelikož úprava cíleně zaměřila pouze směr spojený s halucinacemi, zbytek reprezentace zůstal nedotčen, což umožnilo systému korigovat chyby bez obětování detailů nebo informativnosti.

Srovnání výkonu na benchmarku POPE v různých konfiguracích a datech.

Ohledně výsledků na POPE, uvedených v tabulce výše, dokument prohlašuje:

‘Je zřejmé, že naše metoda konzistentně dosahuje nejlepších výsledků ve všech nastaveních. Značně naše metoda dosahuje až +5,95% přesnosti a +6,85% F1 skóre v průměru, překonávající ostatní beztréninkové přístupy o značnou mezеру.’

‘Tudíž tyto výsledky ukazují, že naše metoda poskytuje spolehlivé a obecně použitelné řešení napříč různými úrovněmi obtížnosti.’

Z třetí testovací série, srovnání výkonu na MME.

Konečným hlavním testem byla MME, s výsledky uvedenými výše. Avšak mezi jinými vynecháním, zmiňuje se o metodě ‘OPERA’, která není nikde v dokumentu nebo v příloze definována. Ačkoli autoři prohlašují silný výkon na MME, bez dostatečných definic metod, měli bychom snad ponechat výsledky sekce zde.

Ilustrace z benchmarku MME pomocí LLaVA-v1.5-7B, ukazující, jak základní model produkoval halucinovanou odpověď, zatímco navrhovaná metoda poskytla správnou odpověď, s rekonstruovaným obrazem, který činí halucinaci zjevnější.

Závěr

Ačkoli je tento dokument jasně spěšný a trpí nedostatkem struktury, zaměření a jasnosti, které se stále více objevují v literatuře za posledních 12 měsíců (což možná není nezávislé na rychle rostoucím používání AI v akademickém výzkumu), centrální mechanismus prezentovaný zůstává geniální.

Zatímco tento koncový přístup nevyžaduje přeškolování a zdá se aplikovatelný na širokou škálu modelů a typů modelů, bylo by zajímavé vidět více testovacích kandidátů; a je třeba také uvážit, že mezičlánková soustava tohoto druhu bude alespoň zavedena latenci a jistou mírou dodatečných požadavků na energii – což není zanedbatelný problém v měřítku.

* Netradičně, hlavní část tohoto dokumentu prezentuje výsledky s nadpisy, které jsou vysvětleny pouze v materiálu přílohy, a ne v hlavním dokumentu – rostoucí špatný zvyk v literatuře, jak výzkumníci se snaží omezit centrální tezi na 8-9 stránek, i když materiál to neumožňuje. V každém případě, benchmark CHAIR, používaný k hodnocení halucinací objektů v popiscích, byl založen na 500-obrazovém podmnožině MSCOCO z předchozí práce. Dvě formy byly použity: CHAIR_s, měřící, jak často halucinace objevily v kterémkoli popisku; a CHAIR_I, měřící, kolik z uvedených objektů bylo halucinováno. HAR@β, zavedené v hlavním dokumentu, bylo definováno jako F_β-styl kombinace potlačení halucinací a recallu objektů.

První zveřejnění úterý, 30. září 2025