Redukcja halucynacji w obrazach AI poprzez ich wyolbrzymianie

Modele wizji stylu ChatGPT często “halucynują” elementy, które nie należą do obrazu. Nowa metoda redukuje te błędy, pokazując modelowi wyolbrzymione wersje własnych halucynacji, oparte na podpisach – a następnie prosząc go, aby spróbował ponownie. Podejście to nie wymaga ponownego szkolenia ani dodatkowych danych i może być stosowane w szerokim zakresie modeli i typów modeli.

Nowa publikacja z Chin oferuje interesujące spojrzenie na irytująco trwały problem halucynacji w obrazach i filmach wygenerowanych przez AI – elementy, które明显 nie powinny być w obrazie, na podstawie żądania użytkownika i danych wejściowych.

W istocie, system pobiera obraz i pozwala modelowi go opisać, jak zwykle; następnie zmienia ten podpis w nowy obraz za pomocą modelu tekst-obraz – a wszelkie dodatkowe obiekty lub szczegóły w tym drugim obrazie będą bezpośrednimi reprezentacjami halucynacji modelu. Następnie, porównując oryginalny i wygenerowany obraz, system delikatnie kieruje model w stronę tych błędów następnym razem, gdy spróbuje:

Ilustracja sposobu, w jaki nowa metoda identyfikuje i redukuje halucynacje w podpisach obrazów. Zwykły model opisuje ptaki, które nie istnieją w oryginalnym obrazie, prowadząc do odtworzonego obrazu, który je dodaje. Te błędy są oznaczone na czerwono. W przeciwieństwie do tego, proponowana metoda unika tych wymyślonych szczegółów, zachowując jednocześnie podpis specyficzny i płynny. Źródło: https://arxiv.org/pdf/2509.21997

Metoda zaczyna się od pokazywania modelowi rzeczywistych obrazów i pozwalania mu je opisać, w tym opisy zawierające obiekty lub szczegóły, które niewłaściwie nie są obecne. Te halucynowane opisy są następnie wykorzystywane do wygenerowania syntetycznych obrazów, które ułatwiają wykrywanie błędów. Porównując oryginalny i wygenerowany obraz, system uczy się, które wewnętrzne wzorce modelu tendencję do tworzenia wymyślonych treści.

Once te wzorce błędów są zidentyfikowane, mogą być przechowywane i wykorzystywane później. Gdy model jest podany nowy obraz, system dostosowuje swoje wewnętrzne sygnały podczas podpisu, odpychając go od znanych wzorców, które powodują halucynacje. Działa to w jednej przejściu i nie wymaga dodatkowych danych, ponownego szkolenia ani nowej generacji obrazu w czasie testu.

Zakłopotany sieć

W przykładzie pokazanym powyżej, z artykułu, możemy zobaczyć, że splątanie jest prawdopodobnie odpowiedzialne za ozdabianie “ptaków” w obrazie wejściowym, nawet jeśli pierwszy obraz nie wydaje się zawierać ptaków.

Splątanie występuje, gdy model uparcie kojarzy pewne pojęcia z innymi pojęciami, po prostu dlatego, że dwa (lub więcej) pojęcia często pojawiają się razem w oryginalnym rozkładzie danych, na którym model został wytrenowany. W tym przypadku model mógł zobaczyć wiele obrazów samolotów+ptaków, powodując skojarzenie, które nie ma zastosowania do konkretnego obrazu, ale jednak wpływa na pochodzący podpis.

Chociaż splątanie można złagodzić, przerywając szkolenie wcześniej (co ogólnie sprawia, że model jest maksymalnie elastyczny i adaptacyjny), to również redukuje szczegółowość i rozdzielczość wszystkich wytrenowanych pojęć, pozostawiając trenera modelu z perennialnym dylematem: stworzyć model, który jest bardzo elastyczny i rozłączony; lub stworzyć model, który jest bardziej potężnie generatywny, ale także bardziej skłonny do produkcji “skojarzonych” halucynacji?

Jeśli jakość podpisu i uwaga do szczegółów w kuracji oryginalnych danych dla modelu generatywnego były lepsze niż logistyka zwykle pozwala, podpis dla wszystkich obrazów źródłowych zawierałby szczegółowy opis każdego obiektu w każdym obrazie, aby wytrenowany model mógł przydzielić im dyskretne i rozłączone wpisy w swoim przestrzeni latentnej.

Jak jest, samowystarczalna praktyka SEO podpisu, w połączeniu z faktem, że ad hoc hyperskalowe pobieranie z sieci pozostaje najlepszym źródłem dla szkolenia naprawdę potężnych modeli generatywnych, oznacza, że podpis obrazu tendencję do tego, aby znacznie odbiegać od tego standardu:

Ilustracja tego, jak słabe podpisy ograniczają przydatność obrazów LAION do szkolenia modeli takich jak Stable Diffusion. Wiele z tych etykiet tekstu jest płytkie, niejasne lub zoptymalizowane pod kątem SEO, a nie dokładnego opisu, co utrudnia modelowi naukę drobnych pojęć wizualnych, takich jak cechy twarzy. (Oryginalne źródło to https://rom1504.github.io/, obecnie nieaktywne).

Dlatego, ponieważ rozwiązanie podstawowe jest mało prawdopodobne, aby kiedykolwiek było praktyczne, redukcja halucynacji LLM/VLM przez obejścia i kompromisy stała się silnym pod-wątkiem w literaturze.

Nowa chińska technika przedstawiona w tym tygodniu, autorzy stwierdzają, że została przetestowana na różnych architekturach w różnych warunkach i może wskazywać na przydatny sposób redukcji “zanieczyszczenia halucynacjami”.

Mówią:

‘Rozległe eksperymenty na wielu benchmarkach pokazują, że nasza metoda znacznie redukuje halucynacje na poziomie obiektu, atrybutu i relacji, przy zachowaniu przypomnienia i bogactwa podpisu.’

Nowy artykuł nowy artykuł nosi tytuł Ekspozycja halucynacji, aby je stłumić: edycja reprezentacji VLM z kotwicami generatywnymi i pochodzi od trzech badaczy z Uniwersytetu Nauki i Technologii Chin oraz Uniwersytetu w Nanjing.

Metoda

Autorzy opracowali końcowy pipeline, pokazany poniżej, zaprojektowany do ekspozycji i tłumienia halucynacji w podpisach obrazów:

Ilustracja pełnego pipeline. Model wizji-języka najpierw generuje podpis z obrazu wejściowego, który może zawierać halucynowane treści. Ten podpis jest następnie wykorzystywany do wygenerowania odtworzonego obrazu za pomocą modelu tekst-obraz, co ułatwia wykrywanie halucynacji. Wstawienia z oryginalnego i odtworzonego obrazu są wykorzystywane do kierowania dostosowaniami wewnątrz dekodera, pomagając modelowi tłumić halucynowane szczegóły, przy zachowaniu jakości podpisu.

Począwszy od rzeczywistego obrazu wejściowego, model wizji-języka generuje opis, który może zawierać wymyślone obiekty lub relacje. Ten opis jest następnie podawany do generatora tekst-obraz, aby wygenerować odtworzony obraz, który pokazuje dokładnie to, co opisuje podpis. Porównując ten odtworzony obraz z oryginalnym, system uczy się, które wewnętrzne wzorce modelu tendencję do tworzenia wymyślonych treści.

Aby skierować model z dala od “wymyślania” szczegółów, system porównuje dwie wersje tego samego obrazu: oryginalny i odtworzony na podstawie podpisu. Każdy obraz jest przekształcany w zwarte wstawienie, które ujmuje jego treść.

Oryginalny obraz działa jako niezawodna referencja, podczas gdy odtworzony obraz podkreśla, gdzie halucynacje mogły się zakraść. Dostosowując swoje wewnętrzne reprezentacje, aby zbliżyć się do oryginalnego i oddalić od odtworzonego, model uczy się poprawiać się automatycznie. Ponieważ ten proces nie opiera się na ręcznie dostosowanych regułach ani zewnętrznych danych, pozostaje w pełni samouczący.

W artykule napisano:

‘Halucynacje w MLLM są intrynsecznie trudne do wykrycia, ponieważ są dobrze ukształtowane językowo i często nie do odróżnienia od wiernych opisów na poziomie tekstu. Różnica leży nie w językowej prawdopodobieństwie, ale w niezgodności z dowodami wizualnymi, na które model sam jest zwykle obojętny.

‘Aby rozwiązać ten problem, wprowadzamy mechanizm ekspozycji halucynacji, który wykorzystuje odtwarzanie generatywne, aby przekształcić niejawne nieścisłości w jawne i obserwowalne sygnały.’

Dla danego obrazu wejściowego i jego podpisu, system wykorzystuje model tekst-obraz FLUX.1-dev, aby odtworzyć obraz z podpisu. Ten odtworzony obraz tendencję do wyolbrzymiania znaczenia podpisu, co sprawia, że halucynacje stają się bardziej widoczne. Te wzmocnione błędy służą jako przydatne sygnały, które pomagają modelowi rozpoznać i poprawić własne błędy.

Aby przetestować swoje podejście, autorzy wprowadzili halucynacje do podpisów i wykorzystali model tekst-obraz do wygenerowania odtworzonych obrazów. Następnie te obrazy były ponownie opisywane przez LLaVA, a podobieństwo semantyczne między oryginalnymi i halucynowanymi podpisami zostało ocenione:

Ilustracja sposobu, w jaki mechanizm amplifikacji halucynacji czyni subtelne błędy widocznymi. Każdy punkt pokazuje podobieństwo między podpisami oryginalnego i odtworzonego obrazu dla jednej pary obraz-podpis. Pomarańczowa linia reprezentuje podobieństwo mierzone bezpośrednio między oryginalnymi i halucynowanymi podpisami, które pozostaje wysokie i maskuje małe błędy; niebieska linia reprezentuje podobieństwo po odtworzeniu, które gwałtownie spada, pokazując, że proces przekształca ukryte halucynacje w jawne markery semantyczne, które mogą być wykryte i poprawione.

Podobieństwo gwałtownie spada po odtworzeniu, pokazując, że proces czyni subtelne błędy bardziej wykrywalnymi.

Dane i testy

Walidacja skuteczności nowej metody wymagała użycia trzech odpowiednich benchmarków: Ocena halucynacji w podpisach z odniesieniem do obrazu (CHAIR); Ocena modelu MLLM (MME); oraz Ocena sondowania obiektów opartego na puli (POPE).

Z artykułu o CHAIR: przykłady halucynowanych obiektów wygenerowanych przez dwa wiodące systemy podpisujące, TopDown i NBT, gdzie każdy model wymyśla elementy wizualne, które nie są obecne w obrazie, takie jak laptopy, zlewy lub deski surfingowe. Źródło: https://arxiv.org/pdf/1809.02156

Standardowe metryki, takie jak wskaźnik halucynacji lub przypomnienie, mogą być mylące, ponieważ model może unikać halucynacji, generując krótkie lub niejasne podpis. Aby uwzględnić kompromis między przypomnieniem a halucynacjami, zastosowano połączoną metrykę zwana Hallucynacja i Przypomnienie (HAR@β), która ocenia podpis na podstawie dokładności i kompletności, i która pozwala na dostosowanie balansu w zależności od tego, czy unikanie błędów czy zawarcie większej ilości szczegółów jest ważniejsze.

POPE został wykorzystany do oceny kontekstowych halucynacji obiektów, a MME do oceny halucynacji na poziomie atrybutu, z oboma opracowanymi jako zadania oceny typu Tak/Nie.

Eksperymenty zostały przeprowadzone na różnorodnych reprezentatywnych zbiorach danych, z wykorzystaniem modelu Flux i wariantu LLaVA-v1.5-7B. Zastosowane zbiory danych to Microsoft COCO; A-OKVQA; oraz GQA.

Edycja latentna została przeprowadzona dla drugiej warstwy modelu, zgodnie z wcześniejszymi powiązanymi pracami, podczas gdy hiperparametry i temperatura były spójne we wszystkich modelach.

Początkowe wyniki na CHAIR są przedstawione poniżej*:

Wyniki na benchmarku CHAIR dla tłumienia halucynacji, ocenianych przy użyci wielu metryk.

Z tych wyników autorzy komentują:

‘Nasza metoda konsekwentnie przewyższa inne punkty odniesienia zarówno w CHAIR_S, jak i CHAIR_I, demonstrując swoją wyższą skuteczność w tłumieniu halucynacji. Tymczasem, chociaż prawie wszystkie metody nieuchronnie redukują przypomnienie przy tłumieniu halucynacji, odzwierciedlając kompromis między wiernymi a informacyjnymi, nasze podejście osiąga najmniejszy spadek.

‘To pokazuje, że nasza metoda ujmuje szeroki zakres obiektów rzeczywistych. Z metryką HAR@β nasza metoda osiąga najwyższy wynik, podkreślając jej zdolność do redukcji halucynacji przy zachowaniu pokrycia.’

Badacze przypisują te silne wyniki ustawieniu dual-supervision, gdzie czysta semantyka z oryginalnego obrazu była wzmocniona, jednocześnie gdy mylące sygnały z odtworzonego obrazu były tłumione. Ponieważ dostosowanie było ukierunkowane tylko na kierunek związany z halucynacjami, reszta reprezentacji pozostała nietknięta, pozwalając systemowi poprawiać błędy bez poświęcania szczegółowości czy informacyjności.

Porównanie wyników na benchmarku POPE w różnych konfiguracjach i zbiorach danych.

W odniesieniu do wyników na POPE, przedstawionych w powyższej tabeli, artykuł twierdzi:

‘Można zaobserwować, że nasza metoda konsekwentnie osiąga najlepsze wyniki we wszystkich ustawieniach. Godne uwagi jest to, że nasza metoda może osiągnąć nawet +5,95% dokładności i +6,85% wyniku F1 średnio, przewyższając inne podejścia bez ponoszenia kosztów szkolenia o dużą granicę.

‘Dlatego te wyniki pokazują, że nasza metoda zapewnia niezawodne i ogólnoustrojowe rozwiązanie na różnych poziomach trudności.’

Z trzeciej rundy testowej, porównanie wyników na MME.

Ostateczny główny test został przeprowadzony na MME, z wynikami przedstawionymi powyżej. Jednak wśród innych pominięć, wspomina się o metodzie “OPERA”, która nie jest zdefiniowana nigdzie w głównym artykule ani w załączniku. Chociaż autorzy twierdzą, że osiągnęli silne wyniki na MME, bez odpowiednich definicji metod, powinniśmy perhaps pozostawić sekcję wyników na tym etapie.

Ilustracja z benchmarku MME z wykorzystaniem LLaVA-v1.5-7B, pokazująca, jak model podstawowy wygenerował odpowiedź halucynowaną, podczas gdy proponowana metoda dała poprawną odpowiedź, z odtworzonym obrazem, który sprawił, że halucynacja stała się bardziej widoczna.

Wnioski

Chociaż ten artykuł jest wyraźnie spieszący się i cierpi na brak struktury, fokusu i klarowności, które coraz częściej pojawiają się w literaturze w ciągu ostatnich 12 miesięcy (co może nie być niezwiązane z coraz częstszym wykorzystaniem AI w badaniach akademickich), centralny mechanizm przedstawiony w nim pozostaje genialny.

Chociaż ten końcowy podejście nie wymaga ponownego szkolenia i wydaje się stosowane w szerokim zakresie architektur, byłoby interesujące zobaczyć więcej kandydatów testowych; oraz należy wziąć pod uwagę, że system pośredni tego rodzaju będzie co najmniej wprowadzał opóźnienia i pewien stopień dodatkowych wymagań mocy – co nie jest bagatelą w skali.

* Niekonwencjonalnie, główny korpus tego artykułu przedstawia wyniki z nagłówkami, które są wyjaśnione tylko w materiałach załącznikowych, a nie w głównym artykule – coraz częstszym złym zwyczajem w literaturze, gdy badacze starają się ograniczyć centralną tezę do 8-9 stron, nawet gdy materiał nie pozwala na to. W każdym razie, benchmark CHAIR, wykorzystany do oceny halucynacji obiektów w podpisach, opierał się na 500-obrazowym podziale MSCOCO z wcześniejszej pracy. Dwa formy zostały wykorzystane: CHAIR_s, mierzący, jak często halucynacje pojawiają się w danym podpisie; oraz CHAIR_I, mierzący, ile spośród wymienionych obiektów zostało zhalucynowanych. HAR@β, wprowadzony w głównym artykule, został zdefiniowany jako połączenie stylu Fβ halucynacji i odwołania obiektu. Po raz pierwszy opublikowany we wtorek, 30 września 2025

Po raz pierwszy opublikowany we wtorek, 30 września 2025