Tekoälykuvien hallucinaatioiden vähentäminen niiden liioittelun avulla

ChatGPT-tyyliset visiomallit “hallusinoivat” usein kuvissa olevia elementtejä, jotka eivät kuulu sinne. Uusi menetelmä vähentää näitä virheitä näyttämällä mallille liioiteltuja versioita omista hallucinaatioistaan, jotka perustuvat kuvatekstiin – ja sitten pyytämällä sitä yrittämään uudelleen. Tämä lähestymistapa ei vaadi uudelleenkoulutusta tai lisädataa, ja sitä voidaan soveltaa laajaan valikoimaan malleja ja mallityyppejä.

Kiinalainen julkaisu tarjoaa mielenkiintoisen näkökulman ärsyttävän pysyvään ongelmaan hallucinaatioista tekoälykuvissa ja -videoissa – elementeistä, jotka eivät kuulu kuvaan perustuen käyttäjän pyynnössä ja syötteessä.

Olennaisesti, järjestelmä ottaa kuvan ja antaa mallin kuvailla sitä, kuten yleensä; se sitten muuttaa kuvatekstin uudeksi kuvaksi käyttäen teksti-kuvaksi -mallia – ja mikä tahansa ylimääräinen esine tai yksityiskohta tässä toisessa kuvassa on suora edustus mallin alkuperäisistä hallucinaatioista. Sitten, vertaamalla alkuperäistä ja luotua kuvaa, järjestelmä ohjaa mallia pois näistä virheistä seuraavan kerran, kun se yrittää:

Kuvan selitys, miten uusi menetelmä tunnistaa ja vähentää hallucinaatioita kuvateksteissä. Säännöllinen malli kuvailee lintuja, jotka eivät ole alkuperäisessä kuvassa, johtuen siitä, että ne lisätään uudelleen. Nämä virheet on merkitty punaisella. Toisaalta, ehdotettu menetelmä välttää nämä keksityt yksityiskohdat säilyttäen kuvatekstin spesifin ja sujuvan. Lähde: https://arxiv.org/pdf/2509.21997

Menetelmä alkaa näyttämällä mallille todellisia kuvia ja antaa sille kuvailla niitä, mukaan lukien joitakin kuvauksia, jotka sisältävät esineitä tai yksityiskohtia, joita ei todella ole. Nämä hallucinoituneet kuvaukset käytetään sitten luomaan synteettisiä kuvia, jotka tekevät virheistä helpommin havaittavissa. Vertaamalla todellista ja luotua kuvaa, järjestelmä oppii, mitkä sisäiset mallin kuviot tuottavat keksittyä sisältöä.

Kun nämä virhekuviot on tunnistettu, ne voidaan tallentaa ja käyttää myöhemmin. Kun malli saa uuden kuvan, järjestelmä säätää sisäisiä signaalejaan kuvauksen aikana, noudatakseen sitä pois tunnetuista kuviosta, jotka aiheuttavat hallucinaatioita. Tämä toimii yhdessä kulussa eikä vaadi lisädataa, uudelleenkoulutusta tai uuden kuvan luomista testauksen aikana.

Seikkailun verkkoon

Esimerkissä, joka on nähtävissä yllä, tutkimuspaperista, voidaan nähdä, että sekaannus on todennäköisesti vastuussa siitä, että “lintujen” korostaminen syötteen kuvassa, vaikka ensimmäinen kuva näyttää sisältävän lintuja.

Sekaannus tapahtuu, kun malli insisteeraa yhdistämään tiettyjä käsitteitä muihin käsitteisiin vain siksi, että ne (tai useammat) käsitteet esiintyvät usein yhdessä alkuperäisessä datojen jakeluessa, jolla malli on koulutettu. Tässä tapauksessa malli on saattanut nähdä monia kuvia lentokoneista ja linnuista, aiheuttaen yhdistämisen, joka ei sovellu kyseiseen kuvaan, mutta joka silti tunkeutuu johdettuun kuvaukseen.

Vaikka sekaannusta voidaan lieventää lopettamalla koulutus aikaisemmin (joka yleensä tekee mallista maksimaalisesti joustavan ja sopeutuvan), se vähentää myös koulutettujen käsitteiden yksityiskohtaisuutta ja resoluutiota, jättäen mallin kouluttajan perinteiseen dilemmaan: luoda malli, joka on erittäin joustava ja eriytetty; tai luoda malli, joka on voimakkaampi ja luova, mutta myös todennäköisemmin tuottaa “yhdistettyjä” hallucinaatioita?

Jos kuvauksen laatu ja yksityiskohdat alkuperäisen datan kokoamisessa olisivat olleet paremmat kuin logistiikka yleensä sallii, kaikkien lähdekuville olisi annettu kuvaukset, jotka olisivat sisältäneet jokaisen esineen jokaisessa kuvassa, jotta koulutettu malli olisi voinut antaa niille erilliset ja eriytetyt sisääntulot latenttiavaruudessaan.

Nyt, itsepalvelullinen tapa SEO-kuvaukset, yhdistettynä siihen, että ad hoc hyperskaalainen web-skraping on edelleen paras lähde kouluttamaan todella voimakkaita luovia malleja, tarkoittaa, että kuvatekstit ovat usein huonoja:

Kuvan selitys, miten heikot kuvaukset rajoittavat LAION-kuvien hyödyllisyyttä malleja kouluttamiseen, kuten Stable Diffusion. Monet tekstilabelit ovat pinnallisia, epämääräisiä tai optimoituja SEO:lle eikä tarkalle kuvaukselle, mikä tekee mallin vaikeaksi oppia hienoja visuaalisia käsitteitä, kuten kasvonpiirteitä. (Alkuperäinen lähde oli https://rom1504.github.io/, nykyään poistettu).

Siksi, koska perustavanlaatuinen ratkaisu on epätodennäköinen, LLM/VLM-hallucinaatioiden vähentäminen kiertoteillä ja kompromisseilla on nyt vahva alisuoni kirjallisuudessa.

Uusi kiinalainen tekniikka, joka esiteltiin tällä viikolla, on testattu useilla arkkitehtuureilla eri olosuhteissa, ja se voi osoittautua hyödylliseksi tavaksi vähentää “hallucinaatiopollutionia”.

He sanovat:

‘Laajat kokeet useilla mittareilla osoittavat, että our menetelmä vähentää merkittävästi hallucinaatioita objekti-, attribuutti- ja suhdetasolla, säilyttäen samalla palautteen ja kuvatekstin rikkauden.’

Tutkimuspaperi on otsikoitu Paljastamalla hallucinaatioita voidaan niitä vähentää: VLM:n edustusmuokkaus generatiivisilla ankkureilla ja se on peräisin kolmelta tutkijalta Kiinan tiede- ja teknologiayliopistosta ja Nanjingin yliopistosta.

Menetelmä

Tutkijat ovat kehittäneet lopusta loppuun -putken, joka on suunniteltu paljastamaan ja vähentämään hallucinaatioita kuvateksteissä;

Kuvan selitys koko putkista. Visio-kieli malli luo kuvauksen syötteen kuvasta, joka saattaa sisältää keksittyjä yksityiskohtia. Tämä kuvaus käytetään sitten luomaan uusi kuva teksti-kuvaksi -mallilla, josta voidaan helpommin havaita virheet. Vertaamalla alkuperäistä ja luotua kuvaa, järjestelmä ohjaa mallia pois virheistä seuraavan kerran, kun se yrittää:

Aloittaen todellisesta syötekuvasta, visio-kieli malli luo kuvauksen, joka saattaa sisältää keksittyjä esineitä tai suhteita. Tämä kuvaus käytetään sitten luomaan uusi kuva teksti-kuvaksi -mallilla, josta voidaan helpommin havaita virheet. Vertaamalla alkuperäistä ja luotua kuvaa, järjestelmä ohjaa mallia pois keksittyjen yksityiskohtien luomisesta.

Jotta malli voidaan ohjata pois “keksimästä” yksityiskohtia, järjestelmä vertaa kahta kuvan versiota: alkuperäistä ja uudelleenluotua. Kummastakin kuvasta luodaan tiivis upotus, joka sisältää sen sisällön.

Alkuperäinen kuva toimii luotettavana viiteenä, kun taas uudelleenluotu kuva korostaa, missä kohtaa hallucinaatiot saattavat ilmetä. Säätämällä sisäisiä edustuksiaan lähemmäs alkuperäistä ja kauemmaksi uudelleenluodusta, malli oppii korjaamaan itsensä itse. Koska tämä prosessi ei riipu käsintehdyistä säännöistä tai ulkoisista tiedoista, se on täysin itseohjattu.

Tutkimuspaperi toteaa:

‘Hallucinaatiot MLLM:ssä ovat luonnostaan vaikeita havaita, koska ne ovat kielellisesti hyvin muotoiltuja ja usein erottumattomia uskollisista kuvauksista tekstitasolla. Ero havaitaan ei kielellisessä uskottavuudessa, vaan visuaalisen todisteen kanssa, johon malli on tyypillisesti herkkä.’

‘Tätä varten esitämme hallucinaatioiden paljastusmekanismin, joka hyödyntää generatiivista rekonstruktioita muuttaakseen implisiittiset epäjohdonmukaisuudet eksplisiittisiksi ja havaittaviksi signaaleiksi.’

Saan kuva ja sen kuvauksen, järjestelmä käyttää FLUX.1-dev teksti-kuvaksi -mallia luomaan uuden kuvan kuvauksesta. Tämä uudelleenluotu kuva taipuu korostamaan kuvauksen merkitystä, tehdäkseen virheet helpommin havaittaviksi. Nämä vahvennetut virheet toimivat sitten hyödyllisinä signaaleina, jotka auttavat mallia tunnistamaan ja korjaamaan omat virheensä.

Tutkijat testasivat lähestymistapaansa ruokkimalla kuvauksiin hallucinaatioita ja käyttämällä teksti-kuvaksi -mallia luomaan uudelleen kuvia. Nämä kuvat kuvattiin sitten uudelleen LLaVA:lla, ja semanttinen samankaltaisuus alkuperäisen ja hallucinoituneen kuvauksen välillä arvioitiin:

Kuvan selitys, miten hallucinaatioiden vahvistusmekanismi tekee virheet näkyviksi. Jokainen piste edustaa kuvauksen samankaltaisuutta alkuperäisen ja uudelleenluodun kuvan välillä yhdelle kuva-kuvaparille. Oranssi viiva edustaa samankaltaisuutta, mitattuna suoraan alkuperäisen ja hallucinoituneen kuvauksen välillä, joka pysyy korkeana ja peittää pienet virheet; sininen viiva edustaa samankaltaisuutta rekonstruktion jälkeen, joka laskee jyrkästi, osoittaen, että prosessi muuttaa piilevät hallucinaatiot selkeiksi semanttisiksi merkkeiksi, jotka voidaan havaita ja korjata.

Samankaltaisuus laskee jyrkästi rekonstruktion jälkeen, osoittaen, että prosessi tekee pienet virheet helpommin havaittaviksi.

Data ja testit

Uuden menetelmän tehokkuuden vahvistamiseen käytettiin kolmea sovellettavaa mittaria: Kuvatekstin hallucinaatioiden arviointi kuvan merkityksellisyyden kanssa (CHAIR); MLLM-arviointi (MME); ja Pool-mittainen objekti tutkiminen (POPE).

CHAIR-julkaisun esimerkit, joissa kaksi johtavaa kuvauksellista mallia, TopDown ja NBT, keksivät visuaalisia elementtejä, jotka eivät ole kuvassa, kuten kannettavia tietokoneita, pesualtaisia tai surffilautaa. Lähde: https://arxiv.org/pdf/1809.02156

Standardimittaukset, kuten hallucinaatiotaajuus tai palautus, voivat olla harhaanjohtavia, koska malli voi välttää hallucinaatioita tuottamalla lyhyitä tai epämääräisiä kuvauksia. Hallucinaatioiden ja palautuksen välistä tasapainoa arvioimaan kehitettiin yhdistetty mittaus, Hallucinaatio ja palautus (HAR@β), joka arvioi kuvauksia sekä tarkkuuden että täydellisyyden perusteella, ja joka sallii tasapainon säätämisen riippuen siitä, onko virheiden välttäminen vai yksityiskohtaisuuden sisällyttäminen tärkeämpää.

POPE:ta käytettiin arvioimaan kontekstisensitiivisiä objektihallucinaatioita, ja MME:ta arvioimaan attribuuttitasolla olevia hallucinaatioita, ja molemmat muotoiltiin kyllä/ei -tuomioina.

Kokeet suoritettiin eri edustavilla tietoaineistoilla, käyttäen mainittua Flux-mallia ja LLaVA-v1.5-7B -versiota. Käytetyt tietoaineistot olivat Microsoft COCO; A-OKVQA; ja GQA.

Latentti muokkaus suoritettiin mallin toisella kerroksella, priorin tutkimuksen mukaisesti, kun taas hyperparametrit ja lämpötila olivat yhdenmukaiset kaikissa malleissa.

Alkuvaiheen tulokset CHAIR:sta esitetään alla*:

Suorituskyky CHAIR-mittarilla hallucinaatioiden vähentämisessä, arvioitu useilla mittareilla.

Tutkijat toteavat:

‘[Meidän menetelmämme suorittaa johdonmukaisesti paremmin kuin muut vertailukohteet sekä CHAIR_S:ssa että CHAIR_I:ssä, osoittaen sen erinomaisen tehokkuuden hallucinaatioiden vähentämisessä. Vaikka lähes kaikki menetelmät vähentävät palautetta vähentäessään hallucinaatioita, heijastaen uskollisuuden ja informatiivisuuden välistä tasapainoa, meidän lähestymistapamme saavuttaa pienimmän laskun.

‘Tämä osoittaa, että meidän menetelmämme havaitsee laajan valikoiman todellisia objekteja. HAR@β-mittarilla meidän menetelmämme saavuttaa korkeimman tuloksen, korostaen sen kykyä vähentää hallucinaatioita säilyttäen samalla kattavuuden.’

Tutkijat attribuoivat nämä vahvat tulokset kaksinkertaiseen valvontajärjestelmään, jossa puhdas semantiikka alkuperäisestä kuvasta vahvistettiin samanaikaisesti, kun harhaanjohtavat signaalit uudelleenluodusta kuvasta hävitettiin. Koska säätö kohdistui ainoastaan suuntaan, joka liittyi hallucinaatioihin, loput edustuksesta säilytettiin koskemattomana, jolloin järjestelmä pystyi korjaamaan virheitä ilman yksityiskohtaisuuden tai informatiivisuuden uhraamista.

Suorituskyky POPE-mittarilla eri konfiguraatioissa ja tietoaineistoissa.

POPE-tuloksista tutkimuspaperi toteaa:

‘Voidaan havaita, että meidän menetelmämme suorittaa johdonmukaisesti parhaiten kaikissa asetuksissa. Merkittävästi, meidän menetelmämme saavuttaa jopa +5.95%:n tarkin ja +6.85%:n F1-tuloksen keskimäärin, ylittäen muut koulutusvapaat lähestymistavat suurella marginaalilla.

‘Näin ollen, nämä tulokset osoittavat, että meidän menetelmämme tarjoaa luotettavan ja yleistettävissä olevan ratkaisun eri vaikeustasojen yli.’

Kolmannen testikierroksen tulokset MME:stä.

Viimeinen päätesti suoritettiin MME:llä, ja tulokset esitetään yllä. Kuitenkin, joukossa muita puutteita, se mainitsee “OPERA”-menetelmän, jota ei määritellä missään tutkimuspaperissa tai liitteessä. Vaikka tutkijat väittävät vahvaa suorituskykyä MME:llä, ilman riittävää menetelmien määrittelyä, meidän kannattaa jättää tulokset osio tähän.

MME-mittarin esimerkki LLaVA-v1.5-7B:lla, jossa perusmalli tuottaa hallucinoituneen vastauksen, kun taas ehdotettu menetelmä antaa oikean vastauksen, ja uudelleenluotu kuva tekee hallucinaation näkyvämmäksi.

Johtopäätös

Vaikka tämä tutkimuspaperi on selvästi kiireinen, ja kärsii rakenteen, fokuksen ja selkeyden puutteesta, joka on tullut yhä enemmän näkyväksi kirjallisuudessa viimeisen 12 kuukauden aikana (joka ei välttämättä ole riippumaton nopeasti kasvavasta AI:n käytöstä akateemisessa tutkimuksessa), esitetty keskeinen mekanismi on edelleen älykäs.

Vaikka tämä lopusta loppuun -lähestymistapa ei vaadi uudelleenkoulutusta, ja näyttää sovellettavissa laajaan valikoimaan arkkitehtuureja, olisi ollut mielenkiintoista nähdä enemmän testikandidaatteja; ja on myös otettava huomioon, että tällainen välikäsien järjestelmä voi aiheuttaa ainakin jonkin verran viivästystä ja energian tarvetta – mikä ei ole vähäpätöinen asia suuressa mittakaavassa.

* Epätavallisesti, tutkimuspaperin pääosa esittää tulokset otsikoilla, jotka selitetään ainoastaan liitteissä, eikä pääpaperissa – yhä enenevänä huonona tapana kirjallisuudessa, kun tutkijat pyrkivät rajoittamaan keskeisen väitteen 8-9 sivuun, vaikka aineisto ei siihen mahdu. Joka tapauksessa, CHAIR-mittari, jota käytetään objektihallucinaatioiden arvioimiseen kuvauksissa, perustui 500 kuvan MSCOCO-alijoukkoon aiemmasta työstä. Kaksi muotoa käytettiin: CHAIR_s, joka mitasi, kuinka usein hallucinaatiot ilmestyivät kuvauksissa; ja CHAIR_i, joka mitasi, kuinka monta mainittua objektia hallucinoitiin. HAR@β, joka esiteltiin pääpaperissa, määriteltiin F_β-tyyliseksi yhdistelmäksi hallucinaatioiden vähentämistä ja objektihaun palautusta.

Ensimmäisen kerran julkaistu tiistaina, 30. syyskuuta 2025