Käyttäen AI-harhoja kuvan realismin arviointiin

Uusi tutkimus Venäjältä ehdottaa epätavanomaista menetelmää epärealististen AI: n luomien kuvien havaitsemiseksi – ei parantamalla suurten visuaalisten kielen mallien (LVLM) tarkkuutta, vaan hyödyntämällä tietoisesti niiden harhaisuutta.

Uuden lähestymistavan ansiosta voidaan poimia useita “atomisia tosiasioita” kuvasta LVLM: n avulla, ja sitten soveltaa luonnollisen kielen inferenssiä (NLI) järjestelmällisesti mitatakseen ristiriitoja näiden lauseiden välillä – tehokkaasti muuttaen mallin virheitä diagnostiseksi työkaluksi epärealististen kuvien havaitsemiseksi.

Kaksi kuvaa WHOOPS!-aineistosta yhdessä LVLM-mallin automaattisesti generoimien lauseiden kanssa. Vasemmalla oleva kuva on realistinen, mikä johtaa yhdenmukaisiin kuvauksiin, kun taas oikeanpuoleinen epätavallinen kuva aiheuttaa mallille harhaisuutta, tuottaen ristiriitaisia tai virheellisiä lauseita. Lähde: https://arxiv.org/pdf/2503.15948

Kun LVLM: ltä pyydettiin arvioimaan toisen kuvan realismitasoa, se voi nähdä, että jokin on vialla, koska kuvassa olevalla kamelilla on kolme kyttyrää, mikä on tuntematon luonnossa.

Kuitenkin LVLM sekoittaa aluksi > 2 kyttyrää > 2 eläintä, koska tämä on ainoa tapa, jolla voisi nähdä kolme kyttyrää yhdessä “kameli-kuvassa”. Sitten se jatkaa harhaisuutta ja luo jotain epätodennäköisempää kuin kolme kyttyrää (ts. “kaksi päätä”) ja ei koskaan yksityiskohtaisesti kuvaa sitä, mikä näyttää laukaisevan epäilynsä – epätodennäköisen ylimääräisen kyttyrän.

Tutkijat totesivat, että LVLM-mallit voivat suorittaa tämänkaltaisen arvioinnin luonnostaan ja yhtä hyvin (tai jopa paremmin) kuin mallit, jotka on hienosäädetty tätä tehtävää varten. Koska hienosäätö on monimutkainen, kallis ja hauras alihankkijoiden soveltamisen suhteen, tämä yksi suurimmista esteistä nykyisessä AI-vallankumouksessa on virkistävä twist yleisille trendeille kirjallisuudessa.

Avoimen arvioinnin

Lähestymistavan tärkeys, jonka kirjoittajat väittävät, on se, että sitä voidaan käyttää avoin lähdekoodi -kehyksissä. Vaikka edistynyt ja suurpanostusmalli kuten ChatGPT (josta tutkimus myöntää) voi potentiaalisesti tarjota parempia tuloksia tässä tehtävässä, kirjallisuuden todellinen arvo suurimmalle osalle meistä (erityisesti harrastelijoille ja VFX-yhteisöille) on mahdollisuus sisällyttää ja kehittää uusia läpimurtoja paikallisissa toteutuksissa; toisaalta kaikki, mitä on tarkoitettu omistajien kaupalliseen API-järjestelmään, on altis peruutukselle, satunnaisille hintamuutoksille ja sensuuripolitiikoille, jotka heijastavat enemmän yhtiön liiketoimintakysymyksiä kuin käyttäjien tarpeita ja vastuuta.

Uusi tutkimus on nimeltään Älä taistele harhauksia vastaan, käytä niitä: kuvan realismin arviointi NLI: n avulla atomisista tosiasioista, ja se on peräisin viideltä tutkijalta Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology, ja venäläisistä yrityksistä MTS AI ja AIRI. Tutkimuksella on GitHub-sivu.

Menetelmä

Kirjoittajat käyttävät israelilaista/yhdysvaltalaista WHOOPS!-aineistoa projektiinsa:

Esimerkkejä mahdottomista kuvista WHOOPS!-aineistosta. On huomionarvoista, miten nämä kuvat kokoavat uskottavat osat, ja että niiden epätodennäköisyys on laskettava näiden yhdistettyjen epäyhteensopivien osien perusteella. Lähde: https://whoops-benchmark.github.io/

Aineisto koostuu 500 syntetisoidusta kuvasta ja yli 10 874 annotaatiosta, jotka on suunniteltu testaamaan AI-mallien yleissivistyksen ja koostumisen ymmärtämistä. Se luotiin yhteistyössä suunnittelijoiden kanssa, jotka olivat tehtävänään luoda haasteellisia kuvia teksti-kuva-järjestelmien kautta, kuten Midjourney ja DALL-E-sarja – tuottaen skenaarioita, jotka ovat vaikeita tai mahdottomia luonnostaan:

Lisää esimerkkejä WHOOPS!-aineistosta. Lähde: https://huggingface.co/datasets/nlphuji/whoops

Uusi lähestymistapa toimii kolmessa vaiheessa; ensin LVLM (erityisesti LLaVA-v1.6-mistral-7b) ohjataan generoimaan useita yksinkertaisia lauseita – kutsutaan “atomisiksi tosiasioiksi” – kuvailemaan kuvaa. Nämä lauseet generoidaan Diverse Beam Search -menetelmällä, jotta tulokset vaihtelevat.

Diverse Beam Search tuottaa paremman valikoiman otsikko vaihtoehtoja optimoimalla monimuotoisuutta. Lähde: https://arxiv.org/pdf/1610.02424

Seuraavaksi jokainen generoitu lause verrataan systemaattisesti jokaiseen muuhun lauseeseen Natural Language Inference -mallin avulla, joka antaa pisteet, jotka heijastavat, ovatko lauseparit implisiittisiä, ristiriitaisia tai neutraaleja toisiinsa nähden.

Ristiriidat osoittavat harhauksia tai epärealistisia elementtejä kuvassa:

Havaintoputken schema.

Lopuksi menetelmä yhdistää nämä parittaiset NLI-pisteet yhdeksi “realismin pisteeksi”, joka mittailee generoiden lauseiden yleistä yhdenmukaisuutta.

Tutkijat tutkivat eri yhdistämismenetelmiä, ja klusterointiin perustuva lähestymistapa toimi parhaiten. Kirjoittajat sovelsivat k-means-klusterointialgoritmin yksittäisten NLI-pisteiden erottamiseksi kahteen klusteriin, ja sitten valitsivat alemman arvon klusterin keskipisteen lopulliseksi mittariksi.

Kahden klusterin käyttäminen vastaa suoraan luokittelutehtävän binäärisyyttä, ts. erottamista realistisista ja epärealistisista kuvista. Logiikka on samanlainen kuin yksinkertaisesti valitsemalla alhaisin pisteytys yleensä; kuitenkin klusterointi sallii mittarin edustaa keskimääräistä ristiriitaa useiden tosiasioiden yli, sen sijaan että riippuisi yksittäisestä poikkeuksesta.

Data ja testit

Tutkijat testasivat järjestelmäänsä WHOOPS!-viitearvona, käyttäen kierto testijakoa (ts. rinnakkaisvalidointia). Testatut mallit olivat BLIP2 FlanT5-XL ja BLIP2 FlanT5-XXL jakojen osalla, ja BLIP2 FlanT5-XXL nollasuorituskyvyn muodossa (ts. ilman lisäkoulutusta).

Ohjeiden noudattamiseen perustuvana vertailukohtana kirjoittajat ohjasivat LVLM: ät seuraavalla lauseella ‘Onko tämä epätavallista? Selitä lyhyesti yhdellä lauseella’, joka aiempi tutkimus osoitti tehokkaaksi epärealististen kuvien havaitsemiseen.

Arvioiduista malleista olivat LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B ja kaksi kokoa (7/13 miljardia parametriä) InstructBLIP: ista.

Testimenettely keskittyi 102 pariin realistisia ja epärealistisia (“outo”) kuvia. Jokainen pari koostui yhestä normaalista kuvasta ja yhestä yleissivistyksen vastaisesta kuvaparista.

Kolme ihmisen annotoijaa merkittiin kuvat, saavuttaen 92 %: n yhteisymmärryksen, joka osoittaa vahvan ihmisen yhteisymmärryksen siitä, mitä “outous” tarkoitti. Arviointimenetelmien tarkkuutta mitattiin niiden kyvystä erottaa oikein realistisia ja epärealistisia kuvia.

Järjestelmä arvioitiin kolmiportaisella ristikkäisvalidoinnilla, jossa data sekoitettiin satunnaisesti kiinteällä siemenellä. Kirjoittajat säätivät painoarvoja implisiittisille pisteille (lauseille, jotka loogisesti sopivat) ja ristiriitaisille pisteille (lauseille, jotka loogisesti ristivät toisiaan) koulutuksen aikana, kun taas “neutraalit” pisteet olivat kiinteät nollaan. Lopullinen tarkkuus laskettiin keskiarvona kaikista testijaksoista.

Eri NLI-mallien ja yhdistämismenetelmien vertailu viidestä generoidusta tosiasiallisesta, mitattuna tarkkuudella.

Alkuperäisen tuloksen osalta, joka on esitetty yllä, tutkimus toteaa:

‘[Klusterointi] -menetelmä erottuu yhtenä parhaista suorituskyvyn näyttäjistä. Tämä osoittaa, että kaikkien ristiriitaisuuksien pisteiden yhdistäminen on ratkaisevaa, eikä vain ääripäätöksiin keskittyminen. Lisäksi suurin NLI-malli (nli-deberta-v3-large) suorittaa kaikki muut menetelmät paremmin, mikä osoittaa, että se havaitsee ongelman ydintä tehokkaammin.’

Kirjoittajat totesivat, että optimaaliset painotukset suosivat johdonmukaisesti ristiriitoja implisiittisyyden sijaan, osoittaen, että ristiriidat olivat tärkeämpiä epärealististen kuvien erottamiseksi. Heidän menetelmänsä ylittivät kaikki muut nollasuorituskyvyn menetelmät, lähestyen läheisesti hienosäädetyn BLIP2-mallin suorituskykyä:

Eri lähestymistapojen suorituskyky WHOOPS!-viitearvona. Hienosäädettyjä (ft) menetelmiä on ylhäällä, kun taas nollasuorituskyvyn (zs) menetelmiä on lueteltu alla. Mallin koko osoittaa parametriiden määrää, ja tarkkuutta käytetään arviointimittarina.

He myös huomauttivat, joskus odottamattomasti, että InstructBLIP suoritti paremmin verrattuna vastaaviin LLaVA-malleihin, jotka saivat saman ohjeen. Vaikka se tunnustaa GPT-4o:n paremman tarkkuuden, tutkimus korostaa kirjoittajien mieltymystä käytännöllisiin, avoimen lähdekoodin ratkaisuihin, ja näyttää voivan väittää uudelleen keksimisen harhauksien tietoisen hyödyntämisen diagnostisena työkaluna.

Johtopäätös

Kuitenkin kirjoittajat myöntävät tutkimuksensa velan 2024 FaithScore -tutkimukselle, joka on yhteistyö University of Texas at Dallasin ja Johns Hopkinsin yliopiston välillä.

Kuvaus siitä, miten FaithScore-arviointi toimii. Ensinnäkin LVLM-generoituja lauseita tunnistetaan. Seuraavaksi nämä lauseet jaetaan yksittäisiin atomisiin tosiasioihin. Lopuksi atomiset tosiasiat verrataan syötteenä olevaan kuvaan niiden tarkkuuden varmistamiseksi. Alleviivatut tekstit korostavat objektiivista kuvailevaa sisältöä, kun taas siniset tekstit osoittavat harhautuneita lauseita, jolloin FaithScore tarjoaa tulkiteltavan mittarin faktuaalisen oikeellisuuden mittaamiseksi.

FaithScore mitata uskollisuutta LVLM-generoituja kuvauksia verrattaessa kuva-aineistoon, kun taas tämän tutkimuksen menetelmät hyödyntävät LVLM-harhauksia epärealististen kuvien havaitsemiseksi ristiriidoissa generoiduissa tosiasioissa NLI: n avulla.

Tämä uusi tutkimus riippuu luonnostaan nykyisten kielimallien erikoisuuksista ja niiden taipumuksesta harhautua. Jos mallikehitys joskus tuottaa täysin non-harhautuvan mallin, jopa tämän uuden työn yleiset periaatteet eivät enää sovellu. Tämä on kuitenkin haasteellinen näkymä.

Julkaistu ensimmäisen kerran tiistaina, 25. maaliskuuta 2025