’Lataa lisää merkintöjä!’ -illuusio tekoälytutkimuksessa

Yleinen näkemys nykyisessä koneoppimisen tutkimuksessa on, että koneoppimista voidaan käyttää parantamaan tekoälyaineistojen laadun – erityisesti kuvakuvauksia, jotka on tarkoitettu visuaalisten kielen mallien (VLM) käyttöön. Tämä ajattelutapa perustuu korkeisiin kustannuksiin ihmisen merkinnän tekemisestä ja annotaattorin suorituskyvyn valvontaan liittyvään lisäkuormaan .

Väittäen, että tämä on tekoälyn vastine varhaisen 2000-luvun ‘Lataa lisää RAM-muistia’ -meemille, joka pilkkasi ajatusta, jonka mukaan laitteiston rajoitus voitiin ratkaista ohjelmistopohjaisella korjauksella.

Se on myös aliarvostettu ongelma; vaikka uudet tekoälymallit saavat laajaa huomiota sekä julkisissa että kaupallisissa piireissä, annotaatio näyttäytyy usein merkityksettömänä yksityiskohdina koneoppimisprosesseissa, jääden pimentoon laajempien kehysrakenteiden jännityksen alle.

Todellisuudessa koneoppimisjärjestelmien kyky tunnistaa ja reproduktioon malleja (lähes kaikkien tekoälyjärjestelmien keskeinen käyttötapa) riippuu laadukkaiden ja johdonmukaisen todellisten annotaatioiden – etikettejä ja lauseita, jotka luodaan tai määrätään todellisilla ihmisillä, usein tekemällä subjektiivisia arvioita yksittäisistä datakohdista epäihannetissa olosuhteissa.

Välttämättä, järjestelmät, jotka pyrkivät havainnoimaan ja reproduktioon annotaattorin käyttäytymistä (ja korvaamaan ihmisen annotaattorit ja mahdollistamaan tarkan merkinnän suurella mittakaavalla) eivät voi toimia hyvin data ei sisälly mukaan esimerkkeihin, jotka on otettu ihmisen havainnoitsijoista. Mitään ‘samankaltaista’ ei ole ihan samaa, ja ristiriitainen ekvivalenssi on edelleen ongelmainen tavoite tietokoneen näkemisessä.

‘Ylätuomion data’ on pakko lopettaa jossakin, ja tässä tapauksessa se on juuri siellä, missä se loppuu – ihmisen aivokuoren tekemällä jonkinlaista subjektiivista eroa koodata dataa tekoälyjärjestelmälle.

RAG-kauppa

Aikaisemmin annotaatioaineistojen virheellisyydestä aiheutuvat epätarkkuudet olivat ehkä hyväksyttäviä vahinkoja tekoälyjärjestelmien saavuttamien tuloksien kontekstissa.

Todellakin, vasta tänä vuonna Singaporen tutkimus johti siihen, että hallusinaatiot – eli tilanteet, joissa tekoälyjärjestelmät keksivät asioita, jotka vaarantavat aikomuksemme – ovat välttämättömiä ja sidoksissa näiden järjestelmien käsitteelliseen arkkitehtuuriin.

Tätä vastaan RAG-pohjaiset agentit – jotka voivat ‘vahvistaa’ tosiasioita internet-haun kautta – ovat suosittuja tutkimuksessa ja sovelletuissa kaupallisissa ratkaisuissa. Niiden lisäksi ne lisäävät resurssien kustannuksia ja viiveitä kyselyissä; uudet tiedot, jotka sovelletaan koulutettuun malliin, eivät voi kilpailla monimutkaisempien ja syvemmin sisäkkäisten yhteyksien kanssa, jotka luonnehtivat koulutetun mallin alkuperäisiä kerroksia.

Olisi parempi, jos annotaatiotiedot, jotka kertovat näistä malleista, olisivat huomattavasti vähemmän virheellisiä alusta alkaen, vaikka ne eivät voi olla täydellisiä (koska tämä toiminta tunkeutuu ihmisen subjektiivisuuden alueelle).

RePOPE

Saksasta oleva uusi tutkimus korostaa ongelmia, jotka johtuvat vanhempien, laajasti käytettyjen aineistojen käytöstä, keskittyen erityisesti kuvakuvauksien tarkkuuteen ja luotettavuuteen. Tutkijoiden tulokset osoittavat, että etikettivirheet vertailuissa voivat peittää tai vääristää hallusinaatiota visuaalisten kielen malleissa.

Uuden tutkimuksen mukaan joitakin esimerkkejä, joissa alkuperäiset kuvaukset eivät onnistuneet tunnistamaan oikein esineitä MSCOCO-kuvatietokannassa. Tutkijoiden manuaalinen tarkistus POPE-benchmark-aineistosta osoittaa näiden puutteiden kustannukset, osoittaen, että säästö annotaatiokuraattorin kustannuksilla voi johtaa virheisiin.

Kuvitellaan malli, joka näytetään kuvan, jossa on katunäkymä, ja kysytään, onko siinä polkupyörä. Malli vastaa kyllä. Jos vertailuaineisto sanoo, ettei siinä ole polkupyörää, malli on väärä. Mutta jos polkupyörä on selvästi näkyvissä kuvassa ja se on yksinkertaisesti ohitettu annotoinnissa, mallin vastaus oli oikein, ja vertailuaineisto epäonnistui. Virheet, kuten tämä, voivat kertyä koko aineistossa, antaen vääristyneen kuvan siitä, mitkä mallit ovat tarkkoja ja mitkä ovat alttiita hallusinaatioille.

Näin, kun virheellisiä tai epäselviä annotaatioita käsitellään tosiasioina, mallit voivat näyttää hallusinoivista, kun ne ovat oikein, tai ne voivat näyttää tarkoista, kun ne eivät ole, vääristäen sekä hallusinaation mittaamista että mallin suorituskyvyn arviointia ja vaikeuttaen ongelman diagnosoinnin tai korjaamisen varmuudella.

Uusi tutkimus tarkastelee uudelleen laajasti käytettyä vertailua Polling-pohjainen Object Probing Evaluation (POPE), joka testaa, voivatko visuaalisten kielen mallit kertoa, mitä on tai ei ole kuvassa.

POPE perustuu etiketteihin, jotka on otettu vaikutusvaltaisesta Microsoft COCO: Common Objects in Context (MSCOCO) -aineistosta, joka on kokoelma annotoituja kuvia, jotka on pidetty hyvänä annotaation tarkkuutena.

POPE arvioi visuaalisten kielen mallien objektiivista hallusinaatiota binäärisen luokittelutehtävänä. Sen sijaan, että analyysi generoituja kuvauksia, järjestelmä asettaa yksinkertaisia kyllä/ei -kysymyksiä mallille siitä, onko tiettyjä esineitä kuvassa, käyttäen kaavoja, kuten Onko <esine> kuvassa?.

Esimerkkejä objektiivisesta hallusinaatiosta visuaalisten kielen malleissa. Lihavoitetut etiketit osoittavat esineitä, jotka on merkitty läsnä alkuperäisissä annotaatioissa, kun taas punaiset etiketit osoittavat esineitä, jotka mallit ovat hallusinoineet. Vasemmalla oleva esimerkki heijastaa perinteistä ohjeistuksen perusteella tehtyä arviointia, kun taas oikeanpuoleiset esimerkit ovat eri POPE-benchmark-variantteja.

Tosiasialliset esineet (vastaus: Kyllä) on parittu satunnaisten, usein esiintyvien (suosittujen) tai yhdessä esiintyvien (kontra) strategioiden mukaan valittujen olemattomien esineiden kanssa. Tämä asettelu mahdollistaa vakaamman, kysymyksiin herkkyyttä vähentävän hallusinaation arvioinnin ilman monimutkaisia sääntöpohjaisia kuvauksien analyysiä.

Tutkijat uudessa tutkimuksessa – nimeltään RePOPE: Annotaatiavirheiden vaikutus POPE-benchmarkiin – haastavat POPE:n oletetun tarkkuuden tarkistamalla uudelleen etiketit benchmarkin kuvissa (eli MSCOCO) – ja löytämällä, että hämmästyttävä määrä niistä on virheellisiä tai epäselviä.

Esimerkkejä vuoden 2014 MSCOCO-aineistosta.

Nämä virheet muuttavat mallien luokittelua, ja jotkut mallit, jotka aluksi suorittivat hyvin, päätyvät taakse, kun ne arvioidaan oikeutetuilla etiketeillä.

Kokeissa tutkijat arvioivat useita avoimia painoja omaavia visuaalisten kielen malleja sekä alkuperäisellä POPE-benchmarkilla että heidän uudelleenmerkityllä RePOPE-versiollaan.

Tutkimuksen mukaan oikeutetut annotaatiot johtivat merkittäviin muutoksiin mallien luokitteluun, erityisesti F1-tuloksissa, joissa useat korkean suorituskyvyn mallit, kuten Ovis2-4B ja Ovis2-8B, nousivat huipulle RePOPE:ssa.

Tutkijat väittävät, että tämä muutos osoittaa, kuinka annotaatiavirheet voivat peittää mallien todellisen hallusinaatiokäyttäytymisen, ja he esittävät RePOPE:n luotettavampana työkaluna hallusinaation arvioimiseksi.

Uuden tutkimuksen esimerkki, jossa alkuperäiset POPE-kuvaukset eivät onnistuneet tunnistamaan hienovaraisia esineitä, kuten henkilöä raitiovaunun ohjaamossa tai tuolia, joka on peittynyt tennispelaajan taakse.

Menetelmä ja kokeet

Tutkijat uudelleenmerkinnöivät kaikki alkuperäisen MSCOCO-aineiston annotaatiot, ja kaksi ihmisen annotoittajaa määrättiin jokaiseen data-kohtaan. Jos alkuperäisten etikettien laatu oli epäselvä (kuten esimerkeissä alla), nämä tulokset asetettiin sivuun kokeen aikana.

Epäselvät tapaukset, joissa POPE:n etikettien epäjohdonmukaisuudet heijastavat epäselviä kategoria-rajoja. Esimerkiksi nalle-etiketti merkittyä karhuna, moottoripyörä merkittyä polkupyöränä tai lentokentän ajoneuvot merkittyä autoina. Nämä tapaukset poistettiin RePOPE:sta niiden subjektiivisen luonteen ja MSCOCO:n alkuperäisten etikettien epäjohdonmukaisuuden vuoksi.

Tutkimus toteaa:

‘Alkuperäiset annotoijat ohittivat henkilöitä taustalla tai lasin takana, tennispelaaja peittää ‘tuolit’ taustalla, ja coleslaw-salaatti sisältää vain pienen näkyvän raidan porkkanaa.

‘Joidenkin esineiden osalta COCO:n annotaatiot ovat hyvin epäjohdonmukaisia, todennäköisesti johtuen alkuperäisten annotoijien käyttämistä määritelmistä. Nallen luokittelu ‘karhuksi’, moottoripyörän luokittelu ‘moottoroiduksi polkupyöräksi’ tai lentokenttäajoneuvon luokittelu ‘autoksi’ riippuu tietyistä määritelmistä, johtaa epäjohdonmukaisuuksiin POPE:n tosiasiallisissa annotaatioissa. Siksi merkitsemme vastaavat kuva-kysymysparit ‘epäselviksi’.’

Uudelleenmerkinnän tulokset: positiiviset kysymykset jaetaan kaikille kolmelle POPE-variantille. Niistä, jotka on merkitty ‘Kyllä’ POPE:ssa, 9,3 prosenttia oli virheellisiä, ja 13,8 prosenttia luokiteltiin epäselviksi. ‘Ei’-kysymyksistä 1,7 prosenttia oli väärin merkitty, ja 4,3 prosenttia oli epäselviä.

Tutkijat arvioivat useita avoimia painoja omaavia malleja POPE:ssa ja RePOPE:ssa, eri arkkitehtuureilla ja mallikokoilla. Arvioiduissa malleissa oli joitakin johtavista arkkitehtuureista OpenVLM -listalla: InternVL2.5 (8B/26B/38B/78B ja 8B-MPO/26B-MPO); LLaVA-NeXT; Vicuna; Mistral 7b; Llama; LLaVA-OneVision; Ovis2 (1B/2B/4B/8B); PaliGemma-3B; ja PaliGemma2 (3B/10B).

Alkuvaiheen tulokset: alkuperäisten positiivisten etikettien korkea virheluku johtaa jyrkkään laskuun oikeiden positiivisten tuloksissa kaikissa malleissa. Väärät positiiviset tulokset vaihtelevat alajoukoissa, lähes kaksinkertaistuen satunnaisessa alajoukossa, mutta pysyen suurelta osin muuttumattomina suositussa alajoukossa ja näyttäen lievää laskua kontra-alajoukossa. Uudelleenmerkintä vaikuttaa merkittävästi F1-pohjaisiin luokitteluihin. Mallit, kuten Ovis2-4B ja Ovis2-8B, jotka suorittivat hyvin suositussa ja kontra-alajoukossa POPE:ssa, nousevat myös huipulle satunnaisessa alajoukossa RePOPE:ssa.

Yllä olevat tulokset osoittavat, kuinka oikeiden positiivisten ja väärien positiivisten määrä muuttuu etikettien oikaisun jälkeen benchmarkissa.

Oikeat positiiviset tulokset laskivat kaikissa malleissa, osoittaen, että ne olivat usein saaneet krediittiä oikeista vastauksista, kun ne vastaukset olivat oikein vain virheellisten etikettien perusteella, kun taas väärät positiiviset seurasivat vaihtelevampaa kaavaa.

Satunnaisessa POPE-versiossa väärät positiiviset tulokset lähes kaksinkertaistuivat monissa malleissa, osoittaen, että merkittävä määrä esineitä, jotka oli merkitty hallusinaatioiksi, olivat itse asiassa läsnä kuvissa, mutta ohitettu alkuperäisissä annotaatioissa. Tässä tapauksessa monet oletetut mallivirheet olivat itse asiassa aineiston merkintävirheitä.

Kontra-versiossa, jossa kysymykset perustuivat usein yhdessä esiintyviin esineisiin, väärät positiiviset tulokset vähenivät. Tämä johtunee suuremmasta todennäköisyydestä, että puuttuva esine oli itse asiassa kuvassa, mutta jäänyt merkittymättä.

Vaikka nämä muutokset vaikuttivat tarkkuuteen ja kutsuun, mallien luokittelut pysyivät suhteellisen vakaana molemmilla mittarilla.

F1-lukema – POPE:n pääarviointimitan – oli paljon herkempi etikettien oikaisuille. Satunnaisessa alajoukossa mallit, jotka olivat lähellä huipulla alkuperäisillä etiketeillä, kuten InternVL2.5-8B ja -26B, putosivat pohjaan, kun ne arvioitiin RePOPE:n avulla. Toiset, kuten Ovis2-4B ja -8B, nousivat huipulle.

Samankaltainen kaava ilmestyi tarkkuusluokissa, vaikka tutkijat huomauttavat, että nämä voivat nyt olla vääristyneitä, koska oikaistu aineisto sisältää epätasaisen määrän positiivisia ja negatiivisia esimerkkejä.

Tutkijat väittävät, että annotaatiavirheiden voimakas vaikutus benchmarkin tuloksiin korostaa laadukkaiden datan tarvetta. Tukeakseen hallusinaation arvioinnin luotettavuutta he ovat julkaisseet oikaistut etiketit GitHubissa.

He kuitenkin huomauttavat, että tämä uudelleenmerkintä ei täysin ratkaise benchmarkin täyttymistä, koska monet mallit saavuttavat edelleen yli 90 prosentin oikeiden positiivisten ja oikeiden negatiivisten tulosten. He ehdottavat, että muita benchmarkkeja, kuten DASH-B:a, joka käyttää haastavampaa joukkoa negatiivisia esimerkkejä, tulisi käyttää RePOPE:n rinnalla.

Johtopäätös

Tämä koe oli mahdollinen aineiston hyvin pienen mittakaavan ansiosta. Saman hypoteesin todistaminen hyperskaalaisilla aineistoilla vaatisi työskentelemistä hyvin rajoitettujen aineiston osien kanssa; hyvin monimuotoisissa suurissa aineistoissa voi olla vaikea erottaa tilastollisesti edustavia ja semanttisesti yhtenäisiä ryhmiä – mikä voi vääristää tuloksia.

Even if it were possible, what remedy would there be under the current state-of-the-art? The argument moves back inevitably towards the need for better and more copious human annotation.

In this regard, ‘better’ and ‘more copious’ exist as separate problems in their own right, since one can obtain a greater volume of annotations through race-to-the-bottom economies such as Amazon Mechanical Turk (AMT). Obviously, this potentially exploitative sub-economy frequently leads to inferior results.

Alternatively, one could farm out annotation tasks to economic regions where the same expenditure would yield a larger quantity of annotations. However, the further removed the annotator is from the intended use case of the model their labels will shape, the less likely it is that the resulting model will align with the needs or expectations of the target domain.

This therefore remains one of the most persistent and unresolved challenges in the economics of machine learning development. First published Wednesday, 23. huhtikuuta 2025