Arviointi ImageNetin historiallisesta tarkkuudesta

Google Researchin ja UC Berkeleyn uusi tutkimus vahvistaa pitkään esitettyä kritiikkiä siitä, että konenäön (CV) tutkimusala tukeutuu perinteiseen ImageNet-aineistoon ja sen lukuisiin johdannaisiin. Työlään manuaalisen arvioinnin jälkeen kirjoittajat päättelivät, että lähes 50 % parhaiden mallien oletetuista virheistä ImageNetin useilla luokkamerkinnöillä annotoidun osajoukon arvioinnissa ei todellisuudessa ole virheitä. Nykyiset huippumallit saavuttavat tässä arvioinnissa yli 97 %:n top-1-tarkkuuden.

Tutkimuksesta:

”Analyysimme osoittaa, että lähes puolet oletetuista virheistä ei ole virheitä lainkaan. Löysimme uusia kelvollisia lisäluokkamerkintöjä, mikä osoittaa, että ilman huolellista tarkastelua aliarvioimme merkittävästi näiden mallien suorituskykyä.

Toisaalta havaitsimme myös, että nykyiset parhaat mallit tekevät edelleen huomattavan määrän virheitä (40 %), jotka ovat ihmisarvioijille selvästi vääriä.”

Tutkimuksen huolellinen kuva-tekstiparien arviointi ImageNetin historian laajalta ajanjaksolta osoitti, kuinka aineistojen virheelliset merkinnät – etenkin kouluttamattomien joukkotyöntekijöiden tekemät – voivat vääristää alan tuloksia.

Ylärivillä on esimerkkejä virheiden vakavuudesta. Kahdessa ensimmäisessä uusi malli yksinkertaisesti ennustaa väärän luokkamerkinnän. Kolmannessa se tunnistaa aiemmin puuttuneen lisäluokkamerkinnän eli uuden tavan luokitella kuvan. Ylärivin viimeisessä kuvassa ennuste on epäselvä, sillä kuvassa on mehiläiskärpänen eikä kärpänen. Keskivertomehiläinen kuitenkin kuuluu kaksisiipisten hyönteisten lahkoon, joten tämän poikkeuksen havaitseminen olisi lähes mahdotonta jopa asiantuntija-annotoijalle. Alarivillä on neljä virheluokkaa esimerkkeineen.  Source: https://arxiv.org/pdf/2205.04596.pdf

Tutkijat käyttivät pientä joukkoa tehtävään omistautuneita arvioijia tarkastelemaan huolellisesti ImageNet-aineiston arvioinnin historiallisia virhemerkintöjä. He havaitsivat, että monet virheiksi arvioidut ennusteet oli arvioitu väärin. Löytö voi muuttaa joidenkin vuosien mittaan ImageNet-vertailuissa heikosti menestyneiden hankkeiden tuloksia.

ImageNetin vakiinnuttua konenäön tutkimuskulttuuriin tarkkuuden parantamisen ajatellaan tuottavan yhä pienempää lisähyötyä. Tutkijoiden mukaan vakiintuneita luokkamerkintöjä tarkemmat uudet mallit, jotka ehdottavat uusia eli täydentäviä merkintöjä, voivat kuitenkin saada käytännössä rangaistuksen siitä, etteivät ne mukaudu aiempiin merkintöihin.

”Esimerkiksi”, kirjoittajat huomauttavat, ”pitäisikö meidän rangaista mallia siitä, että se ensimmäisenä ennustaa esipaistetun bagelin olevan bageli, kuten yksi tässä työssä tarkastelemistamme malleista tekee?”

Tutkimuksen uudempi malli haastaa aiemman ennusteen, jonka mukaan kuvan kohde on taikinaa, ja ehdottaa, että se onkin jo bageli.

Tällaisen kohteen tunnistamiseen palkatun joukkotyöntekijän näkökulmasta kyse on semanttisesta ja jopa filosofisesta ongelmasta, joka voidaan ratkaista vain antamalla kuvalle useita luokkamerkintöjä. Näin tehdäänkin usein ImageNetin myöhemmissä osajoukoissa ja versioissa. Edellä kuvattu kohde on sekä taikinaa että vähintäänkin muodostumassa oleva bageli.

Tutkimuksessa mukautettuja malleja testattaessa ilmenneitä suuria virheitä ylhäällä ja pieniä virheitä alhaalla. Alkuperäiset ImageNet-merkinnät ovat ensimmäisinä vasemmalla.

Kaksi ilmeistä ratkaisua ovat lisätä resursseja aineiston merkitsemiseen – mikä on vaikeaa useimpien konenäön tutkimushankkeiden budjettirajoissa – ja päivittää säännöllisesti aineistoja sekä luokkamerkintöjen arviointiin käytettäviä osajoukkoja. Kuten kirjoittajat korostavat, jälkimmäinen voi muiden esteiden ohella rikkoa vertailujen historiallisen vertailukelpoisuuden ja täyttää uudet tutkimusartikkelit vastaavuutta koskevilla rajauksilla ja varaumilla.

Tilanteen korjaamiseksi tutkijat kehittivät ImageNetistä uuden osajoukon nimeltä ImageNet-Major (ImageNet-M). He kuvaavat sitä ”68 esimerkin ’suurten virheiden’ osajoukoksi, joka sisältää nykyisten huippumallien tekemiä ilmeisiä virheitä. Mallien pitäisi saavuttaa siinä lähes täydellinen tulos, mutta nykyisin ne ovat siitä kaukana.”

Tutkimus on nimeltään When does dough become a bagel? Analyzing the remaining mistakes on ImageNet (Milloin taikinasta tulee bageli? ImageNetin jäljellä olevien virheiden analyysi). Sen kirjoittivat neljä Google Researchin tutkijaa yhdessä UC Berkeleyn Sara Fridovich-Keilin kanssa.

Tekninen velka

Tulokset ovat tärkeitä, koska tutkimuksen keskiössä olevat ImageNetin perustamista seuranneiden 16 vuoden aikana tunnistetut tai väärin tunnistetut jäljellä olevat virheet voivat merkitä eroa käyttöön soveltuvan mallin ja niin virhealttiin mallin välillä, ettei sitä voida päästää käsittelemään todellista dataa. Kuten aina, viimeinen vaihe on ratkaiseva.

Konenäön ja kuvasynteesin tutkimusala on käytännössä valinnut ImageNetin itsestään selväksi vertailumittariksi useista syistä. Varhaiset käyttäjät käynnistivät paljon tutkimushankkeita aikana, jolloin suuria ja hyvin merkittyjä aineistoja oli nykyistä harvemmassa. Niinpä ImageNetistä tuli nopeasti ainoa laajasti sovellettava historiallinen ”standardi” uusien menetelmien vertailuun.

Menetelmä

ImageNetin ”jäljellä olevia virheitä” etsiessään tutkijat käyttivät tavallista ViT-mallia, joka pystyy 89,5 %:n tarkkuuteen. Kolmen miljardin parametrin Vit-3B oli esikoulutettu JFT-3B-aineistolla ja hienosäädetty ImageNet-1K-aineistolla.

Tutkijat mittasivat ImageNet2012_multilabel-aineistolla ViT-3B:n alkuperäiseksi usean luokkamerkinnän arviointitarkkuudeksi (MLA) 96,3 %. Malli teki tällöin 676 näennäistä virhettä. Kirjoittajat tutkivat näitä virheitä sekä Greedy Soups -mallin tekemiä virheitä.

Arvioidessaan jäljellä olevia 676 virhettä kirjoittajat eivät käyttäneet joukkotyöntekijöitä, sillä tällaisten virheiden havaitseminen voi olla tavallisille annotoijille vaikeaa. He kokosivat sen sijaan viiden asiantuntija-arvioijan paneelin ja loivat erillisen työkalun, jolla kukin arvioija näki yhdellä silmäyksellä ennustetun luokan, ennusteen pistemäärän, vertailutotuuden luokkamerkinnät ja itse kuvan.

Hanketta varten rakennettu käyttöliittymä.

Joissakin tapauksissa paneelin erimielisyyksien ratkaisemiseksi tarvittiin lisätutkimusta, jossa Google-kuvahakua käytettiin apuvälineenä.

”Eräässä kiinnostavassa mutta ei ainoassa tällaisessa tapauksessa kuvasta ennustettiin taksi, vaikka siinä ei ollut keltaisen värin lisäksi ilmeisiä taksin tunnusmerkkejä. Totesimme ennusteen oikein taksiksi emmekä tavalliseksi autoksi tunnistamalla taustalla olevan maamerkkisillan ja siten kaupungin. Tämän kaupungin takseista tehty kuvahaku tuotti saman taksimallin ja rekisterikilpityylin kuvia, mikä vahvisti mallin ennusteen oikeaksi.”

Tutkimuksen useissa vaiheissa havaittujen virheiden alustavan tarkastelun jälkeen kirjoittajat määrittelivät neljä uutta virhetyyppiä: hienojakoinen virhe, jossa ennustettu luokka muistuttaa vertailutotuuden merkintää; hienojakoinen virhe sanaston ulkopuolisella luokalla (OOV), jossa malli tunnistaa kohteen oikean luokan, jota ei kuitenkaan ole ImageNetissä; näennäinen korrelaatio, jossa ennustettu merkintä irrotetaan kuvan asiayhteydestä; ja epätyypillinen kohde, jossa vertailutotuuden kohde on luokkansa harhaanjohtava esimerkki, joka muistuttaa ennustettua merkintää.

Joissakin tapauksissa vertailutotuus ei itsessään ollut ”totta”:

”Tarkasteltuamme alkuperäiset 676 ImageNetistä löydettyä virhettä havaitsimme, että 298 oli joko oikein tai epäselviä, tai että alkuperäinen vertailutotuus oli väärä tai ongelmallinen.”

Eri aineistoilla, osajoukoilla ja validointijoukoilla tehdyn perusteellisen ja monimutkaisen koesarjan jälkeen kirjoittajat havaitsivat, että ihmisarvioijat pitivät kahta tutkittua mallia todellisuudessa oikeassa puolessa niistä tapauksista, jotka perinteiset arviointimenetelmät olivat luokitelleet virheiksi.

Tutkimus päättyy seuraavasti:

”Tässä tutkimuksessa analysoimme jokaisen jäljellä olevan virheen, jonka ViT-3B- ja Greedy Soups -mallit tekevät ImageNetin useilla luokkamerkinnöillä annotoidussa validointijoukossa.

Kaikkiaan havaitsimme, että: 1) kun suuri ja tarkka malli tekee uuden ennusteen, jota muut mallit eivät tee, se osoittautuu uudeksi oikeaksi lisäluokkamerkinnäksi lähes puolessa tapauksista; 2) tarkemmat mallit eivät osoita selvää kaavaa siinä, mitä luokittelemistamme virhetyypeistä ja vakavuusasteista ne ratkaisevat; 3) nykyiset alan huippumallit pääosin vastaavat parhaan ihmisasiantuntijan suorituskykyä tai ylittävät sen ihmisten arvioimassa useilla luokkamerkinnöillä annotoidussa osajoukossa; 4) kohinainen opetusaineisto ja puutteellisesti määritellyt luokat voivat rajoittaa kuvaluokittelun parannusten tehokasta mittaamista.”

Julkaistu ensimmäisen kerran 15. toukokuuta 2022.