Arviointi ImageNetin historiallisesta tarkkuudesta

Google Researchin ja UC Berkeley:n uusi tutkimus vahvistaa pitkään jatkunutta kritiikkiä tietokoneen näköalan (CV) tutkimuksen riippuvuudesta ImageNet-tietokannasta ja sen johdannaisista. Tutkijat ovat tehneet paljon työtä manuaalisesti arvioidakseen ImageNet-tietokannan virheitä ja ovat tulleet siihen tulokseen, että lähes 50 % virheistä, joita parhaat mallit tekevät monimerkkisen osajoukon arvioinnissa (jossa nykyiset parhaat mallit saavuttavat yli 97 %:n ensisijaisen tarkkuuden), eivät ole virheitä lainkaan.

Tutkimuksesta:

‘Meidän analyysimme osoittaa, että lähes puolet virheistä eivät ole virheitä lainkaan, ja me olemme löytäneet uusia voimassa olevia monimerkkejä, osoittaen, että ilman huolellista tarkastelua aliarvioimme näiden mallien suorituskykyä.

‘Toisaalta me myös havaitsemme, että nykyiset parhaat mallit tekevät edelleen merkittävän määrän virheitä (40 %), jotka ovat ilmeisiä virheitä ihmisten arvioijien mielestä.’

Tietokantojen virheellinen merkintä, erityisesti ei-ammattitaitoisten joukkorahoituksen työntekijöiden toiminnan kautta, saattaa vääristää alaa, kuten tutkimuksen tarkka arviointi osoittaa.

Tutkimuksesta, uudempi malli kieltäytyy noudattamasta aiempaa ennustetta, jonka mukaan kuvan esittämä kohde on taikina, ja ehdottaa sen sijaan, että kohde on jo valmis bageli).

Kuvan kohteen tunnistamisen kannalta tämä on semanttinen ja jopa filosofinen ongelma, joka voidaan ratkaista vain monimerkinnällä (joka usein esiintyy myöhemmissä ImageNet-joukoissa ja myöhemmissä iteraatioissa); edellä mainitussa tapauksessa kohde on sekä taikinaa että ainakin alkion bagelia.

Suuret (yläpuolella) ja pienet (alapuolella) virheet, jotka ilmestyivät tutkimuksessa mukautettujen mallien testaamisen aikana. Alkuperäiset ImageNet-merkinnät ovat ensimmäiset kuvat vasemmalla.

Tutkijat esittävät kaksi ilmeistä ratkaisua: ensinnäkin, lisätä resursseja merkintöihin (joka on haaste useimmissa tietokoneen näköalan tutkimushankkeissa); ja toiseksi, tutkijoiden korostamana, päivittää säännöllisesti tietokantoja ja merkintöjä (joka, muun muassa, uhkaa rikkoa “samanlainen kuin” -jatkuvuuden benchmarkkeissa ja saastuttaa uudet tutkimuspaperit lauseilla ja varauksilla, jotka liittyvät vertailukelpoisuuteen).

Tutkijat ovat kehittäneet uuden ImageNet-alajoukon, ImageNet-Majorin (ImageNet-M), jota he kuvaavat ’68-esimerkin “vakavan virheen” osajoukoksi, jossa mallit saavuttavat lähes täydellisen suorituskyvyn, mutta eivät ole vielä saavuttaneet sitä.’

Tutkimus on julkaistu täällä ja sen on kirjoittanut neljä Google Researchin tutkijaa yhdessä Sara Fridovich-Keilin kanssa UC Berkeley:stä.

Tekninen velka

Tutkimuksen tulokset ovat tärkeitä, koska ImageNetissä havaittujen virheiden määrä 16 vuoden aikana voi merkitä eroa käyttöön otettavissa malleissa ja virheellisissä malleissa, jotka eivät voi toimia suorituskykyisesti. Kuten aina, viimeinen maili on kriittinen.

Tietokoneen näköalan ja kuvansynteesin tutkimusalalla on “automaattisesti” valinnut ImageNetin benchmark-mittariksi useista syistä, mukaan lukien se, että varhaiset käyttäjät loivat runsaasti tutkimushankkeita, joissa testattiin ImageNetiä, mikä teki siitä laajasti sovellettavan historiallisen “standardin” uusien kehysrakenteiden benchmarkkaamiseen.

Menetelmä

Etsimällä ImageNetin “jäljellä olevia virheitä”, tutkijat käyttivät standardia ViT-mallia (joka pystyy saavuttamaan 89,5 %:n tarkkuuden) 3 miljardilla parametrilla, Vit-3B, joka on esikoulutettu JFT-3B:lla ja hienosäädetty ImageNet-1K:lla.

Tutkijat käyttivät ImageNet2012_multilabel-tietojoukkoa ja merkittivät Vit-3B-mallin alkuarvon monimerkkien tarkkuuden (MLA) 96,3 %:ksi, jolloin malli teki 676 ilmeistä virhettä. Nämä virheet (ja myös Greedy Soups -mallin virheet) olivat se, mitä tutkijat yrittivät tutkia.

Arvioidakseen jäljellä olevat 676 virhettä, tutkijat välttivät joukkorahoituksen työntekijöitä ja totesivat, että tällaiset virheet voivat olla vaikeita keskivertotyöntekijöille, mutta kokoontuivat viiden asiantuntija-arvioijan paneeliin ja loivat omistautuneen työkalun, jotta kunkin arvioijan voisi nähdä yhdellä silmäyksellä ennustetun luokan, ennustetun arvon, alkuperäisen merkinnän ja kuvan itsensä.

Tutkimuksessa kehitetty käyttöliittymä.

Joidenkin tapausten kohdalla tarvittiin lisätutkimusta ratkaistaakseen paneelin välisiä erimielisyyksiä, ja Google-haku oli käytössä apuvälineenä.

‘[Yhdessä] mielenkiintoisessa, mutta ei eristetyssä tapauksessa, taksin ennuste (jossa ei ollut ilmeisiä taksin merkkejä muuta kuin keltaista väriä) oli kuvassa; me totesimme, että ennuste oli oikein, ja se ei ollut vain tavallinen ajoneuvo, koska me tunnistimme taustalla olevan maamerkin, jonka avulla voitiin määrittää kaupunki, ja myöhempi kuvauskaupungissa olevista taksista antoi saman taksimallin ja rekisterikilven suunnittelun, vahvistaen mallin oikean ennusteen.’

Tutkimuksen alkuarvioinnin jälkeen tutkijat muodostivat neljä uutta virhetyyppiä: hienojakoinen virhe, jossa ennustettu luokka on samankaltainen kuin alkuperäinen merkintä; hienojakoinen ulkoinen sanasto (OOV), jossa malli tunnistaa kohteen, jonka luokka on oikein, mutta ei ole mukana ImageNetissä; epäaito yhteys, jossa ennustettu merkintä luetaan kuvan asiayhteydestä; ja epätyypillinen, jossa alkuperäinen kohteen merkintä on epäilyttävä esimerkki luokasta, joka muistuttaa ennustettua merkintää.

Joidenkin tapausten kohdalla alkuperäinen totuus ei ollut itse asiassa “totuus”:

‘Alkuperäisten 676 virheen kokoamisen jälkeen totesimme, että 298 niistä olivat joko oikein tai epäselviä tai totesimme, että alkuperäinen totuus oli virheellinen tai ongelmallinen.’

Perusteellisen ja monimutkaisen kokeiden sarjan jälkeen eri tietokannoissa, alajoukoissa ja validointijoukoissa tutkijat totesivat, että kaksi tutkittavaa mallia oli itse asiassa oikein (ihmisten arvioijien mukaan) puolella “virheistä”, joita ne tekivät perinteisillä menetelmillä.

Tutkimus johtaa siihen, että:

‘Tässä tutkimuksessa analysoimme jokaisen jäljellä olevan virheen, jonka ViT-3B- ja Greedy Soups -mallit tekevät ImageNetin monimerkkisen validointijoukon.

‘Yleisesti ottaen havaitsemme, että: 1) kun suuri, korkean tarkkuuden malli tekee uuden ennusteen, jota muut mallit eivät tee, se osoittautuu oikeaksi uudeksi monimerkiksi lähes puolella tapauksista; 2) korkeamman tarkkuuden mallit eivät näytä ilmeistä kaavaa virheiden luokissa ja vakavuusluokissa; 3) SOTA-mallit ovat pääosin samaa tasoa tai parempia kuin parhaat asiantuntijat ihmisarvioijat monimerkkisessä osajoukossa; 4) meluisa koulutusdata ja epämääräiset luokat voivat rajoittaa tehokkaasti parannusten mittaamista kuvien luokittelussa.’

Julkaistu ensimmäisen kerran 15. toukokuuta 2022.