Ylihuomisen voi olla suurempi ja vaikeampi uhka kuin ylioppiminen

Jos hyvä ystäväsi Alice tykkää pukeutua keltaisiin neuleisiin, näet paljon enemmän keltaisia neuleita kuin keskimääräinen ihminen. Jonkin ajan kuluttua on mahdollista, että kun näet erilaisen naisen, joka pukeutuu keltaiseen neuleeseen, keskeinen käsite Alice tulee mieleen.

Jos näet naisen, joka pukeutuu keltaiseen neuleeseen, joka muistuttaa Alicea jonkin verran, voit jopa väärin tunnistaa hänet ystävänäsi.

Mutta se ei ole Alice. Lopulta toteat, että keltainen neule ei ole hyödyllinen avain Aliceen, koska hän ei koskaan pukeudu siihen kesällä eikä aina talvella. Jossain vaiheessa ystävyyttänne alat laskea keltaisen neuleen arvoa mahdollisena Alice -tunnisteena, koska kokemuksesi siitä on ollut tyydyttämätöntä, eikä kognitiivinen energia, jota käytetään tämän pikanäppäimen ylläpitämiseen, ole usein palkittu.

Jos olet tietokoneen näköntarkkuuteen perustuva tunnistusjärjestelmä, on kuitenkin mahdollista, että näet Alicen joka kerta, kun näet keltaisen neuleen.

Se ei ole sinun syy, sillä olet saanut tehtäväksesi tunnistaa Alice kaikin keinoin, vähäisimmästä saatavilla olevasta tiedosta, eikä ole puutetta kognitiivisista resursseista, joita tarvitaan tämän Alice -avustimen ylläpitämiseen.

Outo tarkkuus

Massachusettsin teknillisen korkeakoulun (MIT) tietokoneiden ja älykkään tekniikan laboratorion (CSAIL) ja Amazon Web Servicesin viimeaikaisen tutkimuksen mukaan tämä oireyhtymä, jota kutsutaan ylihuomiseksi, on yleinen tietokoneen näköntarkkuuden (CV) tutkimuksen alalla; sitä ei voida lieventää ylioppimisen korjaamisella (koska se ei ole suora ylioppimisen seuraus); se ilmenee yleisesti tutkimuksissa, jotka käyttävät kahta vaikutusvaltaisinta kuvien tunnistamisen ja muuntamisen aineistoa, CIFAR-10 ja ImageNet; ja sillä ei ole helppoja ratkaisuja – eikä edes halpoja ratkaisuja.

Tutkijat totesivat, että kun he vähensivät syötteen koulutuskuville vain 5 prosenttiin niiden yhtenäisestä sisällöstä, useat suositut kehykset jatkoivat kuvien oikein luokittelua, jotka näyttävät useimmissa tapauksissa visuaaliselta “jargoonilta” ihmisen silmissä:

Alkuperäiset koulutuskuvat CIFAR-10:stä, jotka on vähennetty vain 5 prosenttiin alkuperäisestä pikselisisällöstä, mutta jotka luokitellaan oikein useiden suosittujen tietokoneen näköntarkkuuden kehysten avulla 90-99 prosentin tarkkuudella. Lähde: https://arxiv.org/pdf/2003.08907.pdf

Joissain tapauksissa luokittelukehykset löysivät nämä supistetut kuvat helpommin luokiteltaviksi kuin alkuperäiset kehykset alkuperäisessä koulutusaineistossa, ja tutkijat huomauttivat ‘[CNN:t] ovat luottavaisempia näillä pikselialoilla kuin koko kuville’.

Tämä osoittaa mahdollisen “vilpin”, joka on yleinen käytäntö tietokoneen näköntarkkuuden järjestelmissä, jotka käyttävät vertailuaineistoja, kuten CIFAR-10 ja ImageNet, sekä vertailukehyksiä, kuten VGG16, ResNet20 ja ResNet18.

Ylihuomisen on merkittäviä seurauksia tietokoneen näköntarkkuuteen perustuvissa itsenäisissä ajoneuvosysteemeissä, jotka ovat tulleet keskustelun kohteeksi viime aikoina Teslan päätöksen myötä suosia kuvien tulkintaa LiDAR- ja muiden säteilyperusteisten tunnistusjärjestelmien sijaan itsenäisten ajoneuvosysteemien algoritmeissa.

Vaikka “pikanäppäinoppi” on tunnettu haaste ja aktiivinen tutkimusalue tietokoneen näköntarkkuuden parissa, tutkimuksen tekijät huomauttavat, että saksalais-kanadalainen tutkimus, joka määritteli ongelman vuonna 2019, ei tunnusta, että “epäilyttävät” pikselialueet, jotka ovat ylihuomisen ominaisia, ovat “tilastollisesti validi dataa”, jota pitäisi ottaa huomioon arkkitehtuurissa ja korkeamman tason lähestymistavoissa, eikä ainoastaan huolellisemmassa aineiston kokoamisessa.

Tutkimus tutkimus on otsikoitu Ylihuomisen paljastaa kuvien luokittelumallien patologiat, ja se on tehty Brandon Carterin, Siddhartha Jainin ja David Giffordin toimesta CSAIL:ssa yhteistyössä Jonas Muellerin kanssa Amazon Web Servicesista. Tutkimuksen koodi on saatavilla osoitteessa https://github.com/gifford-lab/overinterpretation.

Tiedon karsiminen

Tutkijoiden käyttämät tiedon vähennetyt kuvat kutsutaan riittäviksi syötealoiksi (SIS) – käytännössä SIS-kuva sisältää vähimmäisen “ulkopuolen” kuvaamiseen, joka voi erottaa kuvan riittävästi, jotta tietokoneen näköntarkkuusjärjestelmä voi tunnistaa alkuperäisen kuvan kohteen (esim. koira, laiva jne.).

Ylärivissä näkyvät täydelliset ImageNet-tarkistuskuvat; alhaalla SIS-alijoukot, jotka luokitellaan oikein Inception V3 -mallilla 90 prosentin luottamusarvolla, perustuen ilmeisesti kaikkeen, mitä kuvasta on jäljellä – taustakontekstiin. Luonnollisesti viimeinen sarake on merkittäviä merkityksiä liikenteenmerkkien tunnistamiselle itsenäisissä ajoneuvosysteemeissä.

Tutkijat kommentoivat yllä olevan kuvan tuloksia:

‘Havaitsemme, että SIS-pikselit ovat keskittyneet objektin ulkopuolelle, joka määrää luokan. Esimerkiksi “pizza”-kuvassa SIS on keskittynyt tarjottimen muotoon ja taustapöytään, eikä pizzaan itsessään, mikä viittaa siihen, että malli voi yleistää huonosti kuvissa, joissa on erilaisia pyöreitä esineitä pöydällä. “Jättiläispandan” -kuvassa SIS sisältää bambua, joka todennäköisesti esiintyi ImageNet-kuvissa tälle luokalle.

‘Liikenteenvalojen ja “katuliittymän” -kuvissa SIS koostuu taivaan pikseleistä, mikä viittaa siihen, että itsenäiset ajoneuvosysteemit, jotka saattavat riippua näistä malleista, tulee arvioida huolellisesti ylihuomisen patologioita.

SIS-kuvat eivät ole leikattu satunnaisesti, vaan ne on luotu hankkeen Batched Gradient Backselect -prosessilla Inception V3:lle ja ResNet50:lle PyTorchilla. Kuvat on johdettu ablaatio-ohjelmalla, joka ottaa huomioon mallin kyvyn luokitella kuvan oikein ja alkuperäisen datan poistamisen suhteen.

Tutkijat testasivat satunnaisen pikselien poistamisen prosessia ja totesivat, että tulokset olivat “merkittävästi vähemmän informatiivisia” kokeissa, mikä osoittaa, että SIS-kuvat edustavat todella vähintään tarvittavaa dataa, jota suositut mallit ja aineistot tarvitsevat tehdäkseen hyväksyttyjä ennusteita.

Yhdellä silmäyksellä mihin tahansa näistä vähennetyistä kuvista viittaa siihen, että nämä mallit pitäisi epäonnistua ihmisen visuaalisen tarkkuuden mukaisesti, mikä johtaisi mediaaniin tarkkuuteen alle 20 prosenttiin.

Kun SIS-kuvat on vähennetty vain 5 prosenttiin alkuperäisistä pikseleistä, ihmiset saavuttavat vain “suuremman kuin satunnaisen” luokittelun, verrattuna suosittujen aineistojen ja kehysten 90-99 prosentin onnistumisprosenttiin, jotka tutkittiin tutkimuksessa.

Yli ylioppimisen

Ylioppiminen tapahtuu, kun koneoppimismalli koulutetaan niin kauan aineistolla, että se tulee osaavaksi tekemään ennusteita tietylle aineistolle, mutta on paljon vähemmän tehokas (tai jopa täysin tehokas) uudelle aineistolle, joka esitetään sille koulutuksen jälkeen (jakautumaton aineisto).

Tutkijat huomauttavat, että nykyinen akateeminen ja teollinen kiinnostus ylioppimisen torjumiseen ei ratkaise ylihuomista, koska vähennetyt pikselialueet, jotka edustavat tunnistettavia kuvia tietokoneille ja järjettömiä tahrina ihmisten silmissä, ovat itse asiassa aidosti soveltuvaa dataa, eikä ainoastaan “omistautunut” keskittyminen huonosti kokoamiseen tai aneemiseen dataan:

‘Ylihuomisen on yhteydessä ylioppimiseen, mutta ylioppimisen voi diagnosoida vähentämällä testin tarkkuutta. Ylihuomisen voi johtua todellisista tilastollisista signaaleista aineiston jakautumisessa, jotka voivat johtua tietyn datalähteen ominaisuuksista (esim. ihonhoitajan säännöt).

‘Näin ollen ylihuomisen voi olla vaikeampi diagnosoida, koska se hyväksyy päätöksiä, jotka tehdään tilastollisesti validoiduilla kriteereillä, ja mallit, jotka käyttävät näitä kriteerejä, voivat menestyä benchmarkkeja.

Mahdollisia ratkaisuja

Tutkijat ehdottavat, että mallien yhdistäminen, jossa useat arkkitehtuurit osallistuvat arviointi- ja koulutusprosessiin, voisi lieventää ylihuomista. He myös totesivat, että syöteen poistamisen soveltaminen, joka on alun perin suunniteltu estämään ylioppimista, johti “pieneen laskuun” CIFAR-10:n testitarkkuudessa (joka on todennäköisesti toivottavaa), mutta “merkittävään” (∼ 6 prosentin) lisäykseen mallien tarkkuudessa näkemättömällä aineistolla. Tutkijat myöntävät kuitenkin, että pienet luvut osoittavat, että mikä tahansa myöhempi ylioppimisen parantaminen on todennäköisesti epätäydellinen ylihuomisen ratkaisemiseksi.

Tutkijat myöntävät myös mahdollisuuden käyttää saliency-karttoja osoittamaan, mitkä kuvan alueet ovat tärkeitä piirteiden extraktiolle, mutta huomauttavat, että tämä torjuu automaattisen kuvien analyysin tavoitteen ja vaatii inhimillistä annotointia, joka on epätodennäköistä suuressa mittakaavassa. He huomauttavat myös, että saliency-kartat on todettu vain karkeiksi arvioijiksi mallien toiminnan ymmärtämisen suhteen.

Tutkimus päättyy:

‘Kun otetaan huomioon, että ei-saliittavat pikselialueet, jotka yksin riittävät oikeaan luokitteluun, malli voi vain nojata näihin malleihin. Tässä tapauksessa tulkintamenetelmä, joka kuvaa mallin uskollisesti, tulisi tuottaa nämä järjettömät perusteet, kun taas tulkintamenetelmät, jotka suuntaavat perusteet ihmisten etuoikeuksien mukaan, voivat tuottaa tuloksia, jotka johtavat käyttäjiä luulemaan, että heidän mallinsa toimivat halutulla tavalla.’

Julkaistu ensimmäisen kerran 13. tammikuuta 2022.