Google-tutkijat löytävät yleisen syyn AI-mallien epäonnistumisille: underspecification

Google-tutkijaryhmä on löytänyt yleisen syyn sille, miksi koneoppimismallit usein epäonnistuvat todellisissa sovelluksissa, vaikka ne toimivat hyvin laboratoriossa. Yksi yleisimmistä syistä, miksi koneoppimismallit epäonnistuvat, on data shift, joka tarkoittaa eroa siinä, millaista dataa malli on koulutettu ja millaista dataa sille syötetään sovelluksessa.

Tietokoneen näkömallit, jotka on koulutettu korkealaatuisilla kuvilla, ovat vaikeasti sovellettavissa, kun niille syötetään kuvia, jotka on otettu huonolaatuisilla kameroilla. MIT Technology Reviewin mukaan 40 Google-tutkijan ryhmä on löytänyt toisen syyn, miksi koneoppimismallien suorituskyky voi vaihdella dramaattisesti. Ongelma on “underspecification”, joka on tilastollinen käsite, joka kuvailee ongelmia, joissa havaittujen ilmiöiden taustalla on useita mahdollisia syitä, joista ei kaikkia oteta huomioon mallissa.

Tavanomainen tapa kouluttaa koneoppimismalli on syöttää sille suuri määrä dataa, jonka se voi analysoida ja etsiä siitä merkityksellisiä kuvioita. Sen jälkeen malli saa esimerkkejä, joita se ei ole aikaisemmin nähnyt, ja pyydetään ennustamaan niiden luonne sen perusteella, mitä se on oppinut. Kun malli on saavuttanut tietyn tason tarkkuutta, koulutus voidaan pitää valmiina.

Google-tutkimusryhmän mukaan mallien on oltava paremmin kykeneviä yleistämään koulutusdatan ulkopuolelle. Perinteinen tapa kouluttaa koneoppimismalleja tuottaa useita malleja, jotka kaikki läpäisevät testit, mutta jotka eroavat toisistaan pienin, mutta merkityksellisin tavoin. Mallien solmujen satunnaiset arvot, koulutusdatan valinta tai edustus voi vaihdella, ja nämä pienet, usein satunnaiset erot voivat johtaa suuriin eroihin todellisessa suorituskyvyssä.

Tämä underspecification on ongelmallista, koska se tarkoittaa, että vaikka koulutusprosessi pystyy tuottamaan hyviä malleja, se voi myös tuottaa huonoja malleja, ja eroa ei huomata, kunnes malli on jo otettu käyttöön.

Tutkimusryhmä arvioi underspecificationin vaikutusta tutkimalla useita eri malleja. Jokainen malli koulutettiin samalla koulutusprosessilla, ja sitten niille suoritettiin sarja testejä, jotta voidaan korostaa eroja suorituskyvyssä. Yhdessä tapauksessa 50 eri versiota kuvatunnistusjärjestelmästä koulutettiin ImageNet-aineistolla. Mallit olivat kaikki samanlaisia, paitsi neuroniverkkojen satunnaiset arvot, jotka malleille annettiin koulutuksen alussa. Testit, joilla malleja testattiin, suoritettiin ImageNet-C:llä, joka on muunnelma alkuperäisestä aineistosta, jossa kuvat on muutettu kontrastin tai kirkkauden avulla. Mallit testattiin myös ObjectNetillä, joka on sarja kuvia, joissa on jokapäiväisiä esineitä epätavallisissa asennoissa ja ympäristöissä. Vaikka kaikki 50 mallia suorittivat samalla tasolla koulutusaineistossa, niiden suorituskyky vaihteli laajasti, kun ne suoritettiin testien läpi.

Tutkimusryhmä sai samanlaisia tuloksia, kun he kouluttivat ja testasivat kaksi eri NLP-järjestelmää sekä useita muita kuvantunnistusmalleja. Jokaisessa tapauksessa mallit erosivat toisistaan dramaattisesti, vaikka koulutusprosessi oli kaikissa tapauksissa sama.

Alex D’Amourin mukaan koneoppimistutkijoiden ja -insinöörien on tehtävä paljon enemmän stressitestejä ennen kuin mallit otetaan käyttöön. Tämä voi olla haastavaa, koska stressitestejä on suoritettava eri tehtävissä, joissa käytetään todellista dataa, jota voi olla vaikea saada tietyistä tehtävistä ja ympäristöistä. Yksi mahdollinen ratkaisu underspecification-ongelmaan on tuottaa useita malleja kerran ja testata niitä sarjassa todellisissa tehtävissä, valitsemalla malli, joka näyttää parhaimman suorituskyvyn. Tämä kehitysmenetelmä vaatii paljon aikaa ja resursseja, mutta se voi olla tarpeen, erityisesti silloin, kun AI-malleja käytetään lääketieteellisissä yhteyksissä tai muissa tilanteissa, joissa turvallisuus on ensisijainen.

D’Amour selitti MIT Technology Reviewin kautta: “Meidän on parannettava kykyämme määritellä tarkasti, mitkä vaatimukset meillä on malleillemme. Usein nämä vaatimukset tulevat ilmi vasta sitten, kun malli on jo epäonnistunut maailmassa.”