Koncartelli vaikutusvaltaisia tietoja hallitsee koneoppimisen tutkimusta, uusi tutkimus viittaa

Uusi tutkimus Kalifornian yliopistosta ja Google Researchista on osoittanut, että pieni määrä “benchmark” -koneoppimisdatatietoja, jotka ovat pääosin vaikutusvaltaisista länsimaisista instituutioista ja usein hallituksen organisaatioista, hallitsevat yhä enenevissä määrin tekoälytutkimuksen alaa.

Tutkijat toteavat, että tämä taipumus “oletusarvoisesti” suosia erittäin suosittuja avoimia datatietoja, kuten ImageNet, herättää useita käytännön, eettisiä ja jopa poliittisia huolenaiheita.

Heidän löytöjensä perusteella – jotka perustuvat Facebookin johtamaan yhteisöprojektiin Papers With Code (PWC) – tutkijat väittävät, että ‘laajalti käytetyt datatietojen esittely on vain muutamassa eliittitutkimuslaitoksessa’, ja että tämä “konsolidointi” on lisääntynyt 80 prosenttiin viime vuosina.

‘[Me] havaitsemme, että datatietojen käytössä on kasvava epätasa-arvo maailmanlaajuisesti, ja että yli 50 prosenttia kaikista datatietojen käytöstä näytteessämme 43 140 vastaa datatietoja, jotka on esitetty kahdentoista eliittitutkimuslaitoksen toimesta, jotka ovat pääosin länsimaisia.’

Kartta ei-tehtävän määrittelevistä datatietojen käytöstä viimeisen kymmenen vuoden aikana. Kriteerit sisällyttämiseen on, missä instituutio tai yritys vastaa yli 50 prosenttia tunnetuista käytöstä. Oikealla näkyy Gini-kertoimen datatietojen keskittymiselle ajan myötä sekä instituutioille että datatietoille. Lähde: https://arxiv.org/pdf/2112.01716.pdf

Dominoivat instituutiot ovat Stanfordin yliopisto, Microsoft, Princeton, Facebook, Google, Max Planck -instituutti ja AT&T. Neljä kymmenen parhaan datatietojen lähteistä on yrityksellisiä instituutioita.

Tutkimus luonnehtii kasvavaa käyttöä näistä eliittidatatiosta ‘tieteellisen epätasa-arvon välineeksi’. Tämä johtuu siitä, että tutkimusryhmät, jotka etsivät yhteisön hyväksyntää, ovat enemmän motivoituneita saavuttamaan valtion tason tuloksia (SOTA) johdonmukaisen datatietojen avulla kuin luomaan alkuperäisiä datatietoja, joilla ei ole vastaavaa asemaa, ja jotka edellyttävät vertaisryhmien sopeutumista uusiin mittareihin standardien sijaan.

Tutkijat toteavat, että luomalla oman datatietonsa on kielletysti kallista vähemmän resursseja omistaville instituutioille ja ryhmille.

‘Prima facie tieteellinen validiteetti, joka myönnetään SOTA-benchmarkoinnilla, on yleisesti sekoitettu sosiaaliseen uskottavuuteen, jonka tutkijat saavat osoittamalla, että he voivat kilpailla laajasti tunnistetulla datatietojulla, vaikka kontekstisidonnainen benchmark olisi teknisesti sovelias.

‘Esitämme, että nämä dynamiikat luovat “Matteuksen vaikutuksen” (ts. “rikkaat saavat rikkaampia ja köyhät köyhempää”), jossa menestyneet benchmarkit ja eliittitutkimuslaitokset, jotka esittävät ne, saavat epäsuhtaisen aseman alalla.

Tutkimus paperi on otsikoitu Vähennetty, uudelleen käytetty ja kierrätetty: Datatietojen elämä tekoälytutkimuksessa, ja se on tehty Bernard Kochin ja Jacob G. Fosterin toimesta UCLA:ssa, ja Emily Dentonin ja Alex Hannan toimesta Google Researchissa.

Tutkimus herättää useita ongelmia kasvavan konsolidoinnin suhteen, jota se dokumentoi, ja se on saanut yleisen hyväksynnän Open Review -palvelussa. Yksi NeurIPS 2021 -arvostelija totesi, että työ on ‘erittäin relevantti kelle tahansa, joka on osallisena tekoälytutkimuksessa.’ ja ennusti sen sisällyttämistä yliopiston kurssien opetusmateriaaliin.

Tarpeesta korruptioon

Tutkijat toteavat, että nykyinen “beat-the-benchmark” -kulttuuri syntyi lääkkeeksi puutteellisten objektiivisten arviointityökalujen puutteelle, joka aiheutti kiinnostuksen ja investointien romahduksen toisen kerran yli 30 vuotta sitten, kun liiketoiminnan innostus uutta tutkimusta kohtaan “asiantuntijajärjestelmissä” hiipui:

‘Benchmarkit määrittelevät yleensä tietyn tehtävän datatietojen ja liittyvän määrällisen arviointimitan kautta. Tämä käytäntö otettiin alun perin käyttöön tekoälytutkimuksessa “tekoälytalven” jälkeen 1980-luvulla hallituksen rahoittajien toimesta, jotka pyrkivät arvioimaan saadun avustuksen arvoa tarkemmin.’

Tutkimus väittää, että alun perin tämän epävirallisen standardisoinnin kulttuurin edut (vähentäen osallistumisen esteitä, johdonmukaiset mittarit ja joustavammat kehitysmahdollisuudet) alkavat ylittyä haittojen (joita syntyy, kun tietojoukko tulee tarpeeksi voimakkaaksi määrittämään “käytön ehdot” ja vaikuttamaan siihen) vuoksi.

Tutkijat ehdottavat, linjassa useiden viimeaikaisten teollisuuden ja akateemisten ajatusten kanssa aiheesta, että tutkimusyhteisö ei enää aseta uusia ongelmia, jos niitä ei voida ratkaista olemassa olevien benchmark-datatietojen avulla.

He toteavat myös, että sokean noudattaminen tähän pieniin “kultaisiin” datatietoihin rohkaisee tutkijoita saavuttamaan tuloksia, jotka ovat ylioppimisen (ts. datatietoihin sidottuja ja jotka eivät todennäköisesti suoriudu hyvin todellisissa tilanteissa, uusissa akateemisissa tai alkuperäisissä datatietoissa tai jopa välttämättä muissa datatietoissa “kultaisessa standardissa”).

‘Ottaen huomioon havaitsemamme korkean datatietojen keskittymisen, uskomme, että monipuolisten arviointimuotojen kehittäminen on erityisen tärkeää estääksemme ylioppimisen olemassa oleviin datatietoihin ja väärentääksemme edistystä alalla.’

Valtion vaikutus tietokoneen näköntutkimuksessa

Tutkimuksen mukaan tietokoneen näköntutkimus on huomattavasti enemmän vaikuttunut tähän oireyhtymään kuin muut sektorit, ja tutkijat toteavat, että luonnollisen kielen prosessointi (NLP) on vähemmän vaikuttunut. Tutkijat ehdottavat, että tämä voi johtua siitä, että NLP-yhteisöt ovat ‘koherentimpia’ ja suurempia, ja että NLP-datatiot ovat helpommin saatavilla ja helppoja kerätä, ja ovat pienempiä ja vähemmän resursseja vaativia datan keräämisessä.

Tietokoneen näköntutkimuksessa, erityisesti kasvojen tunnistamisen (FR) datatietoja koskien, tutkijat väittävät, että yritysten, valtion ja yksityisten etujen välillä on usein ristiriitoja:

‘Yritysten ja hallituksen instituutiot ovat objektiiveja, jotka voivat olla ristiriidassa yksityisyyden (esim. valvonta) kanssa, ja heidän painotuksensa näille prioriteeteille on todennäköisesti erilainen kuin akateemikkojen tai tekoälyn laajempien sidosryhmien prioriteetit.’

Kasvojen tunnistamistehtävissä tutkijat totesivat, että akateemisten datatietojen osuus laskee dramaattisesti keskiarvon verrattuna:

‘[Neljä] kahdeksasta datatietojoukosta (33,69 prosenttia kaikista käytöstä) oli yksinomaan yritysten, Yhdysvaltain armeijan tai Kiinan hallituksen rahoittamia (MS-Celeb-1M, CASIA-Webface, IJB-A, VggFace2). MS-Celeb-1M vedettiin lopulta pois, koska siinä oli kiistanalaista arvoa eri sidosryhmien yksityisyydelle.’

Kuvassa on yleisin datatietojen käyttö kuva-generaation ja kasvojen tunnistamisen tutkimusyhteisöissä.

Yllä olevassa kaaviossa, kuten tutkijat toteavat, havaitsemme myös, että suhteellisen uusi kuva-generaation (tai kuvasynteesin) ala on voimakkaasti riippuvainen olemassa olevista, paljon vanhemmista datatietoista, jotka eivät ole tarkoitettu tähän tarkoitukseen.

Tutkimus toteaa, että datatietojen “siirtymisen” kasvava trendi pois alkuperäisestä tarkoituksestaan herättää epäilyjä niiden soveltuvuudesta uusien tai erillisten tutkimusalojen tarpeisiin, ja siitä, kuinka paljon budjettirajoitukset “yleistävät” tutkijoiden tavoitteita ahtaampaan kehykseen, joka on tarjolla sekä saatavilla olevien materiaalien että kulttuurin kautta, joka on niin kiinnostunut vuosittaisista benchmark-lukemista, että uudet datatietojoukot käyvät vaikeasti vauhdilla.

‘Havaintomme osoittavat myös, että datatietojoukot siirtyvät säännöllisesti eri tehtävien yhteisöihin. Äärimmäisessä tapauksessa useimmat benchmark-datatiot, jotka ovat käytössä joissakin tehtävien yhteisöissä, on luotu muille tehtäville.’

Koneoppimisen merkittävimpien henkilöiden (mukaan lukien Andrew Ng) osalta, jotka ovat yhä enenevissä määrin vaatineet datatietojen monipuolistamista ja kuratointia viime vuosina, tutkijat kannattavat tätä mielipidettä, mutta uskovat, että tämänkaltaiset ponnistelut, vaikka onnistuisivatkin, voivat olla vaarassa joutua nykyisen kulttuurin riippuvuuden SOTA-tuloksiin ja vakiintuneisiin datatietoihin:

‘Tutkimuksemme osoittaa, että yksinkertaisesti vaatimalla tekoälytutkijoita kehittämään enemmän datatietoja ja muuttamalla kannustimia, jotta datatietojen kehittäminen on arvostettua ja palkittua, ei välttämättä riitä monipuolistamaan datatietojen käyttöä ja näkökulmia, jotka lopulta muokkaavat ja määrittelevät tekoälytutkimuksen tutkimusohjelmat.’

‘Lisäksi datatietojen kehittämisen kannustamiseen, me kannatamme tasa-arvo-orientaatioita koskevia toimenpiteitä, jotka antavat merkittävää rahoitusta vähemmän resursseja omistaville instituutioille luodakseen laadukkaita datatietoja. Tämä monipuolistaisi – sosiaalisesta ja kulttuurisesta näkökulmasta – benchmark-datatiot, joita käytetään modernien tekoälymenetelmien arvioimiseen.’

6. joulukuuta 2021, 16:49 GMT+2 – Oikeutettu omistaja otsikossa. – MA