En Kartel Af Indflydelsesrige Datasæt Dominerer Maskinlæringsforskning, Forslaget Af En Ny Studie

En ny artikel fra University of California og Google Research har fundet, at et lille antal ‘benchmark’ maskinlæringsdatasæt, overvejende fra indflydelsesrige vestlige institutioner og ofte fra regeringsorganisationer, er mere og mere dominerende i AI-forskningssektoren.

Forskerne konkluderer, at denne tendens til at ‘standardisere’ til højt populære open source datasæt, såsom ImageNet, rejser en række praktiske, etiske og endda politiske bekymringer.

Blandt deres fund – baseret på kerndata fra Facebook -ledede fællesskabsprojekt Papers With Code (PWC) – hævder forfatterne, at ‘vidt brugte datasæt er introduceret af kun en håndfuld eliteinstitutioner’, og at denne ‘konsolidering’ er øget til 80% i de seneste år.

‘[Vi] finder, at der er en øgende ulighed i datasætbrug globalt, og at mere end 50% af alle datasætbrug i vores prøve på 43.140 svarer til datasæt, der er introduceret af tolv elite, primært vestlige, institutioner.’

En kort over ikke-opgave-specifikke datasætbrug over de sidste ti år. Kriteriet for inklusion er, hvor institutionen eller virksomheden står for mere end 50% af kendte brug. Viser højre er Gini-koefficienten for koncentration af datasæt over tid for både institutioner og datasæt. Kilde: https://arxiv.org/pdf/2112.01716.pdf

De dominerende institutioner inkluderer Stanford University, Microsoft, Princeton, Facebook, Google, Max Planck-instituttet og AT&T. Fire af de top ti datasætkilder er erhvervsinstitutioner.

Artiklen karakteriserer også den øgende brug af disse elite datasæt som ‘et køretøj for ulighed i videnskab’. Dette skyldes, at forskningshold, der søger fællesskabsgodkendelse, er mere motiverede til at opnå state-of-the-art (SOTA) resultater mod en konsistent datasæt end til at generere originale datasæt, der ikke har nogen sådan status, og som ville kræve, at kolleger tilpasser sig nye målinger i stedet for standardindikatorer.

I ethvert tilfælde, som artiklen erkender, er det at skabe sin egen datasæt en prohibitivt dyrt foretagende for mindre ressourcerige institutioner og hold.

‘Det prima facie videnskabelige gyldighed, der gives af SOTA-benchmarking, er generisk forvirret med den sociale troværdighed, forskerne opnår ved at vise, at de kan konkurrere på et vidt anerkendt datasæt, selv om et mere kontekst-specifikt benchmark måske ville være mere teknisk passende.

‘Vi mener, at disse dynamikker skaber en “Matthew Effekt” (dvs. “de rige bliver rigere, og de fattige bliver fattigere”), hvor succesfulde benchmarks og de eliteinstitutioner, der introducerer dem, får en overdimensioneret status inden for feltet.

Den artikel er titlen Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research, og kommer fra Bernard Koch og Jacob G. Foster på UCLA, og Emily Denton og Alex Hanna på Google Research.

Arbejdet rejser en række problemer med den øgende tendens mod konsolidering, som det dokumenterer, og er blevet mødt med generel godkendelse på Open Review. En anmelder fra NeurIPS 2021 kommenterede, at arbejdet er ‘ekstremt relevant for alle, der er involveret i maskinlæringsforskning.’ og forudså dets inklusion som læst materiale på universitetskurser.

Fra Nødvendighed Til Korruption

Forfatterne bemærker, at den nuværende kultur af ‘slå-benchmark’ opstod som en kur mod manglen på objektive vurderingsværktøjer, der fik interesse og investering i AI til at kollapsere for anden gang for mere end tredive år siden, efter tilbageslaget i forretningens entusiasme over ny forskning i ‘Expert Systems’:

‘Benchmarks formaliserer typisk en bestemt opgave gennem et datasæt og en tilhørende kvantitativ vurderingsmetode. Praksis blev oprindeligt introduceret til [maskinlæringsforskning] efter “AI-vinteren” i 1980’erne af regeringsfinansierede, der søgte at bedre vurdere værdien af de modtagne bevilgninger.’

Artiklen argumenterer for, at de oprindelige fordele ved denne uformelle standardiseringskultur (reducerer barrierer for deltagelse, konsistente metoder og mere agile udviklingsmuligheder) begynder at blive overvældet af ulemperne, der naturligt opstår, når en samling af data bliver så kraftfuld, at den kan definere sine ‘brugsbetingelser’ og omfang af indflydelse.

Forfatterne foreslår, i overensstemmelse med meget af den seneste industri- og akademiske tankegang omkring sagen, at forskningssamfundet ikke længere stiller nye problemer, hvis disse ikke kan løses gennem eksisterende benchmark-datasæt.

De bemærker desuden, at blind tilslutning til dette lille antal ‘guld’-datasæt opmuntrer forskere til at opnå resultater, der er overfit (dvs. datasæt-specifikke og ikke sandsynligvis at fungere nær så godt på virkelige data, på nye akademiske eller originale datasæt, eller endda nødvendigvis på andre datasæt i ‘guldstandard’).

‘Givet den observerede høje koncentration af forskning på et lille antal benchmark-datasæt, mener vi, at diversificering af vurderingsformer er særligt vigtigt for at undgå overfitning til eksisterende datasæt og misrepræsentation af fremgang i feltet.’

Regeringens Indflydelse På Computervisionsforskning

Ifølge artiklen er computervisionsforskning bemærkelsesværdigt mere berørt af syndromet, som den beskriver, end andre sektorer, og forfatterne bemærker, at natur-sprogbehandling (NLP) forskning er langt mindre berørt. Forfatterne mener, at dette kan skyldes, at NLP-fællesskaber er ‘mere koherente’ og større i størrelse, og at NLP-datasæt er mere tilgængelige og lettere at kuraterer, samt mindre ressourcekrævende i forhold til dataindsamling.

I computervision, og især med hensyn til ansigtsgenkendelsesdatasæt (FR), mener forfatterne, at erhvervs-, stats- og private interesser ofte kolliderer:

‘Erhvervs- og regeringsinstitutioner har mål, der kan komme i konflikt med privatliv (f.eks. overvågning), og deres prioritering af disse prioriteringer er sandsynligvis anderledes end dem, der holdes af akademikere eller AI’s bredere samfundsmæssige interessenter.’

For ansigtsgenkendelsesopgaver fandt forskerne, at antallet af rent akademiske datasæt faldt dramatisk mod gennemsnittet:

‘[Fire] af de otte datasæt (33,69% af det totale antal brug) blev udelukkende finansieret af virksomheder, den amerikanske hær eller den kinesiske regering (MS-Celeb-1M, CASIA-Webface, IJB-A, VggFace2). MS-Celeb-1M blev endelig trukket tilbage på grund af kontrovers omkring værdien af privatliv for forskellige interessenter.’

De top-datasæt, der bruges i billedgenererings- og ansigtsgenkendelsesforskningsfællesskaber.

I ovenstående graf, som forfatterne bemærker, ser vi også, at det relativt nye felt for billedgenerering (eller billedsynthese) er stærkt afhængigt af eksisterende, langt ældre datasæt, der ikke var tiltænkt dette formål.

Faktisk observerer artiklen en øgende tendens til ‘migration’ af datasæt væk fra deres oprindelige formål, hvilket bringer spørgsmålet om deres egnethed for behovene i nye eller perifere forskningssektorer, og omfanget af, hvilken grad budgetbegrænsninger kan ‘generificere’ omfanget af forskernes ambitioner ind i den smalle ramme, der er givet både af de tilgængelige materialer og af en kultur, der er så besat af år-for-år-benchmark-vurderinger, at nye datasæt har svært ved at få fodfæste.

‘Vore fund tyder også på, at datasæt regelmæssigt overføres mellem forskellige opgavefællesskaber. I den mest ekstreme ende er de fleste af de benchmark-datasæt i omløb for nogle opgavefællesskaber blevet skabt til andre opgaver.’

Med hensyn til maskinlæringsluminari (inklusive Andrew Ng) som i de seneste år mere og mere har opfordret til mere diversitet og kuratering af datasæt, støtter forfatterne denne holdning, men mener, at denne type indsats, selv hvis den er succesfuld, potentielt kan blive undermineret af den nuværende kulturs afhængighed af SOTA-resultater og etablerede datasæt:

‘Vor forskning tyder på, at det blot at opfordre ML-forskere til at udvikle flere datasæt, og at ændre incitamentsstrukturer, så datasætudvikling værdsættes og belønnes, måske ikke er nok til at diversificere datasætbrug og de perspektiver, der i sidste ende former og fastsætter MLR-forskningsdagsordener.

‘Ud over at opfordre til datasætudvikling, forkaster vi ligeledes ligeorienterede politikinterventioner, der prioriterer betydelig finansiering til personer i mindre ressourcerige institutioner for at skabe højkvalitetsdatasæt. Dette ville diversificere – fra et socialt og kulturelt perspektiv – de benchmark-datasæt, der bruges til at evaluere moderne ML-metoder.’

 6. december 2021, 16:49 GMT+2 – Rettede ejer i overskrift. – MA