Een Kartel van Invloedrijke Datasets Domineert Machine Learning Onderzoek, Suggesteert Nieuwe Studie

Een nieuw onderzoek van de Universiteit van Californië en Google Research heeft aangetoond dat een klein aantal ‘benchmark’ machine learning-datasets, voornamelijk afkomstig van invloedrijke westerse instellingen en vaak van overheidsorganisaties, de AI-onderzoekssector steeds meer domineren.

De onderzoekers concluderen dat deze neiging om ‘standaard’ te gebruiken voor zeer populaire open-source datasets, zoals ImageNet, een aantal praktische, ethische en zelfs politieke redenen tot bezorgdheid oplevert.

Onder hun bevindingen – gebaseerd op kerngegevens van het Facebook -geleide communityproject Papers With Code (PWC) – beweren de auteurs dat ‘wijdverbreide datasets zijn geïntroduceerd door slechts een handvol elite-instellingen’, en dat deze ‘consolidatie’ in recente jaren is toegenomen tot 80%.

‘[We] vinden dat er een toenemende ongelijkheid is in het gebruik van datasets wereldwijd, en dat meer dan 50% van alle dataset-gebruik in onze steekproef van 43.140 overeenkwam met datasets die zijn geïntroduceerd door twaalf elite, voornamelijk westerse, instellingen.’

voor de concentratie van datasets over tijd voor zowel instellingen als datasets getoond. Bron: https://arxiv.org/pdf/2112.01716.pdf” width=”1200″ height=”389″ /> Een kaart van niet-taakspecifieke dataset-gebruik over de laatste tien jaar. Criteria voor opname is waar de instelling of onderneming meer dan 50% van de bekende gebruiken vertegenwoordigt. Rechts wordt de Gini-coëfficiënt voor de concentratie van datasets over tijd voor zowel instellingen als datasets getoond. Bron: https://arxiv.org/pdf/2112.01716.pdf

De dominante instellingen omvatten Stanford University, Microsoft, Princeton, Facebook, Google, het Max Planck-instituut en AT&T. Vier van de top tien dataset-bronnen zijn corporate instellingen.

Het artikel karakteriseert de groeiende gebruik van deze elite-datasets als ‘een voertuig voor ongelijkheid in wetenschap’. Dit komt doordat onderzoeksteams die gemeenschaps goedkeuring zoeken, meer gemotiveerd zijn om state-of-the-art (SOTA) resultaten te behalen tegen een consistente dataset dan om originele datasets te genereren die geen dergelijke status hebben, en die zou vereisen dat peers zich aanpassen aan nieuwe metrics in plaats van standaard indices.

In elk geval, zoals het artikel erkent, is het creëren van een eigen dataset een prohibitief dure onderneming voor minder goed uitgeruste instellingen en teams.

‘De prima facie wetenschappelijke validiteit die wordt verleend door SOTA-benchmarking is generisch verward met de sociale geloofwaardigheid die onderzoekers verkrijgen door te laten zien dat ze kunnen concurreren op een wijd erkende dataset, zelfs als een meer context-specifieke benchmark meer technisch geschikt zou zijn.

‘We stellen dat deze dynamiek een “Matthew Effect” creëert (d.w.z. “de rijken worden rijker en de armen worden armer”) waarin succesvolle benchmarks en de elite-instellingen die ze introduceren, een onevenredige status binnen het veld verwerven.

Het artikel heeft de titel Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research, en komt van Bernard Koch en Jacob G. Foster aan de UCLA, en Emily Denton en Alex Hanna bij Google Research.

Het onderzoek roept een aantal kwesties op met de groeiende trend naar consolidatie die het documenteert, en is ontvangen met algemene goedkeuring bij Open Review. Een reviewer van NeurIPS 2021 merkte op dat het werk ‘extreem relevant is voor iedereen die betrokken is bij machine learning-onderzoek.’ en voorzag zijn opname als verplichte leesstof in universitaire cursussen.

Van Noodzaak tot Corruptie

De auteurs merken op dat de huidige cultuur van ‘beat-the-benchmark’ ontstond als een remedie voor het gebrek aan objectieve evaluatie-instrumenten dat de interesse en investeringen in AI liet instorten voor de tweede keer meer dan dertig jaar geleden, na de daling van het bedrijfsenthusiasme voor nieuw onderzoek in ‘Expert Systems’:

‘Benchmarks formaliseren typisch een specifieke taak via een dataset en een geassocieerde kwantitatieve evaluatiemethode. De praktijk werd oorspronkelijk geïntroduceerd in [machine learning-onderzoek] na de “AI Winter” van de jaren tachtig door overheidsfinanciers, die probeerden de waarde die werd ontvangen op subsidies meer nauwkeurig te beoordelen.’

Het artikel stelt dat de initiële voordelen van deze informele cultuur van standaardisatie (het verminderen van barrières voor deelname, consistente metrics en meer agile ontwikkelingsmogelijkheden) beginnen te worden overtroffen door de nadelen die natuurlijk optreden wanneer een lichaam van gegevens krachtig genoeg wordt om effectief zijn ‘gebruiksvoorwaarden’ en invloedssfeer te definiëren.

De auteurs suggereren, in overeenstemming met veel recente industrie- en academische gedachten over het onderwerp, dat de onderzoekscommunity geen nieuwe problemen meer stelt als deze niet kunnen worden aangepakt met bestaande benchmark-datasets.

Ze merken ook op dat blindelings vasthouden aan dit kleine aantal ‘gouden’ datasets onderzoekers aanmoedigt om resultaten te behalen die overfitted zijn (d.w.z. dat ze specifiek zijn voor de dataset en niet waarschijnlijk zo goed zullen presteren op echte gegevens, op nieuwe academische of originele datasets, of zelfs noodzakelijkerwijs op andere datasets in de ‘gouden standaard’).

‘Gezien de waargenomen hoge concentratie van onderzoek op een klein aantal benchmark-datasets, geloven we dat het diversifiëren van vormen van evaluatie bijzonder belangrijk is om overfitting op bestaande datasets te voorkomen en de vooruitgang in het veld niet te verkeerd voor te stellen.’

Overheidsinvloed in Computer Vision Onderzoek

Volgens het artikel is Computer Vision-onderzoek opvallend meer beïnvloed door het syndroom dat het beschrijft dan andere sectoren, waarbij de auteurs opmerken dat Natural Language Processing (NLP)-onderzoek veel minder wordt beïnvloed. De auteurs suggereren dat dit kan komen doordat NLP-gemeenschappen ‘meer coherent’ en groter in omvang zijn, en omdat NLP-datasets meer toegankelijk en gemakkelijker te cureren zijn, evenals kleiner en minder bronintensief in termen van gegevensverzameling.

In Computer Vision, en met name met betrekking tot Facial Recognition (FR)-datasets, beweren de auteurs dat corporate, staat en particuliere belangen vaak botsen:

‘Corporate en overheidsinstellingen hebben doelen die in conflict kunnen komen met privacy (bijv. surveillance), en hun weging van deze prioriteiten is waarschijnlijk anders dan die van academici of bredere maatschappelijke stakeholders.’

Voor facial recognition-taken vonden de onderzoekers dat het aantal zuiver academische datasets dramatisch daalt tegen de gemiddelde:

‘[Vier] van de acht datasets (33,69% van het totale gebruik) werden exclusief gefinancierd door ondernemingen, het Amerikaanse leger of de Chinese overheid (MS-Celeb-1M, CASIA-Webface, IJB-A, VggFace2). MS-Celeb-1M werd uiteindelijk ingetrokken vanwege controverse over de waarde van privacy voor verschillende stakeholders.’

De top-datasets die worden gebruikt in Image Generation en Face Recognition onderzoekscommunities.

In de bovenstaande grafiek, zoals de auteurs opmerken, zien we ook dat het relatief recente veld van Image Generation (of Image Synthese) sterk afhankelijk is van bestaande, veel oudere datasets die niet voor dit doel zijn bedoeld.

Feitelijk merkt het artikel op dat er een groeiende trend is voor de ‘migratie’ van datasets weg van hun beoogde doel, waardoor vragen rijzen over hun geschiktheid voor de behoeften van nieuwe of buitenstaande onderzoekssectoren, en de mate waarin budgetbeperkingen de omvang van onderzoekersambities kunnen ‘generiseren’ in de smallere kader die wordt geboden door de beschikbare materialen en door een cultuur die zo gefixeerd is op jaar-op-jaar benchmark-ratings dat nieuwe datasets moeite hebben om grip te krijgen.

‘Onze bevindingen geven ook aan dat datasets regelmatig tussen verschillende taakgemeenschappen worden overgedragen. Aan het uiterste einde is de meerderheid van de benchmark-datasets in omloop voor sommige taakgemeenschappen gemaakt voor andere taken.’

Met betrekking tot de machine learning-luminaries (inclusief Andrew Ng) die steeds vaker hebben opgeroepen tot meer diversiteit en curatie van datasets in de afgelopen jaren, ondersteunen de auteurs het sentiment, maar geloven dat dit soort inspanning, zelfs als het succesvol is, potentieel kan worden ondermijnd door de huidige cultuur die afhankelijk is van SOTA-resultaten en gevestigde datasets:

‘Ons onderzoek suggereert dat het simpelweg oproepen van ML-onderzoekers om meer datasets te ontwikkelen, en het verschuiven van stimuleringsstructuren zodat dataset-ontwikkeling gewaardeerd en beloond wordt, mogelijk niet voldoende is om het gebruik van datasets en de perspectieven die uiteindelijk vorm en agenda’s van MLR-onderzoek bepalen te diversifiëren.

‘Naast het stimuleren van dataset-ontwikkeling, pleiten we voor equity-georiënteerde beleidsinterventies die prioriteit geven aan significante financiering voor mensen in minder goed uitgeruste instellingen om hoogwaardige datasets te creëren. Dit zou – vanuit een sociaal en cultureel perspectief – de benchmark-datasets die worden gebruikt om moderne ML-methoden te evalueren diversifiëren.’

6e december 2021, 16:49 GMT+2 – Correctie van possessief in kop. – MA