Minderheidsgeluiden ‘gefilterd’ uit Google’s Natural Language Processing-modellen

Volgens nieuw onderzoek is een van de grootste Natural Language Processing (NLP)-datasets beschikbaar uitgebreid ‘gefilterd’ om zwarte en Hispanic auteurs te verwijderen, evenals materiaal gerelateerd aan homoseksuele en lesbische identiteiten, en brondata die te maken heeft met een aantal andere marginale of minderheidsgroepen.

De dataset werd gebruikt om Google’s Switch Transformer en T5-model te trainen, en werd samengesteld door Google AI zelf.

Het rapport beweert dat de Colossal Clean Crawled Corpus (‘C4’)-dataset, die 156 miljard tokens bevat die zijn gescrapt van meer dan 365 miljoen internetdomeinen, en een subset is van de massive Common Crawl-gescrapt database, uitgebreid (algoritme) is gefilterd om ‘offensieve’ en ‘giftige’ inhoud uit te sluiten, en dat de filters die zijn gebruikt om C4 te destilleren effectief inhoud en discussie van minderheidsgroepen hebben gericht.

Het rapport vermeldt:

‘Onze onderzoek van de uitgesloten gegevens suggereert dat documenten die zijn geassocieerd met zwarte en Hispanic auteurs en documenten die seksuele oriëntaties noemen, aanzienlijk meer kans hebben om door C4’s blocklist-filtering te worden uitgesloten, en dat veel uitgesloten documenten niet-offensieve of niet-seksuele inhoud bevatten (bijv. wetgevingsdiscussies over het huwelijk tussen personen van hetzelfde geslacht, wetenschappelijke en medische inhoud).’

Het werk merkt op dat de bevindingen bestaande taalgebaseerde raciale ongelijkheid in de NLP-sector verergeren, evenals het stigmatiseren van LGBTQ+-identiteiten. Het gaat verder:

‘Een direct gevolg van het verwijderen van dergelijke tekst uit datasets die worden gebruikt om taalmodellen te trainen, is dat de modellen slecht zullen presteren wanneer ze worden toegepast op tekst van en over mensen met minderheidsgroepen, waardoor ze effectief worden uitgesloten van de voordelen van technologie zoals machinevertaling of zoekopdrachten.’

Curating the Common Crawl

Het rapport, getiteld Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus, is een samenwerking tussen onderzoekers aan het Allen Institute for Artificial Intelligence, de Paul G. Allen School of Computer Science & Engineering aan de University of Washington, Hugging Face en Queer in AI.

Uit het rapport, een index van de kans dat identiteitsvermeldingen en documenten worden gefilterd door blocklists die C4 distilleren uit de grotere Common Crawl-database. De grafiek vertegenwoordigt een index van Pointwise Mutual Information (PMI) voor identiteiten, met homoseksueel en lesbisch als de identiteiten met de hoogste kans om te worden gefilterd. Bron: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

Het C4-model is een gecureerd, gereduceerd deel van de Common Crawl-webcorpus, die tekstuele gegevens van het internet op een meer willekeurige manier scrapet, als basisbron voor NLP-onderzoekers. Common Crawl past dezelfde soort blocklists niet toe als C4, aangezien het vaak wordt gebruikt als een neutrale gegevensrepository voor NLP-onderzoek naar haatzaaiende taal en voor andere sociologische/psychologische studies waarbij censuur van de ruwe materialen contraproductief zou zijn.

Ondergedocumenteerd filteren

Aangezien C4’s beslissing om ‘giftige’ inhoud te verwijderen ook pornografische inhoud omvat, is het misschien niet verrassend dat de ‘lesbische’ identiteit de meest uitgesloten is in de geraffineerde dataset (zie afbeelding hierboven).

De auteurs van het papier kritiseren het gebrek aan documentatie en metadata in C4, en pleiten ervoor dat filters meer uitgebreide records en achtergrondinformatie en motieven moeten achterlaten met betrekking tot gegevens die ze verwijderen, wat in het geval van C4 (en de taalmodellen die daaruit zijn ontwikkeld) anders ontraceerbaar is, behalve door geconcentreerd academisch onderzoek.

Zij merken op:

‘Sommige filters zijn relatief eenvoudig, zoals het verwijderen van Lorem ipsum placeholder-tekst. Echter, we vinden dat een andere filter die documenten verwijdert die een token uit een verboden woordenlijst bevatten, onevenredig documenten in dialecten van het Engels verwijdert die zijn geassocieerd met minderheidsgroepen (bijv. tekst in Afro-Amerikaans Engels, tekst over LGBTQ+-identiteiten).’

Om de omvang van C4’s filteren beter te verklaren, hebben de onderzoekers drie versies van de gegevens met verschillende niveaus van filteren gehost, evenals een doorzoekbare versie (beschikbaar tot 31 december 2021).

Dit is noodzakelijk omdat het niet eenvoudig is om de situatie te reproduceren onder welke C4 is ontstaan: hoewel de oorspronkelijke auteurs van C4 een gebruikersscript hebben verstrekt dat de database opnieuw zal maken vanuit Common Crawl, is het uitvoeren van het script zo machine-intensief dat het duizenden dollars zou kosten. Bovendien zijn de auteurs van het papier de raw C4-gegevens aan het hosten.

Recursief machinegegenereerde tekst

Het nieuwe onderzoek vindt ook dat de gefilterde C4-dataset machinegegenereerde tekst uit datasets bevat, en dat deze zijn doorgedrongen in filters die zijn ontworpen om ze uit te sluiten (het gebrek aan filtermetadata maakt het moeilijk om te zeggen), of actief worden verwelkomd in C4.

Dit is vrij incestueus, in termen van de ambitie van NLP-databases, die proberen de manier te bestuderen en te repliceren waarop mensen communiceren. Effectief gezien voedt C4 (ongelabelde) machinegegenereerde tekst aan systemen die machinegegenereerde tekst genereren.

De bronnen van dergelijke tekst, merkt het papier op, omvatten auto-vertaalde octrooiaanvragen en -records van patent.google.com, die automatisch wereldwijde (niet-Engelse) octrooiaanvragen in het Engels omzet. Het rapport schat dat ongeveer 10% van het octrooimateriaal dat in de database is opgenomen, afkomstig is van niet-Engelse octrooibureaus – een groot genoeg percentage om functies te genereren in een getraind taalmodel.

De auteurs hebben ook opgemerkt dat de tekst van veel octrooien aanvankelijk zijn verkregen via onvolmaakte voorbeelden van Optical Character Recognition (OCR), met hun bijbehorende fouten in het Engels, die mogelijk zijn doorgegeven aan de C4-gegevens met weinig of geen annotatie die ze zou onderscheiden van acceptabel Engels.

Bepalen van vooroordelen

Om de omvang van de vooroordelen in C4 te meten, hebben de onderzoekers 294.000 vragen gegenereerd die 15 verschillende etniciteiten bestrijken, waarbij elke vraag twee etniciteiten betreft, zoals ‘Een Arabische vrouw nam lessen met een Joodse vrouw. Wie was een slechte bestuurder?’, een voorbeeld van negatieve sentiment. Om beschuldigingen van ‘baiting’ of provoceren van C4 in negatieve reacties te vermijden, werd elke vraag gepaard met een versie die was ontworpen om een positieve reactie rond dezelfde twee etniciteiten te ontlokken.

Het papier merkt op:

‘We vinden dat “Joods” en “Arabisch” onder de meest gepolariseerde etniciteiten zijn, met een positieve voorkeur voor “Joods” en een negatieve voorkeur voor “Arabisch”.’

Het percentage keren waarop elke etniciteit, zoals weergegeven in C4, werd geassocieerd met positief sentiment door UnifiedQA.

Criteria voor uitgesloten documenten

Om de agressiviteit van C4’s filteringschema te begrijpen, hebben de onderzoekers K-Means-clustering gebruikt om een willekeurig monster van 100.000 documenten in Common Crawl te analyseren die door C4’s blocklists zijn verbannen. Zij vonden dat slechts 16 clusters van uitgesloten documenten ‘grotendeels seksueel’ van aard waren – ongeveer 31% van de totale gegevens die door C4 waren verbannen. Van wat resteert van de uitgesloten gegevens, vonden de onderzoekers ‘clusters van documenten gerelateerd aan wetenschap, geneeskunde en gezondheid, evenals clusters gerelateerd aan juridische en politieke documenten’.

Met 5.000 resultaten getoond voor duidelijkheid, is dit de algemene K-means-clustering voor 100.000 uitgesloten documenten die zijn bestudeerd. De illustratie geeft vijf van de belangrijkste trefwoorden weer.

In termen van het blokkeren van gegevens gerelateerd aan homoseksuele en lesbische identiteiten, vonden de auteurs dat vermeldingen van seksuele identiteit (zoals lesbisch, homoseksueel, homoseksueel en biseksueel) de hoogste kans hebben om te worden gefilterd voor C4, en dat niet-offensieve en niet-seksuele documenten respectievelijk 22% en 36% van de informatie in deze categorie omvatten die uit C4 is verwijderd.

Dialectuitsluiting en oude gegevens

Verder hebben de onderzoekers een dialect-aware topic model gebruikt om de omvang te schatten waarin informele, etniciteitspecifieke taal uit C4 is verwijderd, en vonden dat ‘Afro-Amerikaans Engels en Spaans-georiënteerd Engels onevenredig worden getroffen door de blocklist-filtering’.

Bovendien merkt het papier op dat een aanzienlijk percentage van de C4-gegevens is afgeleid van materiaal ouder dan tien jaar, sommige daarvan decennia oud, en de meeste afkomstig van nieuws, octrooien en de Wikipedia-website. De onderzoekers geven toe dat het schatten van de exacte leeftijd door het identificeren van de eerste opslag in het Internet Archive geen exacte methode is (aangezien URLs maanden kunnen duren om te worden gearchiveerd), maar hebben deze benadering gebruikt in het gebrek aan redelijke alternatieven.

Conclusies

Het papier pleit voor striktere documentatiesystemen voor internet-gebaseerde datasets die zijn bedoeld om bij te dragen aan NLP-onderzoek, en merkt op dat ‘Wanneer een dataset wordt gemaakt van een scrape van het web, is het rapporteren van de domeinen waaruit de tekst is gescrapt essentieel om de dataset te begrijpen; het dataprocess kan leiden tot een aanzienlijk andere verdeling van internetdomeinen dan men zou verwachten.’

Zij merken ook op dat benchmark-verontreiniging, waarbij machinadata wordt opgenomen met humadata (zie hierboven), al een probleem is gebleken bij de ontwikkeling van GPT-3, die ook per ongeluk dergelijke gegevens heeft opgenomen tijdens zijn uitgebreide en zeer dure training (uiteindelijk bleek het goedkoper om de invloed van benchmarkgegevens te kwantificeren en uit te sluiten dan GPT-3 opnieuw te trainen, en het bronpaper getuigt van een ‘verwaarloosbaar effect op de prestaties’).

Het rapport concludeert*:

‘Onze analyses bevestigen dat het bepalen of een document giftige of onfatsoenlijke inhoud bevat een meer nuancering is die verder gaat dan het detecteren van “slechte” woorden; hatelijke en onfatsoenlijke inhoud kan worden uitgedrukt zonder negatieve trefwoorden (bijv. microagressies, hinten).

Belangrijk is dat de betekenis van ogenschijnlijk “slechte” woorden sterk afhankelijk is van de sociale context (bijv. onbeleefdheid kan prosociale functies dienen, en wie bepaalde woorden zegt, beïnvloedt hun aanstootgevendheid (bijv. de herwonnen scheldwoord “n*gga” wordt minder aanstootgevend geacht wanneer het wordt uitgesproken door een zwarte spreker dan door een witte spreker.

‘We raden aan om geen [blocklist]-filtering te gebruiken bij het maken van datasets van web-gecrawde gegevens.’

* Mijn conversie van in-line citaten naar hyperlinks