Waarom historische taal een uitdaging is voor kunstmatige intelligentie

Een van de centrale uitdagingen van Natural Language Processing (NLP)-systemen is om essentiële inzichten te verkrijgen uit een grote verscheidenheid aan geschreven materialen. De bijdragende bronnen voor een trainingsdataset voor een nieuwe NLP-algoritme kunnen zo linguïstisch divers zijn als Twitter, kwaliteitskranten en wetenschappelijke tijdschriften, met alle eigenaardigheden die uniek zijn voor elk van deze drie bronnen.

In de meeste gevallen is dit alleen voor het Engels; en dat is alleen voor recente of actuele tekstbronnen. Wanneer een NLP-algoritme materiaal moet overwegen dat afkomstig is uit meerdere tijdperken, heeft het meestal moeite om de zeer verschillende manieren waarop mensen spreken of schrijven over nationale en sub-nationale gemeenschappen, en vooral over verschillende perioden in de geschiedenis.

Toch is het gebruik van tekstgegevens (zoals historische verhandelingen en eerbiedwaardige wetenschappelijke werken) die epochs overspannen, een potentieel nuttige methode om een historisch overzicht van een onderwerp te genereren en om statistische tijdslijnreconstructies te formuleren die voorafgaan aan de adoptie en onderhoud van metrics voor een domein.

Bijvoorbeeld, weersinformatie die bijdraagt aan klimaatverandering voorspellende AI-modellen was niet adequaat geregistreerd over de hele wereld tot 1880, terwijl data-mining van klassieke teksten ouder records van grote meteorologische gebeurtenissen die nuttig kunnen zijn voor het verstrekken van pre-Victoriaanse weersgegevens.

Tijdelijke misalignering

Een nieuw artikel van de Universiteit van Washington en het Allen Institute for AI heeft aangetoond dat zelfs een korte interval van vijf jaar tijdelijke misalignering kan veroorzaken, wat de bruikbaarheid van een vooraf getraind NLP-model kan ondermijnen.

In alle gevallen zijn hogere scores beter. Hier zien we een heatmap van tijdelijke degradatie over vier corpora van tekstmateriaal dat een periode van vijf jaar overspant. Dergelijke mismatches tussen trainings- en evaluatiegegevens, volgens de auteurs van het nieuwe artikel, kunnen een ‘massale prestatiedaling’ veroorzaken. Bron: https://arxiv.org/pdf/2111.07408.pdf

Het artikel stelt:

‘We vinden dat tijdelijke misalignering zowel de generalisatie van taalmodellen als de taakprestaties beïnvloedt. We vinden aanzienlijke variatie in degradatie over tekstdomeinen en taken. Over een periode van 5 jaar kan de F1-score van classificatoren tot 40 punten (politieke affiliatie in Twitter) of slechts 1 punt (Yelp-beoordelingen) verslechteren. Twee verschillende taken die zijn gedefinieerd op hetzelfde domein kunnen verschillende niveaus van degradatie over tijd laten zien.’

Onevenwichtige splitsingen

Het kernprobleem is dat trainingsdatasets meestal zijn gesplitst in twee groepen, soms met een vrij onbalans van 80/20, vanwege de beperkte beschikbaarheid van gegevens. De grotere groep gegevens wordt getraind op een neurale netwerk, terwijl de resterende gegevens worden gebruikt als controle groep om de nauwkeurigheid van het resulterende algoritme te testen.

In gemengde datasets die materiaal bevatten dat een aantal jaren overspant, kan een onevenwichtige verdeling van gegevens uit verschillende perioden betekenen dat de evaluatiegegevens onevenredig bestaan uit materiaal uit een bepaalde periode.

Dit zal ertoe leiden dat het een slechte testomgeving wordt voor een model dat is getraind op een meer diverse mix van perioden (d.w.z. op meer van de gehele beschikbare gegevens). In feite, afhankelijk van of de minderheidsevaluatiegegevens nieuwere of oudere materiaal oververtegenwoordigen, is het alsof je je grootvader vraagt om de laatste K-Pop-idolen te beoordelen.

De lange workaround zou zijn om meerdere modellen te trainen op meer tijdsbeperkte datasets en te proberen compatibele functies te combineren uit de resultaten van elk model. Echter, willekeurige modelinitialisatie alleen al betekent dat deze aanpak zijn eigen set problemen heeft om cross-model-pariteit en -equiteit te bereiken – zelfs voordat wordt overwogen of de meerdere bijdragende datasets voldoende op elkaar leken om het experiment zinvol te maken.

Gegevens en training

Om tijdelijke misalignering te evalueren, hebben de auteurs vier tekstcorpora getraind over vier domeinen;

Twitter
…waar ze ongelabelde gegevens verzamelden door een willekeurige selectie van 12 miljoen tweets te extraheren die uniform waren verdeeld tussen 2015-2020, waar de auteurs genoemde entiteiten (d.w.z. personen en organisaties) en politieke affiliaties bestudeerden.

Wetenschappelijke artikelen
…waar de auteurs ongelabelde gegevens verkregen uit de Semantic Scholar-corpus, bestaande uit 650.000 documenten die een periode van 30 jaar overspanden, en waarop ze de classificatie van noemer types (SciERC) en AI-venueclassificatie (AIC, die onderscheidt of een artikel is gepubliceerd in AAAI of ICML) bestudeerden.

Nieuwsartikelen
…waar de auteurs negen miljoen artikelen uit de Newsroom Dataset gebruikten die een periode van 2009-2016 overspanden, waarop ze drie taken uitvoerden: nieuwsroom-samenvatting, uitgeverclassificatie en Media frames classificatie (MFC), die laatste taak onderzoekt de waargenomen prioriteit van verschillende onderwerpen in de nieuwsuitvoer.

Voedselrecensies
…waar de onderzoekers de Yelp Open Dataset gebruikten voor één taak: recensiebeoordelingsclassificatie (YELPCLS), een traditionele sentimentanalyse-uitdaging die typerend is voor veel NLP-onderzoek in deze sector.

Resultaten

De modellen werden geëvalueerd op GPT-2, met een reeks resulterende F1-scores. De auteurs vonden dat prestatieverlies door tijdelijke misalignering tweerichtingsverkeer is, wat betekent dat modellen die zijn getraind op recente gegevens nadelig kunnen worden beïnvloed door de invloed van oudere gegevens, en vice versa (zie afbeelding aan het begin van het artikel voor grafieken). De auteurs merken op dat dit speciale implicaties heeft voor sociale wetenschapsapplicaties.

In het algemeen laten de resultaten zien dat tijdelijke misalignering de prestaties aanzienlijk verslechtert en een breed effect heeft op de meeste taken. Datasets die zeer lange perioden bestrijken, zoals decennia, verergeren het probleem van nature.

De auteurs merken verder op dat tijdelijke misalignering ook gelabelde en ongelabelde pretraininggegevens beïnvloedt. Bovendien hebben hun pogingen om de effecten te mitigeren via domeinadaptatie (zie hieronder) de situatie niet aanzienlijk verbeterd, hoewel ze beweren dat het fijn afstemmen van de gegevensinformatie in de dataset enigszins kan helpen.

Conclusie

De onderzoekers bevestigen eerdere bevindingen dat eerder voorgestelde remedies met betrekking tot domeinadaptatie (DAPT, waarbij rekening wordt gehouden met de gegevensdispariteit) en tijdelijke adaptatie (waarbij de gegevens zijn geselecteerd op basis van tijdperk) weinig doen om het probleem te verlichten.

Het artikel concludeert*:

‘Onze experimenten onthulden aanzienlijke variatie in tijdelijke degradatie over taken, meer dan gevonden in eerder onderzoek. Deze bevindingen motiveren voortdurend onderzoek naar tijdelijke misalignering over NLP-toepassingen, de overweging ervan in benchmark-evaluaties en waakzaamheid bij praktijkmensen die in staat zijn om live systeemprestaties over tijd te monitoren.

‘Opvallend, we observeerden dat voortdurende training van LM’s op tijdelijk uitgelijnde gegevens niet veel effect heeft, wat motiveert verder onderzoek om effectieve tijdelijke adaptatiemethoden te vinden die minder kostbaar zijn dan de voortdurende verzameling van gelabelde/ongelabelde datasets over tijd.’

De auteurs suggereren dat verder onderzoek naar voortdurend leren, waarbij de gegevens constant worden bijgewerkt, nuttig kan zijn in dit opzicht, en dat conceptdrift en andere methoden voor het detecteren van taakverschuivingen een nuttige hulp kunnen zijn bij het updaten van datasets.

* Mijn conversie van inline-citaten naar hyperlinks.