Hvorfor historisk sprog er en udfordring for kunstig intelligens

En af de centrale udfordringer for Natural Language Processing (NLP)-systemer er at udlede væsentlige indsighter fra en bred vifte af skrevne materialer. Bidragende kilder til en træningsdataset for en ny NLP-algoritme kunne være så sprogligt forskellige som Twitter, bredsideaviser og videnskabelige tidsskrifter, med alle de særlige ejendommeligheder, der er unikke for hver af disse tre kilder.

I de fleste tilfælde er det kun for engelsk; og det er kun for nuværende eller nylige tekstkilder. Når en NLP-algoritme skal overveje materiale, der kommer fra flere epoker, har den typisk svært ved at afklare de meget forskellige måder, hvorpå mennesker taler eller skriver på tværs af nationale og sub-nationale fællesskaber, og især på tværs af forskellige perioder i historien.

Men at bruge tekstdata (såsom historiske afhandlinger og ærværdige videnskabelige værker), der spænder over epoker, er en potentiel metode til at generere en historisk oversigt over et emne, og til at formulere statistiske tidslinje-rekonstruktioner, der forudgår antagelsen og vedligeholdelsen af målinger for et domæne.

For eksempel var vejrinformation, der bidrager til klimaforandringsprædiktions-AI-modeller, ikke tilstrækkeligt registreret over hele verden indtil 1880, mens data-mining af klassiske tekster tilbyder ældre optegnelser af store meteorologiske begivenheder, der kan være nyttige til at give præ-victoriansk vejrinformation.

Tidsmæssig misalignering

En ny artikel fra University of Washington og Allen Institute for AI har fundet, at selv en så kort tidsperiode som fem år kan forårsage tidsmæssig misalignering, der kan ødelægge nyttigheden af en forudtrænet NLP-model.

I alle tilfælde er højere score bedre. Her ser vi en varme-kort over tidsmæssig degradering på tværs af fire korpus af tekstmaterialer, der spænder over en fem-årig periode. Sådanne misligninger mellem trænings- og evalueringdata kan, ifølge artiklens forfattere, forårsage en ‘massiv ydelsesnedgang’. Kilde: https://arxiv.org/pdf/2111.07408.pdf

Artiklen fastslår:

‘Vi finder, at tidsmæssig misalignering påvirker både sprogmodel-generelisering og opgaveydelse. Vi finder betydelig variation i degradering på tværs af tekstdomæner og opgaver. Over 5 år kan klassificatorernes F1-score forringe så meget som 40 point (politisk tilhørsforhold på Twitter) eller så lidt som 1 punkt (Yelp-anmeldelsesvurderinger). To distinkte opgaver defineret på samme domæne kan vise forskellige niveauer af degradering over tid.’

Ulige splittelse

Kerneproblemet er, at træningsdatasets generelt deles op i to grupper, undertiden i en ret ubalanceret 80/20-forhold, på grund af begrænsede data. Den større gruppe af data trænes på et neuralt netværk, mens den resterende data bruges som en kontrolgruppe til at teste nøjagtigheden af den resulterende algoritme.

I blandede datasets, der indeholder materiale, der spænder over flere år, kan en ulig fordeling af data fra forskellige perioder betyde, at evalueringdata er uforholdsmæssigt sammensat af materiale fra en bestemt epoke.

Dette vil gøre det til en dårlig testgrund for en model, der er trænet på en mere divers blandning af epoker (dvs. på mere af den samlede tilgængelige data). I virkeligheden er det, afhængigt af, om den mindretals-evalueringdata overrepræsenterer nyere eller ældre materiale, som at spørge bedstefaren om at bedømme de seneste K-Pop-idoler.

Den lange workaround ville være at træne multiple modeller på meget mere tidsbegrænsede datasets og forsøge at samle kompatible funktioner fra resultaterne af hver model. Men tilfældig model-initialisering alene betyder, at denne tilgang står over for sin egen sæt af problemer i at opnå tværs af modeller-paritet og lighed – selv før at overveje, om de multiple bidragende datasets var tilstrækkeligt lignende hinanden til at gøre eksperimentet meningsfuldt.

Data og træning

For at evaluere tidsmæssig misalignering trænede forfatterne fire tekstkorpus på tværs af fire domæner;

Twitter
…hvor de indsamlede ulabelde data ved at trække en tilfældig udvalg af 12 millioner tweets, der er jævnt fordelt mellem 2015-2020, hvor forfatterne studerede navngivne enheder (dvs. personer og organisationer) og politiske tilhørsforhold.

Videnskabelige artikler
…hvor forfatterne fik ulabelde data fra Semantic Scholar-korpus, der består af 650.000 dokumenter, der spænder over en 30-årig periode, og på hvilke de studerede nævntype-klassificering (SciERC) og AI-venue-klassificering (AIC, der skelner, om en artikel er offentliggjort i AAAI eller ICML).

Nyhedsartikler
…hvor forfatterne brugte ni millioner artikler fra Newsroom Dataset, der spænder over en periode 2009-2016, på hvilke de udførte tre opgaver: nyhedsrumssammenfatning, udgiver-klassificering og Medie-ramme-klassificering (MFC), der sidstnævnte opgave undersøger den opfattede prioritering af forskellige emner på tværs af nyhedsudgang.

Mad-anmeldelser
…hvor forskerne brugte Yelp Open Dataset på en enkelt opgave: anmeldelsesvurderings-klassificering (YELPCLS), en traditionel sentiment-analyse-udfordring, der er typisk for meget NLP-forskning i denne sektor.

Resultater

Modellerne blev evaluaret på GPT-2, med en række resulterende F1-scores. Forfatterne fandt, at ydelsesnedgangen fra tidsmæssig misalignering er bi-retning, hvilket betyder, at modeller, der er trænet på nyere data, kan være negativt påvirket af ældre data, og omvendt (se billedet i starten af artiklen for grafer). Forfatterne bemærker, at dette har særlige implikationer for sociale videnskabsapplikationer.

Generelt viser resultaterne, at tidsmæssig misalignering nedgraderer ydelsesnedgang “betydeligt”, og har en bred effekt på de fleste opgaver. Datasets, der dækker meget lange perioder, såsom årtier, forværreler naturligvis problemet.

Forfatterne observerer yderligere, at tidsmæssig misalignering også påvirker labelede såvel som ulabelde fortræningsdata. Deres forsøg på at mindske effekterne via domæne-tilpasning (se nedenfor) forbedrede ikke væsentligt situationen, selvom de påstår, at fin-justering af data-oplysninger i datasettet kan hjælpe til en vis udstrækning.

Konklusion

Forskerne bekræfter tidligere fund, at tidligere foreslåede remedier, der indebærer domæne-tilpasning (DAPT, hvor der skabes en tilladelse for data-ulighed) og tidsmæssig tilpasning (hvor data vælges efter tidsperiode), gør lidt for at lette problemet.

Artiklen slutter*:

‘Vore eksperimenter afslørede betydelig variation i tidsmæssig degradering på tværs af opgaver, mere end fundet i tidligere studier. Disse fund motiverer fortsat studie af tidsmæssig misalignering på tværs af NLP-applikationer, dens overvejelse i benchmark-evalueringer og vigilans på praktikernes side, der kan overvåge live-system-ydelse over tid.

‘Bemærkelsesværdigt observerede vi, at fortsat træning af LM’er på tidsmæssigt alignerede data ikke har megen effekt, hvilket motiverer yderligere forskning til at finde effektive tidsmæssige tilpasningsmetoder, der er mindre kostbare end fortsat indsamling af annoterede/labelede datasets over tid.’

Forfatterne foreslår, at yderligere undersøgelse af kontinuerlig læring, hvor data konstant opdateres, kan være af nytte i denne henseende, og at koncept-drift og andre metoder til at registrere ændringer i opgaver kan være en nyttig hjælp til at opdatere datasets.

* Min konvertering af inline-citationer til hyperlinks.