Hvorfor historisk språk er en utfordring for kunstig intelligens

En av de sentrale utfordringene for språkbehandlingsystemer (NLP) er å trekke ut essensielle innsikter fra en stor variasjon av skrevne materialer. Bidragsytere til en treningsdatasett for et nytt NLP-algoritme kunne være like lingvistisk forskjellige som Twitter, bredsideaviser og vitenskapelige tidsskrifter, med alle de appellerte eksentrisitetene som er unike for hver av disse tre kildene.

I de fleste tilfeller er dette bare for engelsk; og det er bare for nåværende eller nylige tekstkilder. Når et NLP-algoritme må vurdere materiale som kommer fra flere epoker, har det vanligvis problemer med å forsone de svært forskjellige måtene mennesker snakker eller skriver på tvers av nasjonale og sub-nasjonale samfunn, og særlig på tvers av forskjellige perioder i historien.

Likevel er det å bruke tekstdata (slik som historiske avhandlinger og verdige vitenskapelige verk) som omfatter epoker, en potensielt nyttig metode for å generere en historisk oversikt over et tema, og for å formulere statistiske tidslinje-rekonstruksjoner som forutgår innføringen og vedlikeholdet av målinger for et domene.

For eksempel var værinformasjon som bidrar til klimaendringsprediktive AI-modeller ikke tilstrekkelig registrert over hele verden før 1880, mens data-mining av klassiske tekster gir eldre rekorder av større meteorologiske hendelser som kan være nyttige i å gi pre-viktoriansk værinformasjon.

Tidslig misalignering

En ny rapport fra University of Washington og Allen Institute for AI har funnet at selv et så kort tidsrom som fem år kan forårsake tidslig misalignering som kan ødelegge nytten av et forhåndstreent NLP-modell.

I alle tilfeller er høyere poeng bedre. Her ser vi en varme kart over tidslig degradering over fire korpus av tekstmaterialer som omfatter en fem års periode. Slike misforhold mellom trenings- og evalueringdata, ifølge forfatterne av den nye rapporten, kan forårsake en ‘massiv ytelsesnedgang’. Kilde: https://arxiv.org/pdf/2111.07408.pdf

Rapporten sier:

‘Vi finner at tidslig misalignering påvirker både språkmodellens generalisering og oppgaveytelse. Vi finner betydelig variasjon i degradering over tekstdomener og oppgaver. Over 5 år kan klassifiserings F1-poeng forringes så mye som 40 poeng (politisk tilhørighet på Twitter) eller så lite som 1 poeng (Yelp anmeldelser). To distinkte oppgaver definert på samme domene kan vise forskjellige nivåer av degradering over tid.’

Ujevne splitt

Kjerneproblemet er at treningsdatasett vanligvis deles inn i to grupper, noen ganger i en ganske ubalansert 80/20-forhold, på grunn av begrensede data tilgjengelighet. Den større gruppen av data trenes på et neuralt nettverk, mens den gjenværende dataen brukes som en kontrollgruppe for å teste nøyaktigheten av den resulterende algoritmen.

I blandede datasett som inneholder materiale som omfatter flere år, kan en ujevn fordeling av data fra forskjellige perioder bety at evalueringdataen er urimelig sammensatt av materiale fra en bestemt epoke.

Dette vil gjøre det til en dårlig testbane for en modell som er trenet på en mer divers mix av epoker (dvs. på mer av den tilgjengelige dataen). I virkeligheten, avhengig av om minoritets evalueringdata overrepresenterer nyere eller eldre materiale, er det som å spørre bestefaren om å vurdere de siste K-Pop-idolene.

Den lange workaround ville være å trene flere modeller på mer tid-begrensede datasett, og forsøke å samle kompatible funksjoner fra resultater av hver modell. Imidlertid tilfeldig modellinitialisering praksis alene betyr at denne tilnærmingen møter sine egne problemer i å oppnå kryss-modell-paritet og likhet – selv før å vurdere om de flere bidragsytere datasettene var tilstrekkelig like hverandre for å gjøre eksperimentet meningsfullt.

Data og trening

For å vurdere tidslig misalignering, trenet forfatterne fire tekstkorpus over fire domener;

Twitter
…der de samlet inn ulabelt data ved å trekke ut en tilfeldig seleksjon av 12 millioner tweets jevnt fordelt mellom 2015-2020, der forfatterne studerte navngitte enheter (dvs. personer og organisasjoner) og politisk tilhørighet.

Vitenskapelige artikler
…der forfatterne fikk ulabelt data fra Semantic Scholar-korpuset, som består av 650 000 dokumenter som omfatter en 30-års periode, og på hvilke de studerte nevntype-klassifisering (SciERC) og AI-arena-klassifisering (AIC, som skjelner om en artikkel ble publisert i AAAI eller ICML).

Nyhetsartikler
…der forfatterne brukte ni millioner artikler fra Newsroom Dataset som omfatter en periode 2009-2016, på hvilke de utførte tre oppgaver: nyhetsromsummarisering, utgiverklassifisering og medie-rammeklassifisering (MFC), som sistnevnte oppgave undersøker den oppfattede prioriteringen av forskjellige emner over nyhetsutgang.

Matanmeldelser
…der forskerne brukte Yelp Open Dataset på en enkelt oppgave: anmeldelsesrating-klassifisering (YELPCLS), en tradisjonell sentiment-analyse-utfordring som er typisk for mye NLP-forskning i denne sektoren.

Resultater

Modellene ble evaluert på GPT-2, med en rekke resulterende F1-poeng. Forfatterne fant at ytelsesnedgang fra tidslig misalignering er toveis, det vil si at modeller trenet på nyere data kan være negativt påvirket av eldre data, og omvendt (se bilde i starten av artikkelen for grafer). Forfatterne påpeker at dette har særlige implikasjoner for samfunnsvitenskapelige anvendelser.

I generell, viser resultater at tidslig misalignering degraderer ytelsesnedgang ‘betydelig’, og har en bred effekt på de fleste oppgaver. Datasett som dekker svært lange perioder, som årtier, forverrer problemet.

Forfatterne observerer videre at tidslig misalignering også påvirker labeled og ulabeled forhåndstrening-data. I tillegg, deres forsøk på å mildne effektene via domene-tilpasning (se under) forbedret ikke situasjonen betydelig, selv om de hevder at fin-justering av datainformasjonen i datasett kan hjelpe til en viss grad.

Konklusjon

Forskerne bekrefter tidligere funn som tidligere foreslåtte midler som inkluderer domene-tilpasning (DAPT, hvor tillatelse er laget for data-skjevheten) og tidslig tilpasning (hvor dataene er valgt etter tidsperiode) gjør lite for å lindre problemet.

Rapporten konkluderer*:

‘Våre eksperimenter avdekket betydelig variasjon i tidslig degradering over oppgaver, mer enn funnet i tidligere studier. Disse funnene motiverer fortsatt studie av tidslig misalignering over anvendelser av NLP, dens vurdering i benchmark-evalueringer, og varsomhet på praktikerens side som kan overvåke live-system-ytelse over tid.

‘Merket, observerte vi at fortsatt trening av LM på tidslig alignert data har ikke mye effekt, motiverer videre forskning for å finne effektive tidslige tilpasningsmetoder som er mindre kostbare enn kontinuerlig innhenting av annotert/labeled datasett over tid.’

Forfatterne foreslår at videre undersøkelse av kontinuerlig læring, hvor dataene konstant oppdateres, kan være nyttig i denne sammenhengen, og at konsept-drift og andre metoder for å påvise endringer i oppgaver kan være en nyttig hjelp til å oppdatere datasett.

* Min konvertering av inline-citater til lenker.