Hvorfor historisk språk er en utfordring for kunstig intelligens

En av de sentrale utfordringene for systemer for naturlig språkbehandling (NLP) er å trekke ut essensielle innsikter fra en stor variasjon av skrevne materialer. Bidragende kilder for en treningsdatasett for en ny NLP-algoritme kunne være like lingvistisk diverse som Twitter, bredsideaviser og vitenskapelige tidsskrifter, med alle de appellante eksentrisitetene som er unike for hver av disse tre kildene.

I de fleste tilfeller er dette bare for engelsk; og det er bare for nåværende eller nylig tekstkilder. Når en NLP-algoritme må vurdere materiale som kommer fra flere epoker, sliter den vanligvis med å forlike de svært forskjellige måtene mennesker snakker eller skriver på tvers av nasjonale og sub-nasjonale samfunn, og særlig på tvers av forskjellige perioder i historien.

Likevel er bruk av tekstdata (slik som historiske avhandlinger og venerable vitenskapelige verk) som spenner over epoker en potensielt nyttig metode for å generere en historisk oversikt over et emne, og for å formulere statistiske tidslinje-rekonstruksjoner som forutdater innføringen og vedlikeholdet av metrikker for et domene.

For eksempel var værinformasjon som bidrar til klimaendrings-prediksjons-AI-modeller ikke adekvat registrert over hele verden før 1880, mens data-utvinning av klassiske tekster tilbyr eldre rekorder av større meteorologiske hendelser som kan være nyttige i å tilby pre-viktoriansk værdata.

Tidslig misjustering

En ny rapport fra University of Washington og Allen Institute for AI har funnet at selv et så kort intervall som fem år kan forårsake tidslig misjustering som kan ødelegge nyttelsen av en forhåndstrening NLP-modell.

I alle tilfeller er høyere poeng bedre. Her ser vi en varme-kart over tidslig degradering over fire korpus av tekstmaterialer som spenner over en fem-års periode. Slike misforhold mellom trenings- og evalueringdata, ifølge forfatterne av den nye rapporten, kan forårsake en ‘massiv ytelsesnedgang’. Kilde: https://arxiv.org/pdf/2111.07408.pdf