Varför historiskt språk är en utmaning för artificiell intelligens

En av de centrala utmaningarna för system för naturlig språkbehandling (NLP) är att hämta viktiga insikter från en stor mängd skriven material. Bidragande källor för en träningsdataset för en ny NLP-algoritm kan vara så språkligt varierade som Twitter, stora tidningar och vetenskapliga tidskrifter, med alla de särpräglade egenskaper som är unika för var och en av dessa tre källor.

I de flesta fall gäller detta bara för engelska; och bara för aktuella eller nyliga textkällor. När en NLP-algoritm måste ta hänsyn till material som kommer från flera epoker, har den vanligtvis svårt att försona de mycket olika sätt som människor talar eller skriver över nationella och sub-nationella samhällen, och särskilt över olika perioder i historien.

Ändå är användning av textdata (såsom historiska avhandlingar och ärevördiga vetenskapliga verk) som spänner över epoker en potentiellt användbar metod för att generera en historisk översikt av ett ämne, och för att formulera statistiska tidsrekonstruktioner som föregår antagandet och underhållet av mått för ett domän.

Till exempel var väderinformation som bidrar till klimatförändringspredicerande AI-modeller inte tillräckligt väl registrerad runt om i världen förrän 1880, medan datautvinning av klassiska texter erbjuder äldre register över stora meteorologiska händelser som kan vara användbara för att tillhandahålla före-viktorianska väderdata.

Tidsmässig felanpassning

En ny artikel från University of Washington och Allen Institute for AI har funnit att även en så kort tidsperiod som fem år kan orsaka tidsmässig felanpassning som kan förstöra användbarheten av en förtränad NLP-modell.

I alla fall är högre poäng bättre. Här ser vi en heatmap av tidsmässig degradation över fyra korpus av textmaterial som spänner över en femårsperiod. Sådana missmatchningar mellan tränings- och utvärderingsdata, enligt artikelförfattarna, kan orsaka en ‘massiv prestandaförlust’. Källa: https://arxiv.org/pdf/2111.07408.pdf

Artikeln säger:

‘Vi finner att tidsmässig felanpassning påverkar både språkmodellens generalisering och uppgiftsprestanda. Vi finner betydande variation i degradation över textdomäner och uppgifter. Under 5 år kan klassificerarnas F1-poäng försämras så mycket som 40 poäng (politisk tillhörighet på Twitter) eller så lite som 1 poäng (Yelp-recensioner). Två distinkta uppgifter definierade på samma domän kan visa olika nivåer av degradation över tid.’

Ojämnt fördelade data

Det centrala problemet är att träningsdataset vanligtvis delas in i två grupper, ibland i en ganska obalanserad 80/20-fördelning, på grund av begränsad datatillgänglighet. Den större datagruppen tränas på ett neuronnät, medan den återstående datan används som en kontrollgrupp för att testa algoritmens noggrannhet.

I blandade dataset som innehåller material som spänner över flera år kan en ojämn fördelning av data från olika perioder innebära att utvärderingsdatan är oproportionerligt sammansatt av material från en viss epok.

Detta kommer att göra det till en dålig testbädd för en modell som tränats på en mer varierad mix av epoker (dvs. på mer av den tillgängliga datan). I princip, beroende på om den minoritetsutvärderingsdatan överrepresenterar nyare eller äldre material, är det som att fråga din farfar att betygsätta de senaste K-Pop-idolerna.

Den långa lösningen vore att träna flera modeller på mycket mer tidsbegränsade dataset, och försöka sammanföra kompatibla funktioner från resultaten av varje modell. Men slumpmässig modellinitiering ensam innebär att denna metod möter sina egna problem för att uppnå modell-paritet och rättvisa – även innan man överväger om de flera bidragande dataseten var tillräckligt lika varandra för att göra experimentet meningsfullt.

Data och träning

För att utvärdera tidsmässig felanpassning tränade författarna fyra textkorpus över fyra domäner;

Twitter
…där de samlade in ostrukturerad data genom att extrahera ett slumpmässigt urval av 12 miljoner tweets jämnt fördelade mellan 2015-2020, där författarna studerade namngivna entiteter (dvs. personer och organisationer) och politiska tillhörigheter.

Vetenskapliga artiklar
…där författarna fick ostrukturerad data från Semantic Scholar-korpuset, som bestod av 650 000 dokument som spände över en 30-årsperiod, och på vilka de studerade nämnandetypsklassificering (SciERC) och AI-venueklassificering (AIC, som skiljer på om en artikel publicerades i AAAI eller ICML).

Nyhetsartiklar
…där författarna använde nio miljoner artiklar från Newsroom Dataset som spände över en period 2009-2016, på vilka de utförde tre uppgifter: nyhetsrumssammanfattning, utgivarklassificering och Media frames-klassificering (MFC), som sistnämnda uppgift undersöker den upplevda prioriteringen av olika ämnen i nyhetsutbudet.

Matrecensioner
…där forskarna använde Yelp Open Dataset på en enda uppgift: recensionbetygsklassificering (YELPCLS), en traditionell sentimentanalysutmaning som är typisk för mycket NLP-forskning inom detta område.

Resultat

Modellerna utvärderades på GPT-2, med en mängd olika F1-poäng. Författarna fann att prestandaförlusten från tidsmässig felanpassning är dubbelriktad, vilket innebär att modeller som tränats på ny data kan påverkas negativt av äldre data, och vice versa (se bild i början av artikeln för grafer). Författarna noterar att detta har särskilda implikationer för sociala vetenskapsansökningar.

I allmänhet visar resultaten att tidsmässig felanpassning försämrar prestandaförlusten “avsevärt”, och har en bred effekt på de flesta uppgifter. Dataset som täcker mycket långa perioder, såsom årtionden, förvärrar naturligtvis problemet.

Författarna observerar vidare att tidsmässig felanpassning också påverkar märkt såväl som ostrukturerad förträningdata. Dessutom visade deras försök att mildra effekterna via domänanpassning (se nedan) inte förbättrade situationen avsevärt, även om de hävdar att finjustering av datainformationen i datasetet kan hjälpa till viss del.

Slutsats

Forskarna bekräftar tidigare fynd som tidigare föreslagna lösningar som involverar domänanpassning (DAPT, där hänsyn tas till dataobalansen) och tidsmässig anpassning (där data väljs efter tidsperiod) gör lite för att lindra problemet.

Artikeln sluts:

‘Våra experiment visade betydande variation i tidsmässig degradation över uppgifter, mer än vad som funnits i tidigare studier. Dessa fynd motiverar fortsatt studie av tidsmässig felanpassning över NLP-ansökningar, dess övervägande i benchmarkutvärderingar och vaksamhet hos praktiker som kan övervaka systemprestanda över tid.

‘Notabelt observerade vi att fortsatt träning av LM på tidsmässigt anpassade data inte har stor effekt, vilket motiverar ytterligare forskning för att hitta effektiva tidsmässiga anpassningsmetoder som är mindre kostsamma än kontinuerlig insamling av märkt dataset över tid.’

Författarna föreslår att ytterligare undersökning av kontinuerligt lärande, där data konstant uppdateras, kan vara användbart i detta avseende, och att konceptdrift och andra metoder för att upptäcka förändringar i uppgifter kan vara en användbar hjälp för att uppdatera dataset.

* Min omvandling av inline-citat till hyperlänkar.