Nedgradering av föråldrad “sanning” med maskinlärande

Ibland har sanningen ett utgångsdatum. När en tidsbegränsad påstående (såsom “masker är obligatoriska på allmänna transporter”) dyker upp i sökmotorrankningar, kan dess tydliga “auktoritativa” lösning stanna kvar för länge, även i flera år, och ranka högre än senare och mer exakta innehåll på samma ämne.

Detta är en biprodukt av sökmotoralgoritmernas bestämning att identifiera och främja “långsiktiga” definitiva lösningar, och av deras tendens att prioritera välkopplade innehåll som upprätthåller trafik över tid – och av en alltmer försiktig attityd till nyare innehåll i den framväxande tiden av falska nyheter.

Alternativt, att avvärdera värdefullt webbinnehåll enbart för att tidsstämpeln associerad med det har passerat ett godtyckligt “giltighetsfönster” riskerar att en generation av genuint användbart innehåll kommer att avskaffas automatiskt till förmån för senare material som kan vara av lägre standard.

För att åtgärda detta syndrom har en ny artikel från forskare i Italien, Belgien och Danmark använt en mängd olika maskinlärandetekniker för att utveckla en metodik för tidsmedveten bevisrankning.

Bortom föråldrade svar

Artikeln är skriven av forskare från Europeiska kommissionen vid Joint Research Centre (JRC) i Ispra, Katholieke Universiteit i Leuven och Köpenhamns universitet.

Arbetet behandlar fyra tidsbaserade rankningsmetoder som tillämpas på tre faktakontrollmetoder, var och en med en annan tillvägagångssätt för bevisrankning, och erbjuder en ny metodik för rankning som använder bevisets tidsstämpel som en “guldstandard”. Studien visar att tidsmedveten bevisrankning förbättrar skarpsyntheten hos resultaten, och förbättrar också auktoritets- och sanningsprediktionerna för tidskänsliga fakta och påståenden.

Forskningen erbjuds som en möjlig tillägg till senare eller existerande system, och är utformad för att underlätta forskning, och som en möjlig ytterligare faktor för införande i utvecklingen av nya och utvecklade sökmotoralgoritmer.

Arbetet modellerar de tidsmässiga dynamikerna för bevisen för innehållsbaserad faktakontroll, och överträffar de “semantiska likhets”-tillvägagångssätt som antas av typiska sökmotorrankningsalgoritmer. Modellen som tränats av forskarna använder en optimerad inlärnings-till-rankning-funktion som kan lätt läggas till i en befintlig faktakontrollarkitektur. Forskarna hävdar att systemet är en ny bidrag till automatiserad faktakontroll.

Ändring av flera faktakontrollarkitekturer

Forskarna tillämpade sin tidsbegränsade faktorisering på tre existerande faktakontrollarkitekturer. Den första av dessa är den Bidirectional Long Short Term Memory (BiLSTM)-modell som föreslogs i MultiFC-databasen som släpptes 2019.

Den andra är en modifiering av den första, med en unidirektionell Recurrent Neural Network (RNN) som ersätter LSTM-komponenten.

Den tredje modellen som forskarna använde är en DistilBERT-transformator från Hugging Faces-biblioteket, en destillerad version av Googles BERT-NLP-modell.

Över alla tre arkitekturer tillämpade forskarna en ListMLE-förlust, från forskning som lett av Microsoft, som har bidragit konsekvent till ny faktakontrollforskning under de senaste två decennierna.

De två primära faktakontrollmodellerna som forskarteamet har lagt till en tidskomponent som filter för auktoritet och efterföljande rankningsvärden. Källa: https://arxiv.org/pdf/2009.06402.pdf

Tidsstämpelvärden extraherades från träningsmetadata och inkluderades som rankningsfaktorer i varje modell.

Testning

Experimentell utvärdering för systemet innefattade användning av MultiFC-databasen, eftersom det för närvarande är den enda högvolymsöppna källkodsdatamängden som är tillgänglig för detta specifika forskningsintresse. MultiFC innehåller 34 924 verkliga påståenden som erhållits från 26 olika faktakontrollområden, inklusive Snopes och Washington Post.

Prediktion av varje påståendes sanningshalt förstärks av tio bevisfragment som tillhandahålls av Google Search API, och prediktioner som erhålls via en sammanflätning av element, inklusive talare, taggar och kategorier.

Mycket ofta är den relevanta tidsstämpeln inte nödvändigtvis den som finns i metadata; en artikel kan hänvisa till händelser från tidigare tider, och i detta fall var forskarnas system tvungna att ta hand om att extrahera och konvertera data direkt från texten. Utan denna process tenderar en “omkörning” av föråldrad nyhet att ge den en ny glans, särskilt i fallet med höga auktoritetssidor, och sprider det föråldrade data.

Datumen extraherades med en Python-rutin, och de officiella metadata-datum testades för konsistens i formatering (eftersom, till exempel, US- och UK-datumstämpelformat är olika). När manuellt verifierade, hittades noll fel i tidsstämpelmetadata.

Resultat

Mot en manuell kontroll av de automatiserade resultaten fann forskarna att tidsmedveten bevisrankning förbättrade betydligt på relevansantaganden som baserades på ren semantisk likhet eller SERP-rankningar. De fastställer också att deras metod förbättrar sanningsprediktioner för tidskänsliga påståenden (dvs. omständigheter där en nyhetssituation kan förändras snabbt, och där det är viktigt att prioritera uppdaterad information utan att enbart tvinga prioriteringen av de senaste resultaten på ett ämne).

Forskarna noterar att denna tillvägagångssätt kommer att vara av högt värde för att förbättra rankningsmodeller för flyktiga ämnen som politik och underhållning, där informationen förändras snabbt, och högt rankade utvecklingar kräver en ram för automatisk avsked från toppositioner i rankning som de kan ha uppnått vid utgivning.