Avlegging av foreldet “sannhet” med maskinlæring

Noen ganger har sannheten en utløpsdato. Når en tidsbegrenset påstand (som “masker er obligatoriske på offentlig transport”) dukker opp i søkemotors rangeringer, kan dens åpenbare “autoritative” løsning bli for gammel, selv etter mange år, og rangere høyere enn senere og mer nøyaktig innhold om samme emne.

Dette er en biprodukt av søkemotorens algoritmers bestemmelse på å identifisere og fremme “langvarige” definitive løsninger, og av deres tendens til å prioritere godt lenkede innhold som opprettholder trafikk over tid – og av en stadig mer forsiktig holdning til nytt innhold i den nye tiden med falske nyheter.

Alternativt, å nedverdige verdifullt nettinnhold bare fordi tidsstempelen som er knyttet til det har passert en vilkårlig “gyldighetsvindu”, risikerer at en generasjon av virkelig nyttig innhold vil bli automatisk nedrangert til fordel for senere materiale som kan være av lavere standard.

For å rette opp denne syndromen, har en ny artikkel fra forskere i Italia, Belgia og Danmark brukt en rekke maskinlærings-teknikker til å utvikle en metode for tidsbevisst rangering.

Bortenfor foreldede svar

Artikkelen er skrevet av forskere fra Den europeiske kommisjonen ved Joint Research Centre (JRC) i Ispra, Katholieke Universiteit i Leuven og Københavns Universitet.

Arbeidet tar i betraktning fire tidsbaserte rangeringsmetoder som brukes over tre faktasjekkmekanismer, hver med en annen tilnærming til bevisbasert rangering, og tilbyr en ny metode for rangering som bruker bevis-tidsstempel som en “gullstandard”. Studien viser at tidsbevisst rangering forbedrer nøyaktigheten av resultater, og også forbedrer autoritets- og sannhetsprediksjoner av tidssensitive fakta og påstander.

Forskningen tilbys som en mulig tillegg til senere eller eksisterende systemer, og er designet til å hjelpe med forskning, og som en mulig ekstra faktor for inklusjon i utvikling av nye og utviklede søkemotor-algoritmer.

Arbeidet modellerer de tidsbaserte dynamikkene av bevis for innholdsbasert faktasjekking, og overgår “semantisk likhet”-tilnærmingene som brukes av typiske søkemotor-rangeringsalgoritmer. Modellen som er trent av forskerne bruker en optimalisert læring-til-rangering-funksjon som kan lett legges til i en eksisterende faktasjekkmekanisme. Forskerne hevder at systemet er en ny bidrag til automatisert faktasjekking.

Endring av flere faktasjekkmekanismer

Forskerne påtvang sin tidsbegrensede faktorisering på tre eksisterende faktasjekkmekanismer. Den første av disse er Bidirectional Long Short Term Memory (BiLSTM)-modellen som ble foreslått i MultiFC-datasettet som ble utgitt i 2019.

Den andre er en modifisering av den første, med en unidireksjonal Recurrent Neural Network (RNN) som erstatter LSTM-komponenten.

Den tredje modellen som forskerne brukte er en DistilBERT-transformer fra Hugging Faces-biblioteket, en destillert versjon av Googles BERT-NLP-modell.

Over alle tre arkitekturer, brukte forskerne en ListMLE-tap, fra forskning ledet av Microsoft, som har bidratt konsistent til ny faktasjekking-forskning over de siste to tiårene.

De to primære faktasjekkmekanismene som forskningsteamet har lagt til en tidskomponent som en filter for autoritet og påfølgende rangeringsverdier. Kilde: https://arxiv.org/pdf/2009.06402.pdf

Tidsstempel-verdier ble trukket ut fra treningsmetadata, og inkludert som rangeringsfaktorer i hver modell.

Testing

Eksperimentell evaluering for systemet involverte bruk av MultiFC-datasettet, siden det er for tiden det eneste høyvolumøse åpne kilde-datasettet tilgjengelig for denne forskningsinteressen. MultiFC inneholder 34 924 virkelige påstander hentet fra 26 forskjellige faktasjekkdatabaser, inkludert Snopes og Washington Post.

Prediksjon av hver påstands sannhet er forbedret med ti bevis-utdrag levert av Google Search API, og prediksjoner oppnådd via en konfluens av elementer, inkludert taler, kategorier og emner.

Ofte er den relevante tidsstempel ikke nødvendigvis den som er inneholdt i metadata; en artikkel kan referere til hendelser fra tidligere tider, og i dette tilfellet måtte forskernes systemer ta vare på å trekke ut og konvertere dataene direkte fra teksten. Uten denne prosessen, vil en “gjennomgang” av foreldet nyheter ofte gi det en ny glans, spesielt i tilfeller med høy autoritetssider, og spre det forældede data.

Datoene ble trukket ut med en Python-rutine, og de offisielle metadata-datoene ble testet for konsistens i formatting (siden, for eksempel, US- og UK-datoformat er forskjellig). Når manuelt verifisert, ble det funnet ingen feil i tidsstempel-metadata.

Resultater

Mot en manuell sjekk av de automatiske resultater, fant forskerne at tidsbevisst rangering forbedrer betydelig på relevans-antagelser som var basert på ren semantisk likhet eller SERPs-rangeringer. De fastslår også at deres metode forbedrer sannhetsprediksjoner for tidssensitive påstander (dvs. omstendigheter hvor en nyhetssituasjon kan endre seg raskt, og hvor det er essensielt at oppdatert informasjon prioriteres uten å bare tvinge prioriteringen av de nyeste resultater på et emne).

Forskerne noteerer at denne tilnærmingen vil være av høy verdi i å forbedre rangeringsmodeller for volatile emner som politikk og underholdning, hvor informasjon endrer seg raskt, og høy rangerende utviklinger krever en ramme for automatisk nedrangering fra topp-plasser i rangering som de kan ha oppnådd ved lansering.