Nedgradering af forældede ‘sandheder’ med maskinlæring

Somme tider har sandheden en udløbsdato. Når en tidsbegrænset påstand (såsom ‘masker er obligatoriske på offentlig transport’) opstår i søgemaskine-rankinger, kan dens åbenlyse ‘autoritative’ løsning blive forældet, selv efter mange år, og overgå senere og mere præcise indhold om samme emne.

Dette er en biprodukt af søgemaskinealgoritmers bestemmelse på at identificere og fremme ‘langsigtede’ definitive løsninger, og deres tendens til at prioritere vel-forbundne indhold, der opretholder trafik over tid – og en stadig mere forsigtig holdning til nyere indhold i den opblomstrende tidsalder af falske nyheder.

Alternativt kan nedvurdering af værdifuldt webindhold blot fordi tidsstempel associeret med det er passeret en vilkårlig ‘gyldigheds-vindue’ risikerer, at en generation af virkelig nyttigt indhold vil blive automatisk nedgraderet til fordel for efterfølgende materiale, der kan være af lavere standard.

For at rette op på dette syndrom har en ny rapport fra forskere i Italien, Belgien og Danmark brugt en række maskinlærings-teknikker til at udvikle en metode til tidsbevidst bevis-rankning.

Forbi forældede svar

Rapporten er skrevet af forskere fra Den Europæiske Kommissions Fælles Forskningscenter (JRC) i Ispra, Katholieke Universiteit i Leuven og Københavns Universitet.

Arbejdet overvejer fire tidsmæssige rankningsmetoder anvendt over tre faktatjek-metoder, hver med en anden tilgang til bevis-rankning, og tilbyder en ny metode til rankning, der bruger bevis-tidsstempel som en ‘guld-standard’. Studiet viser, at tidsbevidst bevis-rankning forbedrer perspicaciteten af resultaterne og også forbedrer autoritets- og sandhedsforudsigelserne af tidsfølsomme faktiske og påstande.

Forskningen tilbydes som en mulig tilføjelse til senere eller eksisterende systemer og er designet til at hjælpe med forskning og som en mulig yderligere faktor for inklusion i udvikling af nye og udviklede søgemaskinealgoritmer.

Arbejdet modellerer de tidsmæssige dynamikker af beviser for indholdsbaseret faktatjekning og overgår ‘semantisk lignende’ tilgange, der er typiske for søgemaskine-rankningsalgoritmer. Modellen, der er trænet af forskerne, bruger en optimeret læring-til-rankning-funktion, der kan let indsættes i en eksisterende faktatjek-arkitektur. Forskerne påstår, at systemet er en ny bidrag til automatiseret faktatjekning.

Ændring af multiple faktatjek-arkitekturer

Forskerne pålagde deres tidsbegrænsede faktorer på tre eksisterende faktatjek-arkitekturer. Den første af disse er den Bidirectional Long Short Term Memory (BiLSTM)-model, der er foreslået i MultiFC-datasættet, der blev udgivet i 2019.

Den anden er en modificering af den første, med en unidirectional Recurrent Neural Network (RNN), der erstatter LSTM-komponenten.

Den tredje model, som forskerne brugte, er en DistilBERT-transformator fra Hugging Faces-biblioteket, en destilleret version af Googles BERT-NLP-model.

Over alle tre arkitekturer anvendte forskerne en ListMLE-tab, fra forskning ledet af Microsoft, som har bidraget konsekvent til ny faktatjek-forskning i de sidste to årtier.

De to primære faktatjek-modeller, som forskningsholdet har tilføjet en tidsmæssig komponent som filter for autoritet og efterfølgende rang-værdier. Kilde: https://arxiv.org/pdf/2009.06402.pdf

Tidsstempel-værdier blev udtrukket fra trænings-metadata og inkluderet som rang-faktorer i hver model.

Test

Eksperimentel evaluering for systemet involverede brugen af MultiFC-datasættet, da det er det eneste høj-volumen åbent datasæt tilgængeligt for denne specifikke forskningsinteresse. MultiFC indeholder 34.924 virkelige påstande, der er hentet fra 26 forskellige faktatjek-domæner, herunder Snopes og Washington Post.

Forudsigelse af hver påstands sandhed er suppleret med ti bevis-udklip, der er leveret af Google Search API, og forudsigelser, der er opnået via en konfluence af elementer, herunder taler, tags og kategorier.

Meget ofte er det relevante tidsstempel ikke nødvendigvis det, der er indeholdt i metadata; en artikel kan referere til begivenheder fra tidligere tider, og i dette tilfælde måtte forskernes systemer være omhyggelige med at udtrække og konvertere disse data direkte fra teksten. Uden denne proces vil en ‘gen-gennemløb’ af forældet nyheder have en tendens til at give det en ny glans, især i tilfælde af høj autoritetssites, der spreder det forældede data.

Datoerne blev udtrukket med en Python-rutine, og de officielle metadata-datoer blev testet for konsistens i formatering (da, for eksempel, US- og UK-dato-stempelformater er forskellige). Når manuelt verificeret, blev der ikke fundet nogen fejl i tidsstempel-metadata.

Resultater

I forhold til en manuel kontrol af de automatiserede resultater fandt forskerne, at tidsbevidst bevis-rankning forbedrede bemærkelsesværdigt på antagelser, der var baseret på ren semantisk lignelse eller SERPs-rankinger. De fastslår også, at deres metode forbedrer sandhedsforudsigelser for tidsfølsomme påstande (dvs. omstændigheder, hvor en nyhedssituation kan ændre sig hurtigt, og hvor det er afgørende, at opdateret information prioriteres uden blot at tvinge prioriteringen af de seneste resultater på et emne).

Forskerne bemærker, at denne tilgang vil være af høj værdi i forbedring af rang-modeller for flygtige emner, såsom politik og underholdning, hvor information ændrer sig hurtigt, og høj-rangerende udviklinger kræver en ramme for automatisk nedgradering fra top-placeringer i rang, som de måske har opnået ved udgivelse.