Het degraderen van verouderde ‘waarheden’ met Machine Learning

Soms heeft de waarheid een vervaldatum. Wanneer een tijdelijke claim (zoals ‘mondkapjes zijn verplicht in het openbaar vervoer’) in de zoekmachine-ranking verschijnt, kan de schijnbaar ‘autoritaire’ oplossing zelfs vele jaren te lang blijven bestaan, waardoor later en meer accurate inhoud op hetzelfde onderwerp wordt overschaduwd.

Dit is een bijproduct van de zoekmachinealgoritmes die proberen ‘langetermijn’-definitieve oplossingen te identificeren en te promoten, en van hun neiging om goed gelinkte inhoud die verkeer over tijd behoudt te prioriteren – en van een steeds meer omzichtige houding ten opzichte van nieuwere inhoud in de opkomende leeftijd van nepnieuws.

Alternatief kan het waarderen van waardevolle webinhoud alleen omdat de tijdstempel die eraan is gekoppeld een willekeurig ‘validatievenster’ is verstreken, het risico met zich meebrengen dat een generatie echt nuttige inhoud automatisch wordt gedegradeerd ten gunste van latere materiaal dat mogelijk van een lagere standaard is.

Om dit syndroom te verhelpen, heeft een nieuw artikel van onderzoekers in Italië, België en Denemarken verschillende machine learning-technieken gebruikt om een methode te ontwikkelen voor tijdgebonden bewijsranking.

Verder dan verouderde antwoorden

Het artikel is geschreven door onderzoekers van de Europese Commissie bij het Joint Research Centre (JRC) in Ispra, de Katholieke Universiteit in Leuven en de Universiteit van Kopenhagen.

Het onderzoek beschouwt vier tijdelijke rangschikkingsmethoden die worden toegepast op drie fact-checkmethoden, elk met een andere benadering van bewijsrangschikking, en biedt een nieuwe methode voor rangschikking die bewijs-tijdstempels als ‘gouden standaard’ gebruikt. De studie toont aan dat tijdgebonden bewijsrangschikking de helderheid van de resultaten verbetert en ook de autoriteit en geloofwaardigheid van tijdsgevoelige feiten en claims verbetert.

Het onderzoek wordt aangeboden als een mogelijke aanvulling op latere of bestaande systemen en is bedoeld om onderzoek te ondersteunen en als een mogelijke aanvullende factor voor opname in de ontwikkeling van nieuwe en geëvolueerde zoekmachinealgoritmes.

Het onderzoek modelleert de tijdelijke dynamiek van bewijs voor inhoudsgebaseerde fact-checking en presteert beter dan de ‘semantische overeenkomst’-benaderingen die door typische zoekmachine-rangschikkingsalgoritmes worden gebruikt. Het model dat door de onderzoekers is getraind, gebruikt een geoptimaliseerde learning-to-rank-functie die gemakkelijk in een bestaande fact-checkarchitectuur kan worden geïntegreerd. De onderzoekers beweren dat het systeem een novum is in geautomatiseerde fact-checking.

Herziening van meerdere fact-checkarchitecturen

De onderzoekers hebben hun tijdgebonden factoring opgelegd aan drie bestaande fact-checkarchitecturen. De eerste hiervan is het Bidirectional Long Short Term Memory (BiLSTM)-model dat is voorgesteld in de MultiFC-dataset die in 2019 is uitgebracht.

De tweede is een modificatie van de eerste, met een unidirectionele Recurrent Neural Network (RNN) die de LSTM-component vervangt.

De derde model die de onderzoekers hebben gebruikt, is een DistilBERT-transformatie uit de Hugging Faces-bibliotheek, een gedistilleerde versie van Google’s BERT-NLP-model.

Over alle drie architecturen hebben de onderzoekers een ListMLE-verlies toegepast, uit onderzoek geleid door Microsoft, dat consistent heeft bijgedragen aan nieuw fact-checkonderzoek in de afgelopen twee decennia.

De twee primaire fact-checkmodellen waaraan het onderzoeksteam een tijdelijke component heeft toegevoegd als filter voor autoriteit en rangschikkingswaarden. Bron: https://arxiv.org/pdf/2009.06402.pdf

Tijdstempelwaarden werden geëxtraheerd uit de trainingsmetadata en opgenomen als rangschikkingsfactoren in elk model.

Testen

Experimentele evaluatie voor het systeem omvatte het gebruik van de MultiFC-dataset, aangezien dit momenteel de enige openbare dataset van hoge volume is die beschikbaar is voor dit specifieke onderzoeksinteresse. MultiFC bevat 34.924 echte claims die zijn verkregen uit 26 verschillende fact-checkdomeinen, waaronder Snopes en de Washington Post.

Voorspelling van elke claim’s geloofwaardigheid wordt versterkt door tien bewijsfragmenten die worden geleverd door de Google Search API, en voorspellingen die worden verkregen via een samensmelting van elementen, waaronder spreker, tags en categorieën.

Heel vaak is de relevante tijdstempel niet noodzakelijkerwijs degene die in de metadata is opgenomen; een artikel kan verwijzen naar gebeurtenissen uit eerdere tijden, en in dit geval moesten de systemen van de onderzoekers ervoor zorgen dat deze gegevens rechtstreeks uit de tekst werden geëxtraheerd en omgezet. Zonder dit proces zal een ‘herhaling’ van verouderd nieuws ertoe neigen om het een nieuwe glans te geven, vooral in het geval van hoge autoriteitsites, waardoor verouderde gegevens worden verspreid.

De data werden geëxtraheerd met een Python-routine, en de officiële metadata-daten werden getest op consistentie van formattering (aangezien, bijvoorbeeld, US- en UK-datumnotatie verschillend is). Toen deze handmatig werden geverifieerd, werden er geen fouten gevonden in de tijdstempelmetadata.

Resultaten

Tegen een handmatige controle van de geautomatiseerde resultaten, vonden de onderzoekers dat tijdgebonden bewijsrangschikking aanzienlijk verbeterde op relevantie-aannamen die waren gebaseerd op pure semantische overeenkomst of SERP-rangschikking. Ze stellen ook vast dat hun methode de voorspellingen van geloofwaardigheid voor tijdsgevoelige claims verbetert (d.w.z. omstandigheden waarin een nieuwsituatie snel kan veranderen, en waarbij het essentieel is dat actuele informatie wordt geprioriteerd zonder alleen maar de meest recente resultaten op een onderwerp te forceren).

De onderzoekers note that dit benadering van grote waarde zal zijn bij het verbeteren van rangschikkingsmodellen voor vluchtige onderwerpen zoals politiek en entertainment, waar informatie snel verandert, en waar hoge rangschikkingsontwikkelingen een kader voor automatische degradatie van de bovenste rangschikkingsposities nodig hebben die ze mogelijk hebben behaald bij de release.