Het identificeren van gesponsorde inhoud op nieuwswebsites met behulp van machine learning

Onderzoekers uit Nederland hebben een nieuwe machine learning-methode ontwikkeld die in staat is om gesponsorde of anderszins betaalde inhoud binnen nieuwsplatforms te onderscheiden, met een nauwkeurigheid van meer dan 90%, als antwoord op de groeiende interesse van adverteerders in ‘native’ advertentievormen die moeilijk te onderscheiden zijn van ‘echte’ journalistieke output.

Het nieuwe artikel, getiteld Onderscheid maken tussen commerciële en redactionele inhoud in nieuws, komt van onderzoekers aan de Universiteit van Leiden.

Commerciële (rode) en redactionele (blauwe) subgrafieken die ontstaan uit de analyse van de gegevens. Bron: https://arxiv.org/pdf/2111.03916.pdf

De auteurs stellen vast dat, hoewel meer serieuze publicaties, die gemakkelijker voorwaarden kunnen stellen aan adverteerders, een redelijke inspanning zullen leveren om ‘partnerinhoud’ te onderscheiden van de algemene stroom van nieuws en analyse, de normen langzaam maar onherroepelijk verschuiven naar een grotere integratie tussen redactionele en commerciële teams binnen een uitgever, wat zij beschouwen als een alarmerende en negatieve trend.

‘De mogelijkheid om inhoud te verhullen, vrijwillig of onvrijwillig, en de waarschijnlijkheid dat advertorials niet worden herkend als zodanig, zelfs als ze correct zijn gelabeld, is aanzienlijk. Marketeers noemen het native [adverteren] om een reden.’

Enkele huidige voorbeelden van native advertenties, die verschillend worden genoemd als ‘partnerinhoud’, ‘merkinhoud’ en veel andere benamingen die zijn ontworpen om de onderscheiding tussen native en commercieel geplaatste inhoud in journalistieke platforms subtiel te verhullen.

Het onderzoek werd uitgevoerd als onderdeel van een bredere onderzoek naar netwerknieuwscultuur bij de ACED Reverb Channel, gevestigd in Amsterdam, die zich richt op gegevensgestuurde analyse van evoluerende journalistieke trends.

Gegevens verzamelen

Om brondata voor het project te ontwikkelen, gebruikten de auteurs 1.000 artikelen en 1.000 advertorials van vier Nederlandse nieuwsuitgevers en classificeerden ze op basis van hun tekstuele kenmerken. Aangezien de dataset relatief bescheiden was in omvang, vermeiden de auteurs grootschalige benaderingen zoals BERT en beoordeelden in plaats daarvan de effectiviteit van meer klassieke machine learning-kaders, waaronder Support Vector Machine (SVM), LinearSVC, Decision Tree, Random Forest, K-Nearest Neighbor (K-NN), Stochastic Gradient Descent (SGD) en Naïve Bayes.

De Reverb Channel-corpus kon de 1.000 benodigde ‘rechte’ artikelen leveren, maar de auteurs moesten advertorials rechtstreeks van de vier Nederlandse websites scrapen. De verkregen gegevens zijn beschikbaar in beperkte vorm (vanwege auteursrechten) op GitHub, samen met enkele van de Python-code die werd gebruikt om de gegevens te verkrijgen en te evalueren.

De vier publicaties die werden bestudeerd, waren de politiek conservatieve Nu.nl, de meer progressieve Telegraaf, NRC en het zakentijdschrift De Ondernemer. Elke publicatie was evenredig vertegenwoordigd in de gegevens.

Het was noodzakelijk om potentiële ‘lekkers’ in de lexicon die door het onderzoek werd gevormd te identificeren en te disconteren – woorden die zowel in gesponsorde als in niet-gesponsorde inhoud konden voorkomen met weinig onderscheid in frequentie en gebruik, om duidelijke patronen voor echt native en gesponsorde inhoud te vestigen.

Resultaten

Over de geteste methoden voor identificatie werden de beste resultaten behaald met SVM, linearSVC, Random Forest en SGD. Derhalve gingen de onderzoekers verder met het gebruik van SVM in verdere analyse.

Het beste modelbenadering voor het extraheren van classificatie over het corpus overtrof 90% nauwkeurigheid, hoewel de onderzoekers opmerken dat het verkrijgen van een duidelijke classificatie moeilijker wordt wanneer men te maken heeft met B2B-georiënteerde publicaties, waar de lexiconale overlap tussen vermeende ‘echte’ en ‘gesponsorde’ inhoud excessief is – misschien omdat de native stijl van bedrijfstaal al meer subjectief is dan de algemene conventies van verslaggeving en analyse, en gemakkelijker een agenda kan verhullen.

t-Distributed Stochastic Neighbor Embedding (t-SNE) plots voor de scheiding van echte en gesponsorde inhoud over de vier publicaties.

Is gesponsorde inhoud ‘nepnieuws’?

Het onderzoek van de auteurs suggereert dat hun project nieuw is in het veld van nieuwsinhoudanalyse. Kaders die in staat zijn om gesponsorde inhoud te identificeren, kunnen de weg vrijmaken voor het ontwikkelen van jaar-op-jaar monitoring van het evenwicht tussen objectieve journalistiek en de groeiende hoeveelheid ‘native advertenties’ die bijna in dezelfde context in de meeste publicaties zitten, met het gebruik van dezelfde visuele hints (CSS-stijlbladen en andere opmaak) als algemene inhoud.

In een zekere zin is het frequente gebrek aan duidelijke context voor gesponsorde inhoud een subveld van de studie van ‘nepnieuws’. Hoewel de meeste uitgevers de noodzaak erkennen om een scheiding te maken tussen ‘kerk en staat’, en de verplichting om lezers te voorzien van duidelijke scheidingen tussen betaalde en organisch gegenereerde inhoud, hebben de realiteiten van de post-print journalistieke scène en de toegenomen afhankelijkheid van adverteerders de vermindering van gesponsorde indicatoren tot een fijne kunst in UI-psychologie omgezet. Soms zijn de beloningen van het uitvoeren van gesponsorde inhoud verleidelijk genoeg om een grote optische ramp te riskeren.

In 2015 bood de sociale media- en concurrentiebenchmarkplatform Quintly een AI-gebaseerde detectiemethode aan om te bepalen of een bericht op Facebook gesponsord is, met een nauwkeurigheidspercentage van 96%. Het jaar daarop beweerde een onderzoek van de Universiteit van Georgia dat de manier waarop uitgevers de verklaring van gesponsorde inhoud behandelen ‘compliceert met bedrog’.

In 2017 merkte MediaShift, een organisatie die de kruispunt tussen media en technologie onderzoekt, op dat de New York Times zijn operaties steeds meer monitort via zijn merkcontentstudio, T Brand Studio, met een afnemend niveau van transparantie rond gesponsorde inhoud, met het stilzwijgende doel dat lezers niet gemakkelijk kunnen zien of inhoud organisch gegenereerd is of niet.

In 2020 ontwikkelde een ander onderzoeksinitiatief uit Nederland machine learning-classificatoren om Russisch staatsgefinancierd nieuws te identificeren dat in Servische nieuwsplatforms verschijnt. Bovendien werd geschat in 2019 dat de ‘media content-oplossingen’ van Forbes 40% van de totale omzet vertegenwoordigen via BrandVoice, de contentstudio die door de uitgever in 2010 werd gelanceerd.