Identifisering av sponsede innhold på nyhetssider med maskinlæring

Forskere fra Nederland har utviklet en ny maskinlæringsmetode som kan skille mellom sponsede eller betalte innhold på nyhetssider, med en nøyaktighet på over 90%, som svar på økende interesse fra annonserere i “native” annonseringsformater som er vanskelige å skille fra “ekte” journalistiske utgaver.

Den nye artikkelen, med tittelen Å skille kommersielt fra redaksjonelt innhold i nyheter, kommer fra forskere ved Leiden Universitet.

Kommersielle (røde) og redaksjonelle (blå) sub-graffer som kommer fra analysen av dataene. Kilde: https://arxiv.org/pdf/2111.03916.pdf

Forfatterne observerer at selv om mer alvorlige publikasjoner, som kan dikte vilkår til annonserere, vil gjøre en rimelig innsats for å skille “partnerinnhold” fra den generelle nyhets- og analysestrømmen, er standardene langsomt men uavbrutt i ferd med å endre seg til økt integrasjon mellom redaksjonelle og kommersielle team på en utgiver, noe de betrakter som en alarmerende og negativ trend.

‘Evnen til å forkle innhold, villig eller uvillig, og sannsynligheten for at annonser ikke blir gjenkjent som sådan, selv om de er korrekt merket, er betydelig. Markedsførere kaller det native [annonsering] av en grunn.’

Noen nåværende eksempler på native annonsering, som kalles “partnerinnhold”, “merkeinnhold” og mange andre betegnelser som er designet for å skjule skillet mellom native og kommersielt plassert innhold i journalistiske plattformer.

Arbeidet ble utført som en del av en bredere undersøkelse av nettverksnyhetskultur ved ACED Reverb Channel, basert i Amsterdam, som konsentrerer seg om data-drevne analyser av utviklingsjournalistiske trender.

Å samle inn data

For å utvikle kilde-data for prosjektet, brukte forfatterne 1 000 artikler og 1 000 annonser fra fire nederlandske nyhetsutgivere og klassifiserte dem basert på deres tekstlige egenskaper. Da datasettet var relativt beskjedent i størrelse, unngikk forfatterne store skala-tilnærminger som BERT, og evaluerte i stedet effektiviteten av mer klassiske maskinlærings-rammeverk, inkludert Support Vector Machine (SVM), LinearSVC, Decision Tree, Random Forest, K-Nearest Neighbor (K-NN), Stochastic Gradient Descent (SGD) og Naïve Bayes.

Reverb Channel-korpuset kunne levere de 1 000 nødvendige “rette” artiklene, men forfatterne måtte skrape annonser direkte fra de fire nederlandske nettstedene som var med. De innhentede dataene er tilgjengelige i begrenset form (på grunn av opphavsrettslige bekymringer) på GitHub, sammen med noen av Python-koden som ble brukt til å innhente og evaluere dataene.

De fire publikasjonene som ble studert, var den politisk konservative Nu.nl, den mer progressive Telegraaf, NRC og forretningsjournalen De Ondernemer. Hver publikasjon var like representert i dataene.

Det var nødvendig å identifisere og diskontere potensielle “lekkasjer” i leksikonet som ble dannet av forskningen – ord som kunne oppstå i begge typer innhold med liten forskjell i frekvens og bruk, for å etablere klare mønster for virkelig native og sponsede innhold.

Resultater

Over de metoder som ble testet for identifisering, ble de beste resultater oppnådd av SVM, linearSVC, Random Forest og SGD. Derfor fortsatte forskerne med å bruke SVM i videre analyse.

Den beste modelltilnærmingen for å trekke ut klassifisering over korpuset overgikk 90% nøyaktighet, selv om forskerne bemerker at å oppnå en klar klassifisering blir vanskeligere når man har å gjøre med B2B-orienterte publikasjoner, der den leksikalske overlapp mellom oppfattet “ekte” og “sponsede” innhold er overmåte – kanskje fordi den native stilen i forretnings språk allerede er mer subjektiv enn den generelle strømmen av rapporterings- og analysekonvensjoner, og kan lettere skjule en agenda.

t-Distributed Stochastic Neighbor Embedding (t-SNE) plots for å skille mellom ekte og sponsede innhold over de fire publikasjonene.

Er sponsede innhold “falske nyheter”?

Forfatternes forskning tyder på at deres prosjekt er nytt i feltet for nyhetsinnholdsanalyse. Rammer som kan identifisere sponsede innhold, kan åpne veien for å utvikle år-for-år-overvåking av balansen mellom objektiv journalistikk og den økende andelen “native annonsering” som sitter i nesten samme kontekst i de fleste publikasjoner, med samme visuelle signaler (CSS-stylesheets og annen formatering) som generell innhold.

I en viss forstand, er den hyppige mangelen på åpen kontekst for sponsede innhold i ferd med å utvikle seg til en underfelt av studiet av “falske nyheter”. Selv om de fleste utgivere anerkjenner behovet for å skille “kirke og stat”, og plikten til å gi lesere klare skille mellom betalte og organisk generert innhold, har realitetene i den post-trykte journalistiske scenen og økt avhengighet av annonserere, ført til at nedtoningen av sponsede indikatorer er blitt en fin kunst i UI-psykologi. Noen ganger er belønningene for å kjøre sponsede innhold så store at de kan risikere en stor optisk katastrofe.

I 2015 tilbød den sosiale medie- og konkurransedyktige plattformen Quintly en AI-basert deteksjonsmetode for å bestemme om en post på Facebook er sponsede, med en påstand om en nøyaktighetsrate på 96%. Året etter, hevdet en studie fra University of Georgia at måten utgivere håndterer erklæringen av sponsede innhold, kan være ‘medvirkende til bedrag’.

I 2017 observerte MediaShift, en organisasjon som undersøker skjæringspunktet mellom medier og teknologi, at The New York Times i økende grad moneterer sine operasjoner gjennom sin merkevarestudio, T Brand Studio, og hevdet at det var en nedgang i transparentheten rundt sponsede innhold, med den tilsiktede effekten at lesere ikke lett kan se om innhold er organisk generert eller ikke.

I 2020 utviklet en annen forskningsinitiativ fra Nederland maskinlæringsklassifikatorer for å automatisk identifisere russisk statlig finansiert nyheter som dukker opp i serbiske nyhetsplattformer. Videre ble det estimert i 2019 at Forbes’ “medieinnholdsløsninger” står for 40% av deres totale inntekter gjennom BrandVoice, innholdsstudioet som ble lansert av utgiveren i 2010.