Identifiera sponsrat innehåll på nyhetssajter med maskinlärande

Forskare från Nederländerna har utvecklat en ny maskinlärandemetod som kan skilja på sponsrat eller annat betalt innehåll inom nyhetsplattformar, med en noggrannhet på över 90%, som svar på det ökande intresset från annonsörer för “naturliga” annonsformat som är svåra att skilja från “riktiga” journalistiska alster.

Den nya artikeln, med titeln Att skilja kommersiellt från redaktionellt innehåll i nyheter, kommer från forskare vid Leiden University.

Kommersiella (röda) och redaktionella (blå) subgrafer som framkommer från dataanalysen. Källa: https://arxiv.org/pdf/2111.03916.pdf

Författarna observerar att även om mer allvarliga publikationer, som kan diktera villkor för annonsörer, kommer att göra en rimlig ansträngning för att skilja “partnerinnehåll” från den allmänna nyhets- och analysströmmen, har standarderna långsamt men obevekligt förändrats till en ökad integration mellan redaktionella och kommersiella team på en utgivare, vilket de anser vara en alarmerande och negativ trend.

‘Förmågan att maskera innehåll, medvetet eller omedvetet, och sannolikheten att annonsartiklar inte erkänns som sådana, även om de är korrekt märkta, är betydande. Marknadsförare kallar det naturlig [annonsering] av en anledning.’

Några nuvarande exempel på naturlig annonsering, som kallas “partnerinnehåll”, “varumärkesinnehåll” och många andra benämningar som är avsedda att subtilt dölja skillnaden mellan naturlig och kommersiellt placerat innehåll i journalistiska plattformar.

Arbetet utfördes som en del av en bredare undersökning av nätverksbaserad nyhetskultur vid ACED Reverb Channel, som är baserad i Amsterdam och fokuserar på datastyrd analys av utvecklande journalistiska trender.

Att samla in data

För att utveckla källdata för projektet använde författarna 1 000 artiklar och 1 000 annonsartiklar från fyra nederländska nyhetsutgivare och klassificerade dem baserat på deras textbaserade funktioner. Eftersom datamängden var relativt liten, undvek författarna storskaliga tillvägagångssätt som BERT och utvärderade istället effektiviteten hos mer klassiska maskinlärande-ramverk, inklusive Support Vector Machine (SVM), LinearSVC, Decision Tree, Random Forest, K-Nearest Neighbor (K-NN), Stochastic Gradient Descent (SGD) och Naïve Bayes.

Reverb Channel-korpusen kunde förse de 1 000 nödvändiga “raka” artiklarna, men författarna var tvungna att skrapa annonsartiklar direkt från de fyra nederländska webbplatserna. De erhållna data är tillgängliga i begränsad form (på grund av upphovsrättsliga problem) på GitHub, tillsammans med en del av den Python-kod som användes för att erhålla och utvärdera data.

De fyra publikationerna som studerades var det politiskt konservativa Nu.nl, det mer progressiva Telegraaf, NRC och affärstidningen De Ondernemer. Varje publikation var lika representerad i data.

Det var nödvändigt att identifiera och diskontera potentiella “läckor” i lexikonet som bildades av forskningen – ord som kan förekomma i båda typerna av innehåll med liten skillnad mellan deras frekvens och användning, för att etablera tydliga mönster för genuint naturligt och sponsrat innehåll.

Resultat

Över de metoder som testades för identifiering, erhölls de bästa resultaten med SVM, linearSVC, Random Forest och SGD. Därför fortsatte forskarna att använda SVM i ytterligare analys.

Den bästa modellansatsen för att extrahera klassificering över korpusen översteg 90% noggrannhet, men forskarna noterar att att erhålla en tydlig klassificering blir svårare när man hanterar B2B-inriktade publikationer, där den lexikala överlappningen mellan uppfattat “riktigt” och “sponsrat” innehåll är överdriven – kanske för att den naturliga stilen i affärsspråk redan är mer subjektiv än den allmänna nyhets- och analyskonventionen och kan mer lätt dölja en agenda.

t-Distributed Stochastic Neighbor Embedding (t-SNE) plots för separation av riktigt och sponsrat innehåll över de fyra publikationerna.

Är sponsrat innehåll “falska nyheter”?

Författarnas forskning tyder på att deras projekt är nytt inom området för nyhetsinnehållsanalys. Ramverk som kan identifiera sponsrat innehåll kan bana väg för att utveckla år-för-år-övervakning av balansen mellan objektiv journalistik och den växande mängden “naturlig annonsering” som sitter i nästan samma sammanhang i de flesta publikationer, med användning av samma visuella signaler (CSS-stylesheets och annan formatering) som allmänt innehåll.

I en viss mening är den frekventa bristen på uppenbar kontext för sponsrat innehåll en underdisciplin till studiet av “falska nyheter”. Även om de flesta utgivare erkänner behovet av separation mellan “kyrka och stat” och skyldigheten att ge läsarna tydliga skillnader mellan betalt och organiskt genererat innehåll, har verkligheten i den post-tryckta journalistiska scenen och den ökade beroendet av annonsörer förvandlat avsaknaden av tydliga indikatorer för sponsrat innehåll till en fin konst i UI-psychologi. Ibland är belöningarna för att köra sponsrat innehåll tillräckligt stora för att riskera en stor optisk katastrof.

År 2015 erbjöd den sociala medie- och konkurrensbenchmarkningsplattformen Quintly en AI-baserad upptäcktsmetod för att bestämma om en post på Facebook är sponsrad, med en påstådd noggrannhet på 96%. Året därpå hävdade en studie från University of Georgia att sättet som utgivare hanterar deklarationen av sponsrat innehåll kan vara ‘medskyldig till bedrägeri’.

År 2017 observerade MediaShift, en organisation som undersöker skärningspunkten mellan media och teknik, att The New York Times alltmer monetiserar sin verksamhet genom sin varumärkesinnehållsstudio, T Brand Studio, och hävdade att transparensen kring sponsrat innehåll minskar, med det outtalade syftet att läsarna inte kan enkelt avgöra om innehållet är organiskt genererat eller inte.

År 2020 utvecklade en annan forskningsinitiativ från Nederländerna maskinlärandeklassificerare för att automatiskt identifiera rysk statsfinansierad nyheter som visas i serbiska nyhetsplattformar. Dessutom uppskattades det år 2019 att Forbes “medieinnehållslösningar” stod för 40% av deras totala intäkter genom BrandVoice, den innehållsstudio som utgivaren lanserade år 2010.