AI-ingenieurs ontwikkelen methode om intentie van mensen die desinformatie verspreiden te detecteren

Omgaan met desinformatie in de digitale tijd is een complex probleem. Niet alleen moet desinformatie geïdentificeerd, gelabeld en gecorrigeerd worden, maar ook de intentie van degenen die verantwoordelijk zijn voor het maken van de claim moet onderscheiden worden. Iemand kan onbewust desinformatie verspreiden, of gewoon zijn mening geven over een onderwerp, zelfs als het later als feit wordt gerapporteerd. Onlangs heeft een team van AI-onderzoekers en -ingenieurs aan de Dartmouth een kader ontwikkeld dat kan worden gebruikt om mening af te leiden van “nepnieuws”-rapporten.

Volgens ScienceDaily werd de studie van het Dartmouth-team onlangs gepubliceerd in het Journal of Experimental & Theoretical Artificial Intelligence. Terwijl eerdere studies hebben geprobeerd om nepnieuws te identificeren en bedrog te bestrijden, is dit mogelijk de eerste studie die zich richtte op het identificeren van de intentie van de spreker in een nieuwsartikel. Terwijl een waar verhaal in verschillende misleidende vormen kan worden verteld, is het belangrijk om te onderscheiden of bedrog al dan niet is bedoeld. Het onderzoeksteam stelt dat intentie belangrijk is bij het overwegen van desinformatie, aangezien bedrog alleen mogelijk is als er intentie is om te misleiden. Als een individu niet besefte dat het desinformatie verspreidde of als het alleen zijn mening gaf, kan er geen bedrog zijn.

Eugene Santos Jr., een ingenieursprofessor aan de Thayer School of Engineering van Dartmouth, legde aan ScienceDaily uit waarom hun model probeert om misleidende intentie te onderscheiden:

“Misleidende intentie om luisteraars opzettelijk te misleiden, vormt een veel grotere bedreiging dan onopzettelijke fouten. Voor zover wij weten, is onze algoritme de enige methode die bedrog detecteert en tegelijkertijd kwaadaardige handelingen onderscheidt van onschuldige handelingen.”

Om hun model te construeren, analyseerde het onderzoeksteam de kenmerken van misleidende redenering. Het resulterende algoritme kon intentie om te misleiden onderscheiden van andere vormen van communicatie door te focussen op inconsistenties tussen iemands eerdere argumenten en hun huidige verklaringen. Het model dat door het onderzoeksteam werd ontwikkeld, heeft grote hoeveelheden gegevens nodig die kunnen worden gebruikt om te meten hoe iemand afwijkt van eerdere argumenten. De trainingsgegevens die het team gebruikte om hun model te trainen, bestonden uit gegevens uit een enquête over meningen over omstreden onderwerpen. Meer dan 100 mensen gaven hun mening over deze omstreden kwesties. Gegevens werden ook gehaald uit beoordelingen van 20 verschillende hotels, bestaande uit 400 fictieve beoordelingen en 800 echte beoordelingen.

Volgens Santos kan het kader dat door de onderzoekers is ontwikkeld, worden verfijnd en toegepast door nieuwsorganisaties en lezers, om hen in staat te stellen de inhoud van “nepnieuws”-artikelen te analyseren. Lezers kunnen artikelen onderzoeken op de aanwezigheid van meningen en voor zichzelf bepalen of een logisch argument is gebruikt. Santos zei ook dat het team de impact van desinformatie en de gevolgen die het heeft, wil onderzoeken.

Populaire cultuur laat vaak non-verbale gedragingen zoals gezichtsuitdrukkingen zien als indicatoren dat iemand liegt, maar de auteurs van de studie merken op dat deze gedragsaanwijzingen niet altijd betrouwbare indicatoren van liegen zijn. Deqing Li, co-auteur van het artikel, legde uit dat hun onderzoek heeft aangetoond dat modellen op basis van redeneringsintentie betere indicatoren van liegen zijn dan gedrags- en verbale verschillen. Li legde uit dat redeneringsintentiemodellen “beter zijn in het onderscheiden van opzettelijke leugens van andere soorten informatievervorming”.

Het werk van de Dartmouth-onderzoekers is niet de enige recente vooruitgang op het gebied van het bestrijden van desinformatie met AI. Nieuwsartikelen met clickbait-titels verhullen vaak desinformatie. Bijvoorbeeld, ze impliceren vaak dat iets is gebeurd terwijl een ander evenement daadwerkelijk heeft plaatsgevonden.

Volgens AINews werkte een team van onderzoekers van zowel de Arizona State University als de Penn State University samen om een AI te creëren die clickbait kon detecteren. De onderzoekers vroegen mensen om hun eigen clickbait-titels te schrijven en schreven ook een programma om clickbait-titels te genereren. Beide soorten titels werden vervolgens gebruikt om een model te trainen dat clickbait-titels effectief kon detecteren, ongeacht of ze door machines of mensen waren geschreven.

Volgens de onderzoekers was hun algoritme ongeveer 14,5% nauwkeuriger bij het detecteren van clickbait-titels dan eerdere AI’s. De hoofdonderzoeker van het project en associate professor aan de College of Information Sciences and Technology van Penn State, Dongwon Lee, legde uit hoe hun experiment de nuttigheid van het genereren van gegevens met een AI en het terugvoeren van die gegevens in een trainingspijplijn aantoont.

“Dit resultaat is vrij interessant, omdat we hebben aangetoond dat machine-gegenereerde clickbait-trainingsgegevens kunnen worden teruggevoerd in de trainingspijplijn om een breed scala aan machine learning-modellen te trainen met verbeterde prestaties,” legde Lee uit.