Tidlig varslingssystem for desinformasjon utviklet med AI

Forskere ved University of Notre Dame arbeider på et prosjekt for å bekjempe desinformasjon på nettet, inkludert mediekampanjer for å utløse vold, så diskord og blande seg inn i demokratiske valg.

Forskerlaget har benyttet kunstig intelligens (AI) for å utvikle et tidlig varslingssystem. Systemet vil kunne identifisere manipulerte bilder, deepfake-videoer og desinformasjon på nettet. Det er et skalerbart, automatisert system som benytter innholdsbasert bildeoppsøking. Det kan deretter bruke datamaskinbaserte teknikker for å identifisere politiske memes på flere sosiale medienettverk.

Tim Weninger er en assosiert professor i avdelingen for datateknikk og ingeniørvitenskap ved Notre Dame.

“Memes er lett å lage og enda lettere å dele,” sa Weninger. “Når det gjelder politiske memes, kan disse brukes til å hjelpe med å få ut stemmen, men de kan også brukes til å spre uaktuell informasjon og forårsake skade.”

Weninger samarbeidet med Walter Scheirer, en assisterende professor i avdelingen for datateknikk og ingeniørvitenskap ved Notre Dame, sammen med medlemmer av forskerlaget.

Valget i Indonesia i 2019

Laget testet ut systemet med valget i Indonesia i 2019. De samlet inn over to millioner bilder og innhold fra ulike kilder på Twitter og Instagram i forbindelse med valget.

I valget vant den sittende, venstreorienterte kandidaten over den konservative, populistiske kandidaten. Etter valget brøt det ut voldelige protester, der åtte mennesker døde og hundrevis flere ble skadet. Lagets studie fant at det ble lansert spontane og koordinerte kampanjer på sosiale medier med mål om å påvirke valget og utløse vold.

De koordinerte kampanjene brukte manipulerte bilder, som projiserte feilaktige påstander og misrepresenterte visse hendelser. Nyhetsartikler og memes ble fabrikkert med bruk av legitime nyhetslogoer, med mål om å provosere borgere og støttespillere fra begge partier.

Resten av verden

Valget i Indonesia i 2019 er et eksempel på hva som kan skje i resten av verden. Desinformasjon, spesielt spredt gjennom sosiale medier, kan true demokratiske prosesser.

Forskerlaget ved Notre Dame inkluderte digitale kriminalteknikere og spesialister i fredsstudier. Ifølge laget utvikles systemet for å flagge manipulert innhold, med mål om å forhindre vold og advare journalister eller valgovervåkere om potensielle trusler.

Systemet er fortsatt i forsknings- og utviklingsfasen, men det vil til slutt bli skalerbart og tilpasset for brukere å overvåke innhold. Noen av de største utfordringene i å utvikle systemet inkluderer å bestemme den beste måten å skalerer opp datainnsamling og -prosessering på. Ifølge Scheirer blir systemet nå evaluert, med neste steg som overgang til operasjonell bruk.

Det er en mulighet for at systemet kan brukes til å overvåke valget i USA i 2020, som forventes å se massive mengder desinformasjon og manipulasjon.

“Desinformasjonsalderen er her,” sa Scheirer. “En deepfake som erstatter skuespillere i en populær film kan synes morsom og lett, men forestill deg en video eller en meme skapt for å sette en verdensleder mot en annen – som sier ord de ikke faktisk sa. Forestill deg hvor raskt det innholdet kan deles og spre seg over plattformene. Vurdér konsekvensene av disse handlingene.”