Systém včasného varování pro dezinformace vyvinutý s využitím umělé inteligence

Výzkumníci z University of Notre Dame pracují na projektu boje proti dezinformacím online, včetně mediálních kampaní, které mají za cíl vyvolat násilí, zasít rozkol a zasáhnout do demokratických voleb.

Tým výzkumníků se spoléhal na umělou inteligenci (AI) při vývoji systému včasného varování. Systém bude schopen identifikovat manipulované obrázky, deepfake videa a dezinformace online. Jedná se o škálovatelný, automatizovaný systém, který využívá content-based image retrieval. Poté může použít techniky založené na počítačovém vidění k identifikaci politických meme na více sociálních sítích.

Tim Weninger je asociální profesor na katedře počítačových věd a inženýrství na Notre Dame.

“Meme jsou snadno vytvořitelná a ještě snadněji sdílitelná,” řekl Weninger. “Pokud jde o politické meme, tyto mohou být použity k pomoci při volbách, ale mohou být také použity k šíření nepřesných informací a způsobení škody.”

Weninger spolupracoval s Walterem Scheirerem, asistentským profesorem na katedře počítačových věd a inženýrství na Notre Dame, spolu s členy výzkumného týmu.

Volby v Indonésii v roce 2019

Tým otestoval systém během voleb v Indonésii v roce 2019. Shromáždili více než dva miliony obrázků a obsahu z různých zdrojů na Twitteru a Instagramu souvisejících s volbami.

V průběhu voleb porazil levicový, centristický kandidát konzervativního, populistického kandidáta. Po volbách vypukly násilné protesty, při kterých zemřelo osm lidí a stovky dalších byly zraněny. Studie týmu zjistila, že byly spuštěny spontánní a koordinované kampaně na sociálních sítích s cílem ovlivnit volby a vyvolat násilí.

Koordinované kampaně využívaly manipulované obrázky, které projektovaly falešné nároky a znevažovaly určitých událostí. Byly vytvořeny falešné zprávy a meme s využitím log firem legitimních médií, s cílem provokovat občany a podporovatele z obou stran.

Zbytek světa

Volby v Indonésii v roce 2019 jsou reprezentací toho, co se může stát ve zbytku světa. Dezinformace, zejména ty, které se šíří prostřednictvím sociálních médií, mohou ohrozit demokratické procesy.

Výzkumný tým z Notre Dame zahrnoval odborníky na digitální forenzní analýzu a specialisty na mír. Podle týmu je systém vyvíjen za účelem označení manipulovaného obsahu, s cílem zabránit násilí a varovat novináře nebo pozorovatele voleb před potenciálními hrozbami.

Systém je stále ve fázi výzkumu a vývoje, ale nakonec bude škálovatelný a personalizovaný pro uživatele, aby mohli monitorovat obsah. Některé z největších výzev při vývoji systému zahrnují určení nejlepšího způsobu, jak škálovat ingestaci a zpracování dat. Podle Scheirera je systém aktuálně vyhodnocován, s dalším krokem přechodu do operačního použití.

Existuje možnost, že systém bude použit k monitorování voleb v USA v roce 2020, které se očekává, že budou伴ovat s velkým množstvím dezinformací a manipulace.

“Éra dezinformací je zde,” řekl Scheirer. “Deepfake nahrazující herce v populárním filmu může vypadat jako zábava a lehkost, ale imaginejte video nebo meme vytvořené pouze za účelem vytvoření konfliktu mezi dvěma světovými vůdci – říkající slova, která ve skutečnosti neřekli. Imaginejte, jak rychle by takový obsah mohl být sdílen a šířit se napříč platformami. Zvažte důsledky takových činů.”