Re-identifikace zákazaných komentátorů na sociálních médiích pomocí strojového učení

Výzkumníci z Univerzity Johna Hopkinse vyvinuli hluboký metrický přístup k identifikaci online komentátorů, kteří mohli mít dříve pozastavené účty, nebo kteří používají více účtů k astroturfingu nebo jinému manipulování dobré víry online komunit, jako je Reddit a Twitter.

Přístup, který je uveden v nové studii vedené výzkumníkem NLP Aleemem Khanem, nevyžaduje, aby vstupní data byla automaticky nebo ručně anotována, a zlepšuje výsledky předchozích pokusů, i když jsou k dispozici pouze malé vzorky textu a text nebyl přítomen v datové sadě během trénování.

Systém nabízí jednoduchý schema pro aumento dat, s vložením různých velikostí trénovaných na vysoké objemové datové sadě obsahující více než 300 milionů komentářů pokrývajících milion různých uživatelských účtů.

Architektura modelu re-identifikace Univerzity Johna Hopkinse, kde jsou základní komponenty 1) textový obsah, 2) funkce sub-Redditu a 3) datum a čas zveřejnění. Source: https://arxiv.org/pdf/2105.07263.pdf

Rámec, založený na datech z Redditu, zohledňuje textový obsah, umístění sub-Redditu a datum zveřejnění. Tyto tři faktory jsou kombinovány s různými metodami vkládání, včetně jednorozměrných konvolucí a lineárních projekcí, a jsou podporovány mechanismem pozornosti a max pooling vrstvou.

Ačkoli se systém soustředí na textový domén, výzkumníci tvrdí, že jeho přístup lze přenést na analýzu videa nebo obrázků, protože odvozený algoritmus funguje na frekvenčních výskytech na vysoké úrovni, navzdory různým délkám vstupních datových bodů.

Vyhnout se ‘Topic-Drift’

Jedna past, do které může výzkum této povahy spadnout, a kterou autoři výslovně řeší v návrhu systému, je kladení nadměrného důrazu na再 výskyt určitých témat nebo motivů v příspěvcích z různých účtů.

Ačkoli uživatel může skutečně psát repetitivně nebo iterativně v určitém směru myšlení, téma se pravděpodobně vyvine a “driftuje” v čase, snižuje jeho hodnotu jako klíč k identitě. Autoři charakterizují tuto potenciální past jako “být správný z nesprávných důvodů” – past, která byla dříve studována na Univerzitě Johna Hopkinse.

Metodika trénování

Systém používá trénování s míchanou přesností, inovaci představenou v roce 2018 firmami Baidu a NVIDIA, která snižuje požadavky na paměť o polovinu pomocí polo-přesných plovoucích čísel: 16bitových plovoucích čísel místo 32bitových hodnot. Data byla trénována na dvou GPU V100, s průměrnou dobou trénování 72 hodin.

Schéma využívá zjednodušeného textového kódování, s konvolučními kódéry omezenými na 2-4 subwords. Ačkoli je průměrná délka rámců této povahy maximálně pět subwords, výzkumníci zjistili, že tato ekonomie nejenže neměla žádný dopad na výkon rankingu, ale že zvýšení subwords na maximum pět vlastně zhoršilo přesnost rankingu.

Datová sada

Výzkumníci odvodili datovou sadu 300 milionů příspěvků z Redditu z datové sady Pushshift Reddit Corpus z roku 2020, nazvanou Million User Dataset (MUD).

Datová sada zahrnuje všechny příspěvky od autorů Redditu, kteří zveřejnili 100-1000 příspěvků mezi červencem 2015 a červnem 2016. Vzorkování v čase tímto způsobem poskytuje dostatečnou délku historie pro studii a snižuje dopad sporadických spamových příspěvků, které nejsou v rámci cílů výzkumu.

Statistiky odvozené datové sady pro projekt re-identifikace Univerzity Johna Hopkinse.

Výsledky

Obrázek níže ukazuje kumulativní zlepšení výsledků, když je testována přesnost rankingu v intervalu jedné hodiny během trénování. Po šesti hodinách systém překonává základní úspěchy souvisejících předchozích iniciativ.

Ve studii odstranění se výzkumníci zjistili, že odstranění funkce sub-Redditu z pracovního postupu mělo překvapivě malý dopad na přesnost rankingu, což naznačuje, že systém generalizuje velmi efektivně, s robustním nástrojem funkcí.

Četnost zveřejňování jako signatura re-identifikace

To také naznačuje, že rámec je vysoce přenositelný na jiné komentující nebo publikační systémy, kde je k dispozici pouze textový obsah a datum/čas zveřejnění – a vlastně, že temporální frekvence zveřejňování je sama o sobě cenným kolaterálním indikátorem skutečného textového obsahu.

Výzkumníci poznamenávají, že pokus o provedení stejné odhady v rámci obsahu jediného sub-Redditu představuje větší výzvu, protože sub-Reddit sám slouží jako proxy téma, a další schéma by pravděpodobně bylo potřeba k vyplnění této role.

Studie dosáhla přesto slibných výsledků v rámci těchto omezení, s jediným varováním, že systém funguje lépe při vysokých objemech a může mít zvýšenou obtížnost při re-identifikaci uživatelů, kde je objem příspěvků nízký.

Vývoj práce

Na rozdíl od mnoha dohledaných iniciativ je funkce v schématu re-identifikace Univerzity Johna Hopkinse diskrétní a robustní enough, že výkon systému se zřetelně zlepšuje, jak se zvyšuje objem dat.

Výzkumníci vyjádřili zájem o rozvoj systému přijetím více granulárního přístupu k analýze času zveřejňování, protože často předvídatelné plány rote spammerů (automatizovaných nebo jinak) jsou náchylné k identifikaci tímto přístupem, a to by umožnilo buď více efektivně eliminovat robotický obsah ze studie primárně zaměřené na obtížné uživatele, nebo pomoci identifikovat automatizovaný obsah.