Gjenkjenning av forbudte sosiale mediekommentatorer med maskinlæring

Forskere fra John Hopkins University har utviklet en dyp metrikk-tilnærming for å identifisere kommentatorer på nett som kan ha hatt tidligere kontoer suspendert eller som kan bruke flere kontoer til å manipulere gode troende nettverkssamfunn som Reddit og Twitter.

Tilnærmingen, presentert i en ny artikkel ledet av NLP-forsker Aleem Khan, krever ikke at inndataene annoteres automatisk eller manuelt, og forbedrer resultater fra tidligere forsøk selv der hvor bare små tekstprøver er tilgjengelige, og hvor teksten ikke var til stede i datasettet under treningstiden.

Systemet tilbyr en enkel dataforbedringsordning, med innføyninger av forskjellige størrelser trent på et høyvolumdataset som inneholder over 300 millioner kommentarer som dekker en million forskjellige brukerkontoer.

Modellarkitekturen til John Hopkins gjenkjenningssystem, hvor de essensielle komponentene er 1) tekstinnhold, 2) en sub-Reddit-funksjon og 3) publiseringsdato/tid. Kilde: https://arxiv.org/pdf/2105.07263.pdf

Rammeverket, basert på Reddit-brukerdata, tar hensyn til tekstinnhold, sub-Reddit-plassering og tidspunkt for publiseringsdato. De tre faktorene kombineres med ulike innføyingsmetoder, inkludert en-dimensionale konvolusjoner og lineære prosjekteringer, og assisteres av en oppmerksomhetsmekanisme og en maks-poolingslag.

Til tross for at systemet konsentrerer seg om tekstdomenet, hevder forskerne at tilnærmingen kan oversettes til analyse av video eller bilder, ettersom den avledede algoritmen opererer på frekvensforekomster på et høyt nivå, til tross for en variasjon i inndata lengde for treningdatapunkter.

Unngå ‘Emne-Drift’

En felle som forskning av denne typen kan falle i, og som forfatterne har uttrykkelig behandlet i systemdesignet, er å legge for mye vekt på gjentakelse av bestemte emner eller temaer over poster fra forskjellige kontoer.

Til tross for at en bruker kan skrive gjentakende eller iterativt i en bestemt tankegang, er emnet sannsynligvis til å utvikle seg og “drifte” over tid, og redusere sin verdi som en nøkkel til identitet. Forfatterne karakteriserer denne potensielle fella som “å være riktig av feil grunner” – en felle som tidligere er studert ved John Hopkins.

Treningmetodologi

Systemet bruker blandet presisjonstrening, en innovasjon presentert i 2018 av Baidu og NVIDIA (NVDA ), som halverer minnekrev ved å bruke halv-presisjon flytende punktverdier: 16-bits flytende punktverdier i stedet for 32-bits verdier. Dataene ble trent på to V100-GPU-er, med en gjennomsnittlig treningstid på 72 timer.

Ordningen anvender forenklet tekstkoding, med konvolusjonskodere begrenset til 2-4 subord. Til tross for at gjennomsnittslengden for rammeverk av denne typen er en maksimum på fem subord, fant forskerne at denne enkelheten ikke bare hadde ingen innvirkning på rangeringsytelse, men at å øke suborden til en maksimum på fem faktisk forverret rangeringsnøyaktighet.

Datasettet

Forskerne avledet et datasett på 300 millioner Reddit-innlegg fra 2020 Pushshift Reddit Corpus-datasettet, kalt Million User Dataset (MUD).

Datasettet består av alle innlegg fra Reddit-forfattere som publiserte 100-1000 innlegg mellom juli 2015 og juni 2016. Steking over tid på denne måten gir en adekvat historie lengde for studiet, og reduserer innvirkningen av sporadiske spam-innlegg som ikke er innenfor studiets mål.

Statistikk på det avledede datasettet for John Hopkins gjenkjenningprosjektet.

Resultater

Bildet under viser kumulativ forbedring av resultater når rangeringsnøyaktighet testes i ett-timers intervaller under trening. Etter seks timer, overgår systemet baseline-prestasjonene til relaterte tidligere initiativer.

I en ablasjonsstudie fant forskerne at fjerning av sub-Reddit-funksjonen fra arbeidsflyten hadde overraskende liten innvirkning på rangeringsnøyaktighet, hvilket tyder på at systemet generaliserer svært effektivt, med robust funksjonsverktøy.

Publiseringsfrekvens som en gjenkjenningssignatur

Dette indikerer også at rammeverket er svært overførbar til andre kommenterings- eller publiseringsystemer hvor bare tekstinnhold og dato/tid for publiseringsdato er tilgjengelig – og essensielt at den tidsmessige frekvensen av publiseringsdato i seg selv er en verdifull sekundærindikator til den faktiske tekstinnholdet.

Forskerne merker at forsøk på å utføre den samme estimatinnen innenfor innholdet av en enkelt sub-Reddit utgjør en større utfordring, ettersom sub-Reddit selv fungerer som et emneproxy, og en ekstra skjema ville argumenteres å fylle denne rollen.

Studien var likevel i stand til å oppnå løftende resultater innenfor disse begrensningene, med den eneste forbeholdet at systemet fungerer bedre ved høye volumer, og kan ha økt vanskelighet med å gjenkjenne brukere hvor postvolumet er lavt.

Utvikling av arbeidet

I motsetning til en stor del av overvåket læring-initiativer, er funksjonene i Hopkins-gjenkjenningsskjemaet diskrete og robuste nok at systemets ytelse forbedres merkbart når datavolumet øker.

Forskerne uttrykker interesse for å utvikle systemet ved å adoptere en mer granulert tilnærming til analyse av publiseringsdatoer, ettersom de ofte forutsigbare skeddene til rote-spamming (automatisert eller ikke) er følsomme for identifisering ved en slik tilnærming, og dette ville gjøre det mulig å enten mer effektivt eliminere robotinnhold fra en studie hovedsakelig rettet mot plagefulle brukere, eller å hjelpe med å identifisere automatisert innhold, på tidspunkter, ettersom de ofte forutsigbare skeddene til rote-spamming (automatisert eller ikke) er følsomme for identifisering ved en slik tilnærming, og dette ville gjøre det mulig å enten mer effektivt eliminere robotinnhold fra en studie hovedsakelig rettet mot plagefulle brukere, eller å hjelpe med å identifisere automatisert innhold.