Genkendelse af forbudte sociale medie-kommentatorer med maskinlæring

Forskere fra Johns Hopkins University har udviklet en dyb metrisk tilgang til at identificere online-kommentatorer, der måske har haft tidligere kontoer suspenderet eller bruger multiple kontoer til at manipulere eller påvirke online-samfund som Reddit og Twitter.

Tilgangen, der er præsenteret i en ny artikel ledet af NLP-forsker Aleem Khan, kræver ikke, at inputdataene er automatiske eller manuelt annoterede, og forbedrer resultaterne fra tidligere forsøg, selv hvor kun små tekstprøver er tilgængelige, og hvor teksten ikke var til stede i datasættet under træningstiden.

Systemet tilbyder en simpel dataforstærkningsskema, med indlejring af forskellige størrelser trænet på et stort datasæt, der indeholder over 300 millioner kommentarer fra over en million forskellige brugerkonti.

Modellens arkitektur for John Hopkins genkendelsessystem, hvor de væsentlige komponenter er 1) tekstindhold, 2) en sub-Reddit-funktion og 3) publiceringstid/dato. Kilde: https://arxiv.org/pdf/2105.07263.pdf

Rammearbejdet, der er baseret på Reddit-brugdata, tager tekstindhold, sub-Reddit-placering og publiceringstid i betragtning. De tre faktorer kombineres med forskellige indlejringmetoder, herunder étdimensionelle konvolutioner og lineære projectioner, og assisteres af en opmærksomhedsmechanisme og en max-pooling-lag.

Selvom systemet koncentrerer sig om tekstdomænet, mener forskerne, at dets tilgang kan oversættes til analyse af video eller billeder, da den afledte algoritme opererer på frekvensforekomster på et højt niveau, på trods af en variation i inputlængder for træningsdataene.

Undgåelse af ‘Emne-Drift’

En fælde, som denne type forskning kan falde i, og som forfatterne har udtrykkeligt behandlet i systemets design, er at lægge for megen vægt på gentagelsen af bestemte emner eller temaer over poster fra forskellige kontoer.

Selvom en bruger kan skrive gentagne gange eller iterativt i en bestemt tankegang, er emnet sandsynligvis under udvikling og “drift” over tid, hvilket reducerer dets værdi som en nøgle til identitet. Forfatterne karakteriserer denne potentielle fælde som “at være rigtig af forkerte grunde” – en fælde, der tidligere er studieret på Johns Hopkins.

Træningsmetodik

Systemet bruger blandet præcisionstræning, en innovation præsenteret i 2018 af Baidu og NVIDIA (NVDA ), som reducerer kravene til hukommelse med halvdelen ved at bruge halvpræcisionsflydende punkter: 16-bit flydende punkter i stedet for 32-bit værdier. Dataene blev trænet på to V100-GPU’er, med en gennemsnitlig træningstid på 72 timer.

Skemaet anvender forenklet tekstkodning, med konvolutionskodere begrænset til 2-4 underordnede ord. Selvom den gennemsnitlige længde for rammer af denne art er en maksimum på fem underordnede ord, fandt forskerne, at denne økonomi ikke havde nogen indvirkning på rangordningspræstationen, og at en øgning af underordnede ord til en maksimum på fem faktisk forringede rangordningsnøjagtigheden.

Datasættet

Forskerne har afledt et datasæt på 300 millioner Reddit-poster fra 2020 Pushshift Reddit Corpus-datasættet, kaldet Million Bruger Datasættet (MUD).

datasættet består af alle poster fra Reddit-forfattere, der publicerede 100-1000 poster mellem juli 2015 og juni 2016. Stikprøver over tid på denne måde giver en tilstrækkelig historiklængde til studiet og reducerer indvirkningen af sporadiske spam-poster, der ikke er inden for studiets formål.

Statistik over det afledte datasæt for John Hopkins genkendelsesprojekt.

Resultater

Billedet nedenfor viser den kumulative forbedring af resultater, da rangordningsnøjagtigheden testes ved ét-timers interval i træning. Efter seks timer overgår systemet de grundlæggende resultater fra relaterede tidligere initiativer.

I en ablationsstudie fandt forskerne, at fjernelse af sub-Reddit-funktionen fra arbejdsgangen havde overraskende lidt indvirkning på rangordningsnøjagtigheden, hvilket tyder på, at systemet generaliserer meget effektivt, med robust funktionstøjet.

Publiceringsfrekvens som en genkendelsessignatur

Dette tyder også på, at rammeværket er meget overførbart til andre kommenterings- eller publiceringssystemer, hvor kun tekstindhold og publiceringstid/dato er tilgængelige – og i virkeligheden, at den tidsmæssige frekvens af publicering er en værdifuld bifaldende indikator til det faktiske tekstindhold.

Forskerne bemærker, at forsøget på at udføre den samme estimering inden for indholdet af en enkelt sub-Reddit udgør en større udfordring, da sub-Reddit selv fungerer som et emneproxy, og en yderligere skema ville sandsynligvis være nødvendig for at udfylde denne rolle.

Studiet var dog i stand til at opnå lovende resultater inden for disse begrænsninger, med den eneste forbehold, at systemet fungerer bedre ved høje volumener, og kan have øget sværhed ved at genkende brugere, hvor postvolumen er lavt.

Udvikling af arbejdet

I modsætning til en stor del af supervised learning-initiativer er funktionerne i Hopkins genkendelsesskema diskrete og robuste nok, så systemets præstation forbedres mærkbart, når datavolumen skalerer op.

Forskerne udtrykker interesse for at udvikle systemet ved at antage en mere granuleret tilgang til analyse af publiceringstider, da de ofte forudsigelige skemaer for rote-spammere (automatiserede eller andre) er modtagelige for identifikation ved en sådan tilgang, og dette ville gøre det muligt at enten mere effektivt eliminere robotindhold fra et studie, der primært er rettet mod generende brugere, eller at hjælpe med at identificere automatiseret indhold.

på tidspunkter, da de ofte forudsigelige skemaer for rote-spammere (automatiserede eller andre) er modtagelige for identifikation ved en sådan tilgang, og dette ville gøre det muligt at enten mere effektivt eliminere robotindhold fra et studie, der primært er rettet mod generende brugere, eller at hjælpe med at identificere automatiseret indhold.