Het opnieuw identificeren van verbannen sociale media-commentatoren met behulp van machine learning

Onderzoekers van de John Hopkins University hebben een diepe metriek benadering ontwikkeld om online commentatoren te identificeren die mogelijk eerder accounts hebben gehad die zijn geschorst of die meerdere accounts gebruiken om online gemeenschappen zoals Reddit en Twitter te manipuleren.

De benadering, die wordt gepresenteerd in een nieuw artikel onder leiding van NLP-onderzoeker Aleem Khan, vereist geen geannoteerde invoergegevens en verbetert de resultaten van eerdere pogingen, zelfs wanneer alleen kleine steekproeven van tekst beschikbaar zijn en de tekst niet in de trainingsdataset aanwezig was.

Het systeem biedt een eenvoudig schema voor gegevensaugmentatie, met embeddings van verschillende groottes getraind op een grote dataset met meer dan 300 miljoen comments van meer dan 1 miljoen verschillende gebruikers.

De architectuur van het John Hopkins-systeem voor opnieuw identificeren, waarbij de essentiële componenten zijn 1) tekstinhoud, 2) een sub-Reddit-functie en 3) publicatietijd/datum. Bron: https://arxiv.org/pdf/2105.07263.pdf

Het kader, dat is gebaseerd op Reddit-gebruiksgegevens, houdt rekening met tekstinhoud, sub-Reddit-plaatsing en publicatietijd. De drie factoren worden gecombineerd met diverse embedmethoden, waaronder ééndimensionale convoluties en lineaire projecties, en worden ondersteund door een aandachtmechanisme en een max-poolinglaag.

Hoewel het systeem zich concentreert op de tekstdomein, beweren de onderzoekers dat hun benadering kan worden vertaald naar de analyse van video’s of afbeeldingen, aangezien de afgeleide algoritme op frequentievoorkomens op een hoog niveau werkt, ondanks een variatie in invoerlengte voor de trainingsgegevenspunten.

Het vermijden van ‘onderwerp-afwijking’

Een valkuil waar onderzoek van deze aard in kan vallen, en die de auteurs uitdrukkelijk in de ontwerp van het systeem hebben aangepakt, is om te veel nadruk te leggen op het opnieuw verschijnen van bepaalde onderwerpen of thema’s in berichten van verschillende accounts.

Hoewel een gebruiker inderdaad herhaaldelijk of iteratief kan schrijven in een bepaalde gedachtengang, is het onderwerp waarschijnlijk om te evolueren en ‘af te wijken’ in de loop van de tijd, waardoor het minder bruikbaar wordt als sleutel tot identiteit. De auteurs karakteriseren deze potentiële valkuil als ‘het goede voor de verkeerde reden’ – een valkuil die eerder is bestudeerd aan de John Hopkins.

Trainingsmethodologie

Het systeem gebruikt gemengde precisietraining, een innovatie die in 2018 door Baidu en NVIDIA (NVDA ) is gepresenteerd, waarmee de geheugeneisen met de helft worden verlaagd door halfprecisiefloats te gebruiken: 16-bits floating point-waarden in plaats van 32-bits waarden. De gegevens werden getraind op twee V100-GPU’s, met een gemiddelde traintijd van 72 uur.

Het schema gebruikt vereenvoudigde tekstcodering, met convolutionele encoders beperkt tot 2-4 subwoorden. Hoewel de gemiddelde lengte voor kaders van deze aard een maximum van vijf subwoorden is, vonden de onderzoekers dat deze zuinigheid niet alleen geen invloed had op de prestaties van de rangschikking, maar dat het verhogen van de subwoorden tot een maximum van vijf de rangschikkingsnauwkeurigheid zelfs verslechterde.

De dataset

De onderzoekers hebben een dataset van 300 miljoen Reddit-berichten afgeleid van de Pushshift Reddit Corpus-dataset van 2020, genaamd de Million User Dataset (MUD).

De dataset bestaat uit alle berichten van Reddit-auteurs die tussen juli 2015 en juni 2016 100-1000 berichten hebben gepubliceerd. Het bemonsteren over tijd op deze manier biedt een adequate geschiedenislengte voor de studie en verlaagt de invloed van sporadische spamberichten die niet binnen het bereik van de onderzoeksdoelstellingen vallen.

Statistieken over de afgeleide dataset voor het John Hopkins-re-identificatieproject.

Resultaten

Het onderstaande beeld toont de cumulatieve verbetering van de resultaten wanneer de rangschikkingsnauwkeurigheid wordt getest op één-uur-intervallen tijdens de training. Na zes uur presteert het systeem beter dan de baseline-prestaties van gerelateerde eerdere initiatieven.

In een ablatiestudie vonden de onderzoekers dat het verwijderen van de sub-Reddit-functie uit de workflow verrassend weinig invloed had op de rangschikkingsnauwkeurigheid, wat suggereert dat het systeem zeer effectief generaliseert, met robuuste functietooling.

Publicatiefrequentie als re-identificatiesignatuur

Dit geeft ook aan dat het kader zeer overdraagbaar is naar andere commentaar- of publicatiesystemen waar alleen de tekstinhoud en datum/tijd van publicatie beschikbaar zijn – en dat de temporele frequentie van publicatie in zichzelf een waardevolle collaterale indicator is voor de daadwerkelijke tekstinhoud.

De onderzoekers merken op dat het proberen om dezelfde schatting uit te voeren binnen de inhoud van een enkele sub-Reddit een grotere uitdaging vormt, aangezien de sub-Reddit zelf als een onderwerp-proxy fungeert, en een aanvullend schema waarschijnlijk nodig zou zijn om deze rol te vervullen.

De studie was echter in staat om veelbelovende resultaten te behalen binnen deze beperkingen, met als enige voorbehoud dat het systeem beter werkt bij hoge volumes en mogelijk meer moeite heeft om gebruikers te identificeren wanneer de berichtenvolume laag is.

De ontwikkeling van het werk

In tegenstelling tot veel gesuperviseerde leerinitiatieven zijn de functies in het Hopkins-re-identificatieschema discreet en robuust genoeg dat de prestaties van het systeem aanzienlijk verbeteren naarmate de hoeveelheid gegevens toeneemt.

De onderzoekers geven aan geïnteresseerd te zijn in het ontwikkelen van het systeem door een meer gedetailleerde benadering te kiezen voor de analyse van publicatietijden, aangezien de vaak voorspelbare schema’s van rote spammers (geautomatiseerd of anderszins) vatbaar zijn voor identificatie door een dergelijke benadering, en dit het mogelijk zou maken om ofwel meer effectief robotinhoud uit een studie te elimineren die voornamelijk is gericht op lastige gebruikers, of om te helpen bij het identificeren van geautomatiseerde inhoud, op tijden, aangezien de vaak voorspelbare schema’s van rote spammers (geautomatiseerd of anderszins) vatbaar zijn voor identificatie door een dergelijke benadering, en dit het mogelijk zou maken om ofwel meer effectief robotinhoud uit een studie te elimineren die voornamelijk is gericht op lastige gebruikers, of om te helpen bij het identificeren van geautomatiseerde inhoud.