Riconoscimento di commentatori di social media banditi con Machine Learning

I ricercatori dell’Università di John Hopkins hanno sviluppato un approccio di Deep Metric per identificare i commentatori online che potrebbero aver avuto account sospesi in precedenza o potrebbero utilizzare più account per astroturf o manipolare in altro modo la buona fede delle comunità online come Reddit e Twitter.

L’approccio, presentato in un nuovo articolo guidato dal ricercatore di NLP Aleem Khan, non richiede che i dati di input siano annotati automaticamente o manualmente e migliora i risultati dei tentativi precedenti anche quando sono disponibili solo piccoli campioni di testo e quando il testo non è presente nel set di dati durante l’addestramento.

Il sistema offre uno schema di aumento dei dati semplice, con embedding di diverse dimensioni addestrati su un set di dati ad alto volume che contiene oltre 300 milioni di commenti che coprono un milione di account utente diversi.

L’architettura del modello del sistema di riconoscimento di John Hopkins, dove i componenti essenziali sono 1) contenuto del testo, 2) funzionalità di sub-Reddit e 3) data/ora di pubblicazione. Fonte: https://arxiv.org/pdf/2105.07263.pdf

Il framework, basato sui dati di utilizzo di Reddit, considera il contenuto del testo, la funzionalità di sub-Reddit e l’ora di pubblicazione. I tre fattori sono combinati con metodi di embedding diversi, tra cui convoluzioni unidimensionali e proiezioni lineari, e sono assistiti da un meccanismo di attenzione e da un livello di pooling massimo.

Sebbene il sistema si concentri sul dominio del testo, i ricercatori sostengono che il suo approccio può essere tradotto nell’analisi di video o immagini, poiché l’algoritmo derivato opera su occorrenze di frequenza a livello alto, nonostante una varietà di lunghezze di input per i punti di dati di addestramento.

Evitare il ‘Topic-Drift’

Una trappola in cui può cadere la ricerca di questo tipo, e che gli autori hanno espressamente affrontato nel design del sistema, è quella di porre eccessiva enfasi sulla ricorrenza di particolari argomenti o temi attraverso post di account diversi.

Sebbene un utente possa effettivamente scrivere in modo ripetitivo o iterativo in una particolare linea di pensiero, l’argomento è probabile che evolva e “deraglia” nel tempo, svalutando il suo utilizzo come chiave di identità. Gli autori caratterizzano questa potenziale trappola come “essere nel giusto per le ragioni sbagliate” – una trappola precedentemente studiata a John Hopkins.

Metodologia di addestramento

Il sistema utilizza addestramento a precisione mista, un’innovazione presentata nel 2018 da Baidu e NVIDIA (NVDA ), che riduce le esigenze di memoria della metà utilizzando float a precisione dimezzata: valori di punto fluttuante a 16 bit invece di 32 bit. I dati sono stati addestrati su due V100 GPU, con un tempo di addestramento medio di 72 ore.

Lo schema impiega una codifica del testo semplificata, con encoder convoluzionali limitati a 2-4 subword. Sebbene la lunghezza media per framework di questo tipo sia di massimo cinque subword, i ricercatori hanno scoperto che questa economia non ha avuto alcun impatto sulle prestazioni di classificazione e che aumentare i subword a un massimo di cinque ha effettivamente peggiorato la precisione di classificazione.

Il set di dati

I ricercatori hanno derivato un set di dati di 300 milioni di post di Reddit dal set di dati Pushshift Reddit Corpus del 2020, chiamato Million User Dataset (MUD).

Il set di dati comprende tutti i post degli autori di Reddit che hanno pubblicato 100-1000 post tra luglio 2015 e giugno 2016. Il campionamento nel tempo in questo modo fornisce una lunghezza di storia adeguata per lo studio e riduce l’impatto di post di spam sporadici che non rientrano nell’ambito degli obiettivi della ricerca.

Statistiche sul set di dati derivato per il progetto di riconoscimento di John Hopkins.

Risultati

L’immagine seguente mostra il miglioramento cumulativo dei risultati mentre la precisione di classificazione viene testata a intervalli di un’ora durante l’addestramento. Dopo sei ore, il sistema supera le prestazioni di base delle iniziative precedenti correlate.

In uno studio di ablazione, i ricercatori hanno scoperto che rimuovere la funzionalità di sub-Reddit dal flusso di lavoro ha avuto un impatto sorprendentemente scarso sulla precisione di classificazione, suggerendo che il sistema generalizza molto efficacemente, con strumenti di funzionalità robusti.

Frequenza di pubblicazione come firma di riconoscimento

Ciò indica anche che il framework è altamente trasferibile ad altri sistemi di commento o pubblicazione in cui è disponibile solo il contenuto del testo e la data/ora di pubblicazione – e, essenzialmente, che la frequenza temporale di pubblicazione è di per sé un indicatore collaterale prezioso per il contenuto del testo effettivo.

I ricercatori notano che tentare di eseguire la stessa stima all’interno del contenuto di un singolo sub-Reddit rappresenta una sfida maggiore, poiché il sub-Reddit stesso serve come proxy di argomento e uno schema aggiuntivo sarebbe probabilmente necessario per svolgere questo ruolo.

Lo studio è stato in grado di raggiungere risultati promettenti all’interno di queste limitazioni, con la sola cautela che il sistema funziona meglio a volumi elevati e potrebbe avere difficoltà aumentate nel riconoscere gli utenti in cui il volume di post è basso.

Sviluppo del lavoro

A differenza di molte iniziative di apprendimento supervisionato, le funzionalità nello schema di riconoscimento di Hopkins sono discrete e robuste abbastanza che le prestazioni del sistema migliorano notevolmente man mano che il volume dei dati aumenta.

I ricercatori esprimono interesse per sviluppare il sistema adottando un approccio più granulare all’analisi degli orari di pubblicazione, poiché gli orari di pubblicazione spesso prevedibili degli spammer (automatizzati o meno) sono suscettibili di identificazione da parte di un tale approccio, e ciò renderebbe possibile eliminare più efficacemente il contenuto dei robot da uno studio principalmente rivolto agli utenti fastidiosi o aiutare nell’identificazione del contenuto automatizzato.