Ponowne identyfikowanie zbanowanych komentatorów mediów społecznościowych za pomocą uczenia maszynowego

Badacze z Uniwersytetu Johnsa Hopkinsa opracowali podejście oparte na głębokim metrycznym podejściu do identyfikacji komentatorów online, którzy mogli mieć wcześniej zawieszone konta lub używać wielu kont, aby manipulować dobrej wierze społeczności online, takich jak Reddit i Twitter.

Podejście, przedstawione w nowym artykule pod przewodnictwem badacza NLP Aleema Khana, nie wymaga, aby dane wejściowe były automatycznie lub ręcznie opatrzony etykietami, a także poprawia wyniki wcześniejszych prób, nawet w przypadku, gdy dostępne są tylko niewielkie próbki tekstu, a tekst nie był obecny w zbiorze danych podczas treningu.

System oferuje prosty schemat augmentacji danych, z osadzeniami różnych rozmiarów wytrenowanymi na dużej ilości danych zawierającej ponad 300 milionów komentarzy, obejmujących milion różnych kont użytkowników.

Architektura modelu systemu identyfikacji Uniwersytetu Johnsa Hopkinsa, gdzie podstawowymi składnikami są 1) zawartość tekstu, 2) cecha sub-Reddita i 3) data i godzina publikacji. Źródło: https://arxiv.org/pdf/2105.07263.pdf

Ramka, oparta na danych użycia Reddita, uwzględnia zawartość tekstu, umiejscowienie sub-Reddita i czas opublikowania. Trzy czynniki są połączone z różnymi metodami osadzania, w tym jednowymiarowymi splotami i liniowymi projekcjami, oraz są wspomagane przez mechanizm uwagi i warstwę max pooling.

Chociaż system koncentruje się na dziedzinie tekstu, badacze twierdzą, że podejście można przetłumaczyć na analizę wideo lub obrazów, ponieważ pochodzący algorytm działa na częstotliwości wystąpień na wysokim poziomie, pomimo różnorodności długości danych wejściowych.

Unikanie “zdrady tematu”

Jedną z pułapek, w które może wprowadzić tego rodzaju badanie, i które autorzy wyraźnie uwzględnili w projekcie systemu, jest nadmierne podkreślanie powtarzalności określonych tematów lub motywów w różnych postach z różnych kont.

Chociaż użytkownik może rzeczywiście pisać powtarzalnie lub iteratywnie w określonym nurcie myśli, temat jest prawdopodobnie ewoluuje i “zdradza” się w czasie, co obniża jego wartość jako klucz do tożsamości. Autorzy charakteryzują tę potencjalną pułapkę jako “być słuszne z niewłaściwych powodów” – pułapkę, którą wcześniej zbadano na Uniwersytecie Johnsa Hopkinsa.

Metodologia szkolenia

System wykorzystuje szkolenie o mieszanym precyzyjnym, innowację przedstawioną w 2018 roku przez Baidu i NVIDIA (NVDA ), która zmniejsza wymagania pamięci o połowę, wykorzystując półprecyzyjne liczby zmiennoprzecinkowe: 16-bitowe liczby zmiennoprzecinkowe zamiast 32-bitowych. Dane były szkolone na dwóch procesorach V100 GPU, a średni czas szkolenia wyniósł 72 godziny.

Schemat wykorzystuje uproszczoną kodowanie tekstu, z kodowaniami splotowymi ograniczonymi do 2-4 sub-słów. Chociaż średnia długość dla ram tego rodzaju jest maksymalnie pięcioma sub-słowami, badacze stwierdzili, że ta oszczędność nie tylko nie miała wpływu na wyniki rankingowe, ale także, że zwiększenie sub-słów do maksymalnie pięciu tak naprawdę pogorszyło dokładność rankingową.

Zestaw danych

Badacze wywnioskowali zestaw danych 300 milionów postów Reddita z korpusu Pushshift Reddit z 2020 roku, zwanego Zestawem Danych Milion Użytkownika (MUD).

Zestaw danych składa się ze wszystkich postów autorów Reddita, którzy opublikowali 100-1000 postów między lipcem 2015 a czerwcem 2016. Próbkowanie w czasie w ten sposób zapewnia odpowiednią długość historii dla badania i zmniejsza wpływ sporadycznych postów spamowych, które nie są w zakresie celów badania.

Statystyki pochodzącego zestawu danych dla projektu identyfikacji Uniwersytetu Johnsa Hopkinsa.

Wyniki

Poniższy obraz pokazuje kumulatywną poprawę wyników wraz z testowaniem dokładności rankingowej w interwałach godzinowych podczas szkolenia. Po sześciu godzinach system przewyższa osiągnięcia podstawowych inicjatyw poprzednich.

W badaniu ablacjnym badacze stwierdzili, że usunięcie cechy sub-Reddita z przepływu pracy miało niespodziewanie niewielki wpływ na dokładność rankingową, co sugeruje, że system generalizuje bardzo skutecznie, z solidnym narzędziem cech.

Częstotliwość publikacji jako sygnatura ponownej identyfikacji

To również wskazuje, że ramka jest bardzo przenośna do innych systemów komentowania lub publikowania, gdzie dostępna jest tylko zawartość tekstu i data/godzina publikacji – i zasadniczo, że częstotliwość czasowa publikacji jest sama w sobie cennym wskaźnikiem tożsamości, obok samej zawartości tekstu.

Badacze zauważają, że próba wykonania tej samej estymacji w ramach jednego sub-Reddita stanowi większe wyzwanie, ponieważ sam sub-Reddit służy jako proxy tematu, a dodatkowy schemat byłby niezbędny do wypełnienia tej roli.

Badanie było jednak w stanie osiągnąć obiecujące wyniki w ramach tych ograniczeń, z jedyną zastrzeżeniem, że system działa lepiej przy dużych ilościach danych i może mieć trudności w ponownej identyfikacji użytkowników, gdzie objętość postów jest niska.

Rozwój pracy

W przeciwieństwie do wielu inicjatyw uczenia nadzorowanego, cechy w schemacie identyfikacji Hopkinsa są dyskretne i wystarczająco wytrzymałe, aby wydajność systemu znacznie poprawiła się wraz ze skalowaniem ilości danych.

Badacze wyrażają zainteresowanie rozwojem systemu poprzez przyjęcie bardziej szczegółowego podejścia do analizy czasu publikacji, ponieważ często przewidywalne harmonogramy spamujących robotów (zautomatyzowanych lub innych) są podatne na identyfikację przez takie podejście, i to umożliwiłoby skuteczniejsze usunięcie zawartości robota z badania skierowanego głównie do użytkowników, którzy są uciążliwi, lub pomóc w identyfikowaniu zawartości zautomatyzowanej.