Wiedererkennung von gesperrten sozialen Medien-Kommentatoren mit Machine Learning

Forscher der John Hopkins University haben einen Deep-Metric-Ansatz entwickelt, um Online-Kommentatoren zu identifizieren, die möglicherweise frühere Konten gesperrt hatten oder mehrere Konten verwenden, um Astroturfing oder andere Manipulationen in Online-Communities wie Reddit und Twitter zu betreiben.

Der Ansatz, der in einem neuen Paper von NLP-Forscher Aleem Khan vorgestellt wird, erfordert keine automatische oder manuelle Annotation der Eingabedaten und verbessert die Ergebnisse früherer Versuche, auch wenn nur kleine Textmengen verfügbar sind und der Text nicht im Trainingsdatensatz enthalten war.

Das System bietet ein einfaches Datenvergrößerungsschema mit Einbettungen unterschiedlicher Größen, die auf einem Datensatz mit über 300 Millionen Kommentaren ausgebildet wurden, der über eine Million verschiedene Benutzerkonten abdeckt.

Die Modellarchitektur des John-Hopkins-Wiedererkennungssystems, bei dem die wesentlichen Komponenten 1) Textinhalt, 2) ein Sub-Reddit-Feature und 3) Veröffentlichungsdatum/Uhrzeit sind. Quelle: https://arxiv.org/pdf/2105.07263.pdf

Das Framework, das auf Reddit-Nutzungsdaten basiert, berücksichtigt Textinhalt, Sub-Reddit-Platzierung und Veröffentlichungsdatum. Die drei Faktoren werden mit verschiedenen Einbettungsmethoden kombiniert, einschließlich eindimensionaler Konvolutionen und linearer Projektionen, und werden durch einen Aufmerksamkeitsmechanismus und eine Max-Pooling-Schicht unterstützt.

Obwohl das System sich auf den Textbereich konzentriert, sind die Forscher der Meinung, dass der Ansatz auf die Analyse von Videos oder Bildern übertragen werden kann, da der abgeleitete Algorithmus auf Häufigkeitsvorkommen auf hohem Niveau operiert, trotz unterschiedlicher Längen der Trainingsdatenpunkte.

Vermeidung von ‘Themen-Drift’

Eine Falle, in die Forschungen dieser Art fallen können und die die Autoren ausdrücklich in der Gestaltung des Systems berücksichtigt haben, ist die übermäßige Betonung des Wiederauftretens bestimmter Themen oder Motive in Beiträgen aus verschiedenen Konten.

Obwohl ein Benutzer tatsächlich wiederholt oder iterativ in einem bestimmten Gedankenstrang schreibt, ist das Thema wahrscheinlich im Laufe der Zeit zu evolvieren und zu “driften”, was seinen Wert als Schlüssel zur Identität mindert. Die Autoren charakterisieren diese potenzielle Falle als “richtig aus den falschen Gründen” – eine Falle, die zuvor an der John Hopkins University studiert wurde.

Trainingsmethodik

Das System verwendet Mixed-Precision-Training, eine Innovation, die 2018 von Baidu und NVIDIA vorgestellt wurde, die die Speicheranforderungen halbiert, indem sie halbpräzise Floats verwendet: 16-Bit-Float-Werte anstelle von 32-Bit-Werten. Die Daten wurden auf zwei V100-GPUs trainiert, wobei die durchschnittliche Trainingszeit 72 Stunden betrug.

Das Schema verwendet vereinfachte Textkodierung, wobei konvolutionale Kodierer auf 2-4 Subwörter beschränkt sind. Obwohl die durchschnittliche Länge für Frameworks dieser Art maximal fünf Subwörter beträgt, stellten die Forscher fest, dass diese Einsparung keinen Einfluss auf die Ranglisteistung hatte, sondern dass die Erhöhung der Subwörter auf maximal fünf tatsächlich die Rangliste verschlechterte.

Das Dataset

Die Forscher haben ein Dataset von 300 Millionen Reddit-Beiträgen aus dem Pushshift-Reddit-Corpus-Dataset von 2020 abgeleitet, das als Million-User-Dataset (MUD) bezeichnet wird.

Das Dataset umfasst alle Beiträge von Reddit-Autoren, die zwischen Juli 2015 und Juni 2016 100-1000 Beiträge veröffentlichten. Die Stichprobenerhebung über einen längeren Zeitraum hinweg bietet eine angemessene Historielänge für die Studie und reduziert den Einfluss von sporadischen Spam-Beiträgen, die nicht im Rahmen der Forschungsziele liegen.

Statistiken zum abgeleiteten Dataset für das John-Hopkins-Wiedererkennungsprojekt.

Ergebnisse

Das Bild unten zeigt die kumulative Verbesserung der Ergebnisse, wenn die Ranglisteigung bei einstündigen Intervallen während des Trainings getestet wird. Nach sechs Stunden übertrifft das System die Basisleistungen früherer Initiativen.

In einer Ablationsstudie fanden die Forscher heraus, dass die Entfernung des Sub-Reddit-Features aus dem Arbeitsablauf überraschend wenig Auswirkungen auf die Ranglisteigung hatte, was darauf hindeutet, dass das System sehr effektiv generalisiert, mit robuster Feature-Tooling.

Beitragshäufigkeit als Wiedererkennungssignatur

Dies zeigt auch, dass das Framework sehr übertragbar auf andere Kommentier- oder Veröffentlichungssysteme ist, in denen nur der Textinhalt und das Veröffentlichungsdatum/Zeit verfügbar sind – und im Wesentlichen, dass die zeitliche Häufigkeit der Veröffentlichung selbst ein wertvoller Nebenindikator zum tatsächlichen Textinhalt ist.

Die Forscher bemerken, dass der Versuch, die gleiche Schätzung innerhalb des Inhalts eines einzelnen Sub-Reddits durchzuführen, eine größere Herausforderung darstellt, da das Sub-Reddit selbst als Themen-Proxy dient und ein zusätzliches Schema erforderlich wäre, um diese Rolle zu übernehmen.

Die Studie konnte dennoch vielversprechende Ergebnisse innerhalb dieser Einschränkungen erzielen, mit der einzigen Einschränkung, dass das System besser bei hohen Volumina funktioniert und möglicherweise Schwierigkeiten hat, Benutzer wiederzuerkennen, wenn das Postvolumen niedrig ist.

Weiterentwicklung der Arbeit

Im Gegensatz zu vielen überwachten Lerninitiativen sind die Features im Hopkins-Wiedererkennungsschema diskret und robust genug, dass die Leistung des Systems deutlich verbessert wird, wenn das Datenvolumen skaliert wird.

Die Forscher äußern Interesse daran, das System durch eine feinere Analyse der Veröffentlichungszeiten zu entwickeln, da die oft vorhersehbaren Schedules von roten Spammern (automatisiert oder nicht) durch einen solchen Ansatz identifiziert werden können, und dies es ermöglichen würde, entweder robotische Inhalte aus einer Studie, die in erster Linie auf böswillige Benutzer abzielt, effektiver zu eliminieren oder bei der Identifizierung automatisierter Inhalte zu helfen.