Wiedererkennung von gesperrten sozialen Medien-Kommentatoren mit Machine Learning

Forscher der Johns-Hopkins-Universität haben einen Deep-Metric-Ansatz entwickelt, um Online-Kommentatoren zu identifizieren, die möglicherweise zuvor gesperrte Konten hatten oder mehrere Konten nutzen, um Online-Communities wie Reddit und Twitter zu manipulieren.

Der Ansatz, der in einem neuen Paper von NLP-Forscher Aleem Khan vorgestellt wird, erfordert keine automatische oder manuelle Annotation der Eingabedaten und verbessert die Ergebnisse früherer Versuche, auch wenn nur kleine Textmengen verfügbar sind und der Text nicht im Trainingsdatensatz enthalten war.

Das System bietet ein einfaches Datenvergrößerungsschema, mit Embeddings von unterschiedlichen Größen, die auf einem großen Datensatz mit über 300 Millionen Kommentaren trainiert wurden, die über eine Million verschiedene Benutzerkonten abdecken.

Die Modellarchitektur des John-Hopkins-Re-Identifizierungssystems, bei dem die wesentlichen Komponenten 1) Textinhalt, 2) ein Sub-Reddit-Feature und 3) Veröffentlichungsdatum/Uhrzeit sind. Quelle: https://arxiv.org/pdf/2105.07263.pdf

Das Framework, das auf Reddit-Nutzungsdaten basiert, berücksichtigt Textinhalt, Sub-Reddit-Platzierung und Veröffentlichungsdatum. Die drei Faktoren werden mit verschiedenen Embedding-Methoden kombiniert, einschließlich eindimensionaler Konvolutionen und linearer Projektionen, und werden durch einen Aufmerksamkeitsmechanismus und eine Max-Pooling-Schicht unterstützt.

Obwohl das System sich auf den Textbereich konzentriert, argumentieren die Forscher, dass sein Ansatz auf die Analyse von Videos oder Bildern übertragen werden kann, da der abgeleitete Algorithmus auf Häufigkeitsvorkommen auf hohem Niveau operiert, unabhängig von der Länge der Eingabedatenpunkte.

Vermeidung von ‘Themen-Drift’

Eine Falle, in die Forschungen dieser Art fallen können und die die Autoren ausdrücklich in der Systementwicklung berücksichtigt haben, ist die übermäßige Betonung des Wiederauftretens bestimmter Themen oder Motive in Beiträgen aus verschiedenen Konten.

Obwohl ein Benutzer tatsächlich wiederholt oder iterativ in einem bestimmten Gedankenstrang schreibt, ist das Thema wahrscheinlich im Laufe der Zeit zu evolvieren und zu “driften”, was seine Verwendung als Schlüssel zur Identität entwertet. Die Autoren charakterisieren diese potenzielle Falle als “richtig aus den falschen Gründen” – eine Falle, die zuvor studiert wurde.

Trainingsmethodik

Das System verwendet gemischte Präzisionstraining, eine Innovation, die 2018 von Baidu und NVIDIA (NVDA ) vorgestellt wurde, die die Speicheranforderungen halbiert, indem sie halbpräzise Floats verwendet: 16-Bit-Float-Werte anstelle von 32-Bit-Werten. Die Daten wurden auf zwei V100-GPUs trainiert, wobei die durchschnittliche Trainingszeit bei 72 Stunden lag.

Das Schema verwendet vereinfachte Textcodierung, wobei konvolutionale Encoder auf 2-4 Subwords beschränkt sind. Obwohl die durchschnittliche Länge für Frameworks dieser Art maximal fünf Subwords beträgt, stellten die Forscher fest, dass diese Einsparung keinen Einfluss auf die Ranglistenleistung hatte, sondern dass die Erhöhung der Subwords auf maximal fünf tatsächlich die Ranglisten verschlechterte.

Das Dataset

Die Forscher haben ein Dataset von 300 Millionen Reddit-Beiträgen aus dem Pushshift-Reddit-Corpus-Dataset 2020 abgeleitet, das als Million-User-Dataset (MUD) bezeichnet wird.

Das Dataset umfasst alle Beiträge von Reddit-Autoren, die zwischen Juli 2015 und Juni 2016 100-1000 Beiträge veröffentlichten. Die Stichprobenerhebung über die Zeit hinweg bietet eine angemessene Historienlänge für die Studie und verringert den Einfluss von sporadischen Spam-Beiträgen, die nicht im Rahmen der Forschungsziele liegen.

Statistiken zum abgeleiteten Dataset für das John-Hopkins-Re-Identifizierungsprojekt.

Ergebnisse

Das Bild unten zeigt die kumulative Verbesserung der Ergebnisse, wenn die Ranglistenleistung in einem Stundenintervall getestet wird. Nach sechs Stunden übertrifft das System die Leistungen früherer Initiativen.

In einer Ablationsstudie stellten die Forscher fest, dass die Entfernung des Sub-Reddit-Features aus dem Workflow überraschend wenig Auswirkungen auf die Ranglistenleistung hatte, was darauf hindeutet, dass das System sehr effektiv generalisiert, mit robuster Feature-Tooling.

Veröffentlichungshäufigkeit als Re-Identifizierungssignatur

Dies deutet auch darauf hin, dass das Framework sehr gut auf andere Kommentier- oder Veröffentlichungssysteme übertragbar ist, in denen nur der Textinhalt und das Veröffentlichungsdatum/Uhrzeit verfügbar sind – und dass die zeitliche Häufigkeit der Veröffentlichung in sich selbst ein wertvolles Kollateralsignal zum tatsächlichen Textinhalt ist.

Die Forscher weisen darauf hin, dass der Versuch, die gleiche Schätzung innerhalb des Inhalts eines einzigen Sub-Reddits durchzuführen, eine größere Herausforderung darstellt, da das Sub-Reddit selbst als Themen-Proxy dient und ein zusätzliches Schema erforderlich wäre, um diese Rolle zu übernehmen.

Die Studie konnte dennoch vielversprechende Ergebnisse innerhalb dieser Einschränkungen erzielen, wobei die einzige Einschränkung darin besteht, dass das System besser bei hohen Volumina funktioniert und möglicherweise Schwierigkeiten hat, Benutzer zu identifizieren, wenn die Postvolumina niedrig sind.

Weiterentwicklung der Arbeit

Im Gegensatz zu vielen überwachten Lerninitiativen sind die Features im Hopkins-Re-Identifizierungsschema diskret und robust genug, dass die Leistung des Systems deutlich verbessert wird, wenn die Datenmenge skaliert.

Die Forscher äußern Interesse an der Weiterentwicklung des Systems durch die Verwendung eines feineren Ansatzes zur Analyse von Veröffentlichungszeiten, da die oft vorhersehbaren Schedules von roten Spammern (automatisiert oder nicht) anfällig für die Identifizierung durch einen solchen Ansatz sind und dies es ermöglichen würde, entweder robotische Inhalte aus einer Studie effektiver zu eliminieren, die hauptsächlich auf unangenehme Benutzer abzielt, oder bei der Identifizierung automatisierter Inhalte zu helfen.