Réidentifier les commentateurs de médias sociaux bannis avec l’apprentissage automatique

Les chercheurs de l’Université Johns Hopkins ont développé une approche de métrique profonde pour identifier les commentateurs en ligne qui ont peut-être eu des comptes précédents suspendus ou qui utilisent plusieurs comptes pour astroturf ou manipuler la bonne foi des communautés en ligne telles que Reddit et Twitter.

L’approche, présentée dans un nouvel article dirigé par le chercheur en NLP Aleem Khan, ne nécessite pas que les données d’entrée soient annotées automatiquement ou manuellement, et améliore les résultats des tentatives précédentes même lorsque seuls de petits échantillons de texte sont disponibles, et lorsque le texte n’était pas présent dans le jeu de données au moment de l’entraînement.

Le système offre un schéma simple d’augmentation de données, avec des embeddings de différentes tailles formés sur un jeu de données à haut volume contenant plus de 300 millions de commentaires couvrant un million de comptes d’utilisateurs différents.

L’architecture du modèle du système de réidentification de Johns Hopkins, où les composants essentiels sont 1) le contenu du texte, 2) une fonctionnalité de sous-Reddit et 3) la date et l’heure de publication. Source: https://arxiv.org/pdf/2105.07263.pdf

Le cadre, basé sur les données d’utilisation de Reddit, prend en compte le contenu du texte, la mise en place de sous-Reddit et la date de publication. Les trois facteurs sont combinés avec des méthodes d’incrustation diverses, y compris des convolutions à une dimension et des projections linéaires, et sont assistés par un mécanisme d’attention et une couche de pooling maximal.

Bien que le système se concentre sur le domaine du texte, les chercheurs affirment que son approche peut être traduite pour l’analyse de vidéos ou d’images, puisque l’algorithme dérivé opère sur les occurrences de fréquence à un niveau élevé, malgré une variété de longueurs d’entrée pour les points de données d’entraînement.

Éviter le ‘dérive des sujets’

Un piège dans lequel les recherches de ce type peuvent tomber, et que les auteurs ont expressément abordé dans la conception du système, est de mettre l’accent excessif sur la réoccurrence de sujets ou de thèmes particuliers dans les publications de différents comptes.

Bien qu’un utilisateur puisse en effet écrire de manière répétitive ou itérative dans une ligne de pensée particulière, le sujet est susceptible d’évoluer et de « dériver » avec le temps, dévaluant son utilité comme clé d’identité. Les auteurs caractérisent ce piège potentiel comme « être juste pour les mauvaises raisons » – un piège précédemment étudié à Johns Hopkins.

Méthodologie d’entraînement

Le système utilise l’entraînement à précision mixte, une innovation présentée en 2018 par Baidu et NVIDIA (NVDA ), qui réduit les exigences de mémoire de moitié en utilisant des nombres à virgule flottante à demi-précision: des valeurs à virgule flottante de 16 bits au lieu de 32 bits. Les données ont été formées sur deux V100 GPUs, avec un temps d’entraînement moyen de 72 heures.

Le schéma utilise un codage de texte simplifié, avec des encodeurs convolutionnels limités à 2-4 sous-mots. Bien que la longueur moyenne pour les cadres de ce type soit d’un maximum de cinq sous-mots, les chercheurs ont constaté que cette économie n’avait pas d’impact sur les performances de classement, et que l’augmentation des sous-mots à un maximum de cinq a réellement dégradé la précision de classement.

Le jeu de données

Les chercheurs ont dérivé un jeu de données de 300 millions de publications Reddit à partir du jeu de données Pushshift Reddit Corpus de 2020, appelé le Million User Dataset (MUD).

Le jeu de données comprend toutes les publications des auteurs Reddit qui ont publié 100-1000 publications entre juillet 2015 et juin 2016. L’échantillonnage dans le temps de cette manière fournit une longueur d’histoire adéquate pour l’étude, et réduit l’impact des publications de spam sporadiques qui ne sont pas dans le cadre des objectifs de la recherche.

Statistiques sur le jeu de données dérivé pour le projet de réidentification de Johns Hopkins.

Résultats

L’image ci-dessous montre l’amélioration cumulative des résultats à mesure que la précision de classement est testée à des intervalles d’une heure pendant l’entraînement. Après six heures, le système surpasse les réalisations de base des initiatives précédentes connexes.

Dans une étude d’ablation, les chercheurs ont constaté que la suppression de la fonctionnalité de sous-Reddit du flux de travail avait peu d’impact sur la précision de classement, suggérant que le système généralise très efficacement, avec un outillage de fonctionnalités robuste.

Fréquence de publication en tant que signature de réidentification

Cela indique également que le cadre est très transposable à d’autres systèmes de commentaires ou de publication où seuls le contenu du texte et la date/heure de publication sont disponibles – et, essentiellement, que la fréquence temporelle de publication est en soi un indicateur collatéral précieux pour le contenu du texte réel.

Les chercheurs notent que tenter de réaliser la même estimation dans le contenu d’un seul sous-Reddit pose un défi plus grand, puisque le sous-Reddit lui-même sert de proxy de sujet, et qu’un schéma supplémentaire serait probablement nécessaire pour remplir ce rôle.

L’étude a néanmoins pu obtenir des résultats prometteurs dans ces contraintes, avec la seule réserve que le système fonctionne mieux à haut volume, et peut avoir des difficultés accrues pour réidentifier les utilisateurs lorsque le volume de publication est faible.

Développer le travail

Contrairement à de nombreuses initiatives d’apprentissage supervisé, les fonctionnalités du schéma de réidentification de Hopkins sont discrètes et robustes enough que les performances du système s’améliorent de manière notable à mesure que le volume de données augmente.

Les chercheurs expriment leur intérêt pour développer le système en adoptant une approche plus granulaire pour l’analyse des heures de publication, puisque les horaires souvent prévisibles des spammers de routine (automatisés ou non) sont susceptibles d’être identifiés par une telle approche, et que cela permettrait soit d’éliminer plus efficacement le contenu robotique d’une étude principalement axée sur les utilisateurs vexatoires, soit d’aider à identifier le contenu automatisé.

sur des moments, puisque les horaires souvent prévisibles des spammers de routine (automatisés ou non) sont susceptibles d’être identifiés par une telle approche, et que cela permettrait soit d’éliminer plus efficacement le contenu robotique d’une étude principalement axée sur les utilisateurs vexatoires, soit d’aider à identifier le contenu automatisé.