L’IA identifie les dealers de drogue sur Instagram avec une précision de près de 95%

Des chercheurs aux États-Unis ont développé un système d’apprentissage automatique multimodal capable d’identifier les comptes et les publications de dealers de drogue sur Instagram, en analysant une variété de contenus, notamment des images.

La recherche, intitulée Identification des dealers de drogue illicite sur Instagram à l’aide d’une fusion de données multimodales à grande échelle, est une collaboration entre trois chercheurs de l’Université de Virginie-Occidentale et un de l’Université de réserve de l’Ouest de la Case.

Pour faciliter le projet, les chercheurs ont créé une base de données appelée Identification des dealers de drogue sur Instagram (IDDIG), qui comprend 4000 comptes d’utilisateurs, dont 1 400 comptes de dealers de drogue, et le reste en tant que groupe de contrôle pour tester le processus d’identification.

Le cadre du système de détection de dealers multimodal. Le modèle comprend des images publiées, des commentaires publiés, ainsi que des informations provenant d’images de page d’accueil et de textes de biographie publiés sur la page d’accueil. Source: https://arxiv.org/pdf/2108.08301.pdf

Les tests initiaux de la technique rapportent un taux de précision de près de 95% dans l’identification des dealers de drogue sur Instagram, et le cadre a également conduit à un projet de détection de communautés basé sur les hashtags conçu pour découvrir les indicateurs changeants de l’activité liée à la vente de drogues illicites, en utilisant des facteurs géographiques et l’identification de types de drogues spécifiques.

Étant donné que la base de données développée pour le projet nécessitait un étiquetage manuel, le cadre comporte un système d’annotation convivial, qui utilise un système de classification basé sur les représentations d’encodeur bidirectionnel de Google (BERT), ainsi que la classification d’images basée sur ResNet.

Le système d’annotation web (avec des indications supplémentaires des auteurs du document) pour IDDIG.

Détection des dealers dans les conversations liées à la drogue

Les drogues récréatives sont discutées dans de nombreux contextes sur les plateformes de médias sociaux telles que Instagram. Beaucoup de ceux qui publient sont des consommateurs plutôt que des dealers. Selon les réglementations dans leur localité et la possibilité de médicaments sur ordonnance, même dans les localités qui diffèrent dans leur législation sur la drogue, ils peuvent également être des consommateurs légaux.

Des images liées à la drogue introduites dans la base de données du projet.

En outre, le comportement des dealers de drogue sur Instagram n’est pas toujours explicite; fréquemment, les dealers font de la publicité via des commentaires et des hashtags plutôt que des publications multimédias, qui seraient en général plus faciles à identifier comme du contenu de « vente de drogue » pour les systèmes de surveillance humaine et automatique. Par conséquent, les hashtags et l’activité des commentaires ont été incorporés comme actifs d’identification dans le nouveau système.

Différents modèles du commerce de la drogue sur les publications Instagram.

En plus de l’analyse de texte basée sur BERT et de l’investigation d’images basée sur ResNet, le travail incorpore une fusion de données multimodales au niveau des fonctionnalités, telle que proposée dans le document IEEE de 2016 document Analyse de corrélation discriminante: fusion de fonctionnalités en temps réel pour la reconnaissance biométrique multimodale.

Les hashtags comme graines pour une base de données

Le mécanisme de scraping web du projet commence son parcours vers l’identification des comptes de dealers de drogue en traçant le chemin de 200 hashtags liés à la drogue identifiés par des experts du domaine, en utilisant l’API de recherche de hashtags.

Les images des publications qui utilisent les hashtags sont ensuite classées à l’aide d’un modèle de classification binaire basé sur VGG-16. Les images qui correspondent à des images de drogue connues sont ensuite enregistrées dans le système, et la publication est convertie en un objet JSON pour une récupération ultérieure.

Le cadre s’étend ensuite aux commentaires et informations liés (à la fois du texte et des images) contenus dans la page d’accueil des utilisateurs qui ont participé au hashtag, et dont le contenu a été signalé comme lié à la drogue. De cette façon, 10 000 publications potentielles et 23 034 pages d’accueil d’utilisateurs ont été ingérées dans l’ensemble de données.

Étant donné que les hashtags liés à la drogue évoluent constamment pour éviter la détection de modèles et l’attention des autorités, tout nouveau hashtag dans la publication signalée qui n’a pas fait partie de la collection de hashtags de graines est noté et enregistré pour une utilisation future.

Après l’étiquetage dans l’interface web (voir image ci-dessus), la fusion de données multimodales doit tenir compte du fait que non toutes les publications contiendront les quatre types de données possibles. Par conséquent, l’algorithme peut tolérer neuf des 16 sous-points parmi les quatre types de données, en utilisant la concaténation et les fonctionnalités fusionnées, où les éléments manquants correspondront à zéro dans le calcul.

NetworkX

L’ensemble de données est finalement utilisé via le package de langage Python NetworkX proposé en 2008 par le Laboratoire national de Los Alamos au Nouveau-Mexique. NetworkX a été utilisé de manière extensive dans de grandes opérations, y compris des graphiques avec plus de 10 millions de nœuds.

En traitant les hashtags de l’ensemble de données comme s’ils avaient été inclus dans une publication, il a été possible pour les chercheurs de générer un graphique non orienté de drogue pour que NetworkX l’analyse.

L’ensemble de données IDDIG a été testé sur une variété de protocoles, notamment la fusion de données multimodales, la fusion de données multi-sources et la fusion quadruple, et a obtenu des résultats de précision allant jusqu’à 95% en termes d’identification de publications et d’utilisateurs liés à la drogue, par rapport aux méthodes d’identification humaines.

Il a également été possible de générer des « graphiques en éclat » révélant des indicateurs larges pour la disposition géographique de l’activité liée à la drogue sur Instagram, et d’autres pistes de recherche futures dans des projets similaires.

en termes d’identification de publications et d’utilisateurs liés à la drogue, par rapport aux méthodes d’identification humaines. Il a été possible de générer également des « graphiques en éclat » révélant des indicateurs larges pour la disposition géographique de l’activité liée à la drogue sur Instagram, et d’autres pistes de recherche futures dans des projets similaires.