AI identifierar Instagram-narkotikahandlare med nästan 95 procents noggrannhet

Forskare i USA har utvecklat ett multimodalt maskinlärningssystem som kan identifiera konton och inlägg från narkotikahandlare på Instagram, genom att analysera olika typer av innehåll, inklusive bildinnehåll.

Forskningen, som heter Identifying Illicit Drug Dealers on Instagram with Large-scale Multimodal Data Fusion, är ett samarbete mellan tre forskare vid West Virginia University och en från Case Western Reserve University.

För att underlätta projektet skapade forskarna en databas som kallas Identifying Drug Dealers on Instagram (IDDIG), som innehåller 4000 användarkonton, varav 1 400 är narkotikahandlare och resten är en kontrollgrupp för att testa identifieringsprocessen.

Ramverket för det multimodala handlardetekteringssystemet. Modellen inkluderar publicerade bilder, publicerade kommentarer samt information från startsidabilder och biografitexter som publiceras på startsidan. Källa: https://arxiv.org/pdf/2108.08301.pdf

Initiala tester av tekniken visar en noggrannhet på nästan 95 procent när det gäller att identifiera narkotikahandlare på Instagram, och ramverket har också lett till ett hashtag-baserat community-detektionsprojekt som syftar till att upptäcka förändrade tecken på aktivitet relaterad till försäljning av olagliga droger, med hjälp av geografiska faktorer och identifiering av specifika drogtyper.

Eftersom databasen som utvecklats för projektet krävde manuell märkning, har ramverket ett användarvänligt annoteringssystem, som använder en klassificeringssystem baserad på Google’s Bidirectional Encoder Representations from Transformers (BERT), samt ResNet-baserad bildklassificering.

Det webbaserade annoteringssystemet (med ytterligare indikationer från författarna till artikeln) för IDDIG.

Att upptäcka handlare i narkotikarelaterade samtal

Rekreationella droger diskuteras i många sammanhang på sociala medieplattformar som Instagram. Många som publicerar är konsumenter snarare än säljare. Beroende på lagstiftningen i deras område och möjligheten till receptbelagda läkemedel, även i områden som skiljer sig i sin narkotikalegislation, kan de också vara lagliga konsumenter.

Narkotikarelaterade bilder som tagits med i projektets databas.

Dessutom är narkotikahandlares beteende på Instagram inte alltid uttryckligt; ofta annonserar de via kommentarer och hashtags istället för multimediainlägg, som i allmänhet skulle vara lättare att identifiera som “narkotikahandelsinnehåll” för både mänskliga och maskinbaserade tillsynssystem. Därför har hashtags och kommentarsaktivitet införts som identifierings tillgångar i det nya systemet.

Många mönster för narkotikahandeln på Instagram-inlägg.

Utöver BERT-baserad textanalys och ResNet-baserad bildundersökning, omfattar arbetet funktionell multimodal datafusion, som föreslogs i den 2016 IEEE artikeln Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition.

Hashtags som frön för en databas

Projektets webbskrapningsmekanism börjar sin resa mot att identifiera narkotikahandelskonton genom att spåra 200 narkotikarelaterade hashtags som identifierats av domänexperter, med hjälp av hashtag-sök-API:t.

Bilder i inlägg som använder hashtags klassificeras sedan med en VGG-16-baserad binär klassificeringsmodell. Bilder som korrelerar till kända narkotikabilder sparas sedan i systemet, och inlägget konverteras till ett JSON-objekt för senare återvinning.

Ramverket utvidgar sedan till relaterade kommentarer och information (både text och bilder) som finns på startsidan för de som har deltagit i hashtaggen och vars innehåll har flaggats som narkotikarelaterat. På detta sätt har 10 000 potentiella inlägg och 23 034 användarstartsida tagits med i datamängden.

Eftersom narkotikarelaterade hashtags utvecklas ständigt för att undvika mönsterdetektering och uppmärksamhet från myndigheterna, noteras och sparas alla nya hashtags i de flaggade inläggen som inte var en del av ursprungssamlingen av hashtags för framtida användning.

Efter märkning i det webbaserade gränssnittet (se bild ovan), måste multimodal datafusion hantera det faktum att inte alla inlägg kommer att innehålla alla fyra möjliga typer av data. Därför kan algoritmen tolerera nio av totalt 16 subpunkter bland de fyra datatyperna, med hjälp av konkatenering och fusionerade funktioner, där saknade element kommer att motsvara noll i beräkningen.

NetworkX

Datamängden används slutligen via NetworkX Python-språkpaketet som föreslogs 2008 av Los Alamos National Laboratory i New Mexico. NetworkX har använts omfattande i storskaliga operationer, inklusive grafer med mer än 10 miljoner noder.

Genom att behandla hashtaggen i datamängden som om den hade ingått i ett inlägg, var det möjligt för forskarna att generera en odirigerad narkotikarelaterad graf för NetworkX att analysera.

IDDIG-datamängden testades över en mängd olika protokoll, inklusive multimodal datafusion, multisource-datafusion och quadruple-baserad fusion, och uppnådde noggrannhetsresultat på upp till 95 procent i termer av att identifiera narkotikarelaterade inlägg och användare, i jämförelse med human-in-the-loop-metoder för identifiering.

Det var också möjligt att generera “sunburst-plots” som avslöjar breda indikatorer för geografisk disposition av narkotikarelaterad aktivitet på Instagram, och andra möjliga framtida forskningslinjer i liknande projekt.

i termer av att identifiera narkotikarelaterade inlägg och användare, i jämförelse med human-in-the-loop-metoder för identifiering. Det var också möjligt att generera “sunburst-plots” som avslöjar breda indikatorer för geografisk disposition av narkotikarelaterad aktivitet på Instagram, och andra möjliga framtida forskningslinjer i liknande projekt.