ИИ определяет дилеров наркотиков в Instagram с точностью почти 95%

Исследователи в США разработали многомодальную систему машинного обучения, способную определять аккаунты и посты дилеров наркотиков в Instagram, анализируя различные типы контента, включая изображения.

Исследование, озаглавленное Определение незаконных дилеров наркотиков в Instagram с помощью крупномасштабного слияния многомодальных данных, является совместной работой трех исследователей из Университета Западной Вирджинии и одного из Университета Кейс-Вестерн-Резерв.

Для реализации проекта исследователи создали базу данных под названием Определение дилеров наркотиков в Instagram (IDDIG), в которую вошли 4000 аккаунтов пользователей, из которых 1400 принадлежали дилерам наркотиков, а остальные были использованы в качестве контрольной группы для проверки процесса определения.

Фреймворк многомодальной системы обнаружения дилеров. Модель включает опубликованные изображения, комментарии, а также информацию из изображений на домашней странице и биографических текстов, опубликованных на домашней странице. Source: https://arxiv.org/pdf/2108.08301.pdf

Первоначальное тестирование метода показало почти 95% точность в определении дилеров наркотиков в Instagram, и фреймворк также привел к проекту по обнаружению хэштегов, предназначенному для обнаружения изменяющихся индикаторов деятельности, связанной с продажей незаконных наркотиков, с использованием географических факторов и определения конкретных типов наркотиков.

Поскольку база данных, разработанная для проекта, требовала ручной маркировки, фреймворк включает в себя удобную систему аннотации, которая использует систему классификации на основе Bidirectional Encoder Representations from Transformers (BERT) от Google, а также классификацию изображений на основе ResNet.

Веб-интерфейс аннотации (с дополнительными указаниями авторов статьи) для IDDIG.

Обнаружение дилеров в разговорах, связанных с наркотиками

Рекреационные наркотики обсуждаются в широком круге контекстов на социальных платформах, таких как Instagram. Многие из тех, кто публикует, являются потребителями, а не продавцами. В зависимости от правил в их местности и возможности рецептурных препаратов, даже в местностях, которые различаются в своих законах о наркотиках, они также могут быть законными потребителями.

Изображения, связанные с наркотиками, включенные в базу данных проекта.

Кроме того, поведение дилеров наркотиков в Instagram не всегда явно выражено; часто дилеры рекламируют через комментарии и хэштеги, а не через мультимедийные посты, которые в целом были бы легче определить как контент, связанный с “торговлей наркотиками”, как для человеческого, так и для машинного надзора. Поэтому хэштеги и активность комментариев были включены в качестве определяющих активов в новой системе.

Множество моделей торговли наркотиками на постах Instagram.

В дополнение к анализу текста на основе BERT и исследованию изображений на основе ResNet, работа включает в себя многомодальное слияние данных на уровне функций, как предложено в статье 2016 года IEEE статьи Дискриминантный корреляционный анализ: реальное слияние данных на уровне функций для многомодальной биометрической идентификации.

Хэштеги как семена для базы данных

Механизм веб-скрейпинга проекта начинает свой путь к определению аккаунтов дилеров наркотиков, отслеживая путь 200 хэштегов, связанных с наркотиками, определенных экспертами в области, с использованием API поиска хэштегов.

Изображения в постах, использующих хэштеги, затем классифицируются с помощью бинарной модели классификации VGG-16. Изображения, коррелирующие с известными изображениями наркотиков, затем сохраняются в системе, и пост преобразуется в объект JSON для последующего извлечения.

Фреймворк затем расширяется до связанных комментариев и информации (текста и изображений), содержащейся на домашней странице пользователей, которые участвовали в хэштеге, и чей контент был помечен как связанный с наркотиками. Таким образом, 10 000 потенциальных постов и 23 034 домашние страницы пользователей были включены в набор данных.

Поскольку хэштеги, связанные с наркотиками, постоянно эволюционируют, чтобы избежать обнаружения и внимания властей, любые новые хэштеги в помеченном посте, которые не были частью коллекции семенных хэштегов, отмечаются и записываются для будущего использования.

После маркировки в веб-интерфейсе (см. изображение выше) многомодальное слияние данных должно учитывать тот факт, что не все посты будут содержать все четыре возможных типа данных. Поэтому алгоритм может терпеть девять из шестнадцати подпунктов среди четырех типов данных, используя конкатенацию и слиянные функции, где отсутствующие элементы будут соответствовать нулю в расчете.

NetworkX

Набор данных, наконец, используется с помощью пакета Python NetworkX, предложенного в 2008 году Лос-Аламосской национальной лабораторией в Нью-Мексико. NetworkX широко используется в крупномасштабных операциях, включая графы с более чем 10 миллионами узлов.

Рассматривая хэштеги в наборе данных как если бы они были включены в один пост, исследователям было возможно сгенерировать неориентированный граф, связанный с наркотиками, для анализа NetworkX.

Набор данных IDDIG был протестирован на различных протоколах, включая слияние многомодальных данных, слияние данных из нескольких источников и слияние на основе четырех элементов, и достиг результатов точности до 95% в плане определения постов и пользователей, связанных с наркотиками, по сравнению с методами идентификации с участием человека.

Также было возможно сгенерировать “солнечные графики”, раскрывающие широкие индикаторы географического расположения деятельности, связанной с наркотиками, на Instagram, и другие возможные будущие направления исследования в подобных проектах.

в терминах определения постов и пользователей, связанных с наркотиками, по сравнению с методами идентификации с участием человека. Также было возможно сгенерировать “солнечные графики”, раскрывающие широкие индикаторы географического расположения деятельности, связанной с наркотиками, на Instagram, и другие возможные будущие направления исследования в подобных проектах.