Обнаружение “профессиональных” злонамеренных онлайн-отзывов с помощью машинного обучения

Новое исследовательское сотрудничество между Китаем и США предлагает способ обнаружения злонамеренных отзывов электронной коммерции, предназначенных для подрыва конкурентов или облегчения вымогательства, путем использования сигнатуры поведения таких рецензентов.

Система, озаглавленная модель обнаружения злонамеренных пользователей (MMD), использует Metric Learning, технику обычно используемую в компьютерном зрении и системах рекомендаций, вместе с рекуррентной нейронной сетью (RNN), для выявления и маркировки вывода таких рецензентов, которых статья называет профессиональными злонамеренными пользователями (PMUs).

Отлично! 1 звезда

Большинство онлайн-отзывов электронной коммерции предоставляют две формы обратной связи пользователя: рейтинг звезд (или рейтинг из 10) и текстовый отзыв, и в типичном случае они будут логически соответствовать (т.е. плохой отзыв будет сопровождаться низким рейтингом).

PMUs, однако, обычно нарушают эту логику, оставляя плохой текстовый отзыв с высоким рейтингом или плохим рейтингом, сопровождаемым хорошим отзывом.

Это позволяет отзыву пользователя причинить ущерб репутации без запуска относительно простых фильтров, развернутых сайтами электронной коммерции для выявления и решения вывода злонамеренных рецензентов. Если фильтр на основе обработки естественного языка (NLP) выявляет оскорбления в тексте отзыва, этот ‘флаг’ эффективно отменяется высоким рейтингом звезд (или десятичным), который PMU также присвоил, эффективно делая злонамеренный контент ‘нейтральным’ с статистической точки зрения.

Пример того, как злонамеренный отзыв может быть смешан статистически с настоящими отзывами, с точки зрения системы совместного фильтрования, пытающейся выявить такое поведение. Источник: https://arxiv.org/pdf/2205.09673.pdf

Новая статья отмечает, что цель PMU часто заключается в том, чтобы вымогать деньги у онлайн-ретейлеров в обмен на изменение негативных отзывов и/или обещание не размещать дальнейшие негативные отзывы. В некоторых случаях акторами являются ад хок лица ищущие скидки, хотя часто PMU нанимается конкурентами жертвы.

Маскировка негативных отзывов

Текущее поколение автоматических детекторов таких отзывов использует совместное фильтрование или модель, основанную на контенте, и ищет явные и недвусмысленные ‘аутсайдеров’ – отзывы, которые являются единообразно негативными по обоим методам обратной связи, и которые заметно отклоняются от общей тенденции настроений отзывов и рейтинга.

Другой классический сигнал, на который нацеливаются такие фильтры, – это высокая частота публикации, тогда как PMU будет публиковать стратегически и только время от времени (поскольку каждый отзыв может представлять либо индивидуальное задание, либо этап в более длинной стратегии, предназначенной для того, чтобы скрыть ‘частоту’ метрики).

Следовательно, исследователи новой статьи интегрировали странную полярность профессиональных злонамеренных отзывов в специальную систему, в результате чего получился алгоритм, который почти на уровне способности человеческого рецензента ‘чувствовать крысу’ в несоответствии между рейтингом и содержанием текста отзыва.

Концептуальная архитектура MMD, состоящая из двух центральных модулей: Профилирование злонамеренных пользователей (MUP) и Метрическое обучение с вниманием (MLC, в сером).

Сравнение с предыдущими подходами

Поскольку MMD, по заявлению авторов, является первой системой, пытающейся выявить PMU на основе их шизофренического стиля публикации, нет прямых предыдущих работ, с которыми можно сравнить ее. Следовательно, исследователи противопоставили свою систему ряду алгоритмов, на которых часто полагаются традиционные автоматические фильтры, включая кластеризацию K-means++; известный статистический детектор аутсайдеров (SOD); Hysad; Semi-sad; CNN-sad; и Систему обнаружения клеветников (SDRS).

Тестирование на помеченных наборах данных Amazon и Yelp, MMD может выявить профессиональных онлайн-детракторов с самой высокой точностью, утверждают авторы. Жирный шрифт представляет MMD, а знак (*) указывает на лучшую производительность. В этом случае MMD был превзойден только в двух задачах, отдельной технологией (MUP), которая уже включена в него, но которая не является инструментом по умолчанию для задачи.

В этом случае MMD был противопоставлен непомеченным наборам данных Taobao и Jindong, что сделало его фактически задачей обучения без учителя. Опять же, MMD превосходит только одну из своих собственных составляющих технологий, высоко адаптированных для задачи для целей тестирования.

Исследователи наблюдают:

‘[На] всех четырех наборах данных наш предложенный модель MMD (MLC+MUP) превосходит все базовые модели по F-оценке. Обратите внимание, что MMD является комбинацией MLC и MUP, что обеспечивает его превосходство над обученными и не обученными моделями в целом.’

Статья также предполагает, что MMD может служить полезным методом предварительной обработки для традиционных автоматических фильтров, и предоставляет экспериментальные результаты на ряде наборов данных, включая User-based совместное фильтрование (UBCF), Item-based совместное фильтрование (IBCF), Факторизация матрицы (MF-eALS), Байесовская персонализированная рейтинг (MF-BPR), и Нейронное совместное фильтрование (NCF).

В терминах Коэффициента попадания (HR) и Нормализованного дискретного кумулятивного прироста (NDCG) в результатах этих протестированных дополнений, авторы утверждают:

‘Среди всех четырех наборов данных MMD значительно улучшает производительность моделей рекомендаций по HR и NDCG. Конкретно, MMD может повысить производительность HR в среднем на 28,7% и NDCG в среднем на 17,3%.

‘Удаляя профессиональных злонамеренных пользователей, MMD может улучшить качество наборов данных. Без этих профессиональных злонамеренных пользователей их фальшивой [обратной связи], набор данных становится более [интуитивным].’

Статья названа Обнаружение профессиональных злонамеренных пользователей с помощью метрического обучения в системах рекомендаций, и исходит от исследователей кафедры информатики и технологий в Университете Цзилинь; ключевой лаборатории интеллектуальной обработки информации Китайской академии наук в Пекине; и школы бизнеса в Рутгерсе в Нью-Джерси.

Данные и подход

Обнаружение PMU является многомодальной задачей, поскольку необходимо учитывать два неэквивалентных параметра (числовое значение рейтинга звезд/десятичный рейтинг и текстовый отзыв). Авторы новой статьи утверждают, что никакие предыдущие работы не решали эту задачу.

MMD использует Иерархическую двойную систему внимания рекуррентной нейронной сети (HDAN) для ассимиляции содержания отзыва в оценку настроения.

Проекция отзыва в оценку настроения с помощью HDAN, которая вносит вклад в встраивание слова и предложения, чтобы получить оценку настроения.

HDAN использует механизмы внимания для присвоения весов каждому слову и каждому предложению. На изображении выше, утверждают авторы, слово худший должно быть явно присвоено больший вес, чем конкурирующие слова в отзыве.

Для проекта HDAN взял рейтинги продуктов на четырех наборах данных в качестве основы. Наборы данных были Amazon.com; Yelp для RecSys (2013); и два ‘реальных’ (а не экспериментальных) набора данных, из Taobao и Jindong.

MMD использует Метрическое обучение, которое пытается оценить точное расстояние между сущностями, чтобы охарактеризовать общую группу отношений в данных.

MMD начинается с однократной кодировки для выбора пользователя и предмета, через латентную факторную модель (LFM), которая получает базовый рейтинговый балл. Тем временем HDAN проецирует содержание отзыва в оценку настроения в качестве дополнительных данных.

Результаты затем обрабатываются в модель профилирования злонамеренных пользователей (MUP), которая выводит вектор разрыва настроения – несоответствие между рейтингом и оцененной оценкой настроения текстового содержания отзыва. Таким образом, впервые PMU могут быть категоризированы и помечены.

Метрическое обучение с вниманием для кластеризации.

Метрическое обучение для кластеризации (MLC) использует эти выходные метки для установления метрики, по которой рассчитывается вероятность того, что отзыв пользователя является злонамеренным.

Тестирование на людях

В дополнение к количественным результатам, изложенным выше, исследователи провели тестирование на людях, которое поставило 20 студентов перед задачей выявления злонамеренных отзывов, основываясь только на содержании и рейтинге звезд. Участникам было предложено оценить отзывы как 0 (для ‘нормальных’ рецензентов) или 1 (для профессионального злонамеренного пользователя).

Из 50/50 разделения между нормальными и злонамеренными отзывами студенты пометили в среднем 24 истинных положительных и 24 истинных отрицательных пользователя. Для сравнения, MMD смог пометить 23 истинных положительных и 24 истинных отрицательных пользователя в среднем, работая почти на уровне человеческого различия, и превосходя базовые модели для задачи.

Студенты vs. MMD. Знак (*) указывает на лучшие результаты, а жирный шрифт указывает на результаты MMD.