Обнаружение “профессиональных” злонамеренных онлайн-отзывов с помощью машинного обучения

Новое исследовательское сотрудничество между Китаем и США предлагает способ обнаружения злонамеренных отзывов электронной коммерции, предназначенных для подрыва конкурентов или облегчения вымогательства, путем использования сигнатуры поведения таких рецензентов.

Система, озаглавленная модель обнаружения злонамеренных пользователей (MMD), использует Метрическое обучение, технику обычно используемую в компьютерном зрении и системах рекомендаций, вместе с рекуррентной нейронной сетью (RNN), для выявления и маркировки вывода таких рецензентов, которые в статье называются профессиональными злонамеренными пользователями (PMU).

Отлично! 1 звезда

Большинство онлайн-отзывов электронной коммерции предоставляют два вида обратной связи пользователя: рейтинг звезд (или рейтинг из 10) и текстовый отзыв, и в типичном случае они будут логически соответствовать (т.е. плохой отзыв будет сопровождаться низким рейтингом).

PMU, однако, обычно нарушают эту логику, оставляя плохой текстовый отзыв с высоким рейтингом или низким рейтингом, сопровождаемым хорошим отзывом.

Это позволяет отзыву пользователя причинить репутационный ущерб без запуска относительно простых фильтров, развернутых сайтами электронной коммерции для выявления и решения вывода злонамеренных рецензентов. Если фильтр, основанный на обработке естественного языка (NLP), выявляет обвинения в тексте отзыва, этот “флаг” эффективно отменяется высоким рейтингом звезд (или десятичным), который PMU также присвоил, эффективно делая злонамеренный контент “нейтральным” с статистической точки зрения.

Пример того, как злонамеренный отзыв может быть статистически смешан с подлинными отзывами, с точки зрения системы совместной фильтрации, пытающейся выявить такое поведение. Источник: https://arxiv.org/pdf/2205.09673.pdf

Новая статья отмечает, что цель PMU часто заключается в том, чтобы вымогать деньги у онлайн-ретейлеров в обмен на изменение негативных отзывов и/или обещание не размещать дальнейшие негативные отзывы. В некоторых случаях акторами являются ад hoc лица искующие скидки, хотя часто PMU нанимается конкурентами жертвы.

Маскировка негативных отзывов

Текущее поколение автоматических детекторов таких отзывов использует совместную фильтрацию или контент-ориентированную модель и ищет явные и недвусмысленные “аутсайдеров” – отзывы, которые являются единообразно негативными по обоим методам обратной связи, и которые существенно отклоняются от общей тенденции настроений и рейтинга.

Другой классический сигнал, на который такие фильтры опираются, – высокая частота публикации, тогда как PMU будут публиковать стратегически и только время от времени (поскольку каждый отзыв может представлять либо индивидуальное задание, либо этап в более длинной стратегии, предназначенной для того, чтобы скрыть “частоту” метрику).

Следовательно, исследователи новой статьи интегрировали странную полярность профессиональных злонамеренных отзывов в специальную систему, в результате чего получился алгоритм, который почти наравне с возможностью человеческого рецензента “чувствовать неладное” при расхождении между рейтингом и содержанием текста отзыва.

Концептуальная архитектура MMD, состоящая из двух центральных модулей: профилирования злонамеренных пользователей (MUP) и метрического обучения внимания (MLC, в сером).

Сравнение с предыдущими подходами

Поскольку MMD, по заявлению авторов, является первой системой, пытающейся выявить PMU на основе их шизофренического стиля публикации, нет прямых предыдущих работ, с которыми можно сравнить ее. Поэтому исследователи противопоставили свою систему нескольким алгоритмам, на которых часто опираются традиционные автоматические фильтры, включая кластеризацию K-means++; известный статистический детектор аномалий (SOD); Hysad; Semi-sad; CNN-sad; и систему рекомендаций обнаружения клеветников (SDRS).

Тестирование на помеченных наборах данных Amazon [securities_stock_price_tag symbol="amzn" exchange="nasdaq"] и Yelp, MMD может выявить профессиональных онлайн-дetractors с самой высокой точностью, утверждают авторы. Жирным шрифтом обозначается MMD, а символом * обозначается лучшая производительность. В данном случае MMD был превзойден только в двух задачах отдельной технологией (MUP), которая уже включена в него, но не является инструментом по умолчанию для задачи.

В данном случае MMD был противопоставлен непомеченным наборам данных Taobao и Jindong, что сделало его фактически задачей обучения без учителя. Снова MMD превосходит только одну из своих собственных составляющих технологий, высоко адаптированных для задачи для целей тестирования.

Исследователи отмечают:

‘На всех четырех наборах данных наш предложенный модель MMD (MLC+MUP) превосходит все базовые модели по F-значению. Обратите внимание, что MMD является комбинацией MLC и MUP, что обеспечивает его превосходство над обученными и не обученными моделями в целом.’

Статья также предполагает, что MMD может служить полезным методом предварительной обработки для традиционных автоматических фильтров, и предоставляет экспериментальные результаты на нескольких наборах данных, включая пользовательскую совместную фильтрацию (UBCF), предметную совместную фильтрацию (IBCF), факторизацию матрицы (MF-eALS), персонализированный рейтинг (MF-BPR) и нейронную совместную фильтрацию (NCF).

В терминах коэффициента попадания (HR) и нормализованного дискретного累тивного прироста (NDCG) в результатах этих протестированных дополнений авторы утверждают:

‘Среди всех четырех наборов данных MMD улучшает модели рекомендаций значительно в терминах HR и NDCG. Конкретно, MMD может улучшить производительность HR в среднем на 28,7% и NDCG в среднем на 17,3%.’

‘Удаляя профессиональных злонамеренных пользователей, MMD может улучшить качество наборов данных. Без этих профессиональных злонамеренных пользователей поддельной обратной связи набор данных становится более интуитивным.’

Статья называется Выявление профессиональных злонамеренных пользователей с помощью метрического обучения в системах рекомендаций, и исходит от исследователей кафедры компьютерных наук и технологий в Университете Цзилинь; ключевой лаборатории интеллектуальной обработки информации Китайской академии наук в Пекине; и школы бизнеса в Университете Рутгерса в Нью-Джерси.

Данные и подход

Выявление PMU – это многомодальное задание, поскольку необходимо учитывать два неэквивалентных параметра (числовой рейтинг звезд/десятичный и текстовый отзыв). Авторы новой статьи утверждают, что никакие предыдущие работы не решали эту задачу.

MMD использует иерархическую двойную рекуррентную нейронную сеть (HDAN) для ассимиляции содержания отзыва в балл настроения.

Проекция отзыва в балл настроения с помощью HDAN, который вносит вклад в встраивание слов и предложений, чтобы получить балл настроения.

HDAN использует механизмы внимания для присвоения весов каждому слову и каждому предложению. На изображении выше, утверждают авторы, слово худшее должно быть явно присвоено больший вес, чем конкурирующие слова в отзыве.

Для проекта HDAN принял рейтинги продуктов на четырех наборах данных в качестве основы. Наборы данных были Amazon.com; Yelp для RecSys (2013); и два “реальных” (а не экспериментальных) набора данных, из Taobao и Jindong.

MMD использует метрическое обучение, которое пытается оценить точное расстояние между сущностями, чтобы охарактеризовать общую группу отношений в данных.

MMD начинается с однократного кодирования для выбора пользователя и предмета через латентную факторную модель (LFM), которая получает базовый балл рейтинга. Тем временем HDAN проецирует содержание отзыва в балл настроения в качестве дополнительных данных.

Результаты затем обрабатываются в модель профилирования злонамеренных пользователей (MUP), которая выводит вектор разрыва настроения – расхождение между рейтингом и оцененным баллом настроения текстового содержания отзыва. Таким образом, впервые PMU могут быть категоризированы и помечены.

Внимание-ориентированное метрическое обучение для кластеризации.

Метрическое обучение для кластеризации (MLC) использует эти выходные метки для установления метрики, по которой рассчитывается вероятность того, что отзыв пользователя является злонамеренным.

Тесты с участием человека

Помимо количественных результатов, изложенных выше, исследователи провели пользовательское исследование, в котором 20 студентов были задействованы для выявления злонамеренных отзывов на основе только содержания и рейтинга звезд. Участники были попросили оценить отзывы как 0 (для “нормальных” рецензентов) или 1 (для профессионального злонамеренного пользователя).

Из 50/50 разделения между нормальными и злонамеренными отзывами студенты пометили 24 истинных положительных и 24 истинных отрицательных пользователя в среднем. По сравнению с этим MMD смог пометить 23 истинных положительных и 24 истинных отрицательных пользователя в среднем, работая почти на уровне человеческого различия, и превосходя базовые модели для задачи.

Студенты vs. MMD. Символом * обозначается лучший результат, а жирным шрифтом обозначается результат MMD.

Авторы заключают:

‘По сути, MMD – это универсальное решение, которое не только может выявить профессиональных злонамеренных пользователей, исследованных в этой статье, но и служить общей основой для обнаружения злонамеренных пользователей. С большими данными, такими как изображения, видео или звук, идея MMD может быть полезной для обнаружения разрыва настроения между их заголовком и содержанием, что имеет светлое будущее для противодействия различным стратегиям маскировки в различных приложениях.’

Опубликовано впервые 20 мая 2022 года.