Бизнес-анomalies: предотвращение мошенничества с помощью обнаружения аномалий

Обнаружение аномалий с MIDAS

Обнаружение аномалий стало одним из наиболее полезных инструментов машинного обучения за последние пять лет. Его можно использовать для предотвращения мошенничества и контроля качества. Можно ли изолировать мошенников на сайтах онлайн-отзывов? Можно ли обнаружить мошеннические финансовые транзакции по мере их совершения? Можно ли использовать данные с датчиков в режиме реального времени, чтобы узнать о сбоях в энергосистеме до их возникновения?

Обнаружение аномалий дает ответы на такие вопросы. Определение аномалий в данных – это важная задача понимания данных. Используя машинное обучение и статистические методы, можно изучить нормальные закономерности в данных. Когда происходят несоответствующие события, алгоритмы обнаружения аномалий могут выделить необычное поведение и пометить любые события, которые не соответствуют изученным закономерностям. Такая функциональность имеет решающее значение во многих бизнес-кейсах. Обнаружение аномалий позволяет использовать его в различных отраслях, от безопасности до финансов и мониторинга IoT.

Графы крупного масштаба сейчас повсюду и являются общим представлением больших данных. Они обеспечивают как онлайн-, так и офлайн-приложения. Некоторые онлайн-примеры – это крупные социальные сети, системы рекомендаций продуктов и графы финансовых транзакций. В офлайне: дорожные сети, платформы IoT и датчики напряжения в электрических сетях – все это источники больших объемов графоподобных данных. Представление данных в виде графов одновременно приносит пользу и вызывает проблемы у владельцев этих наборов данных. С одной стороны, это позволяет представлять данные и их отношения в многомерном пространстве. С другой стороны, для анализа и интерпретации данных необходимы масштабируемые алгоритмы. Это привело к повышению исследовательского внимания к методам, таким как обнаружение аномалий в графах.

Давайте рассмотрим один из современных алгоритмов, разработанных для обнаружения аномалий в динамических графах.

MIDAS

Детектор аномалий на основе микрокластеров в потоках ребер (MIDAS) – это алгоритм, который решает задачу обнаружения аномалий в динамических графах. Его разработали исследователи Национального университета Сингапура, которые утверждают, что их метод превосходит существующие подходы. Их метод устраняет наиболее распространенный недостаток предыдущих реализаций обнаружения аномалий:

Ниже представлена новая базовая линия для обнаружения аномалий, разработанная Сиддартом Бхатией и его командой в Университете Сингапура

Представляем MIDAS: новая базовая линия для обнаружения аномалий в графах. Источник изображения: Блог

Представление данных в виде статического графа

Статические графы содержат только информацию о связности и игнорируют временную информацию. Они также известны как снимки графов и могут использоваться только для выявления необычных графических сущностей (например, подозрительных узлов, ребер или подграфов). Однако для многих практических приложений временная информация имеет одинаковое значение: важно знать, когда структура графа изменилась. Чтобы проиллюстрировать, в статическом графе, представляющем поток сетевого трафика, ребро только информирует о том, что существует связь между исходным IP-адресом и адресом назначения. Но временное описание ребра отсутствует, поэтому неизвестно, когда два адреса соединились. Поскольку статические графы не могут моделировать такую временную информацию, методы обнаружения аномалий, построенные на основе таких графов, обеспечивают только ограниченную поддержку реальных приложений.

С другой стороны, MIDAS обрабатывает данные, хранящиеся в динамическом графе. Каждый из элементов графа имеет связанную с ним временную метку, представляющую время, когда этот элемент был добавлен в граф. Продолжая предыдущий пример, динамический граф сетевого трафика также информирует о времени, когда произошло соединение между двумя IP-адресами. Временная метка меняется всякий раз, когда существующее ребро или узел обновляется, или когда новые ребра добавляются в граф. Таким образом, динамические графы представляют собой развивающуюся структуру, которая лучше всего подходит для многих реальных приложений, которые по своей природе динамичны. Они позволяют использовать как связность, так и временную информацию для обнаружения подозрительных графических элементов. На основе этой возможности MIDAS может обнаруживать аномалии в реальном времени и, таким образом, предлагает поддержку для многих бизнес-кейсов.

MIDAS оптимизирован для работы с динамическими графами. Как мы видели выше, динамические графы позволяют представлять данные, меняющиеся во времени. Однако это также означает, что структура графа сама по себе также меняется со временем. Это создает определенные проблемы для алгоритмов обнаружения аномалий, которые стремятся использовать эти данные в реальных приложениях. Одним из примеров является масштабируемость метода в отношении изменяющихся характеристик графа. Учитывая большие объемы данных, соответствующие некоторым приложениям, алгоритмы должны быть линейно масштабируемыми до размера графа. MIDAS работает в онлайн-режиме и обрабатывает каждое ребро за постоянное время и постоянную память. Авторы также сообщают, что алгоритм работает «в 162-633 раза быстрее, чем современные подходы». Это делает алгоритм подходящим для реальных приложений, где обработка больших потоков данных необходима.

Какие бизнес-кейсы требуют MIDAS?

Чтобы получить некоторое представление об использовании обнаружения аномалий в современном бизнесе, мы провели интервью с канадским провайдером криптовалют NDAX. NDAX использует обнаружение аномалий в трех областях своего бизнеса: общих бизнес-операциях, маркетинговом отделе и команде по соблюдению требований. Обнаружение аномалий помогает выявить ошибки, что позволяет им улучшить производительность сайта и процесс регистрации клиентов. Это также позволяет им предоставлять рекомендации командам разработки программного обеспечения и бэк-офиса по устранению этих проблем. Трафик на сайте – еще одна область, где можно использовать силу обнаружения аномалий. Понимание выбросов в трафике на сайте дает представление и лучшее понимание маркетинговой команде, что позволяет им определить, работает ли маркетинговая кампания или нет. Таким образом, это дает более четкую картину того, на какую область следует сосредоточить усилия. Наш последний пример – это то, как аномалия регистрации клиента помогает команде по соблюдению требований выявить потенциальный мошенничество и снизить риск для клиентов.

В нашем разговоре с главным специалистом по соблюдению требований NDAX, Юлией Барановской, подчеркивается, как важность обнаружения аномалий была подчеркнута во время текущей пандемии. Было зафиксировано увеличение на 300% количества выявленных мошенничеств за последние несколько месяцев. Отчаянные времена, в сочетании с высоким онлайн-трафиком, приветствуют все виды мошенничеств, нацеленных на безработных и пожилых людей. С помощью обнаружения аномалий мы теперь можем превратить эти выбросы в индикаторы мошенничества или тенденций. Следующий график показывает, как мошенничество колебалось в первой половине этого года.

NDAX обнаружила увеличение мошенничества во 2-м квартале, особенно мошенничества, связанного с пожилыми людьми и фальшивыми объявлениями о работе.

А как насчет вашего бизнеса?

Алгоритмы обнаружения аномалий могут помочь бизнесу выявить и отреагировать на необычные точки данных в различных сценариях. Система безопасности банка может использовать обнаружение аномалий для выявления мошеннических транзакций. Аналогично, владельцы производственных предприятий полагаются на обнаружение аномалий для борьбы с неисправным оборудованием и реализации прогностической технической поддержки. В сетях IoT-сенсоров обнаружение аномалий используется в качестве части решений для мониторинга состояния и предотвращения нежелательной установки вредоносного ПО. Основная мысль ясна: бизнес, имеющий доступ к большим объемам данных, может использовать MIDAS (и другие алгоритмы обнаружения аномалий), чтобы выявить необычные закономерности в реальном времени.

Как устроены ваши данные и как мы можем помочь вам настроить современное решение для обнаружения аномалий? Напишите нам, и мы узнаем. Команда по науке о данных Blue Orange Digital рада сделать обнаружение аномалий работать на вашу пользу!

Источник основного изображения: Canva