Бизнес-анomalies: предотвращение мошенничества с помощью обнаружения аномалий

Обнаружение аномалий с помощью MIDAS

Обнаружение аномалий стало одним из наиболее полезных инструментов машинного обучения за последние пять лет. Его можно использовать для предотвращения мошенничества и контроля качества. Можно ли изолировать мошенников на сайтах онлайн-отзывов? Можно ли обнаружить мошеннические финансовые транзакции во время их совершения? Можно ли использовать данные сенсоров в реальном времени, чтобы узнать о сбоях в энергосистеме до их возникновения?

Обнаружение аномалий дает ответы на такие вопросы. Определение аномалий в данных является важной задачей понимания данных. Используя большие наборы данных и методы машинного обучения и статистики, можно выучить нормальные закономерности в данных. Когда происходят несовместимые события, алгоритмы обнаружения аномалий могут изолировать необычное поведение и выделить события, которые не соответствуют выученным закономерностям. Такая функциональность имеет решающее значение во многих бизнес-кейсах. Обнаружение аномалий позволяет использовать его в различных секторах, от безопасности до финансов и мониторинга IoT.

Графы веб-маштаба сейчас повсеместны и являются общим представлением больших структур данных. Они обеспечивают как онлайн-, так и офлайн-приложения. Некоторые онлайн-примеры – это большие социальные сети, системы рекомендаций продуктов и финансовые транзакционные графы. В офлайн-режиме: дорожные сети, платформы IoT и датчики напряжения в электрических сетях являются источниками больших объемов графоподобных данных. Представление данных в виде графов имеет как преимущества, так и проблемы для владельцев этих наборов данных. С одной стороны, это позволяет представлять данные и их отношения в многомерном пространстве. С другой стороны, для анализа и интерпретации данных необходимы масштабируемые алгоритмы. Это привело к увеличению исследовательского внимания к методам, таким как обнаружение аномалий в графических данных.

Давайте рассмотрим алгоритм, разработанный для обнаружения аномалий в динамических графических данных.

MIDAS

Микрокластерный детектор аномалий в потоках ребер (MIDAS) – это алгоритм, который решает задачу обнаружения аномалий в динамических графических данных. Он был разработан исследователями Национального университета Сингапура, которые утверждают, что их метод превосходит существующие подходы. Их метод устраняет наиболее распространенный недостаток предыдущих реализаций обнаружения аномалий:

Ниже представлена новая базовая линия для обнаружения аномалий, разработанная Сиддартом Бхатией и его командой в Университете Сингапура

Представляем MIDAS: новая базовая линия для обнаружения аномалий в графах. Источник изображения: Блог

Представление данных в виде статического графа

Статические графы содержат только информацию о связности и игнорируют временную информацию. Они также известны как снимки графов и могут быть использованы только для выявления необычных графических сущностей (например, подозрительных узлов, ребер или подграфов). Однако для многих практических приложений временная информация также важна: важно знать, когда структура графа изменилась. Чтобы проиллюстрировать, в статическом графе, представляющем поток сетевого трафика, ребро только информирует о наличии связи между исходным IP-адресом и целевым IP-адресом. Но временное описание ребра отсутствует, и поэтому время, когда два адреса соединились, неизвестно. Поскольку статические графы не могут моделировать такую временную информацию, методы обнаружения аномалий, построенные на основе таких графов, обеспечивают только ограниченную поддержку реальных приложений.

С другой стороны, MIDAS обрабатывает данные, хранящиеся в динамическом графе. Каждый элемент графа имеет связанное с ним временное метка, представляющее время, когда этот элемент был добавлен в граф. Продолжая пример выше, динамический граф сетевого трафика также информирует о времени, когда произошло соединение между двумя IP-адресами. Временная метка меняется всякий раз, когда существующее ребро или узел обновляется, или когда новые ребра добавляются в граф. Таким образом, динамические графы представляют собой развивающуюся структуру, которая лучше подходит для многих реальных приложений, которые являются динамическими по своей природе. Они позволяют использовать как информацию о связности, так и временную информацию для обнаружения подозрительных графических элементов. На основе этой возможности MIDAS может обнаруживать аномалии в реальном времени и, таким образом, обеспечивает поддержку многих бизнес-кейсов.

MIDAS оптимизирован для работы с динамическими графическими данными. Как мы видели выше, динамические графы позволяют представлять данные, меняющиеся во времени. Однако это также означает, что структура графа сама по себе также меняется со временем. Это вводит определенные проблемы для алгоритмов обнаружения аномалий, которые стремятся использовать эти данные в реальных приложениях. Одним из примеров является масштабируемость метода по отношению к меняющимся характеристикам графа. Учитывая большие объемы данных, соответствующие некоторым приложениям, алгоритмы должны быть линейно масштабируемыми по отношению к размеру графа. MIDAS работает в онлайн-режиме и обрабатывает каждое ребро за постоянное время и постоянную память. Авторы также сообщают, что алгоритм работает “в 162-633 раза быстрее, чем современные подходы”. Это делает алгоритм подходящим для реальных приложений, где обработка больших объемов данных необходима.

Какие бизнес-кейсы требуют MIDAS?

Чтобы получить некоторое представление об использовании обнаружения аномалий в современном бизнесе, мы провели интервью с канадским провайдером криптовалюты NDAX. NDAX использует обнаружение аномалий в трех областях своей деятельности: общая бизнес-операция, отдел маркетинга и команда по соблюдению требований. Обнаружение аномалий помогает выявить ошибки, что позволяет улучшить производительность сайта и процесс онбординга клиентов. Оно также позволяет предоставлять рекомендации командам разработки программного обеспечения и бэк-офиса по решению этих проблем. Трафик сайта – еще одна область, где можно использовать силу обнаружения аномалий. Понимание выбросов в трафике сайта дает информацию и лучшее понимание маркетинговой команде, что позволяет определить, работает ли маркетинговая кампания или нет. Таким образом, это дает более четкую картину того, на какую область следует сосредоточить усилия. Наш последний пример – это то, как обнаружение аномалий при регистрации клиентов помогает команде по соблюдению требований выявить потенциальные мошеннические действия и снизить риск для клиентов.

В нашем разговоре с главой отдела соблюдения требований NDAX, Юлией Барановской, подчеркивается важность обнаружения аномалий во время текущей пандемии. Было зафиксировано увеличение на 300% количества обнаруженных мошенничеств за последние несколько месяцев. Отчаянные времена, в сочетании с высоким онлайн-трафиком, привлекают все виды мошенничеств, нацеленных на безработных и пожилых людей. С помощью обнаружения аномалий мы теперь можем превратить эти выбросы в индикаторы мошенничества или тенденций. Следующий график показывает, как мошенничество колебалось в первой половине этого года.

NDAX обнаружил увеличение мошенничества во втором квартале, особенно мошенничества, связанного с пожилыми людьми и фальшивыми вакансиями.

А как насчет вашего бизнеса?

Алгоритмы обнаружения аномалий могут помочь бизнесу выявить и отреагировать на необычные данные в различных сценариях. Система безопасности банка может использовать обнаружение аномалий для выявления мошеннических транзакций. Аналогично, владельцы производственных предприятий полагаются на обнаружение аномалий для решения проблем с неисправным оборудованием и реализации мер предсказуемого обслуживания. В сетях IoT-сенсоров обнаружение аномалий используется в рамках решений по мониторингу состояния и для предотвращения нежелательного развертывания вредоносного ПО. Основная мысль ясна: бизнес, имеющий доступ к большим объемам данных, может использовать MIDAS (и другие алгоритмы обнаружения аномалий) для выявления необычных закономерностей в реальном времени.

Как устроены ваши данные и как мы можем помочь вам настроить современное решение для обнаружения аномалий? Напишите нам, и мы узнаем. Команда по науке о данных Blue Orange Digital рада сделать обнаружение аномалий работать на вашу пользу!

Источник основного изображения: Canva