Бізнес-аномалії: запобігання шахрайству за допомогою виявлення аномалій

Виявлення аномалій з MIDAS

Виявлення аномалій стало одним з найкорисніших інструментів машинного навчання за останні п’ять років. Воно може бути використане від шахрайства до контролю якості. Чи можна ізолювати шахраїв на онлайн-відгуках? Чи можна виявити шахрайські фінансові транзакції під час їх виконання? Чи може інформація з живих датчиків повідомляти про збої в енергосистемі до того, як вони трапляться?

Виявлення аномалій дає відповіді на такі питання. Визначення аномалій у даних – це важлива задача розуміння даних. Використовуючи великі набори даних та статистичні методи, можна вивчити нормальні закономірності у даних. Коли трапляються неконсистентні події, алгоритми виявлення аномалій можуть ізолювати ненормальну поведінку та позначити будь-які події, які не відповідають вивченим закономірностям. Така функціональність є важливою у багатьох бізнес-кейсах. Виявлення аномалій дозволяє застосовувати його у великій кількості галузей, від безпеки до фінансів та мониторингу IoT.

Веб-масштабні графи зараз універсальні та є загальним представленням великих даних. Вони забезпечують як онлайн-, так і офлайн-застосунки. Наприклад, великі соціальні мережі, системи рекомендацій товарів та фінансові транзакційні графи. Офлайн: дорожні мережі, платформи IoT та датчики напруги в електричних мережах – все це джерела великих обсягів графоподібних даних. Представлення даних у вигляді графів приносить як переваги, так і виклики для власників таких наборів даних. З одного боку, це дозволяє представляти дані та їх відносини у багатовимірному просторі. З іншого боку, потрібні масштабовані алгоритми для аналізу та інтерпретації даних. Це призвело до збільшення дослідницького інтересу до методів, таких як виявлення аномалій у графічних даних.

Давайте ближче розглянемо один з алгоритмів, розроблених для виявлення аномалій у динамічних графічних даних.

MIDAS

Детектор аномалій у потоках ребер на основі мікрокластерів (MIDAS) є алгоритмом, який займається виявленням аномалій у динамічних графічних даних. Його розробили дослідники Національного університету Сінгапуру, які стверджують, що їхній метод перевершує існуючі підходи. Їхній метод усуває найпоширенішу слабкість попередніх реалізацій виявлення аномалій:

Нижче наведено новий базовий рівень для виявлення аномалій, розроблений Сіддартом Бхатією та його командою в Університеті Сінгапуру

Познайомтеся з MIDAS: новим базовим рівнем для виявлення аномалій у графах. Джерело зображення: Блог

Представлення даних у вигляді статичного графа

Статичні графи містять лише інформацію про зв’язок та ігнорують тимчасову інформацію. Їх також називають графічними знімками та можна використовувати лише для виявлення незвичайних графічних об’єктів (наприклад, підозрілих вузлів, ребер чи підграфів). Однак для багатьох практичних застосунків тимчасовий аспект є рівнозначним: важливо знати коли змінився графічний структура. Наприклад, у статичному графі, який представляє мережевий трафік, ребро інформує лише про те, що існує зв’язок між джерельним IP-адресою та адресою призначення. Але тимчасове опис ребра відсутнє, тому невідомо, коли дві адреси з’єдналися. Поскольку статичні графи не можуть моделювати таку тимчасову інформацію, методи виявлення аномалій, побудовані на основі таких графів, забезпечують лише обмежену підтримку реальних застосунків.

З іншого боку, MIDAS обробляє дані, збережені у динамічному графі. Кожен елемент графа має пов’язаний з ним тимчасовий штамп, який представляє час, коли цей елемент був доданий до графа. Продовжуючи попередній приклад, динамічний мережевий граф також інформує про коли відбулося з’єднання між двома IP-адресами. Тимчасовий штамп змінюється щоразу, коли оновлюється існуюче ребро чи вузол, або коли до графа додаються нові ребра. Таким чином, динамічні графи є структурами, які змінюються з часом, і краще підходять для багатьох реальних застосунків, які є динамічними за своєю суттю. Вони дозволяють використовувати як зв’язкову, так і тимчасову інформацію для виявлення підозрілих графічних елементів. На основі цієї можливості MIDAS може виявляти аномалії в реальному часі та забезпечує підтримку багатьох бізнес-кейсів.

MIDAS оптимізований для роботи з динамічними графічними даними. Як ми бачили вище, динамічні графи дозволяють представляти дані, які змінюються з часом. Однак це також означає, що структура графа сама по собі змінюється з часом. Це вводить певні виклики для алгоритмів виявлення аномалій, які мають використовуватися у реальних застосунках. Одним з прикладів є масштабованість методу щодо змін графіки. Ураховуючи великі об’єми даних, що відповідають деяким застосункам, алгоритми повинні бути лінійно масштабовані щодо розміру графа. MIDAS працює в онлайн-режимі та обробляє кожне ребро за постійний час і постійну пам’ять. Автори також повідомляють, що алгоритм працює «162-633 рази швидше за існуючі підходи». Це робить алгоритм придатним для застосунків у реальному часі, де обробка великих потоків даних є необхідною.

Які бізнес-кейси потребують MIDAS?

Щоб отримати уявлення про те, як виявлення аномалій використовується у сучасному бізнес-світі, ми провели інтерв’ю з канадським постачальником криптовалюти NDAX. NDAX використовує виявлення аномалій у трьох галузях своєї діяльності. Загальна діяльність компанії, відділ маркетингу та команда з дотримання вимог. Виявлення аномалій допомагає визначити помилки, що дозволяє покращити продуктивність сайту та процес реєстрації клієнтів. Воно також дозволяє надавати рекомендації командам з розробки програмного забезпечення та операцій щодо того, як вирішити ці питання. Трафік сайту – ще одна галузь, яка може використати силу виявлення аномалій. Поняття про аномалії у трафіку сайту дає уявлення та краще розуміння маркетинговій команді, що дозволяє визначити, чи працює маркетинговий кампанія чи ні. Отже, дає чітке уявлення про те, на яку галузь потрібно зосередити свої зусилля. Наш останній приклад – це те, як аномалія реєстрації клієнта допомагає команді з дотримання вимог визначити потенційний шахрайство та зменшити ризик для клієнтів.

У нашому розмові з керівником служби дотримання вимог NDAX Юлією Баранівською підкреслюється важливість виявлення аномалій під час поточної пандемії. За останні кілька місяців кількість виявлених шахрайств зросла на 300%. Десперативні часи, поєднані з високим онлайн-трафіком, сприяють шахрайству усіх видів, яке націлене на безробітних та пенсіонерів. За допомогою виявлення аномалій ми тепер можемо перетворити ці аномалії на індикатори шахрайства чи тенденцій. Наступний графік показує, як шахрайство коливалося протягом першої половини цього року.

NDAX виявила збільшення шахрайства у другому кварталі, особливо щодо афер, пов’язаних з пенсіонерами та фальшивими вакансіями.

А що щодо вашого бізнесу?

Алгоритми виявлення аномалій можуть допомогти підприємствам визначити та реагувати на незвичайні дані у різних сценаріях. Система безпеки банку може використовувати виявлення аномалій для ідентифікації шахрайських транзакцій. Аналогічно, власники заводів покладаються на виявлення аномалій для боротьби з несправністю обладнання та реалізації заходів профілактичного обслуговування. У сетях IoT-сенсорів виявлення аномалій використовується як частина рішень для моніторингу стану та запобігання нежаданому розгортанню шкідливого програмного забезпечення. Головне зрозуміло: підприємства, які мають доступ до великих обсягів даних, можуть використовувати MIDAS (та інші алгоритми виявлення аномалій), щоб визначити незвичайні закономірності в реальному часі.

Як структуровані ваші дані та як ми можемо допомогти вам налаштувати сучасне рішення для виявлення аномалій?

Напишіть нам, і ми дізнаємося. Команда з науки про дані Blue Orange Digital щаслива зробити виявлення аномалій корисним для вашої вигоди!

Джерело головного зображення: Canva