Anomalie biznesowe: zapobieganie oszustwom poprzez wykrywanie anomalii

Wykrywanie anomalii za pomocą MIDAS

W ciągu ostatnich pięciu lat wykrywanie anomalii stało się jednym z najbardziej przydatnych narzędzi uczenia maszynowego. Można go stosować od oszustw po kontrolę jakości. Czy można wyizolować oszustów na stronach z recenzjami online? Czy oszukańcze transakcje finansowe można wykryć natychmiast po ich wystąpieniu? Czy dane z czujników na żywo mogą informować o awariach sieci energetycznej, zanim one wystąpią?

Wykrywanie anomalii dostarcza odpowiedzi na tego typu pytania. Identyfikowanie anomalii w danych jest istotnym zadaniem zrozumienia danych. Wystawiając duże zbiory danych narzędziom uczenia maszynowego i metodom statystycznym, można poznać normalne wzorce w danych. W przypadku wystąpienia niespójnych zdarzeń algorytmy wykrywania anomalii mogą wyizolować nietypowe zachowanie i oznaczyć wszelkie zdarzenia, które nie odpowiadają wyuczonym wzorcom. Taka funkcjonalność jest kluczowa w wielu przypadkach zastosowań biznesowych. Wykrywanie anomalii umożliwia stosowanie aplikacji w wielu sektorach, od bezpieczeństwa po finanse i Monitorowanie Internetu Rzeczy. 

Wykresy internetowe są obecnie wszechobecne i stanowią powszechną reprezentację struktur dużych zbiorów danych. Obsługują aplikacje online i offline. Kilka przykładów online to duże sieci społecznościowe, silniki rekomendacji produktów i wykresy transakcji finansowych. W trybie offline: sieci drogowe, platformy IoT i czujniki napięcia w sieciach elektroenergetycznych są źródłami dużych ilości danych w formie wykresów. Posiadanie danych reprezentowanych w postaci wykresów przynosi właścicielom wspomnianych zbiorów danych zarówno korzyści, jak i wyzwania. Z jednej strony pozwala na reprezentację punkty danych i ich relacje w przestrzeni wielowymiarowej. Z drugiej strony potrzebne są skalowalne algorytmy do analizy i interpretacji danych. Doprowadziło to do zwiększony nacisk na badania na metodach takich jak wykrywanie anomalii na danych wykresu.

Przyjrzyjmy się bliżej nowoczesnemu algorytmowi opracowanemu do wykrywania anomalii w dynamicznych danych grafowych.

MIDAS

Mikroklastrowy detektor anomalii w strumieniach brzegowych (MIDAS) to algorytm zajmujący się wykrywaniem anomalii na dynamiczny dane wykresu. Została opracowana przez naukowców z National University of Singapore, którzy twierdzą, że ich metoda przewyższa najnowocześniejsze podejścia. Ich metoda eliminuje najczęstszą wadę poprzednich implementacji wykrywania anomalii:

Poniżej znajduje się nowy punkt odniesienia do wykrywania anomalii opracowany przez Siddartha Bhatię i jego zespół z Uniwersytetu w Singapurze

Przedstawiamy MIDAS: nową podstawę do wykrywania anomalii na wykresach. Źródło obrazu: Blog

Reprezentowanie danych jako a statyczny wykres

Wykresy statyczne zawierają jedynie informacje o łączności i ignorują informacje tymczasowe. Nazywa się je również migawkami wykresów i można ich używać wyłącznie do wykrywania nietypowych elementów wykresu (np. podejrzanych węzłów, krawędzi lub podwykresów). Jednak w przypadku wielu zastosowań praktycznych aspekt czasowy jest równie ważny: istotna jest wiedza jeśli chodzi o komunikację i motywację zmieniła się struktura wykresu. Aby to zilustrować, na statycznym wykresie przedstawiającym strumień ruchu sieciowego krawędź informuje jedynie, że istnieje połączenie między źródłowym adresem IP a docelowym adresem IP. Brakuje jednak tymczasowego opisu krawędzi i dlatego nieznany jest czas połączenia obu adresów. Ponieważ wykresy statyczne nie mogą modelować takich informacji czasowych, metody wykrywania anomalii zbudowane na podstawie takich wykresów zapewniają jedynie ograniczone wsparcie dla zastosowań w świecie rzeczywistym.

Z drugiej strony, MIDAS obsługuje dane przechowywane w pliku a dynamiczny wykres. Z każdym elementem na wykresie jest powiązany znacznik czasu reprezentujący czas dodania tego elementu do wykresu. Kontynuując powyższy przykład, dynamiczny wykres ruchu sieciowego również informowałby o tym jeśli chodzi o komunikację i motywację nastąpiło połączenie pomiędzy dwoma adresami IP. Sygnatura czasowa zmienia się za każdym razem, gdy istniejąca krawędź lub węzeł jest aktualizowana lub gdy do wykresu dodawane są nowe krawędzie. W związku z tym wykresy dynamiczne są strukturą ewoluującą w czasie, która lepiej pasuje do wielu rzeczywistych zastosowań, które mają charakter dynamiczny. Umożliwiają wykorzystanie informacji o łączności i czasie do wykrywania podejrzanych elementów wykresu. Bazując na tej możliwości, MIDAS może wykrywać anomalie w czasie rzeczywistym, oferując w ten sposób wsparcie dla wielu zastosowań biznesowych.

MIDAS jest zoptymalizowany do pracy na dynamicznych danych graficznych. Jak widzieliśmy powyżej, wykresy dynamiczne umożliwiają przedstawienie danych zmieniających się w czasie. Oznacza to jednak również, że sama struktura wykresu również zmienia się w czasie. Wprowadza to pewne wyzwania dla algorytmów wykrywania anomalii, które mają na celu wykorzystanie tych danych w aplikacjach czasu rzeczywistego. Jednym z przykładów jest skalowalność metody w odniesieniu do zmiany charakterystyki wykresu. Biorąc pod uwagę duże ilości danych odpowiadające niektórym aplikacjom, algorytmy muszą być liniowo skalowalne do rozmiaru wykresu. MIDAS działa w trybie online i przetwarza każdą krawędź w stałym czasie i stałej pamięci. Autorzy podają również, że algorytm działa „162–633 razy szybciej niż w przypadku najnowocześniejszych metod”. Dzięki temu algorytm nadaje się do zastosowań czasu rzeczywistego, gdzie konieczne jest przetwarzanie strumieni danych o dużej objętości. 

Które przypadki użycia biznesowego wymagają MIDAS?

Aby uzyskać wgląd w wykrywanie anomalii stosowane we współczesnym świecie biznesu, przeprowadziliśmy wywiad z kanadyjskim dostawcą kryptowalut, NDAX. NDAX wykorzystuje wykrywanie anomalii w trzech obszarach swojej działalności. Ogólne operacje biznesowe, dział marketingu i zespół ds. zgodności. Wykrywanie anomalii pomaga identyfikować błędy, co pozwala poprawić wydajność witryny i proces wdrażania klientów. Umożliwia im także udzielanie wskazówek zespołom zajmującym się tworzeniem oprogramowania i obsługą zaplecza, dotyczących sposobów rozwiązywania tych problemów. Ruch w witrynie to kolejny obszar, który może wykorzystać siłę wykrywania anomalii. Zrozumienie wartości odstających w ruchu w witrynie zapewnia wgląd i lepsze zrozumienie zespołowi oceniającemu, co pozwala mu określić, czy kampania marketingowa działa, czy nie. Daje to wyraźniejszy obraz tego, na którym obszarze należy skoncentrować swoje wysiłki. Nasz ostatni przykład pokazuje, jak anomalia w rejestracji klienta pomaga zespołowi ds. zgodności zidentyfikować potencjalne oszustwo i zmniejszyć ryzyko klienta.

W naszej rozmowie z dyrektor ds. zgodności NDAX, Julią Baranowską, podkreślamy, jak ważne jest wykrywanie anomalii w czasie obecnej pandemii. W ciągu ostatnich kilku miesięcy liczba wykrytych oszustw wzrosła o 300%. Desperackie czasy w połączeniu z dużym ruchem w sieci sprzyjają wszelkiego rodzaju oszustwom, których celem są osoby bezrobotne i starsze. Dzięki wykrywaniu anomalii jesteśmy teraz w stanie przekształcić te odstające od normy wartości we wskaźniki oszustw lub trendy. Poniższy wykres pokazuje, jak zmieniała się liczba oszustw w pierwszej połowie tego roku.

Co z Twoją firmą?

Algorytmy wykrywania anomalii mogą pomóc firmom identyfikować nietypowe punkty danych i reagować na nie w wielu scenariuszach. Bankowy system bezpieczeństwa może wykorzystywać wykrywanie anomalii w celu identyfikacji nieuczciwych transakcji. Podobnie właściciele zakładów produkcyjnych polegają na wykrywaniu anomalii, aby radzić sobie z nieprawidłowo działającym sprzętem i wdrażać środki konserwacji predykcyjnej. W Sieci czujników IoT, wykrywanie anomalii jest wykorzystywane w ramach rozwiązań do monitorowania stanu i zapobiegania instalowaniu niepożądanego złośliwego oprogramowania. Konkluzja jest jasna: firmy mające dostęp do dużych ilości danych mogą stosować MIDAS (i ​​inne algorytmy wykrywania anomalii) w celu identyfikowania nietypowych wzorców w czasie rzeczywistym. 

Jaką strukturę mają Twoje dane i jak możemy pomóc Ci w opracowaniu nowoczesnego rozwiązania do wykrywania anomalii?

Napisz do nas i daj nam znać. The Niebieski Pomarańczowy Cyfrowy Zespół analityki danych z przyjemnością sprawi, że wykrywanie anomalii będzie działać również na Twoją korzyść!

główne źródło zdjęć: Canva