Anomalie biznesowe: Zapobieganie oszustwom za pomocą wykrywania anomalii

Wykrywanie anomalii z MIDAS

Wykrywanie anomalii stało się jednym z najbardziej przydatnych narzędzi machine learningu w ciągu ostatnich pięciu lat. Może być stosowane od oszustw do kontroli jakości. Czy jest możliwe izolowanie oszustów na stronach internetowych z recenzjami? Czy można wykryć transakcje finansowe jako nieprawidłowe, gdy występują? Czy dane z czujników mogą poinformować o awariach sieci energetycznej przed ich wystąpieniem?

Wykrywanie anomalii zapewnia odpowiedzi na pytania takie jak te. Identyfikacja anomalii w danych jest istotnym zadaniem zrozumienia danych. Poprzez eksponowanie dużych zbiorów danych na narzędzia machine learningu i metody statystyczne, można nauczyć się normalnych wzorców w danych. Gdy występują nieprawidłowe zdarzenia, algorytmy wykrywania anomalii mogą izolować nieprawidłowe zachowania i oznaczyć zdarzenia, które nie odpowiadają nauczonym wzorcom. Taka funkcjonalność jest niezwykle istotna w wielu przypadkach biznesowych. Wykrywanie anomalii umożliwia zastosowania w dużej liczbie sektorów, od bezpieczeństwa do finansów i monitorowania IoT.

Współczesne grafy są powszechne i stanowią wspólną reprezentację dużych struktur danych. Zasilają zarówno aplikacje online, jak i offline. Przykładami aplikacji online są duże sieci społeczne, silniki rekomendacji produktów i grafy transakcji finansowych. W przypadku aplikacji offline: sieci drogowe, platformy IoT i czujniki napięcia w sieciach energetycznych są wszystkie źródłami dużych ilości danych w postaci grafów. Posiadanie danych reprezentowanych jako grafy przynosi zarówno korzyści, jak i wyzwania dla właścicieli tych zbiorów danych. Z jednej strony, pozwala na reprezentowanie punktów danych i ich relacji w wielowymiarowej przestrzeni. Z drugiej strony, wymaga się skalowalnych algorytmów do analizy i interpretacji danych. To doprowadziło do zwiększonego skupienia się na badaniach nad metodami takimi jak wykrywanie anomalii w danych grafowych.

Przyjrzyjmy się bliżej algorytmowi opracowanemu dla wykrywania anomalii w dynamicznych danych grafowych.

MIDAS

Mikroklasterowy detektor anomalii w strumieniach krawędzi (MIDAS) to algorytm, który rozwiązuje problem wykrywania anomalii w dynamicznych danych grafowych. Został opracowany przez badaczy z Narodowego Uniwersytetu w Singapurze, którzy twierdzą, że ich metoda przewyższa dotychczasowe podejścia. Ich metoda likwiduje najczęstszy mankament poprzednich implementacji wykrywania anomalii:

Poniżej znajduje się nowa baza dla wykrywania anomalii opracowana przez Siddartha Bhatię i jego zespół na Uniwersytecie w Singapurze

Przedstawiamy MIDAS: Nową bazę dla wykrywania anomalii w grafach. Źródło obrazu: Blog

Reprezentowanie danych jako statycznego grafu

Statyczne grafy zawierają tylko informacje o połączeniach i ignorują informacje czasowe. Są również znane jako migawki grafów i mogą być używane tylko do wykrywania niezwykłych jednostek grafu (np. podejrzanych węzłów, krawędzi lub podgrafów). Jednak dla wielu praktycznych zastosowań aspekt czasowy jest równie ważny: ważne jest, aby wiedzieć kiedy struktura grafu uległa zmianie. Aby zilustrować to, w statycznym grafie reprezentującym strumień ruchu sieciowego, krawędź informuje tylko o tym, że istnieje połączenie między adresem IP źródłowym a adresem IP docelowym. Ale opis czasowy krawędzi jest nieobecny, a zatem czas, kiedy dwa adresy połączyły się, jest nieznany. Ponieważ statyczne grafy nie mogą modelować takich informacji czasowych, metody wykrywania anomalii oparte na takich grafach zapewniają tylko ograniczone wsparcie dla aplikacji świata rzeczywistego.

Z drugiej strony, MIDAS obsługuje dane przechowywane w dynamicznym grafie. Każdy z elementów grafu ma skojarzony znacznik czasu, reprezentujący czas, kiedy element ten został dodany do grafu. Kontynuując przykład powyżej, dynamiczny graf ruchu sieciowego również informuje o kiedy połączenie między dwoma adresami IP wystąpiło. Znak czasu zmienia się, gdy istniejąca krawędź lub węzeł jest aktualizowany, lub gdy nowe krawędzie są dodawane do grafu. Jak takie grafy dynamiczne są strukturą ewoluującą w czasie, lepiej pasują do wielu aplikacji świata rzeczywistego, które są dynamiczne. Umożliwiają one wykorzystanie zarówno połączeń, jak i informacji czasowych do wykrywania podejrzanych elementów grafu. Na podstawie tej możliwości MIDAS może wykrywać anomalie w czasie rzeczywistym i oferuje wsparcie dla wielu przypadków biznesowych.

MIDAS jest zoptymalizowany do pracy na dynamicznych danych grafowych. Jak widzieliśmy powyżej, dynamiczne grafy umożliwiają reprezentowanie danych, które zmieniają się w czasie. Jednakże oznacza to również, że struktura samego grafu zmienia się w czasie. To wprowadza pewne wyzwania dla algorytmów wykrywania anomalii, które mają na celu wykorzystanie tych danych w aplikacjach czasu rzeczywistego. Przykładem jest skalowalność metody w odniesieniu do zmieniających się cech grafu. Biorąc pod uwagę duże objętości danych odpowiadające niektórym aplikacjom, algorytmy muszą być liniowo skalowalne w odniesieniu do rozmiaru grafu. MIDAS działa w trybie online i przetwarza każdą krawędź w stałym czasie i stałej pamięci. Autorzy również donoszą, że algorytm działa „162-633 razy szybciej niż dotychczasowe podejścia”. To sprawia, że algorytm jest odpowiedni dla aplikacji czasu rzeczywistego, gdzie przetwarzanie strumieni danych o dużej objętości jest konieczne.

Jakie przypadki biznesowe wymagają MIDAS?

Aby uzyskać nieco wglądu w wykorzystanie wykrywania anomalii w dzisiejszym świecie biznesu, przeprowadziliśmy wywiad z kanadyjskim dostawcą kryptowalut, NDAX. NDAX wykorzystuje wykrywanie anomalii w trzech obszarach swojej działalności. Ogólne operacje biznesowe, dział marketingu i zespół compliance. Wykrywanie anomalii pomaga identyfikować błędy, co pozwala na poprawę wydajności strony internetowej i procesu onboardingu klientów. Pozwala również na udzielanie wskazówek zespołom developerskim i operacyjnym na temat rozwiązywania tych problemów. Ruch na stronie internetowej to kolejny obszar, który może wykorzystać moc wykrywania anomalii. Zrozumienie outlierów w ruchu na stronie internetowej daje wgląd i lepsze zrozumienie zespołowi marketingowemu, co pozwala na identyfikację, czy kampania marketingowa jest skuteczna, czy nie. To daje klarowny obraz, jaki obszar jest najważniejszy, aby skoncentrować swoje wysiłki. Nasz ostatni przykład to to, jak wykrywanie anomalii w procesie rejestracji klienta pomaga zespołowi compliance w identyfikowaniu potencjalnych oszustw i redukowaniu ryzyka klienta.

W naszej rozmowie z Chief Compliance Officer NDAX, Julią Baranowską, podkreśla się, jak wykrywanie anomalii stało się jeszcze bardziej istotne podczas obecnej pandemii. Doszło do 300% wzrostu wykrytych oszustw w ciągu ostatnich kilku miesięcy. Trudne czasy w połączeniu z dużym ruchem internetowym zapraszają na oszustwa wszystkich rodzajów, które atakują bezrobotnych i starszych. Dzięki wykrywaniu anomalii jesteśmy teraz w stanie przekształcić te outliers w wskaźniki oszustw lub trendy. Poniższy wykres pokazuje, jak oszustwa wahają się w pierwszej połowie tego roku.

NDAX odnotował wzrost oszustw w II kwartale, szczególnie oszustw dotyczących starszych osób i fałszywych ofert pracy.

Co z Twoim biznesem?

Algorytmy wykrywania anomalii mogą pomóc firmom identyfikować i reagować na niezwykłe punkty danych w wielu scenariuszach. System bezpieczeństwa banku może wykorzystywać wykrywanie anomalii do identyfikacji transakcji nieprawidłowych. Podobnie, właściciele zakładów produkcyjnych polegają na wykrywaniu anomalii w celu radzenia sobie z uszkodzonymi maszynami i wdrażania środków konserwacji predykcyjnej. W sieciach sensorów IoT, wykrywanie anomalii jest wykorzystywane jako część rozwiązań monitorowania stanu i zapobiegania niepożądanemu wdrożeniu złośliwego oprogramowania. Podstawowy punkt jest jasny: firmy, które mają dostęp do dużych ilości danych, mogą wykorzystywać MIDAS (i inne algorytmy wykrywania anomalii), aby identyfikować niezwykłe wzorce w czasie rzeczywistym.

Jak są zorganizowane Twoje dane i jak możemy pomóc Ci w ustawieniu nowoczesnego rozwiązania do wykrywania anomalii?

Napisz do nas i daj nam znać. Zespół data science Blue Orange Digital chętnie sprawi, aby wykrywanie anomalii działało na Twoją korzyść również!

Źródło głównego obrazu: Canva