Anomalie biznesowe: Zapobieganie oszustwom za pomocą wykrywania anomalii

Wykrywanie anomalii za pomocą MIDAS

Wykrywanie anomalii stało się jednym z najbardziej przydatnych narzędzi machine learningu w ciągu ostatnich pięciu lat. Może być używane od oszustw do kontroli jakości. Czy jest możliwe izolowanie oszustów na stronach z recenzjami online? Czy można wykryć fałszywe transakcje finansowe, gdy występują? Czy dane z czujników mogą poinformować o awariach sieci energetycznej przed ich wystąpieniem?

Wykrywanie anomalii zapewnia odpowiedzi na pytania takie jak te. Identyfikacja anomalii w danych jest istotnym zadaniem zrozumienia danych. Poprzez eksponowanie dużych zbiorów danych na narzędzia machine learningu i metody statystyczne, można nauczyć się normalnych wzorców w danych. Gdy występują nieciągłe zdarzenia, algorytmy wykrywania anomalii mogą izolować nieprawidłowe zachowania i oznaczyć wszystkie zdarzenia, które nie odpowiadają nauczonym wzorcom. Taka funkcjonalność jest kluczowa w wielu przypadkach biznesowych. Wykrywanie anomalii umożliwia aplikacje w dużej liczbie sektorów, od bezpieczeństwa do finansów i monitorowania IoT.

Współczesne grafy są powszechne i są wspólną reprezentacją struktur danych. Zasilają zarówno aplikacje online, jak i offline. Kilka przykładów online to duże sieci społeczne, silniki rekomendacji produktów i grafy transakcji finansowych. W trybie offline: sieci drogowe, platformy IoT i czujniki napięcia w sieciach energetycznych są wszystkie źródłami dużych ilości danych w postaci grafów. Posiadanie danych reprezentowanych jako grafy przynosi zarówno korzyści, jak i wyzwania dla właścicieli tych zbiorów danych. Z jednej strony, umożliwia reprezentowanie punktów danych i ich relacji w wielowymiarowej przestrzeni. Z drugiej strony, potrzebne są skalowalne algorytmy do analizy i interpretacji danych. To doprowadziło do zwiększonego skupienia się na badaniach nad metodami takimi jak wykrywanie anomalii w danych grafowych.

Przyjrzyjmy się bliżej algorytmowi opracowanemu dla wykrywania anomalii w dynamicznych danych grafowych.

MIDAS

Wykrywacz anomalii oparty na mikroklasterach w strumieniach krawędzi (MIDAS) to algorytm, który rozwiązuje problem wykrywania anomalii w dynamicznych danych grafowych. Został opracowany przez badaczy z Narodowego Uniwersytetu w Singapurze, którzy twierdzą, że ich metoda przewyższa najlepsze podejścia. Ich metoda likwiduje najczęstszą wadę poprzednich implementacji wykrywania anomalii:

Poniżej znajduje się nowa linia bazowa dla wykrywania anomalii opracowana przez Siddartha Bhatię i jego zespół na Uniwersytecie w Singapurze

Przedstawiamy MIDAS: Nową linię bazową dla wykrywania anomalii w grafach. Źródło obrazu: Blog

Reprezentowanie danych jako statyczny graf

Statyczne grafy zawierają tylko informacje o połączeniach i ignorują informacje czasowe. Są również znane jako migawki grafu i mogą być używane tylko do wykrywania niezwykłych jednostek grafu (np. podejrzanych węzłów, krawędzi lub podgrafów). Jednak dla wielu praktycznych aplikacji aspekt czasowy jest równie ważny: istotne jest, aby wiedzieć kiedy struktura grafu uległa zmianie. Aby zilustrować, w statycznym grafie reprezentującym strumień ruchu sieciowego, krawędź informuje tylko o tym, że istnieje połączenie między adresem IP źródłowym a adresem IP docelowym. Ale opis czasowy krawędzi jest nieobecny i dlatego czas, kiedy dwa adresy połączyły się, jest nieznany. Ponieważ statyczne grafy nie mogły modelować takich informacji czasowych, metody wykrywania anomalii oparte na takich grafach zapewniają tylko ograniczone wsparcie dla aplikacji świata rzeczywistego.

Z drugiej strony, MIDAS obsługuje dane przechowywane w dynamicznym grafie. Każdy z elementów grafu ma skojarzony znacznik czasu, reprezentujący czas, kiedy element ten został dodany do grafu. Kontynuując przykład powyżej, dynamiczny graf ruchu sieciowego również informuje o kiedy wystąpiło połączenie między dwoma adresami IP. Znak czasu zmienia się, gdy istniejąca krawędź lub węzeł jest aktualizowany, lub gdy nowe krawędzie są dodawane do grafu. Jak takie grafy dynamiczne są strukturą ewoluującą w czasie, co lepiej odpowiada wielu aplikacjom świata rzeczywistego, które są dynamiczne. Umożliwiają one wykorzystanie zarówno informacji o połączeniach, jak i czasowych do wykrywania podejrzanych elementów grafu. Na podstawie tej możliwości MIDAS może wykrywać anomalie w czasie rzeczywistym i tym samym oferuje wsparcie dla wielu przypadków biznesowych.

MIDAS jest zoptymalizowany do pracy na dynamicznych danych grafowych. Jak widzieliśmy powyżej, dynamiczne grafy umożliwiają reprezentowanie danych, które zmieniają się w czasie. Jednak oznacza to również, że sama struktura grafu zmienia się w czasie. To wprowadza pewne wyzwania dla algorytmów wykrywania anomalii, które mają na celu wykorzystanie tych danych w aplikacjach w czasie rzeczywistym. Jednym z przykładów jest skalowalność metody w odniesieniu do zmieniających się cech grafu. Biorąc pod uwagę duże objętości danych odpowiadające niektórym aplikacjom, algorytmy muszą być liniowo skalowalne do rozmiaru grafu. MIDAS działa w trybie online i przetwarza każdą krawędź w stałym czasie i pamięci. Autorzy również donoszą, że algorytm działa „162-633 razy szybciej niż najlepsze podejścia”. To sprawia, że algorytm jest odpowiedni dla aplikacji w czasie rzeczywistym, gdzie przetwarzanie strumieni danych o dużej objętości jest konieczne.

Jakie przypadki biznesowe wymagają MIDAS?

Aby uzyskać nieco wglądu w wykrywanie anomalii wykorzystywane w dzisiejszym świecie biznesu, przeprowadziliśmy wywiad z kanadyjskim dostawcą kryptowalut, NDAX. NDAX wykorzystuje wykrywanie anomalii w trzech obszarach swojej działalności. Ogólne operacje biznesowe, dział marketingu i zespół compliance. Wykrywanie anomalii pomaga identyfikować błędy, co pozwala im poprawić wydajność strony internetowej i proces onboardingu klienta. Pozwala im również zapewnić wskazówki dla zespołów rozwoju oprogramowania i operacji back-office, jak rozwiązać te problemy. Ruch na stronie internetowej jest kolejnym obszarem, który może wykorzystać moc wykrywania anomalii. Zrozumienie outlierów w ruchu na stronie internetowej daje wgląd i lepsze zrozumienie zespołowi marketingowemu, co pozwala im określić, czy kampania marketingowa działa, czy nie. To daje wyraźniejszy obraz, który obszar jest najważniejszy, aby skoncentrować swoje wysiłki. Nasz ostatni przykład to to, jak anomalia podczas rejestracji klienta pomaga zespołowi compliance w identyfikowaniu potencjalnych oszustw i redukowaniu ryzyka klienta.

W naszej rozmowie z Chief Compliance Officer NDAX, Julią Baranovską, podkreśla się, jak wykrywanie anomalii zyskało na znaczeniu podczas obecnej pandemii. Był 300% wzrost wykrytych oszustw w ciągu ostatnich kilku miesięcy. Desperackie czasy w połączeniu z dużym ruchem internetowym zapraszają na oszustwa wszystkich rodzajów, które atakują osoby bezrobotne i starsze. Z wykrywaniem anomalii jesteśmy teraz w stanie przekształcić te outliers w wskaźniki oszustw lub trendów. Poniższy wykres pokazuje, jak oszustwa wahają się w pierwszej połowie tego roku.

NDAX stwierdził wzrost oszustw w Q2, szczególnie oszustw dotyczących starszych osób i fałszywych ofert pracy.

Co z Twoim biznesem?

Algorytmy wykrywania anomalii mogą pomóc firmom identyfikować i reagować na niezwykłe punkty danych w wielu scenariuszach. System bezpieczeństwa banku może wykorzystywać wykrywanie anomalii do identyfikacji fałszywych transakcji. Podobnie, właściciele zakładów produkcyjnych polegają na wykrywaniu anomalii w celu radzenia sobie z uszkodzonym sprzętem i wdrażania środków konserwacji predykcyjnej. W sieciach sensorów IoT, wykrywanie anomalii jest wykorzystywane jako część rozwiązań monitorowania stanu i zapobiegania niepożądanemu wdrożeniu złośliwego oprogramowania. Punkt kulminacyjny jest klarowny: firmy, które mają dostęp do dużych ilości danych, mogą wykorzystywać MIDAS (i inne algorytmy wykrywania anomalii), aby identyfikować niezwykłe wzorce w czasie rzeczywistym.

Jak są zorganizowane Twoje dane i jak możemy pomóc Ci w ustawieniu nowoczesnego rozwiązania wykrywania anomalii? Napisz do nas i daj nam znać. Zespół data science Blue Orange Digital jest szczęśliwy, aby sprawić, że wykrywanie anomalii będzie działać na Twoją korzyść!

Źródło głównego obrazu: Canva