Podnikové anomálie: prevence podvodů pomocí detekce anomálií

Detekce anomálií s MIDAS

Detekce anomálií se stala jedním z nejúžitečnějších nástrojů strojového učení za posledních pět let. Může být použita od prevence podvodů až po kontrolu kvality. Je možné izolovat podvodníky na webových stránkách s recenzemi? Je možné detekovat podvodné finanční transakce, zatímco se vyskytují? Je možné, aby data ze senzorů informovala o selháních elektrické sítě, než k nim dojde?

Detekce anomálií poskytuje odpovědi na otázky, jako jsou tyto. Identifikace anomálií v datech je zásadní úloha pro pochopení dat. Exponováním velkých datových sad nástrojům strojového učení a statistickým metodám lze naučit normální vzorce v datech. Když nastanou nekonzistentní události, algoritmy detekce anomálií mohou izolovat abnormální chování a označit události, které neodpovídají naučeným vzorcům. Taková funkcionalita je zásadní v mnoha obchodních případech. Detekce anomálií umožňuje aplikace v mnoha odvětvích, od bezpečnosti až po finance a monitoring IoT.

Webové grafy jsou dnes všudypřítomné a jsou běžným způsobem reprezentace velkých datových struktur. Pohánějí jak online, tak offline aplikace. Některé online příklady jsou velké sociální sítě, systémy doporučení produktů a finanční transakční grafy. Offline: silniční sítě, platformy IoT a napěťové senzory v elektrických sítích jsou všechny zdroje velkých množství grafických dat. To, že data jsou reprezentována jako grafy, přináší jak výhody, tak výzvy pro vlastníky těchto datových sad. Na jedné straně umožňuje reprezentovat datové body a jejich vztahy v multi-dimenzionálním prostoru. Na druhé straně jsou potřebné škálovatelné algoritmy pro analýzu a interpretaci dat. To vedlo k zvýšenému výzkumnému zaměření na metody, jako je detekce anomálií v grafických datech.

Podívejme se blíže na jeden z nejmodernějších algoritmů vyvinutých pro detekci anomálií v dynamických grafických datech.

MIDAS

Microcluster-Based Detector of Anomalies in Edge Streams (MIDAS) je algoritmus, který řeší detekci anomálií v dynamických grafických datech. Byl vyvinut výzkumníky z Národní univerzity v Singapuru, kteří tvrdí, že jejich metoda překonává stávající přístupy. Jejich metoda odstraňuje nejčastější nedostatek předchozích implementací detekce anomálií:

Níže je nový baseline pro detekci anomálií vyvinutý Siddarthem Bhatiou a jeho týmem na Univerzitě v Singapuru

Introducing MIDAS: A New Baseline for Anomaly Detection in Graphs. Image Source: Blog

Reprezentace dat jako statického grafu

Statické grafy obsahují pouze informace o propojení a ignorují časové informace. Jsou také známé jako grafické snímky a lze je použít pouze pro identifikaci neobvyklých grafických entit (například podezřelých uzlů, hran nebo subgrafů). Nicméně, pro mnoho praktických aplikací je časový aspekt stejně důležitý: je relevantní vědět, kdy se změnila struktura grafu. Pro ilustraci, v statickém grafu reprezentujícím síťový provoz, hrana pouze informuje o existenci propojení mezi zdrojovou IP adresou a cílovou IP adresou. Ale časové informace o hraně chybí a tudíž je neznámé, kdy se dvě adresy spojily. Protože statické grafy nemohou modelovat takové časové informace, metody detekce anomálií postavené na těchto grafech poskytují pouze omezenou podporu pro reálné aplikace.

Na druhé straně MIDAS zpracovává data uložená v dynamickém grafu. Každý prvek v grafu má přidružený časový údaj, reprezentující čas, kdy byl prvek přidán do grafu. Pokračujme v příkladu výše, dynamický síťový graf by také informoval o kdy došlo ke spojení mezi dvěma IP adresami. Časový údaj se mění, kdykoli je aktualizován existující hrana nebo uzel, nebo kdy jsou do grafu přidány nové hrany. Jako takový, dynamické grafy jsou časově se vyvíjející struktura, která lépe vyhovuje mnoha reálným aplikacím, které jsou dynamické povahy. Umožňují použití jak propojení, tak časových informací pro detekci podezřelých grafických prvků. Na základě této schopnosti MIDAS může detekovat anomálie v reálném čase a nabízí tak podporu pro mnoho obchodních případů.

MIDAS je optimalizován pro práci s dynamickými grafickými daty. Jak jsme viděli výše, dynamické grafy umožňují reprezentovat časově se měnící data. To však také znamená, že struktura grafu se sama mění v čase. To představuje určité výzvy pro algoritmy detekce anomálií, které mají za cíl použít tato data v reálném čase. Jedním z příkladů je škálovatelnost metody ve vztahu ke změnám charakteristik grafu. Vzhledem k velkým objemům dat, které odpovídají některým aplikacím, algoritmy musí být lineárně škálovatelné podle velikosti grafu. MIDAS běží v online režimu a zpracovává každou hranu v konstantním čase a konstantní paměti. Autoři také uvádějí, že algoritmus běží „162-633krát rychleji než stávající přístupy“. To činí algoritmus vhodným pro aplikace v reálném čase, kde je zpracování velkých objemů dat nezbytné.

Jaké obchodní případy potřebují MIDAS?

Abychom získali trochu přehledu o tom, jak je detekce anomálií využívána v dnešním obchodním světě, jsme provedli rozhovor s kanadským poskytovatelem kryptoměn, NDAX. NDAX používá detekci anomálií ve třech oblastech svého podnikání. Obecné obchodní operace, marketingový odbor a compliance tým. Detekce anomálií pomáhá identifikovat chyby, které umožňují zlepšit výkon webu a proces onboardingu klientů. Také umožňuje poskytnout pokyny týmu pro software a back-office operace, jak tyto problémy řešit. Webový provoz je další oblast, která může využít sílu detekce anomálií. Porozumění outlierům webového provozu poskytuje přehled a lepší pochopení marketingovému týmu, které umožňuje identifikovat, zda marketingová kampaň funguje nebo ne. To tak poskytuje jasnější obraz o tom, na kterou oblast se soustředit. Naším posledním příkladem je, jak anomálie při registraci klienta pomáhá compliance týmu identifikovat potenciální podvody a snížit riziko klienta.

V naší diskusi s NDAX Chief Compliance Officer, Julii Baranovskou, je zdůrazněna důležitost detekce anomálií během současné pandemie. Bylo zaznamenáno 300% zvýšení počtu detekovaných podvodů v posledních několika měsících. Zoufalé časy v kombinaci s vysokým online provozem lákají podvody všech druhů, které cílí na nezaměstnané a seniory. S detekcí anomálií jsme nyní schopni tyto outliery přeměnit na indikátory podvodů nebo trendů. Následující graf ukazuje, jak se podvody změnily v první polovině tohoto roku.

NDAX zaznamenal nárůst podvodů ve 2. čtvrtletí, zejména podvodů zaměřených na seniory a falešné inzeráty práce.

Co se týče vašeho podnikání?

Algoritmy detekce anomálií mohou pomoci podnikům identifikovat a reagovat na neobvyklé datové body v mnoha scénářích. Systém bankovní bezpečnosti může použít detekci anomálií pro identifikaci podvodných transakcí. Stejně tak majitelé výrobních závodů spoléhají na detekci anomálií pro řešení poruchného vybavení a implementaci preventivních údržbářských opatření. V sítích IoT senzorů je detekce anomálií používána jako součást řešení pro monitorování stavu a prevenci nežádoucího nasazení malwaru. Hlavní věc je jasná: podniky, které mají přístup k velkým objemům dat, mohou použít MIDAS (a další algoritmy detekce anomálií) pro identifikaci neobvyklých vzorců v reálném čase.

Jak jsou vaše data strukturována a jak bychom vám mohli pomoci nastavit moderní řešení pro detekci anomálií?

Napište nám a dejte nám vědět. Tým Blue Orange Digital je šťastný, že pomůže vám s detekcí anomálií pro váš prospěch!

Hlavní zdroj obrázku: Canva