Anomalii de afaceri: prevenirea fraudei cu detectarea anomaliilor

Detectarea anomaliilor cu MIDAS

Detectarea anomaliilor a devenit unul dintre cele mai utile instrumente de învățare automată din ultimii cinci ani. Poate fi folosit de la fraudă la controlul calității. Este posibil să izolați fraudatorii pe site-urile de recenzii online? Pot fi detectate tranzacțiile financiare frauduloase pe măsură ce apar? Datele senzorilor în timp real pot informa despre defecțiunile rețelei electrice înainte ca acestea să apară?

Detectarea anomaliilor oferă răspunsuri la întrebări ca acestea. Identificarea anomaliilor în date este o sarcină vitală de înțelegere a datelor. Prin expunerea unor seturi mari de date la instrumente de învățare automată și metode statistice, pot fi învățate modele normale în date. Când apar evenimente inconsecvente, algoritmii de detectare a anomaliilor pot izola comportamentul anormal și pot semnala orice evenimente care nu corespund tiparelor învățate. O astfel de funcționalitate este crucială în multe cazuri de utilizare în afaceri. Detectarea anomaliilor permite aplicații într-un număr mare de sectoare, de la securitate la finanțare și Monitorizare IoT. 

Graficele la scară web sunt în prezent omniprezente și sunt o reprezentare comună a structurilor de date mari. Acestea alimentează atât aplicațiile online, cât și offline. Câteva exemple online sunt rețelele sociale mari, motoarele de recomandare de produse și graficele tranzacțiilor financiare. În offline: rețelele de drumuri, platformele IoT și senzorii de tensiune din rețelele electrice sunt toate surse de cantități mari de date de tip grafic. Prezentarea datelor sub formă de grafice aduce atât beneficii, cât și provocări proprietarilor seturilor de date menționate. Pe de o parte, permite reprezentarea punctele de date și relațiile lor într-un spațiu multidimensional. Pe de altă parte, sunt necesari algoritmi scalabili pentru analiza și interpretarea datelor. Acest lucru a dus la o concentrarea sporită a cercetării pe metode precum detectarea anomaliilor pe datele graficului.

Să aruncăm o privire mai atentă la un algoritm de ultimă generație dezvoltat pentru detectarea anomaliilor în datele grafice dinamice.

MIDAS

Detector de anomalii în fluxurile de margine bazat pe microcluster (MIDAS) este un algoritm care abordează detectarea anomaliilor dinamic date grafice. A fost dezvoltat de cercetători de la Universitatea Națională din Singapore care susțin că metoda lor depășește abordările de ultimă generație. Metoda lor atenuează cel mai frecvent neajuns al implementărilor anterioare de detectare a anomaliilor:

Mai jos este noua linie de bază pentru detectarea anomaliilor dezvoltată de Siddarth Bhatia și echipa sa de la Universitatea din Singapore

Prezentarea MIDAS: O nouă linie de bază pentru detectarea anomaliilor în grafice. Sursa imagine: Blog

Reprezentarea datelor ca a static grafic

Graficele statice conțin doar informații de conectivitate și ignoră informațiile temporale. Ele sunt cunoscute și sub denumirea de instantanee de grafic și pot fi utilizate numai pentru a identifica entități neobișnuite ale graficului (de exemplu, noduri, margini sau subgrafe suspecte). Cu toate acestea, pentru multe aplicații practice, aspectul temporal este la fel de important: este relevant să cunoaștem cand structura graficului s-a schimbat. Pentru a ilustra, într-un grafic static care reprezintă fluxul de trafic de rețea, o margine informează doar că există o conexiune între o adresă IP sursă și o adresă IP destinație. Dar descrierea temporală a marginii lipsește și, prin urmare, timpul în care cele două adrese conectate este necunoscut. Deoarece graficele statice nu pot modela astfel de informații temporale, metodele de detectare a anomaliilor construite pe deasupra unor astfel de grafice oferă doar suport limitat pentru aplicațiile din lumea reală.

Pe de altă parte, MIDAS gestionează datele stocate într-un dinamic grafic. Fiecare dintre elementele din grafic are asociat un marcaj de timp, reprezentând momentul în care acel element a fost adăugat în grafic. Urmând exemplul de mai sus, un grafic de trafic dinamic în rețea ar informa și despre cand a avut loc o conexiune între două adrese IP. Marcajul temporal se modifică ori de câte ori o muchie existentă sau un nod este actualizat sau când se adaugă noi muchii la grafic. Ca atare, graficele dinamice sunt o structură care evoluează în timp care se potrivește mai bine multor aplicații din lumea reală, care sunt de natură dinamică. Acestea fac posibilă utilizarea atât a informațiilor de conectivitate, cât și de timp pentru detectarea elementelor de grafică suspecte. Pe baza acestei capacități, MIDAS poate detecta anomalii în timp real și oferă astfel suport pentru multe cazuri de utilizare în afaceri.

MIDAS este optimizat pentru a lucra pe datele grafice dinamice. După cum am văzut mai sus, graficele dinamice fac posibilă reprezentarea datelor care variază în timp. Cu toate acestea, acest lucru înseamnă și că structura graficului în sine se modifică în timp. Acest lucru introduce anumite provocări pentru algoritmii de detectare a anomaliilor care urmăresc să utilizeze aceste date în aplicații în timp real. Un exemplu este scalabilitatea metodei în ceea ce privește modificarea caracteristicilor graficului. Având în vedere volumele mari de date corespunzătoare unor aplicații, algoritmii trebuie să fie scalabili liniar la dimensiunea graficului. MIDAS rulează online și procesează fiecare margine în timp constant și memorie constantă. Autorii raportează, de asemenea, că algoritmul rulează „De 162-633 de ori mai rapid decât abordările de ultimă generație”. Acest lucru face ca algoritmul să fie potrivit pentru aplicații în timp real, unde este necesară procesarea fluxurilor de date cu volum mare. 

Ce cazuri de utilizare în afaceri au nevoie de MIDAS?

Pentru a obține o mică perspectivă asupra detectării anomaliilor utilizată în lumea afacerilor de astăzi, am intervievat un furnizor de criptomonede din Canada, NDAX. NDAX utilizează detectarea anomaliilor în trei domenii ale afacerii lor. Operațiuni generale de afaceri, departamentul de marketing și echipa de conformitate. Detectarea anomaliilor ajută la identificarea erorilor, ceea ce le permite să îmbunătățească performanța site-ului și procesul de integrare a clienților. De asemenea, le permite să ofere îndrumări echipelor de dezvoltare de software și operațiuni de back-office cu privire la modul de rezolvare a acestor probleme. Traficul site-ului este un alt domeniu care poate valorifica puterea de detectare a anomaliilor. Înțelegerea valorii aberante din traficul site-ului oferă o perspectivă și o înțelegere mai bună echipei de marcare, ceea ce le permite să identifice dacă o campanie de marketing funcționează sau nu. Oferind astfel o imagine mai clară a zonei care este cea mai importantă pentru a-și concentra eforturile. Ultimul nostru exemplu este modul în care anomalia de înscriere a clientului ajută echipa de conformitate să identifice potențiala fraudă și să reducă riscul clientului.

În discuția noastră cu directorul de conformitate al NDAX, Julia Baranovskaya subliniază modul în care importanța detectării anomaliilor a fost subliniată în timpul pandemiei actuale. În ultimele luni s-a înregistrat o creștere cu 300% a numărului de fraude detectate. Vremurile disperate, combinate cu traficul online ridicat, invită la tot felul de escrocherii care vizează șomerii și persoanele în vârstă. Cu detectarea anomaliilor, suntem acum capabili să transformăm aceste valori aberante în indicatori de fraudă sau tendințe. Graficul următor arată cum a fluctuat frauda în prima jumătate a acestui an.

Dar afacerea ta?

Algoritmii de detectare a anomaliilor pot ajuta companiile să identifice și să reacționeze la puncte de date neobișnuite în mai multe scenarii. Un sistem de securitate bancar poate utiliza detectarea anomaliilor pentru identificarea tranzacțiilor frauduloase. De asemenea, proprietarii fabricilor de producție se bazează pe detectarea anomaliilor pentru a face față echipamentelor defectuoase și pentru a implementa măsuri de întreținere predictivă. În Rețele de senzori IoT, detectarea anomaliilor este utilizată ca parte a soluțiilor de monitorizare a stării și pentru prevenirea implementării nedorite de malware. Punctul de jos este clar: companiile care au acces la cantități mari de date pot folosi MIDAS (și alți algoritmi de detectare a anomaliilor) pentru a identifica modele neobișnuite în timp real. 

Cum sunt structurate datele dvs. și cum vă putem ajuta să configurați o soluție modernă de detectare a anomaliilor?

Trimite-ne un rând și anunță-ne. The Digital Orange Orange Echipa de știință a datelor este bucuroasă să facă ca detectarea anomaliilor să funcționeze și în beneficiul dumneavoastră!

sursa principală a imaginii: Canva