Anomalii de Afaceri: Prevenirea Fraudei cu Detectarea Anomaliilor

Detectarea Anomaliilor cu MIDAS

Detectarea anomaliilor a devenit unul dintre cele mai utile instrumente de învățare automată din ultimii cinci ani. Poate fi utilizată de la fraudă la controlul calității. Este posibil să izolăm fraudele pe site-urile de recenzii online? Pot fi detectate tranzacțiile financiare frauduloase în timp ce au loc? Pot informa datele senzorilor live despre eșecurile rețelei electrice înainte de a se întâmpla?

Detectarea anomaliilor oferă răspunsuri la întrebări de acest fel. Identificarea anomaliilor în date este o sarcină vitală de înțelegere a datelor. Prin expunerea unor seturi de date mari la instrumente de învățare automată și metode statistice, pot fi învățate modelele normale din date. Când apar evenimente inconsistente, algoritmii de detectare a anomaliilor pot izola comportamentul anormal și marca orice evenimente care nu corespund modelelor învățate. O astfel de funcționalitate este crucială în multe cazuri de utilizare a afacerilor. Detectarea anomaliilor permite aplicații într-un număr mare de sectoare, de la securitate la finanțe și monitorizarea IoT.

Grafurile la scară largă sunt astăzi ubicue și sunt o reprezentare comună a structurilor de date mari. Ele alimentează atât aplicațiile online, cât și pe cele offline. Câteva exemple online sunt rețelele sociale mari, motoarele de recomandare de produse și grafurile tranzacțiilor financiare. În offline: rețelele de drumuri, platformele IoT și senzorii de voltaj din rețelele electrice sunt toate surse de cantități mari de date sub formă de graf. Având date reprezentate sub formă de grafuri aduce atât beneficii, cât și provocări pentru deținătorii acestor seturi de date. Pe de o parte, permite reprezentarea punctelor de date și a relațiilor lor într-un spațiu multi-dimensional. Pe de altă parte, sunt necesare algoritmi scalabili pentru analiza și interpretarea datelor. Acest lucru a condus la o creștere a accentului cercetării asupra metodelor cum ar fi detectarea anomaliilor în datele grafice.

Să aruncăm o privire mai atentă asupra unui algoritm de ultimă generație dezvoltat pentru detectarea anomaliilor în datele grafice dinamice.

MIDAS

Detector de Anomalii în Fluxuri de Muchii pe Baza de Microcluster (MIDAS) este un algoritm care abordează detectarea anomaliilor în datele grafice dinamice. A fost dezvoltat de cercetători de la Universitatea Națională din Singapore, care susțin că metoda lor depășește abordările actuale. Metoda lor atenuează cea mai comună deficiență a implementărilor anterioare de detectare a anomaliilor:

Mai jos este noua linie de bază pentru detectarea anomaliilor dezvoltată de Siddarth Bhatia și echipa sa de la Universitatea din Singapore

Prezentarea MIDAS: O Nouă Linie de Bază pentru Detectarea Anomaliilor în Grafuri. Sursa imaginii: Blog

Reprezentarea datelor sub formă de graf static

Grafurile statice conțin doar informații de conectivitate și ignoră informațiile temporale. Sunt cunoscute și sub numele de instantanee grafice și pot fi utilizate doar pentru detectarea entităților grafice neobișnuite (de exemplu, noduri, muchii sau subgrafuri suspecte). Cu toate acestea, pentru multe aplicații practice, aspectul temporal este la fel de important: este relevant să știm când structura grafică a fost modificată. Pentru a ilustra, într-un grafic static care reprezintă un flux de trafic de rețea, o muchie informează doar că există o conexiune între o adresă IP sursă și o adresă IP de destinație. Dar descrierea temporală a muchiei lipsește și, prin urmare, momentul în care cele două adrese s-au conectat este necunoscut. Deoarece grafurile statice nu ar putea modela astfel de informații temporale, metodele de detectare a anomaliilor construite pe baza unor astfel de grafuri oferă doar o suport limitat pentru aplicațiile din lumea reală.

Pe de altă parte, MIDAS gestionează datele stocate într-un graf dinamic. Fiecare element din graf are asociat un timestamp, care reprezintă momentul în care acel element a fost adăugat în graf. Continuând exemplul de mai sus, un grafic de trafic de rețea dinamic ar informa și despre când a avut loc o conexiune între două adrese IP. Timestamp-ul se modifică ori de câte ori o muchie sau un nod existent este actualizat sau când sunt adăugate noi muchii în graf. Astfel, grafurile dinamice sunt o structură care evoluează în timp și se potrivesc mai bine multor aplicații din lumea reală, care sunt dinamice prin natura lor. Ele permit utilizarea atât a conectivității, cât și a informațiilor temporale pentru detectarea elementelor grafice suspecte. Pe baza acestei capacități, MIDAS poate detecta anomalii în timp real și, prin urmare, oferă suport pentru multe cazuri de utilizare a afacerilor.

MIDAS este optimizat pentru a funcționa pe date grafice dinamice. Așa cum am văzut mai sus, grafurile dinamice permit reprezentarea datelor care variază în timp. Cu toate acestea, acest lucru înseamnă și că structura grafică în sine se schimbă de-a lungul timpului. Acest lucru introduce anumite provocări pentru algoritmii de detectare a anomaliilor care își propun să utilizeze aceste date în aplicații în timp real. Un exemplu este scalabilitatea metodei în ceea ce privește caracteristicile graficului în schimbare. Având în vedere volumele mari de date corespunzătoare unor aplicații, algoritmii trebuie să fie liniar scalabili în funcție de mărimea graficului. MIDAS rulează în mod online și procesează fiecare muchie în timp constant și memorie constantă. Autorii raportează, de asemenea, că algoritmul rulează „162-633 de ori mai rapid decât abordările actuale”. Acest lucru face ca algoritmul să fie potrivit pentru aplicații în timp real, unde procesarea fluxurilor de date de mare volum este necesară.

Care sunt cazurile de utilizare a afacerilor care necesită MIDAS?

Pentru a obține o mică perspectivă asupra detectării anomaliilor utilizate în lumea afacerilor de astăzi, am intervievat furnizorul de criptomonede din Canada, NDAX. NDAX utilizează detectarea anomaliilor în trei domenii ale afacerii lor. Operațiunile generale de afaceri, departamentul de marketing și echipa de conformitate. Detectarea anomaliilor ajută la identificarea bug-urilor, ceea ce le permite să îmbunătățească performanța site-ului și procesul de înscriere a clienților. De asemenea, le permite să ofere îndrumări pentru echipele de dezvoltare software și operațiuni back-office cu privire la modul de rezolvare a acestor probleme. Traficul de site web este o altă zonă care poate valorifica puterea detectării anomaliilor. Înțelegerea outlier-ilor în traficul de site web oferă o perspectivă și o înțelegere mai bună a echipei de marketing, ceea ce le permite să identifice dacă o campanie de marketing funcționează sau nu. Acest lucru oferă o imagine mai clară a cărei zone este cea mai importantă pentru a-și concentra eforturile. Ultimul nostru exemplu este modul în care anomaliile de înregistrare a clienților ajută echipa de conformitate să identifice potențialele fraude și să reducă riscul clienților.

În discuția noastră cu șeful departamentului de conformitate al NDAX, Julia Baranovskaya, subliniază modul în care importanța detectării anomaliilor a fost subliniată în timpul pandemiei actuale. A existat o creștere de 300% a fraudelor detectate în ultimele luni. Timpurile disperate combinate cu traficul online ridicat invită la toate tipurile de escrocherii care vizează șomerii și vârstnicii. Cu detectarea anomaliilor, putem transforma acești outlier-i în indicatori de fraudă sau tendințe. Următorul grafic arată modul în care frauda a fluctuat în prima jumătate a acestui an.

NDAX a descoperit o creștere a fraudelor în trimestrul II, în special escrocherii care vizează vârstnicii și anunțurile false de job.

Și despre afacerea dumneavoastră?

Algoritmii de detectare a anomaliilor pot ajuta afacerile să identifice și să reacționeze la punctele de date neobișnuite în multiple scenarii. Un sistem de securitate bancară poate utiliza detectarea anomaliilor pentru identificarea tranzacțiilor frauduloase. La fel, proprietarii de fabrici se bazează pe detectarea anomaliilor pentru a face față echipamentelor defecte și pentru a implementa măsuri de întreținere predictivă. În rețelele de senzori IoT, detectarea anomaliilor este utilizată ca parte a soluțiilor de monitorizare a condițiilor și pentru prevenirea deploy-ului de malware nedorit. Punctul de bază este clar: afacerile care au acces la cantități mari de date pot utiliza MIDAS (și alte algoritmi de detectare a anomaliilor) pentru a identifica modele neobișnuite în timp real.

Cum sunt structurate datele dumneavoastră și cum vă putem ajuta să configurați o soluție modernă de detectare a anomaliilor? Trimiteți-ne un mesaj și spuneți-ne. Echipa de știință a datelor de la Blue Orange Digital este fericită să facă detectarea anomaliilor să funcționeze și pentru beneficiul dumneavoastră!

Sursa imaginii principale: Canva