Anomalii de Afaceri: Prevenirea Fraudelor cu Detectarea Anomaliilor

Detectarea Anomaliilor cu MIDAS

Detectarea anomaliilor a devenit unul dintre cele mai utile instrumente de învățare automată din ultimii cinci ani. Poate fi utilizată de la fraudă la controlul calității. Este posibil să izolăm fraudele pe site-urile de recenzii online? Pot fi detectate tranzacțiile financiare frauduloase în timp ce au loc? Pot informa datele senzorilor live despre defectele rețelei electrice înainte de a se întâmpla?

Detectarea anomaliilor oferă răspunsuri la întrebări de acest fel. Identificarea anomaliilor în date este o sarcină vitală de înțelegere a datelor. Prin expunerea unor seturi de date mari la instrumente de învățare automată și metode statistice, pot fi învățate modele normale în date. Când apar evenimente inconsistente, algoritmii de detectare a anomaliilor pot izola comportamentul anormal și marca evenimentele care nu corespund modelelor învățate. O astfel de funcționalitate este crucială în multe cazuri de afaceri. Detectarea anomaliilor permite aplicații într-un număr mare de sectoare, de la securitate la finanțe și monitorizarea IoT.

Grafurile la scară web sunt astăzi ubicue și reprezintă o structură de date comună. Ele alimentează atât aplicațiile online, cât și offline. Câteva exemple online sunt rețelele sociale mari, motoarele de recomandare a produselor și grafurile tranzacțiilor financiare. În offline, rețelele de drumuri, platformele IoT și senzorii de voltaj din rețelele electrice sunt toate surse de cantități mari de date sub formă de graf. Având date reprezentate sub formă de grafuri aduce atât beneficii, cât și provocări pentru deținătorii acestor seturi de date. Pe de o parte, permite reprezentarea punctelor de date și a relațiilor lor într-un spațiu multi-dimensional. Pe de altă parte, sunt necesare algoritmi scalabili pentru analiza și interpretarea datelor. Acest lucru a condus la o creștere a focalizării cercetării asupra metodelor precum detectarea anomaliilor în datele grafice.

Să luăm o privire mai atentă la un algoritm de ultimă generație dezvoltat pentru detectarea anomaliilor în datele grafice dinamice.

MIDAS

Detectorul de Anomalii pe Baza de Microcluster în Fluxuri de Muchii (MIDAS) este un algoritm care abordează detectarea anomaliilor în datele grafice dinamice. A fost dezvoltat de cercetători de la Universitatea Națională din Singapore, care afirmă că metoda lor depășește abordările actuale de ultimă generație. Metoda lor elimină principala deficiență a implementărilor anterioare de detectare a anomaliilor:

În continuare, este prezentată noua bază de referință pentru detectarea anomaliilor, dezvoltată de Siddarth Bhatia și echipa sa de la Universitatea din Singapore

Prezentarea MIDAS: O Nouă Bază de Referință pentru Detectarea Anomaliilor în Grafuri. Sursa imaginii: Blog

Reprezentarea datelor sub formă de graf static

Grafurile statice conțin doar informații despre conectivitate și ignoră informațiile temporale. Sunt cunoscute și sub numele de “instantanee de graf” și pot fi utilizate doar pentru identificarea entităților grafice neobișnuite (de exemplu, noduri, muchii sau subgrafuri suspecte). Cu toate acestea, pentru multe aplicații practice, aspectul temporal este la fel de important: este relevant să știm când structura grafică a fost modificată. Pentru a ilustra, într-un grafic static care reprezintă un flux de trafic de rețea, o muchie informează doar că există o conexiune între o adresă IP sursă și o adresă IP de destinație. Dar descrierea temporală a muchiei lipsește și, prin urmare, momentul în care cele două adrese s-au conectat este necunoscut. Deoarece grafurile statice nu pot modela astfel de informații temporale, metodele de detectare a anomaliilor bazate pe astfel de grafuri oferă doar suport limitat pentru aplicațiile din lumea reală.

Pe de altă parte, MIDAS gestionează date stocate într-un graf dinamic. Fiecare element din graf are asociat un timestamp, care reprezintă momentul în care acel element a fost adăugat în graf. Continuând exemplul de mai sus, un grafic dinamic de trafic de rețea ar informa și despre când a avut loc o conexiune între două adrese IP. Timestamp-ul se modifică ori de câte ori un element existent sau o muchie este actualizată, sau când se adaugă noi muchii în graf. Astfel, grafurile dinamice sunt o structură care evoluează în timp și se potrivește mai bine multor aplicații din lumea reală, care sunt dinamice prin natura lor. Ele permit utilizarea atât a informațiilor despre conectivitate, cât și a informațiilor temporale pentru detectarea elementelor grafice suspecte. Pe baza acestei capacități, MIDAS poate detecta anomalii în timp real și oferă, astfel, suport pentru multe cazuri de afaceri.

MIDAS este optimizat pentru a funcționa pe date grafice dinamice. Așa cum am văzut mai sus, grafurile dinamice permit reprezentarea datelor care variază în timp. Cu toate acestea, acest lucru înseamnă și că structura grafică însăși se schimbă în timp. Acest lucru introduce anumite provocări pentru algoritmii de detectare a anomaliilor care își propun să utilizeze aceste date în aplicații în timp real. Un exemplu este scalabilitatea metodei în ceea ce privește caracteristicile graficului care se schimbă. Având în vedere volumele mari de date corespunzătoare unor aplicații, algoritmii trebuie să fie liniar scalabili în funcție de dimensiunea graficului. MIDAS rulează în mod online și procesează fiecare muchie în timp constant și memorie constantă. Autorii raportează, de asemenea, că algoritmul rulează „162-633 de ori mai rapid decât abordările actuale de ultimă generație”. Acest lucru face ca algoritmul să fie potrivit pentru aplicații în timp real, unde procesarea fluxurilor de date de mare volum este necesară.

Care sunt cazurile de afaceri care necesită MIDAS?

Pentru a obține o idee despre cum este utilizată detectarea anomaliilor în lumea afacerilor de astăzi, am intervievat furnizorul de criptomonede din Canada, NDAX. NDAX utilizează detectarea anomaliilor în trei domenii ale afacerii sale. Operațiunile generale ale afacerii, departamentul de marketing și echipa de conformitate. Detectarea anomaliilor ajută la identificarea bug-urilor, ceea ce le permite să îmbunătățească performanța site-ului și procesul de înscriere a clienților. De asemenea, le permite să ofere îndrumări pentru echipele de dezvoltare software și operațiuni back-office cu privire la modul de rezolvare a acestor probleme. Un alt domeniu care poate beneficia de puterea detectării anomaliilor este traficul de pe site. Înțelegerea outlier-ilor în traficul de pe site oferă o imagine și o înțelegere mai bună a echipei de marketing, ceea ce le permite să identifice dacă o campanie de marketing funcționează sau nu. Acest lucru oferă o imagine mai clară a domeniului în care trebuie să-și concentreze eforturile. Ultimul nostru exemplu este modul în care anomaliile la înregistrarea clienților ajută echipa de conformitate să identifice potențialele fraude și să reducă riscul clienților.

În discuția noastră cu șeful departamentului de conformitate al NDAX, Julia Baranovskaya, se subliniază importanța detectării anomaliilor în timpul pandemiei actuale. A existat o creștere de 300% a fraudelor detectate în ultimele luni. Timpurile dificile combinate cu traficul online crescut atrag toate tipurile de escrocherii care vizează șomerii și vârstnicii. Cu detectarea anomaliilor, putem transforma aceste outlier-i în indicatori de fraudă sau tendințe. Următorul grafic arată cum a fluctuat frauda în prima jumătate a acestui an.

NDAX a descoperit o creștere a fraudelor în trimestrul II, în special escrocherii care vizează vârstnicii și anunțurile false de job.

Ce despre Afacerea Dvs.?

Algoritmii de detectare a anomaliilor pot ajuta afacerile să identifice și să reacționeze la puncte de date neobișnuite în multiple scenarii. Un sistem de securitate bancar poate utiliza detectarea anomaliilor pentru identificarea tranzacțiilor frauduloase. La fel, proprietarii de fabrici se bazează pe detectarea anomaliilor pentru a face față echipamentelor defecte și pentru a implementa măsuri de întreținere preventivă. În rețelele de senzori IoT, detectarea anomaliilor este utilizată ca parte a soluțiilor de monitorizare a condițiilor și pentru prevenirea implementării nedorite a malware-ului. Punctul de vedere este clar: afacerile care au acces la cantități mari de date pot utiliza MIDAS (și alte algoritmi de detectare a anomaliilor) pentru a identifica modele neobișnuite în timp real.

Cum sunt structurate datele dvs. și cum vă putem ajuta să configurați o soluție modernă de detectare a anomaliilor?

Trimiteți-ne un mesaj și spuneți-ne. Echipa de știință a datelor de la Blue Orange Digital este fericită să facă detectarea anomaliilor să funcționeze în beneficiul dvs.!

Sursa imaginii principale: Canva