Forretningsanomalier: Forebyggelse af svindel med afvigelsesdetektion

Afvigelsesdetektion med MIDAS

Afvigelsesdetektion er blevet et af de mest nyttige værktøjer inden for maskinlæring i de seneste fem år. Det kan bruges til alt fra svindel til kvalitetskontrol. Er det muligt at isolere svindlere på online-anmeldelsessites? Kan svindeltransaktioner detekteres, mens de sker? Kan sensordata i realtid give information om strømforstyrrelser, før de sker?

Afvigelsesdetektion giver svar på spørgsmål som disse. At identificere afvigelser i data er en vital opgave i forbindelse med dataforståelse. Ved at udsætte store datasæt for maskinlæringsværktøjer og statistiske metoder kan man lære normale mønstre i data. Når uensartede begivenheder indtræffer, kan afvigelsesdetektionsalgoritmer isolere usædvanligt adfærd og markere begivenheder, der ikke svarer til de lærede mønstre. En sådan funktionalitet er afgørende i mange forretningsrelaterede sammenhænge. Afvigelsesdetektion muliggør anvendelser i en stor mængde sektorer, fra sikkerhed til finans og IoT-overvågning. 

Webskala-grafer er i dag almindelige og er en almindelig repræsentation af store datastrukturer. De driver både online- og offline-applikationer. Nogle online-eksempler er store sociale netværk, produktanbefalingsmotorer og finansielle transaktionsgrafer. Offline-eksempler omfatter vejnetværk, IoT-platforme og spændingsforsyningsensorer i elektriske kraftnetværk, som alle er kilder til store mængder graf-lignende data. At have data repræsenteret som grafer medfører både fordele og udfordringer for ejerne af disse datasæt. På den ene side giver det mulighed for at repræsentere datapunkter og deres relationer i et multi-dimensionelt rum. På den anden side er der behov for skalerbare algoritmer til dataanalyse og fortolkning. Dette har ført til en øget fokus på metoder som afvigelsesdetektion i grafdata.

Lad os tage en nærmere kig på en state-of-the-art-algoritme, der er udviklet til afvigelsesdetektion i dynamiske grafdata.

MIDAS

Microcluster-baseret detector af afvigelser i kantstrømme (MIDAS) er en algoritme, der løser afvigelsesdetektion på dynamiske grafdata. Den er udviklet af forskere ved National University of Singapore, som hævder, at deres metode overgår state-of-the-art-tilgange. Deres metode lettet den mest almindelige svaghed ved tidligere afvigelsesdetektionsimplementeringer:

Herunder er den nye baseline for afvigelsesdetektion, der er udviklet af Siddarth Bhatia og hans team ved University of Singapore

Introducing MIDAS: A New Baseline for Anomaly Detection in Graphs. Billede kilde: Blog

Repræsentation af data som en statiske graf

Statiske grafer indeholder kun tilknytningsinformation og ignorerer tidsinformation. De kaldes også graf-snapshots og kan kun bruges til at spotte usædvanlige grafenheder (f.eks. mistænkelige noder, kanter eller subgrafer). Men i mange praktiske anvendelser er den tidsmæssige aspekt lige så vigtig: det er relevant at vide hvornår grafstrukturen er ændret. For at illustrere dette kan en statisk graf, der repræsenterer netværkstrafik, kun informere om, at der er en forbindelse mellem en kilde-IP-adresse og en destination-IP-adresse. Men den tidsmæssige beskrivelse af kanten mangler, og derfor er det ukendt, hvornår de to adresser var forbundet. Da statiske grafer ikke kan modellere sådan tidsinformation, giver afvigelsesdetektionsmetoder, der er baseret på sådanne grafer, kun begrænset støtte til virkelige anvendelser.

På den anden side MIDAS håndterer data, der er gemt i en dynamisk graf. Hver af elementerne i grafen har en tilknyttet tidsstempel, der repræsenterer tidspunktet, hvor elementet blev tilføjet til grafen. I forlængelse af eksemplet ovenfor ville en dynamisk netværkstrafikgraf også informere om hvornår en forbindelse mellem to IP-adresser fandt sted. Tidsstempel ændres, når en eksisterende kant eller node opdateres, eller når nye kanter tilføjes til grafen. Som sådan er dynamiske grafer en tidsudviklende struktur, der bedre passer til mange virkelige anvendelser, der er dynamiske af natur. De gør det muligt at bruge både tilknytnings- og tidsinformation til detektion af mistænkelige grafenheder. Baseret på denne evne kan MIDAS detektere afvigelser i realtid og tilbyder dermed støtte til mange forretningsrelaterede sammenhænge.

MIDAS er optimeret til at arbejde med dynamiske grafdata. Som vi har set ovenfor, gør dynamiske grafer det muligt at repræsentere tidsvarierende data. Men dette betyder også, at grafstrukturen selv ændrer sig over tid. Dette introducerer visse udfordringer for afvigelsesdetektionsalgoritmerne, der har til formål at bruge disse data i realtidsapplikationer. Et eksempel er skalerbarheden af metoden i forhold til ændrende grafegenskaber. Givet de store datavolumener, der svarer til visse applikationer, skal algoritmerne være lineært skalerbare i forhold til grafens størrelse. MIDAS kører i en online-funktion og behandler hver kant i konstant tid og konstant hukommelse. Forfatterne rapporterer også, at algoritmen kører “162-633 gange hurtigere end state-of-the-art-tilgange”. Dette gør algoritmen egnet til realtidsapplikationer, hvor behandlingen af store datavolumener er nødvendig. 

Hvilke forretningsrelaterede sammenhænge har brug for MIDAS?

For at få en lille indsigt i, hvordan afvigelsesdetektion anvendes i dagens forretningsverden, interviewede vi den canadiske kryptocurrency-udbyder, NDAX. NDAX bruger afvigelsesdetektion inden for tre områder af deres forretning. Generelle forretningsoperationer, marketingafdelingen og compliance-holdet. Afvigelsesdetektion hjælper med at identificere fejl, hvilket giver mulighed for at forbedre websidepræstationen og kundeonboarding-processen. Det giver også mulighed for at give vejledning til softwareudviklings- og backoffice-operationer om, hvordan man løser disse problemer. Webside-trafik er et andet område, der kan udnytte kraften af afvigelsesdetektion. At forstå outlierne i webside-trafikken giver indsigt og bedre forståelse til marketingholdet, hvilket giver mulighed for at identificere, om en marketingkampagne fungerer eller ej. Dette giver en klarere billed af, hvilket område der er mest vigtigt at koncentrere sig om. Vores sidste eksempel er, hvordan kunde-tilmeldingsafvigelser hjælper compliance-holdet med at identificere potentiel svindel og reducere kunderisiko.

I vores diskussion med NDAX’s Chief Compliance Officer, Julia Baranovskaya, fremhæves, hvordan afvigelsesdetektions betydning er blevet understreget under den nuværende pandemi. Der har været en 300% stigning i detekteret svindel i de seneste måneder. Desperate tider kombineret med høj online-trafik inviterer til svindel af alle slags, der retter sig mod arbejdsløse og ældre. Med afvigelsesdetektion kan vi nu omdanne disse outlier til indikatorer for svindel eller tendenser. Følgende graf viser, hvordan svindel har fluktueret i løbet af det første halvår.

NDAX fandt en stigning i svindel i Q2, især svindel, der involverede ældre og falske jobannoncer.

Hvad med din forretning?

Afvigelsesdetektionsalgoritmer kan hjælpe forretninger med at identificere og reagere på usædvanlige datapunkter i multiple scenarier. Et banksikkerhedssystem kan anvende afvigelsesdetektion til identifikation af svindeltransaktioner. Ligeledes kan ejere af fabrikker afhænge af afvigelsesdetektion til at håndtere fejlfungerende udstyr og implementere præventive vedligeholdelsesforanstaltninger. I IoT-sensor-netværk, anvendes afvigelsesdetektion som en del af overvågningsløsninger og til forebyggelse af uønsket malware-udbredelse. Det vigtigste punkt er klart: forretninger, der har adgang til store mængder data, kan anvende MIDAS (og andre afvigelsesdetektionsalgoritmer) til at identificere usædvanlige mønstre i realtid. 

Hvordan er din data struktureret, og hvordan kan vi hjælpe dig med at opsætte en moderne afvigelsesdetektionsløsning?

Kontakt os og lad os vide det. Blue Orange Digitals datavidenskabshold er glade for at gøre afvigelsesdetektion til en fordel for dig også!

Hovedbillede kilde: Canva