Forretningsanomalier: Forebygging av svindel med anomali-deteksjon

Anomali-deteksjon med MIDAS

Anomali-deteksjon har blitt ett av de mest nyttige maskinlæringsverktøyene de siste fem årene. Det kan brukes fra svindel til kvalitetskontroll. Er det mulig å isolere svindlere på nettbaserte anmeldelsesnettsteder? Kan svindeltransaksjoner detekteres mens de skjer? Kan sanntids sensor-data informere om strømnettfeil før de skjer?

Anomali-deteksjon gir svar på spørsmål som disse. Å identifisere anomalier i data er en viktig oppgave for dataforståelse. Ved å eksponere store datamengder for maskinlæringsverktøy og statistiske metoder kan normale mønster i data læres. Når ujevne hendelser skjer, kan anomali-deteksjonsalgoritmer isolere abnormalt atferd og flagge hendelser som ikke korresponderer med de lænte mønstrene. Slike funksjoner er avgjørende i mange forretningsbrukssaker. Anomali-deteksjon muliggjør anvendelser i en stor mengde sektorer, fra sikkerhet til finans og IoT-overvåking.

Webskala-grafer er i dag ubetydelige og er en vanlig representasjon av store datamengder. De driver både nettbaserte og offline-applikasjoner. Noen nettbaserte eksempler er store sosiale nettverk, produktanbefalingsmotorer og finansielle transaksjonsgrafer. I offline-verden er veinettverk, IoT-plattformer og spenningssensorene i elektriske kraftnett alle kilder til store mengder graf-lignende data. Å ha data representert som grafer bringer både fordeler og utfordringer for eierne av disse datamengdene. På den ene siden tillater det å representere datapunkter og deres relasjoner i et flerdimensjonalt rom. På den andre siden er skalerbare algoritmer for dataanalyse og tolkning nødvendige. Dette har ført til en økt fokus på forskning på metoder som anomali-deteksjon i grafdata.

La oss ta en nærmere titt på en state-of-the-art-algoritme utviklet for anomali-deteksjon i dynamiske grafdata.

MIDAS

Mikroklaster-basert detektor for anomalier i kantstrømmer (MIDAS) er en algoritme som tar seg av anomali-deteksjon på dynamiske grafdata. Den er utviklet av forskere ved National University of Singapore, som hevder at deres metode overgår state-of-the-art-tilnærmingene. Deres metode lettet den vanligste svakheten i tidligere anomali-deteksjonsimplementeringer:

Under er den nye baseline for anomali-deteksjon utviklet av Siddarth Bhatia og hans team ved University of Singapore

Introducing MIDAS: A New Baseline for Anomaly Detection in Graphs. Image Source: Blog

Representere data som en statiske graf

Statiske grafer inneholder bare koblingsinformasjon og ignorerer tidsinformasjon. De er også kjent som graf-snapshot og kan bare brukes til å spore uvanlige graf-enheter (f.eks. mistenkelige noder, kanter eller subgrafer). Men for mange praktiske anvendelser er den tidsmessige aspekt like viktig: det er relevant å vite når grafstrukturen har endret seg. For å illustrere, i en statisk graf som representerer nettverkstrafikk, informerer en kant bare om at det er en kobling mellom en kilde-IP-adresse og en destinasjons-IP-adresse. Men den tidsmessige beskrivelsen av kanten mangler og derfor er tiden når de to adressene koblet ukjent. Siden statiske grafer ikke kan modellere slik tidsinformasjon, gir anomali-deteksjonsmetoder bygget på toppen av slike grafer bare begrenset støtte for virkelige anvendelser.

På den andre siden, MIDAS håndterer data lagret i en dynamisk graf. Hver av elementene i grafen har en tilknyttet tidsstempel, som representerer tiden når det elementet ble lagt til grafen. Ved å følge opp eksemplet ovenfor, ville en dynamisk nettverkstrafikk-graf også informere om når en kobling mellom to IP-adresser skjedde. Tidsstempel endres når en eksisterende kant eller node oppdateres, eller når nye kanter legges til grafen. Som sådan er dynamiske grafer en tidsutviklende struktur som bedre passer mange virkelige anvendelser, som er dynamiske i naturen. De gjør det mulig å bruke både koblings- og tidsinformasjon for å detektere mistenkelige graf-elementer. Basert på denne evnen kan MIDAS detektere anomalier i sanntid og tilby støtte for mange forretningsbrukssaker.

MIDAS er optimalisert for å fungere på dynamiske grafdata. Som vi har sett ovenfor, gjør dynamiske grafer det mulig å representere tidsvarierende data. Men dette betyr også at grafstrukturen selv endrer seg over tid. Dette introduserer visse utfordringer for anomali-deteksjonsalgoritmer som skal bruke denne dataen i sanntidsapplikasjoner. Et eksempel er skalerbarheten til metoden i forhold til endringer i graf-egenskaper. Gitt de store datavolumene som korresponderer til noen anvendelser, må algoritmer være lineært skalerbare i forhold til graf-størrelsen. MIDAS kjører i en online-modus og prosesserer hver kant i konstant tid og konstant minne. Forfatterne rapporterer også at algoritmen kjører “162-633 ganger raskere enn state-of-the-art-tilnærmingene”. Dette gjør algoritmen egnet for sanntidsapplikasjoner, hvor prosessering av høye datavolumer er nødvendig.

Hvilke forretningsbrukssaker trenger MIDAS?

For å få en liten innsikt i anomali-deteksjon som brukes i dagens forretningsverden, intervjuet vi den Canada-baserte kryptovaluta-leverandøren NDAX. NDAX bruker anomali-deteksjon innenfor tre områder av deres forretning. Generelle forretningsoperasjoner, markedsføringsavdelingen og compliance-teamet. Anomali-deteksjon hjelper med å identifisere feil, som gjør at de kan forbedre nettstedets ytelse og kunde-oppmøtingsprosessen. Det hjelper også med å gi veiledning til programvare- og bakkontor-operasjonsteamene på hvordan å løse disse problemene. Nettstedstrafikk er et annet område som kan utnytte kraften til anomali-deteksjon. Å forstå outlierne i nettstedstrafikk gir innsikt og bedre forståelse til markedsførings-teamet, som gjør at de kan identifisere om en markedsføringskampanje fungerer eller ikke. Dette gir en klarere bilde av hvilket område som er viktigst å konsentrere sine anstrengelser om. Vårt siste eksempel er hvordan kunde-sign-up-anomali hjelper compliance-teamet til å identifisere potensiell svindel og redusere kunde-risiko.

I vår diskusjon med NDAX Chief Compliance Officer, Julia Baranovskaya, fremhever hun hvordan anomali-deteksjonens betydning har blitt understreket under den nåværende pandemien. Det har vært en 300% økning i svindel som er detektert de siste månedene. Desperate tider kombinert med høy nettverkstrafikk inviterer til svindel av alle slag som tar sikte på arbeidsledige og eldre. Med anomali-deteksjon er vi nå i stand til å omdanne disse outlierne til indikatorer for svindel eller trender. Følgende graf viser hvordan svindel har fluktuert i løpet av første halvår.

NDAX fant en økning i svindel i Q2, spesielt svindel som involverer eldre og falske jobb-annonser.

Hva med din forretning?

Anomali-deteksjonsalgoritmer kan hjelpe forretninger med å identifisere og reagere på uvanlige datapunkter i flere scenarioer. Et banksikkerhetssystem kan bruke anomali-deteksjon for å identifisere svindeltransaksjoner. Liksom, eierne av fabrikker kan bruke anomali-deteksjon for å håndtere feilfungerende utstyr og implementere prediktive vedlikeholdsforanstaltninger. I IoT-sensor-nettverk, brukes anomali-deteksjon som en del av tilstands-overvåkingsløsninger og for å forhindre uønsket malware-deployment. Det viktigste er klart: forretninger som har tilgang til store mengder data kan bruke MIDAS (og andre anomali-deteksjonsalgoritmer) for å identifisere uvanlige mønster i sanntid.

Hvordan er din data strukturert og hvordan kan vi hjelpe deg med å sette opp en moderne anomali-deteksjonsløsning? Send oss en melding og la oss vite. Blue Orange Digital-data science-teamet er glad for å gjøre anomali-deteksjon til å fungere for din fordel også!

hovedbildekilde: Canva