Företagsavvikelser: Förhindra bedrägeri med avvikelseupptäckt

Avvikelseupptäckt med MIDAS

Avvikelseupptäckt har blivit ett av de mest användbara maskinlärningsverktygen under de senaste fem åren. Det kan användas från bedrägeri till kvalitetskontroll. Är det möjligt att isolera bedragare på online-recensionswebbplatser? Kan bedrägliga finansiella transaktioner upptäckas när de sker? Kan live-sensordata informera om elkraftsförluster innan de inträffar?

Avvikelseupptäckt ger svar på frågor som dessa. Att identifiera avvikelser i data är en viktig uppgift för dataförståelse. Genom att utsätta stora datamängder för maskinlärningsverktyg och statistiska metoder kan man lära sig normala mönster i data. När inkonsekventa händelser inträffar kan avvikelseupptäcktsalgoritmer isolera onormalt beteende och flagga händelser som inte motsvarar de inlärda mönstren. Sådan funktionalitet är avgörande i många affärsfall. Avvikelseupptäckt möjliggör tillämpningar inom ett stort antal sektorer, från säkerhet till finans och IoT-övervakning.

Web-skala grafer är idag allmänt förekommande och är en vanlig representation av stora datamängder. De driver både online- och offline-applikationer. Några online-exempel är stora sociala nätverk, produktrekommendationssystem och finansiella transaktionsgrafer. Offline: vägnät, IoT-plattformar och spänningssensorer i elkraftsnät är alla källor till stora mängder grafliknande data. Att ha data representerad som grafer medför både fördelar och utmaningar för ägarna av dessa datamängder. Å ena sidan möjliggör det att representera data och deras relationer i ett multi-dimensionellt utrymme. Å andra sidan behövs skalbara algoritmer för dataanalys och tolkning. Detta har lett till ett ökat forskningsfokus på metoder som avvikelseupptäckt i grafer och tidsserier.

Låt oss ta en närmare titt på en state-of-the-art-algoritm som utvecklats för avvikelseupptäckt i dynamiska grafer.

MIDAS

Mikroklusterbaserad upptäckt av avvikelser i kanter (MIDAS) är en algoritm som hanterar avvikelseupptäckt i dynamiska grafer. Den har utvecklats av forskare vid National University of Singapore som hävdar att deras metod överträffar state-of-the-art-ansatser. Deras metod mildrar den vanligaste bristen i tidigare avvikelseupptäcktsimplementeringar:

Nedan är den nya baslinjen för avvikelseupptäckt som utvecklats av Siddarth Bhatia och hans team vid University of Singapore

Introducing MIDAS: A New Baseline for Anomaly Detection in Graphs. Bildkälla: Blog

Att representera data som en statisk graf

Statiska grafer innehåller endast anslutningsinformation och ignorerar tidsinformation. De kallas också för grafsnappskott och kan endast användas för att upptäcka ovanliga grafentiteter (t.ex. misstänkta noder, kanter eller subgrafer). Men för många praktiska tillämpningar är den tidsmässiga aspekten lika viktig: det är relevant att veta när grafstrukturen har ändrats. För att illustrera, i en statisk graf som representerar nätverkstrafik, informerar en kant endast om att det finns en anslutning mellan en käll-IP-adress och en destinations-IP-adress. Men den tidsmässiga beskrivningen av kanten saknas och därför är det okänt när de två adresserna anslöt. Eftersom statiska grafer inte kunde modellera sådan tidsinformation, ger avvikelseupptäcktsmetoder som bygger på sådana grafer endast begränsad support för verkliga tillämpningar.

Å andra sidan hanterar MIDAS data som lagras i en dynamisk graf. Varje element i grafen har ett associerat tidsstämpel, som representerar den tidpunkt då elementet lades till i grafen. Om vi fortsätter med exemplet ovan, skulle en dynamisk nätverkstrafikgraf också informera om när en anslutning mellan två IP-adresser skedde. Tidsstämpeln ändras varje gång en befintlig kant eller nod uppdateras, eller när nya kanter läggs till i grafen. Som sådan är dynamiska grafer en tidsutvecklande struktur som bättre passar många verkliga tillämpningar, som är dynamiska i naturen. De möjliggör att använda både anslutnings- och tidsinformation för upptäckt av misstänkta grafelement. Baserat på den förmågan kan MIDAS upptäcka avvikelser i realtid och erbjuder därmed stöd för många affärsfall.

MIDAS är optimerad för att fungera på dynamiska grafer. Som vi har sett ovan, möjliggör dynamiska grafer att representera tidsvarierande data. Men detta innebär också att grafstrukturen i sig ändras över tid. Detta introducerar vissa utmaningar för avvikelseupptäcktsalgoritmer som syftar till att använda denna data i realtidsapplikationer. Ett exempel är skalbarheten hos metoden i förhållande till ändrade grafegenskaper. Med tanke på de stora datavolymerna som motsvarar vissa tillämpningar, måste algoritmer vara linjärt skalbara i förhållande till grafens storlek. MIDAS körs i en online-miljö och bearbetar varje kant i konstant tid och konstant minne. Författarna rapporterar också att algoritmen körs “162-633 gånger snabbare än state-of-the-art-ansatser”. Detta gör algoritmen lämplig för realtidsapplikationer, där bearbetning av stora datamängder är nödvändig.

Vilka affärsfall behöver MIDAS?

För att få en liten inblick i hur avvikelseupptäckt används i dagens affärsvärld intervjuade vi den Kanada-baserade kryptotjänsteleverantören NDAX. NDAX använder avvikelseupptäckt inom tre områden i sin verksamhet: allmänna affärsverksamheten, marknadsavdelningen och regelefterlevnadsgruppen. Avvikelseupptäckt hjälper till att identifiera buggar, vilket möjliggör förbättring av webbplatsens prestanda och kundpåverkan. Det möjliggör också att ge vägledning till mjukvaruutvecklings- och backoffice-operationsgrupper om hur man löser dessa problem. Webbtrafik är ett annat område som kan dra nytta av avvikelseupptäckts kraft. Att förstå avvikelserna i webbtrafiken ger insikt och bättre förståelse för marknadsgruppen, vilket möjliggör att identifiera om en marknadsföringskampanj fungerar eller inte. Det ger därmed en tydligare bild av vilket område som är mest viktigt att fokusera på. Vårt sista exempel är hur kundregistreringsavvikelser hjälper regelefterlevnadsgruppen att identifiera potentiellt bedrägeri och minska kundrisk.

I vår diskussion med NDAX Chief Compliance Officer, Julia Baranovskaya, betonar hon hur viktigt det är att ha avvikelseupptäckt under den nuvarande pandemin. Det har skett en ökning på 300 % i upptäckt bedrägeri under de senaste månaderna. Desperata tider i kombination med hög webbtrafik inbjuder till bedrägerier som riktar sig mot arbetslösa och äldre. Med avvikelseupptäckt kan vi nu omvandla dessa avvikelser till indikatorer på bedrägeri eller trender. Följande graf visar hur bedrägeri har fluktuerat under första halvåret.

NDAX fann en ökning av bedrägeri under Q2, särskilt bedrägerier som riktade sig mot äldre och falska jobbannonser.

Vad gäller er verksamhet?

Avvikelseupptäcktsalgoritmer kan hjälpa företag att identifiera och reagera på ovanliga datapunkter i flera scenarier. Ett banksäkerhetssystem kan använda avvikelseupptäckt för att identifiera bedrägliga transaktioner. Likaså förlitar sig tillverkningsanläggningsägare på avvikelseupptäckt för att hantera felaktig utrustning och genomföra underhållsåtgärder. I IoT-sensornätverk, används avvikelseupptäckt som en del av konditionsövervakningslösningar och för att förhindra oönskad malware-utplacering. Det viktigaste är att företag som har tillgång till stora mängder data kan använda MIDAS (och andra avvikelseupptäcktsalgoritmer) för att identifiera ovanliga mönster i realtid.

Hur är er data strukturerad och hur kan vi hjälpa er att konfigurera en modern avvikelseupptäcktslösning?

Skicka oss ett meddelande och låt oss veta. Blue Orange Digitals datavetenskapsteam är glada att göra avvikelseupptäckt till en fördel för er också!

Huvudbildkälla: Canva