Ärianomaaliad: pettuste ärahoidmine anomaalia tuvastamise abil

Anomaaliate tuvastamine MIDAS-iga

Anomaalia tuvastamisest on saanud viimase viie aasta üks kõige kasulikumaid masinõppevahendeid. Seda saab kasutada pettusest kuni kvaliteedikontrollini. Kas on-line arvustusveebisaitidel on võimalik pettureid isoleerida? Kas petturlikke finantstehinguid saab avastada nende toimumise hetkel? Kas anduri reaalajas andmed võivad anda teavet elektrivõrgu riketest enne, kui need juhtuvad?

Anomaaliate tuvastamine annab vastused sellistele küsimustele. Andmete anomaaliate tuvastamine on andmete mõistmise oluline ülesanne. Masinõppevahendite ja statistiliste meetoditega suuri andmekogumeid eksponeerides saab õppida tavalisi andmete mustreid. Kui ilmnevad vastuolulised sündmused, võivad anomaaliate tuvastamise algoritmid isoleerida ebanormaalse käitumise ja märgistada kõik sündmused, mis ei vasta õpitud mustritele. Selline funktsionaalsus on paljudel ärilistel kasutusjuhtudel ülioluline. Anomaaliate tuvastamine võimaldab rakendusi paljudes sektorites, alates turvalisusest kuni rahanduse ja IoT jälgimine. 

Veebimastaabis graafikud on tänapäeval üldlevinud ja on suurandmete struktuuride tavaline esitus. Need toidavad nii võrgu- kui ka võrguühenduseta rakendusi. Mõned veebipõhised näited on suured suhtlusvõrgustikud, tootesoovitusmootorid ja finantstehingute graafikud. Võrguühenduseta: teedevõrgud, asjade Interneti platvormid ja elektrivõrkude pingeandurid on suure hulga graafikulaadsete andmete allikad. Andmete esitamine graafikutena toob nimetatud andmekogumite omanikele nii eeliseid kui ka väljakutseid. Ühest küljest võimaldab see esindada andmepunktid ja nende seosed mitmemõõtmelises ruumis. Teisest küljest on andmete analüüsiks ja tõlgendamiseks vaja skaleeritavaid algoritme. See on viinud an suurenenud uurimistöö fookus meetoditel nagu anomaalia tuvastamine graafiku andmetel.

Vaatame lähemalt nüüdisaegset algoritmi, mis on välja töötatud dünaamiliste graafikute anomaaliate tuvastamiseks.

MIDAS

Mikroklastripõhine anomaaliate detektor servavoogudes (MIDAS) on algoritm, mis tegeleb anomaaliate tuvastamisega dünaamiline graafiku andmed. Selle on välja töötanud Singapuri riikliku ülikooli teadlased, kes väidavad, et nende meetod ületab tipptasemel lähenemisviise. Nende meetod leevendab varasemate kõrvalekallete tuvastamise rakenduste kõige levinumat puudust:

Allpool on Siddarth Bhatia ja tema Singapuri ülikooli meeskonna poolt välja töötatud uus anomaaliate tuvastamise lähtejoon

Andmete esitamine a staatiline graafik

Staatilised graafikud sisaldavad ainult ühenduvust ja eiravad ajalist teavet. Neid tuntakse ka graafi hetktõmmistena ja neid saab kasutada ainult ebatavaliste graafiüksuste (nt kahtlaste sõlmede, servade või alamgraafide) tuvastamiseks. Paljude praktiliste rakenduste puhul on ajaline aspekt aga sama oluline: asjakohane on teada millal graafiku struktuur on muutunud. Näiteks staatilisel graafikul, mis kujutab võrgu liiklusvoogu, teavitab serv ainult seda, et lähte IP-aadressi ja sihtkoha IP-aadressi vahel on ühendus. Kuid serva ajaline kirjeldus puudub ja seetõttu on kahe aadressi ühendamise aeg teadmata. Kuna staatilised graafikud ei suutnud sellist ajalist teavet modelleerida, pakuvad sellistele graafikutele ehitatud anomaaliate tuvastamise meetodid reaalsete rakenduste jaoks vaid piiratud tuge.

Teiselt poolt, MIDAS käsitleb andmeid, mis on salvestatud a dünaamiline graafik. Igal graafiku elemendil on seotud ajatempel, mis tähistab selle elemendi graafikule lisamise aega. Järgides ülaltoodud näidet, teavitaks ka dünaamiline võrguliikluse graafik millal tekkis ühendus kahe IP-aadressi vahel. Ajatempel muutub iga kord, kui olemasolevat serva või sõlme värskendatakse või kui graafikule lisatakse uusi servi. Sellisena on dünaamilised graafikud ajas arenev struktuur, mis sobib paremini paljude reaalmaailma rakendustega, mis on oma olemuselt dünaamilised. Need võimaldavad kahtlaste graafikuelementide tuvastamiseks kasutada nii ühenduvust kui ka ajateavet. Selle võimaluse põhjal suudab MIDAS tuvastada kõrvalekaldeid reaalajas ja pakub seega tuge paljudel ärilistel kasutusjuhtudel.

MIDAS on optimeeritud töötama dünaamiliste graafikute andmetega. Nagu eespool nägime, võimaldavad dünaamilised graafikud esitada ajas muutuvaid andmeid. See aga tähendab ka seda, et aja jooksul muutub ka graafiku struktuur ise. See toob kaasa teatud väljakutsed anomaaliate tuvastamise algoritmidele, mille eesmärk on kasutada neid andmeid reaalajas rakendustes. Üks näide on meetodi skaleeritavus graafiku omaduste muutumise osas. Arvestades mõningate rakenduste suurt andmemahtu, peavad algoritmid olema lineaarselt skaleeritavad vastavalt graafiku suurusele. MIDAS töötab võrgus ja töötleb iga serva konstantses ajas ja pidevas mälus. Autorid teatavad ka, et algoritm töötab "162-633 korda kiirem kui nüüdisaegsed lähenemisviisid". See muudab algoritmi sobivaks reaalajas rakenduste jaoks, kus on vajalik suure mahuga andmevoogude töötlemine. 

Millistel ärilistel kasutusjuhtudel on MIDASi vaja?

Et saada veidi ülevaadet tänapäeva ärimaailmas kasutatavast anomaalia tuvastamisest, intervjueerisime Kanadas asuvat krüptovaluuta pakkujat, Ndax. NDAX kasutab anomaaliate tuvastamist kolmes oma ärivaldkonnas. Üldine äritegevus, turundusosakond ja vastavusmeeskond. Anomaaliate tuvastamine aitab tuvastada vigu, mis võimaldab neil parandada veebisaidi jõudlust ja kliendi liitumisprotsessi. Samuti võimaldab see neil anda juhiseid tarkvaraarenduse ja tugibüroode töörühmadele nende probleemide lahendamiseks. Veebisaidi liiklus on veel üks valdkond, mis võib anomaalia tuvastamise võimet kasutada. Veebisaidi liikluses esinevate kõrvalekallete mõistmine annab märgistamismeeskonnale ülevaate ja parema arusaamise, mis võimaldab neil tuvastada, kas turunduskampaania töötab või mitte. See annab selgema pildi sellest, milline valdkond on nende jõupingutuste koondamiseks kõige olulisem. Meie viimane näide on see, kuidas kliendi registreerimisanomaalia aitab vastavusmeeskonnal tuvastada võimalikke pettusi ja vähendada kliendi riski.

Meie arutelus NDAX-i vastavusjuhiga tõstab Julia Baranovskaja esile, kuidas praeguse pandeemia ajal on anomaaliate tuvastamise tähtsust rõhutatud. Viimastel kuudel on avastatud pettuste arv kasvanud 300%. Meeleheitel ajad koos suure võrguliiklusega kutsuvad esile igasuguseid pettusi, mis on suunatud töötutele ja eakatele. Anomaaliate tuvastamise abil saame nüüd need kõrvalekalded pettuse või suundumuste näitajateks muuta. Järgmisel graafikul on näha, kuidas pettused on selle aasta esimesel poolel kõikunud.

NDAX avastas teises kvartalis pettuste, eriti eakate inimestega seotud pettuste ja võltsitud töökuulutuste kasvu.

Kuidas on lood teie ettevõttega?

Anomaaliate tuvastamise algoritmid võivad aidata ettevõtetel mitme stsenaariumi korral ebatavalisi andmepunkte tuvastada ja neile reageerida. Panga turvasüsteem võib pettustehingute tuvastamiseks kasutada anomaaliate tuvastamist. Samuti toetuvad tootmisettevõtete omanikud rikkega tegelemisel ja prognoositavate hooldusmeetmete rakendamisel kõrvalekallete tuvastamisele. sisse IoT andurite võrgud, kasutatakse anomaaliate tuvastamist seisundi jälgimise lahenduste osana ja pahavara soovimatu juurutamise ärahoidmiseks. Alumine punkt on selge: ettevõtted, kellel on juurdepääs suurele hulgale andmemahtudele, saavad kasutada MIDAS-i (ja muid anomaaliate tuvastamise algoritme), et tuvastada ebatavalisi mustreid reaalajas. 

Kuidas on teie andmed struktureeritud ja kuidas saaksime aidata teil luua kaasaegse anomaaliate tuvastamise lahenduse?

Kirjuta meile ja anna teada. The Sinine oranž digitaalne andmeteaduse meeskond paneb hea meelega anomaaliate tuvastamise ka teie kasuks tööle!

peamine pildi allikas: Canva