Anomaliji tan-Negozju: Prevenzjoni tal-Frodi b'Sejbien ta' Anomaliji

Sejbien ta' anomaliji bil-MIDAS

Is-Sejbien tal-Anomalii sar wieħed mill-aktar għodod utli tat-tagħlim tal-magni tal-aħħar ħames snin. Jista 'jintuża minn frodi għall-kontroll tal-kwalità. Huwa possibbli li l-frodisti jiġu iżolati f'websajts ta' reviżjoni onlajn? Jistgħu jiġu skoperti tranżazzjonijiet finanzjarji frawdolenti hekk kif iseħħu? Id-dejta tas-sensorju ħaj tista' tinforma dwar il-ħsarat fil-grilja tal-enerġija qabel ma jseħħu?

L-iskoperta ta' anomaliji tipprovdi tweġibiet għal mistoqsijiet bħal dawn. L-identifikazzjoni ta' anomaliji fid-dejta hija kompitu vitali għall-fehim tad-dejta. Billi tesponi settijiet ta' dejta kbar għal għodod ta' tagħlim bil-magni u metodi statistiċi, jistgħu jitgħallmu mudelli normali fid-dejta. Meta jseħħu avvenimenti inkonsistenti, algoritmi ta' skoperta ta' anomaliji jistgħu jiżolaw imġieba anormali u jimmarkaw kwalunkwe avveniment li ma jikkorrispondix mal-mudelli tgħallmu. Tali funzjonalità hija kruċjali f'ħafna każijiet ta' użu tan-negozju. L-iskoperta ta' anomaliji tippermetti applikazzjonijiet f'numru kbir ta' setturi, mis-sigurtà sal-finanzi u Monitoraġġ IoT. 

Graffs fuq skala tal-web illum huma kullimkien u huma rappreżentazzjoni komuni ta 'strutturi ta' dejta kbira. Huma jħaddmu kemm applikazzjonijiet online kif ukoll offline. Xi ftit eżempji online huma netwerks soċjali kbar, magni ta’ rakkomandazzjoni tal-prodotti, u graffs tat-tranżazzjonijiet finanzjarji. Fl-offline: in-netwerks tat-toroq, il-pjattaformi tal-IoT u s-sensuri tal-vultaġġ fil-grids tal-enerġija elettrika huma kollha sorsi ta 'ammonti kbar ta' dejta bħal graff. Li jkollok data rappreżentata bħala graffs iġib kemm benefiċċji kif ukoll sfidi lis-sidien tal-imsemmija datasets. Min-naħa waħda, tippermetti li tirrappreżenta punti tad-data u r-relazzjonijiet tagħhom fi spazju multi-dimensjonali. Min-naħa l-oħra, algoritmi skalabbli għall-analiżi u l-interpretazzjoni tad-dejta huma meħtieġa. Dan wassal għal an fokus akbar fuq ir-riċerka fuq metodi bħal sejbien ta' anomaliji fuq data tal-graff.

Ejja nagħtu ħarsa aktar mill-qrib lejn algoritmu avvanzat żviluppat għall-iskoperta ta 'anomalija fid-dejta tal-grafika dinamika.

MIDAS

Rilevatur ta' Anomaliji Ibbażat fuq Microclusters fi Xifer Streams (MIDAS) huwa algoritmu li jindirizza l-iskoperta ta 'anomalija fuq dinamika data graff. Ġie żviluppat minn riċerkaturi fl-Università Nazzjonali ta 'Singapor li jsostnu li l-metodu tagħhom jegħleb l-approċċi l-aktar avvanzati. Il-metodu tagħhom itaffi l-iktar nuqqas komuni ta' implimentazzjonijiet preċedenti ta' skoperta ta' anomaliji:

Hawn taħt hawn il-linja bażi l-ġdida għall-iskoperta ta’ anomaliji żviluppata minn Siddarth Bhatia u t-tim tiegħu fl-Università ta’ Singapor

Jirrappreżenta d-data bħala a statiku grafu

Graffs statiċi fihom biss informazzjoni dwar il-konnettività u jinjoraw l-informazzjoni temporali. Huma magħrufa wkoll bħala snapshots tal-graffs u jistgħu jintużaw biss biex jiġu identifikati entitajiet tal-graffs mhux tas-soltu (eż. nodi, truf jew subgraffi suspettużi). Madankollu, għal ħafna applikazzjonijiet prattiċi, l-aspett temporali huwa ugwalment importanti: huwa rilevanti li tkun taf meta l-istruttura tal-graff inbidlet. Biex nagħtu eżempju, fi grafika statika li tirrappreżenta l-fluss tat-traffiku tan-netwerk, xifer jinforma biss li hemm konnessjoni bejn indirizz IP tas-sors u indirizz IP tad-destinazzjoni. Iżda d-deskrizzjoni temporali tat-tarf hija nieqsa u għalhekk il-ħin meta ż-żewġ indirizzi konnessi mhuwiex magħruf. Billi graffs statiċi ma setgħux jimmudellaw tali informazzjoni temporali, metodi ta 'skoperta ta' anomaliji mibnija fuq dawn il-graffs jipprovdu biss appoġġ limitat għal applikazzjonijiet tad-dinja reali.

Min-naħa l-oħra, MIDAS jimmaniġġja data maħżuna f'a dinamika graff. Kull wieħed mill-elementi fil-graff għandu timestamp assoċjat, li jirrappreżenta l-ħin meta dak l-element ġie miżjud mal-graff. Wara l-eżempju ta 'hawn fuq, graff dinamiku tat-traffiku tan-netwerk jinforma wkoll dwar meta seħħet konnessjoni bejn żewġ indirizzi IP. It-timbru taż-żmien jinbidel kull meta xifer jew nodu eżistenti jiġi aġġornat, jew meta jiġu miżjuda truf ġodda mal-graff. Bħala tali, graffs dinamiċi huma struttura li tevolvi fiż-żmien li taqbel aħjar ħafna applikazzjonijiet tad-dinja reali, li huma dinamiċi fin-natura. Huma jagħmluha possibbli li tintuża kemm l-informazzjoni dwar il-konnettività kif ukoll il-ħin għall-iskoperta ta 'elementi ta' graff suspettużi. Ibbażat fuq dik il-kapaċità, MIDAS jista 'jsib anomaliji f'ħin reali u għalhekk joffri appoġġ għal ħafna każijiet ta' użu tan-negozju.

MIDAS huwa ottimizzat biex jaħdem fuq data grafika dinamika. Kif rajna hawn fuq, graffs dinamiċi jagħmluha possibbli li tirrappreżenta data li tvarja fil-ħin. Madankollu, dan ifisser ukoll li l-istruttura tal-graff innifsu wkoll tinbidel maż-żmien. Dan jintroduċi ċerti sfidi għall-algoritmi ta' skoperta ta' anomaliji li għandhom l-għan li jużaw din id-dejta f'applikazzjonijiet f'ħin reali. Eżempju wieħed huwa l- iskalabbiltà tal-metodu fir-rigward tat-tibdil fil-karatteristiċi tal-graff. Minħabba l-volumi kbar tad-dejta li jikkorrispondu għal xi applikazzjonijiet, l-algoritmi jeħtieġ li jkunu skalabbli b'mod lineari għad-daqs tal-graff. MIDAS jimxi b'mod online u jipproċessa kull tarf f'ħin kostanti u memorja kostanti. L-awturi jirrappurtaw ukoll li l-algoritmu jaħdem "162-633 darba aktar mgħaġġla minn approċċi l-aktar avvanzati". Dan jagħmel l-algoritmu adattat għal applikazzjonijiet f'ħin reali, fejn l-ipproċessar ta 'flussi ta' data ta 'volum għoli huwa meħtieġ. 

Liema każijiet ta' użu kummerċjali jeħtieġu MIDAS?

Biex niksbu ftit ħarsa lejn l-iskoperta ta' anomaliji li qed tintuża fid-dinja tan-negozju tal-lum aħna intervistajna fornitur tal-kripto-munita bbażat fil-Kanada, NDAX. NDAX juża skoperta ta' anomaliji fi tliet oqsma tan-negozju tagħhom. Operazzjonijiet ġenerali tan-negozju, id-dipartiment tal-marketing, u t-tim tal-konformità. Is-sejbien ta' anomaliji jgħin biex jidentifika l-bugs, li jippermettilhom itejbu l-prestazzjoni tal-websajt u l-proċess ta' onboarding tal-klijenti. Jippermettilhom ukoll li jipprovdu gwida lill-iżvilupp tas-softwer u timijiet ta 'operazzjoni back-office dwar kif isolvu dawk il-kwistjonijiet. It-traffiku tal-websajt huwa qasam ieħor li jista 'jsaħħaħ il-qawwa ta' skoperta ta 'anomalija. Il-fehim tal-outliers fit-traffiku tal-websajt jagħti għarfien u fehim aħjar lit-tim tal-immarkar, li jippermettilhom jidentifikaw jekk kampanja ta 'kummerċjalizzazzjoni hijiex taħdem jew le. B'hekk tagħti stampa aktar ċara ta' liema qasam huwa l-aktar importanti biex jikkonċentraw l-isforzi tagħhom. L-aħħar eżempju tagħna huwa kif l-anomalija tal-firma tal-klijent tgħin lit-tim tal-konformità jidentifika frodi potenzjali u jnaqqas ir-riskju tal-klijent.

Fid-diskussjoni tagħna mal-Uffiċjal Kap għall-Konformità tal-NDAX, Julia Baranovskaya tenfasizza kif l-importanza tas-sejbien tal-anomalji ġiet enfasizzata matul il-pandemija attwali. Kien hemm żieda ta’ 300% fil-frodi misjuba fl-aħħar ftit xhur. Żminijiet iddisprati flimkien ma 'traffiku għoli onlajn jistieden scams ta' kull xorta li jimmiraw lejn il-persuni qiegħda u l-anzjani. B'sejbien ta' anomaliji, issa nistgħu nbiddlu dawn l-outliers f'indikaturi ta 'frodi jew xejriet. Il-grafika li ġejja turi kif il-frodi varjat matul in-nofs ta’ quddiem ta’ din is-sena.

NDAX sabet żieda fil-frodi f'Q2, speċjalment scams li jinvolvu l-anzjani u impjiegi foloz.

Xi ngħidu dwar in-negozju tiegħek?

Algoritmi ta' skoperta ta' anomaliji jistgħu jgħinu lin-negozji jidentifikaw u jirreaġixxu għal punti ta' data mhux tas-soltu f'xenarji multipli. Sistema ta' sigurtà bankarja tista' tuża skoperta ta' anomaliji għall-identifikazzjoni ta' tranżazzjonijiet frawdolenti. Bl-istess mod, is-sidien tal-impjanti tal-manifattura jiddependu fuq l-iskoperta tal-anomaliji biex jittrattaw tagħmir li jaħdem ħażin u jimplimentaw miżuri ta 'manutenzjoni ta' tbassir. Fil Netwerks tas-sensuri IoT, l-iskoperta ta 'anomalija tintuża bħala parti minn soluzzjonijiet ta' monitoraġġ tal-kundizzjoni u għall-prevenzjoni ta 'skjerament ta' malware mhux mixtieq. Il-punt tal-qiegħ huwa ċar: negozji li għandhom aċċess għal ammonti kbar ta 'dejta jistgħu jimpjegaw MIDAS (u algoritmi oħra ta' skoperta ta 'anomaliji) sabiex jidentifikaw mudelli mhux tas-soltu f'ħin reali. 

Kif hija strutturata d-dejta tiegħek u kif nistgħu ngħinuk twaqqaf soluzzjoni moderna ta' skoperta ta' anomaliji?

Ibgħatilna linja u għarrafna. Il- Blu Oranġjo Diġitali It-tim tax-xjenza tad-dejta huwa kuntent li jagħmel l-iskoperta tal-anomalji taħdem għall-benefiċċju tiegħek ukoll!

sors ewlieni tal-immaġni: Canva