Anomalies empresarials: Prevenció del frau amb la detecció d'anomalies

Detecció d'anomalies amb MIDAS

La detecció d'anomalies s'ha convertit en una de les eines d'aprenentatge automàtic més útils dels últims cinc anys. Es pot utilitzar des del frau fins al control de qualitat. És possible aïllar els estafadors als llocs web de revisió en línia? Es poden detectar transaccions financeres fraudulentes a mesura que es produeixen? Les dades dels sensors en directe poden informar sobre fallades de la xarxa elèctrica abans que es produeixin?

La detecció d'anomalies ofereix respostes a preguntes com aquestes. La identificació d'anomalies en les dades és una tasca de comprensió de dades vital. En exposar grans conjunts de dades a eines d'aprenentatge automàtic i mètodes estadístics, es poden aprendre patrons normals de dades. Quan es produeixen esdeveniments inconsistents, els algorismes de detecció d'anomalies poden aïllar un comportament anormal i marcar qualsevol esdeveniment que no es correspon amb els patrons apresos. Aquesta funcionalitat és crucial en molts casos d'ús empresarial. La detecció d'anomalies permet aplicacions en un gran nombre de sectors, des de la seguretat fins a les finances i Monitorització IoT. 

Els gràfics a escala web són avui dia omnipresents i són una representació habitual de les estructures de big data. Poden tant aplicacions en línia com fora de línia. Alguns exemples en línia són les grans xarxes socials, els motors de recomanació de productes i els gràfics de transaccions financeres. Fora de línia: les xarxes de carreteres, les plataformes IoT i els sensors de tensió a les xarxes elèctriques són fonts de grans quantitats de dades semblants a gràfics. Tenir dades representades com a gràfics aporta beneficis i reptes als propietaris d'aquests conjunts de dades. D'una banda, permet representar punts de dades i les seves relacions en un espai multidimensional. D'altra banda, calen algorismes escalables per a l'anàlisi i interpretació de dades. Això ha donat lloc a un augment del focus de recerca sobre mètodes com detecció d'anomalies en dades de gràfics.

Fem una ullada més de prop a un algorisme d'última generació desenvolupat per a la detecció d'anomalies en dades de gràfics dinàmics.

MIDAS

Detector d'anomalies basat en microclusters en fluxos de vora (MIDAS) és un algorisme que aborda la detecció d'anomalies dinàmic dades del gràfic. Ha estat desenvolupat per investigadors de la Universitat Nacional de Singapur que afirmen que el seu mètode supera els enfocaments d'última generació. El seu mètode alleuja la deficiència més comuna de les implementacions anteriors de detecció d'anomalies:

A continuació es mostra la nova línia de base per a la detecció d'anomalies desenvolupada per Siddarth Bhatia i el seu equip a la Universitat de Singapur

Representar les dades com a estàtic gràfic

Els gràfics estàtics només contenen informació de connectivitat i ignoren la informació temporal. També es coneixen com a instantànies de gràfics i només es poden utilitzar per detectar entitats de gràfics inusuals (per exemple, nodes, vores o subgrafs sospitosos). Tanmateix, per a moltes aplicacions pràctiques, l'aspecte temporal és igual d'important: és rellevant saber-ho Quan l'estructura del gràfic ha canviat. Per il·lustrar, en un gràfic estàtic que representa el flux de trànsit de xarxa, una vora només informa que hi ha una connexió entre una adreça IP d'origen i una adreça IP de destinació. Però falta la descripció temporal de la vora i, per tant, es desconeix el moment en què les dues adreces connectades. Com que els gràfics estàtics no podrien modelar aquesta informació temporal, els mètodes de detecció d'anomalies construïts a sobre d'aquests gràfics ofereixen només un suport limitat per a aplicacions del món real.

D'altra banda, MIDAS gestiona les dades emmagatzemades en a dinàmic gràfic. Cadascun dels elements del gràfic té una marca de temps associada, que representa l'hora en què s'ha afegit aquest element al gràfic. Seguint l'exemple anterior, també informaria sobre un gràfic de trànsit de xarxa dinàmic Quan s'ha produït una connexió entre dues adreces IP. La marca de temps canvia cada cop que s'actualitza una vora o un node existent, o quan s'afegeixen arestes noves al gràfic. Com a tal, els gràfics dinàmics són una estructura que evoluciona en el temps que s'adapta millor a moltes aplicacions del món real, que són de naturalesa dinàmica. Permeten utilitzar tant la informació de connectivitat com de temps per a la detecció d'elements de gràfics sospitosos. A partir d'aquesta capacitat, MIDAS pot detectar anomalies en temps real i, per tant, ofereix suport per a molts casos d'ús empresarial.

MIDAS està optimitzat per treballar amb dades de gràfics dinàmics. Com hem vist anteriorment, els gràfics dinàmics permeten representar dades variables en el temps. Tanmateix, això també significa que l'estructura del gràfic també canvia amb el temps. Això introdueix certs reptes per als algorismes de detecció d'anomalies que pretenen utilitzar aquestes dades en aplicacions en temps real. Un exemple és el escalabilitat del mètode pel que fa al canvi de característiques del gràfic. Donats els grans volums de dades corresponents a algunes aplicacions, els algorismes han de ser escalables linealment a la mida del gràfic. MIDAS funciona de manera en línia i processa cada extrem en temps constant i memòria constant. Els autors també informen que l'algorisme s'executa "162-633 vegades més ràpid que els enfocaments d'última generació". Això fa que l'algorisme sigui adequat per a aplicacions en temps real, on és necessari el processament de fluxos de dades de gran volum. 

Quins casos d'ús empresarial necessiten MIDAS?

Per obtenir una petita visió de la detecció d'anomalies que s'utilitza en el món empresarial actual, vam entrevistar un proveïdor de criptomoneda amb seu al Canadà, NDAX. NDAX utilitza la detecció d'anomalies en tres àrees del seu negoci. Operacions comercials generals, el departament de màrqueting i l'equip de compliment. La detecció d'anomalies ajuda a identificar errors, cosa que els permet millorar el rendiment del lloc web i el procés d'incorporació del client. També els permet oferir orientació als equips de desenvolupament de programari i operacions de back-office sobre com resoldre aquests problemes. El trànsit del lloc web és una altra àrea que pot aprofitar el poder de detecció d'anomalies. Entendre els valors atípics del trànsit del lloc web proporciona una visió i una millor comprensió a l'equip de marcatge, que els permet identificar si una campanya de màrqueting funciona o no. Donant així una imatge més clara de quina àrea és la més important per concentrar els seus esforços. El nostre últim exemple és com l'anomalia de registre del client ajuda l'equip de compliment a identificar possibles fraus i reduir el risc del client.

En la nostra discussió amb la directora de compliment de NDAX, Julia Baranovskaya destaca com s'ha emfatitzat la importància de la detecció d'anomalies durant la pandèmia actual. Hi ha hagut un augment del 300% del frau detectat en els últims mesos. Els temps desesperats combinats amb un alt trànsit en línia conviden a estafes de tot tipus que es dirigeixen als aturats i la gent gran. Amb la detecció d'anomalies, ara podem convertir aquests valors atípics en indicadors de frau o tendències. El gràfic següent mostra com ha fluctuat el frau durant la primera meitat d'aquest any.

NDAX va trobar un augment del frau al segon trimestre, especialment les estafes amb gent gran i les publicacions de feina falses.

Què passa amb el teu negoci?

Els algorismes de detecció d'anomalies poden ajudar les empreses a identificar i reaccionar davant punts de dades inusuals en diversos escenaris. Un sistema de seguretat bancari pot utilitzar la detecció d'anomalies per a la identificació de transaccions fraudulentes. De la mateixa manera, els propietaris de les plantes de fabricació confien en la detecció d'anomalies per fer front als equips amb mal funcionament i implementar mesures de manteniment predictiu. En Xarxes de sensors IoT, la detecció d'anomalies s'utilitza com a part de les solucions de control de l'estat i per a la prevenció del desplegament de programari maliciós no desitjat. El punt final és clar: les empreses que tenen accés a grans quantitats de dades poden utilitzar MIDAS (i ​​altres algorismes de detecció d'anomalies) per identificar patrons inusuals en temps real. 

Com s'estructuren les vostres dades i com us podríem ajudar a configurar una solució moderna de detecció d'anomalies?

Envieu-nos una línia i feu-nos-ho saber. El Blau Taronja Digital L'equip de ciència de dades està encantat de fer que la detecció d'anomalies també funcioni per al vostre benefici!

Font de la imatge principal: Canva