Anomalias de Negócios: Prevenindo Fraude com Detecção de Anomalias

Detecção de Anomalias com MIDAS

A detecção de anomalias se tornou uma das ferramentas de aprendizado de máquina mais úteis dos últimos cinco anos. Ela pode ser usada desde a prevenção de fraude até o controle de qualidade. É possível isolar fraudadores em sites de revisão online? É possível detectar transações financeiras fraudulentas à medida que ocorrem? É possível que dados de sensores em tempo real informem sobre falhas na rede de energia antes que elas aconteçam?

A detecção de anomalias fornece respostas a perguntas como essas. Identificar anomalias nos dados é uma tarefa vital para a compreensão dos dados. Ao expor grandes conjuntos de dados a ferramentas de aprendizado de máquina e métodos estatísticos, é possível aprender padrões normais nos dados. Quando eventos inconsistentes ocorrem, os algoritmos de detecção de anomalias podem isolar comportamentos anormais e sinalizar qualquer evento que não corresponda aos padrões aprendidos. Essa funcionalidade é crucial em muitos casos de uso de negócios. A detecção de anomalias permite aplicações em um grande número de setores, desde segurança até finanças e monitoramento de IoT. 

Os grafos em escala de rede são ubíquos nos dias de hoje e são uma representação comum de estruturas de dados de grande escala. Eles alimentam tanto aplicações online quanto offline. Alguns exemplos online são grandes redes sociais, motores de recomendação de produtos e grafos de transações financeiras. No offline: redes de estradas, plataformas de IoT e sensores de voltagem em redes de energia elétrica são todas fontes de grandes quantidades de dados em forma de grafos. Ter dados representados como grafos traz tanto benefícios quanto desafios para os proprietários desses conjuntos de dados. Por um lado, permite representar pontos de dados e suas relações em um espaço multidimensional. Por outro lado, são necessários algoritmos escaláveis para análise e interpretação de dados. Isso levou a um aumento do foco de pesquisa em métodos como detecção de anomalias em dados de grafos.

Vamos dar uma olhada mais de perto em um algoritmo de ponta desenvolvido para detecção de anomalias em dados de grafos dinâmicos.

MIDAS

Detector de Anomalias em Fluxos de Arestas Baseado em Microaglomerados (MIDAS) é um algoritmo que aborda a detecção de anomalias em dados de grafos dinâmicos. Ele foi desenvolvido por pesquisadores da Universidade Nacional de Cingapura, que afirmam que seu método supera as abordagens atuais. Seu método alivia a limitação mais comum das implementações anteriores de detecção de anomalias:

Abaixo está a nova linha de base para detecção de anomalias desenvolvida por Siddarth Bhatia e sua equipe na Universidade de Cingapura

Apresentando MIDAS: Uma Nova Linha de Base para Detecção de Anomalias em Grafos. Fonte de imagem: Blog

Representando os dados como um grafo estático

Grafos estáticos contêm apenas informações de conectividade e ignoram informações temporais. Eles também são conhecidos como instantâneos de grafos e só podem ser usados para detectar entidades de grafos incomuns (por exemplo, nós, arestas ou subgrafos suspeitos). No entanto, para muitas aplicações práticas, o aspecto temporal é igualmente importante: é relevante saber quando a estrutura do grafo mudou. Para ilustrar, em um grafo estático que representa um fluxo de tráfego de rede, uma aresta informa apenas que há uma conexão entre um endereço IP de origem e um endereço IP de destino. Mas a descrição temporal da aresta está faltando e, portanto, o momento em que os dois endereços se conectaram é desconhecido. Como os grafos estáticos não podem modelar essas informações temporais, os métodos de detecção de anomalias construídos sobre esses grafos fornecem apenas suporte limitado para aplicações do mundo real.

Por outro lado, MIDAS lida com dados armazenados em um grafo dinâmico. Cada um dos elementos do grafo tem um carimbo de data/hora associado, representando o momento em que esse elemento foi adicionado ao grafo. Seguindo o exemplo acima, um grafo de tráfego de rede dinâmico também informaria quando uma conexão entre dois endereços IP ocorreu. O carimbo de data/hora muda sempre que uma aresta ou nó existente é atualizado ou quando novas arestas são adicionadas ao grafo. Como tal, os grafos dinâmicos são uma estrutura em evolução que se ajusta melhor a muitas aplicações do mundo real, que são dinâmicas por natureza. Eles permitem usar tanto a conectividade quanto as informações de tempo para a detecção de elementos de grafos suspeitos. Com base nessa capacidade, o MIDAS pode detectar anomalias em tempo real e, portanto, oferece suporte a muitos casos de uso de negócios.

O MIDAS é otimizado para funcionar em dados de grafos dinâmicos. Como vimos acima, os grafos dinâmicos permitem representar dados que variam com o tempo. No entanto, isso também significa que a própria estrutura do grafo muda com o tempo. Isso introduz certos desafios para os algoritmos de detecção de anomalias que visam usar esses dados em aplicações em tempo real. Um exemplo é a escalabilidade do método em relação às características do grafo em mudança. Dada a grande quantidade de dados correspondente a algumas aplicações, os algoritmos precisam ser linearmente escaláveis para o tamanho do grafo. O MIDAS é executado de forma online e processa cada aresta em tempo constante e memória constante. Os autores também relatam que o algoritmo executa “162-633 vezes mais rápido do que as abordagens atuais”. Isso torna o algoritmo adequado para aplicações em tempo real, onde o processamento de grandes volumes de fluxos de dados é necessário. 

Quais casos de uso de negócios precisam do MIDAS?

Para obter uma visão geral de como a detecção de anomalias está sendo utilizada no mundo dos negócios de hoje, entrevistamos o provedor de criptomoedas canadense NDAX. A NDAX usa detecção de anomalias em três áreas de seu negócio. Operações gerais de negócios, departamento de marketing e equipe de conformidade. A detecção de anomalias ajuda a identificar bugs, o que permite melhorar o desempenho do site e o processo de onboarding de clientes. Também permite fornecer orientação às equipes de desenvolvimento de software e operações de back-office sobre como resolver esses problemas. O tráfego do site é outra área que pode aproveitar o poder da detecção de anomalias. Entender os outliers no tráfego do site fornece insights e uma melhor compreensão para a equipe de marketing, o que permite identificar se uma campanha de marketing está funcionando ou não. Assim, fornecendo uma imagem mais clara de qual área é a mais importante para concentrar esforços. Nosso último exemplo é como a anomalia de assinatura de cliente ajuda a equipe de conformidade a identificar potencial fraude e reduzir o risco do cliente.

Em nossa discussão com a Diretora de Conformidade da NDAX, Julia Baranovskaya, destaca como a importância da detecção de anomalias foi enfatizada durante a pandemia atual. Houve um aumento de 300% na fraude detectada nos últimos meses. Tempos desesperados combinados com alto tráfego online convidam golpes de todos os tipos que visam os desempregados e idosos. Com a detecção de anomalias, agora podemos transformar esses outliers em indicadores de fraude ou tendências. O gráfico a seguir mostra como a fraude flutuou durante o primeiro semestre deste ano.

A NDAX encontrou um aumento na fraude no segundo trimestre, especialmente golpes envolvendo idosos e anúncios de emprego falsos.

E Sobre o Seu Negócio?

Os algoritmos de detecção de anomalias podem ajudar os negócios a identificar e reagir a pontos de dados incomuns em múltiplos cenários. Um sistema de segurança bancária pode empregar detecção de anomalias para a identificação de transações fraudulentas. Da mesma forma, os proprietários de plantas manufatureiras confiam na detecção de anomalias para lidar com equipamentos com defeito e implementar medidas de manutenção preditiva. Em redes de sensores de IoT, a detecção de anomalias é usada como parte de soluções de monitoramento de condições e para a prevenção de implantação de malware indesejado. O ponto principal é claro: os negócios que têm acesso a grandes quantidades de dados podem empregar o MIDAS (e outros algoritmos de detecção de anomalias) para identificar padrões incomuns em tempo real. 

Como seus dados estão estruturados e como podemos ajudá-lo a configurar uma solução moderna de detecção de anomalias? Envie-nos uma mensagem e nos informe. A equipe de ciência de dados da Blue Orange Digital está feliz em fazer a detecção de anomalias funcionar para o seu benefício também!

fonte da imagem principal: Canva