Anomalías comerciales: Prevención del fraude con detección de anomalías

Detección de anomalías con MIDAS

La detección de anomalías se ha convertido en una de las herramientas de aprendizaje automático más útiles de los últimos cinco años. Puede ser utilizada desde el fraude hasta el control de calidad. ¿Es posible aislar a los estafadores en sitios web de reseñas en línea? ¿Pueden detectarse transacciones financieras fraudulentas a medida que ocurren? ¿Puede la información de sensores en vivo informar sobre fallos en la red de energía antes de que ocurran?

La detección de anomalías proporciona respuestas a preguntas como estas. Identificar anomalías en los datos es una tarea vital para la comprensión de los datos. Al exponer grandes conjuntos de datos a herramientas de aprendizaje automático y métodos estadísticos, se pueden aprender patrones normales en los datos. Cuando ocurren eventos inconsistentes, los algoritmos de detección de anomalías pueden aislar el comportamiento anormal y marcar cualquier evento que no corresponda a los patrones aprendidos. Esta funcionalidad es crucial en muchos casos de uso empresarial. La detección de anomalías permite aplicaciones en una gran cantidad de sectores, desde la seguridad hasta las finanzas y monitoreo de IoT. 

Los grafos a escala web son hoy en día ubicuos y son una representación común de estructuras de datos grandes. Potencian tanto aplicaciones en línea como fuera de línea. Algunos ejemplos en línea son grandes redes sociales, motores de recomendación de productos y grafos de transacciones financieras. En el caso de fuera de línea: las redes de carreteras, las plataformas de IoT y los sensores de voltaje en las redes de energía eléctrica son todas fuentes de grandes cantidades de datos similares a grafos. Tener los datos representados como grafos trae tanto beneficios como desafíos para los propietarios de dichos conjuntos de datos. Por un lado, permite representar puntos de datos y sus relaciones en un espacio multidimensional. Por otro lado, se necesitan algoritmos escalables para el análisis y la interpretación de los datos. Esto ha llevado a un enfoque de investigación aumentado en métodos como la detección de anomalías en datos de grafos.

Veamos de cerca un algoritmo de estado del arte desarrollado para la detección de anomalías en datos de grafos dinámicos.

MIDAS

Detector de anomalías en flujos de aristas basado en microclústeres (MIDAS) es un algoritmo que aborda la detección de anomalías en datos de grafos dinámicos. Ha sido desarrollado por investigadores de la Universidad Nacional de Singapur que afirman que su método supera a los enfoques de estado del arte. Su método alivia la limitación más común de las implementaciones anteriores de detección de anomalías:

A continuación se muestra la nueva línea base para la detección de anomalías desarrollada por Siddarth Bhatia y su equipo en la Universidad de Singapur

Presentando MIDAS: Una nueva línea base para la detección de anomalías en grafos. Fuente de la imagen: Blog

Representar los datos como un grafo estático

Los grafos estáticos contienen solo información de conectividad e ignoran la información temporal. También se les conoce como instantáneas de grafos y solo se pueden utilizar para detectar entidades de grafos inusuales (por ejemplo, nodos, aristas o subgrafos sospechosos). Sin embargo, para muchas aplicaciones prácticas, el aspecto temporal es igualmente importante: es relevante saber cuándo ha cambiado la estructura del grafo. Para ilustrar, en un grafo estático que representa una corriente de tráfico de red, una arista solo informa que hay una conexión entre una dirección IP de origen y una dirección IP de destino. Pero la descripción temporal de la arista está ausente y, por lo tanto, es desconocido el momento en que las dos direcciones se conectaron. Dado que los grafos estáticos no podían modelar dicha información temporal, los métodos de detección de anomalías basados en dichos grafos proporcionan solo un apoyo limitado para aplicaciones del mundo real.

Por otro lado, MIDAS maneja datos almacenados en un grafo dinámico. Cada uno de los elementos del grafo tiene una marca de tiempo asociada, que representa el momento en que ese elemento se agregó al grafo. Siguiendo con el ejemplo anterior, un grafo de tráfico de red dinámico también informaría sobre cuándo se produjo una conexión entre dos direcciones IP. La marca de tiempo cambia cada vez que se actualiza una arista o nodo existente, o cuando se agregan nuevas aristas al grafo. Como tal, los grafos dinámicos son una estructura en evolución que se adapta mejor a muchas aplicaciones del mundo real, que son dinámicas por naturaleza. Permiten utilizar tanto la conectividad como la información de tiempo para la detección de elementos de grafos sospechosos. Con base en esa capacidad, MIDAS puede detectar anomalías en tiempo real y, por lo tanto, ofrece apoyo para muchos casos de uso empresarial.

MIDAS está optimizado para funcionar en datos de grafos dinámicos. Como hemos visto anteriormente, los grafos dinámicos permiten representar datos que varían con el tiempo. Sin embargo, esto también significa que la estructura del grafo en sí también cambia con el tiempo. Esto introduce ciertos desafíos para los algoritmos de detección de anomalías que tienen como objetivo utilizar estos datos en aplicaciones en tiempo real. Un ejemplo es la escalabilidad del método con respecto a las características cambiantes del grafo. Dado que los grandes volúmenes de datos correspondientes a algunas aplicaciones, los algoritmos necesitan ser linealmente escalables con respecto al tamaño del grafo. MIDAS se ejecuta en línea y procesa cada arista en tiempo constante y memoria constante. Los autores también informan que el algoritmo se ejecuta “162-633 veces más rápido que los enfoques de estado del arte”. Esto hace que el algoritmo sea adecuado para aplicaciones en tiempo real, donde es necesario el procesamiento de flujos de datos de alto volumen. 

¿Qué casos de uso empresarial necesitan MIDAS?

Para obtener una idea de cómo se utiliza la detección de anomalías en el mundo empresarial actual, entrevistamos a NDAX, un proveedor de criptomonedas con sede en Canadá. NDAX utiliza la detección de anomalías en tres áreas de su negocio. Operaciones comerciales generales, el departamento de marketing y el equipo de cumplimiento. La detección de anomalías ayuda a identificar errores, lo que les permite mejorar el rendimiento del sitio web y el proceso de incorporación de clientes. También les permite brindar orientación a los equipos de desarrollo de software y operaciones de back-office sobre cómo resolver esos problemas. El tráfico del sitio web es otra área que puede aprovechar el poder de la detección de anomalías. Comprender los valores atípicos en el tráfico del sitio web proporciona información y una mejor comprensión al equipo de marketing, lo que les permite identificar si una campaña de marketing está funcionando o no. Así, se obtiene una imagen más clara de qué área es la más importante para concentrar sus esfuerzos. Nuestro último ejemplo es cómo la anomalía de registro de cliente ayuda al equipo de cumplimiento a identificar posibles fraudes y reducir el riesgo del cliente.

En nuestra conversación con la Directora de Cumplimiento de NDAX, Julia Baranovskaya, destaca cómo la importancia de la detección de anomalías se ha enfatizado durante la pandemia actual. Ha habido un aumento del 300% en el fraude detectado en los últimos meses. Los tiempos desesperados combinados con el alto tráfico en línea invitan a estafas de todo tipo que apuntan a los desempleados y ancianos. Con la detección de anomalías, ahora podemos convertir estos valores atípicos en indicadores de fraude o tendencias. El siguiente gráfico muestra cómo ha fluctuado el fraude durante la primera mitad de este año.

NDAX encontró un aumento en el fraude en el Q2, especialmente estafas que involucran a ancianos y anuncios de trabajo falsos.

¿Y su negocio?

Los algoritmos de detección de anomalías pueden ayudar a las empresas a identificar y reaccionar ante puntos de datos inusuales en múltiples escenarios. Un sistema de seguridad bancaria puede emplear la detección de anomalías para la identificación de transacciones fraudulentas. De manera similar, los propietarios de plantas manufactureras confían en la detección de anomalías para lidiar con equipo defectuoso y implementar medidas de mantenimiento predictivo. En redes de sensores de IoT, la detección de anomalías se utiliza como parte de soluciones de monitoreo de condiciones y para la prevención de la implementación no deseada de malware. El punto clave es claro: las empresas que tienen acceso a grandes cantidades de datos pueden emplear MIDAS (y otros algoritmos de detección de anomalías) para identificar patrones inusuales en tiempo real. 

¿Cómo está estructurado su dato y cómo podemos ayudarlo a configurar una solución moderna de detección de anomalías? Háganoslo saber. El equipo de ciencia de datos de Blue Orange Digital está encantado de hacer que la detección de anomalías funcione para su beneficio también.

fuente de la imagen principal: Canva