业务异常：通过异常检测防止欺诈

使用 MIDAS 进行异常检测

异常检测已成为过去五年中最有用的机器学习工具之一。它可用于从欺诈到质量控制。是否可以隔离在线评论网站中的欺诈者？欺诈性金融交易能够在发生时被发现吗？实时传感器数据能否在电网故障发生之前告知其情况？

异常检测为此类问题提供了答案。 识别数据中的异常是一项重要的数据理解任务。 通过将大型数据集暴露给机器学习工具和统计方法，可以学习数据中的正常模式。 当发生不一致事件时，异常检测算法可以隔离异常行为并标记与学习模式不对应的任何事件。 此类功能在许多业务用例中至关重要。 异常检测可应用于从安全到金融等众多领域 物联网监控. 

网络规模的图如今无处不在，是大数据结构的常见表示。 它们支持在线和离线应用程序。 一些在线示例包括大型社交网络、产品推荐引擎和金融交易图。 在线下：道路网络、物联网平台和电网中的电压传感器都是大量图形数据的来源。 将数据表示为图表给所述数据集的所有者带来了好处和挑战。 一方面，它允许代表 多维空间中的数据点及其关系。 另一方面，需要可扩展的数据分析和解释算法。 这导致了 增加研究重点 诸如此类的方法 图数据的异常检测。

让我们仔细看看为动态图数据中的异常检测而开发的最先进的算法。

MIDAS

基于微簇的边缘流异常检测器 (MIDAS) 是一种解决异常检测的算法 动态 图表数据。 它是由新加坡国立大学的研究人员开发的，他们声称他们的方法优于最先进的方法。 他们的方法缓解了以前异常检测实现中最常见的缺点：

以下是新加坡大学 Siddarth Bhatia 及其团队开发的新异常检测基线

介绍 MIDAS：图形异常检测的新基准。 图片来源： 博客

将数据表示为 静止 图形

静态图仅包含连接信息并忽略时间信息。 它们也称为图快照，只能用于发现不寻常的图实体（例如可疑节点、边或子图）。 然而，对于许多实际应用来说，时间方面同样重要：了解这一点是相关的 ，尤其是 图形结构已更改。 为了说明这一点，在表示网络流量的静态图中，边仅通知源 IP 地址和目标 IP 地址之间存在连接。 但缺少边缘的时间描述，因此两个地址连接的时间未知。 由于静态图无法对此类时间信息进行建模，因此基于此类图构建的异常检测方法只能为现实世界的应用程序提供有限的支持。

另一方面， MIDAS 处理存储在 动态 图形。 图中的每个元素都有一个关联的时间戳，表示该元素添加到图中的时间。 继上面的示例之后，动态网络流量图还将告知 ，尤其是 两个 IP 地址之间发生连接。 每当更新现有边或节点，或者将新边添加到图中时，时间戳都会发生变化。 因此，动态图是一种随时间演变的结构，更适合许多本质上是动态的现实世界应用程序。 它们使得使用连接性和时间信息来检测可疑图形元素成为可能。 基于该功能，MIDAS 可以实时检测异常情况，从而为许多业务用例提供支持。

MIDAS 经过优化，可以处理动态图形数据。 正如我们在上面所看到的，动态图可以表示随时间变化的数据。 然而，这也意味着图结构本身也会随着时间而变化。 这给旨在在实时应用程序中使用这些数据的异常检测算法带来了一定的挑战。 一个例子是 该方法的可扩展性 关于改变图形特征。 考虑到某些应用程序对应的数据量很大，算法需要线性扩展至图的大小。 MIDAS 以在线方式运行，并以恒定的时间和恒定的内存处理每个边缘。 作者还报告说该算法运行 “比最先进的方法快 162-633 倍”。 这使得该算法适合需要处理大量数据流的实时应用。 

哪些业务用例需要 MIDAS？

为了深入了解异常检测在当今商业世界中的应用，我们采访了加拿大的加密货币提供商， NDAX。 NDAX 在其业务的三个领域内使用异常检测。 一般业务运营、营销部门和合规团队。 异常检测有助于识别错误，从而提高网站性能和客户引导流程。 它还允许他们为软件开发和后台运营团队提供如何解决这些问题的指导。 网站流量是另一个可以利用异常检测功能的领域。 了解网站流量中的异常值可以为营销团队提供洞察力和更好的理解，从而使他们能够确定营销活动是否有效。 从而更清楚地了解哪个领域最重要，需要集中精力。 我们的最后一个例子是客户注册异常如何帮助合规团队识别潜在的欺诈并降低客户风险。

在我们与 NDAX 首席合规官 Julia Baranovskaya 的讨论中，她强调了异常检测在当前疫情期间的重要性。过去几个月，检测到的欺诈案件增加了 300%。疫情期间，加上高流量的网络流量，各种针对失业者和老年人的诈骗活动层出不穷。借助异常检测，我们现在能够将这些异常值转化为欺诈或趋势的指标。下图显示了今年上半年欺诈行为的波动情况。

NDAX 发现第二季度欺诈行为有所增加，尤其是涉及老年人的诈骗和虚假招聘信息。

您的业​​务怎么样？

异常检测算法可以帮助企业识别多种场景中的异常数据点并做出反应。 银行安全系统可以采用异常检测来识别欺诈交易。 同样，制造工厂所有者依靠异常检测来处理故障设备并实施预测性维护措施。 在 物联网传感器网络，异常检测用作状态监控解决方案的一部分，并用于防止意外的恶意软件部署。 底点很明确：能够访问大量数据的企业可以采用 MIDAS（和其他异常检测算法）来实时识别异常模式。 

您的数据结构如何？我们如何帮助您建立现代异常检测解决方案？

请给我们留言并告知我们。 这 蓝橙色数码 数据科学团队也很高兴让异常检测为您带来好处！

主要图片来源：Canva