商业异常：使用MIDAS进行异常检测以防止欺诈

MIDAS异常检测

异常检测已经成为过去五年中最有用的机器学习工具之一。它可以用于欺诈检测、质量控制等领域。是否可以在在线评论网站中隔离欺诈者？是否可以检测到发生的欺诈性金融交易？是否可以实时传感器数据在电网故障发生之前通知我们？

异常检测提供了这些问题的答案。识别数据中的异常是数据理解的重要任务。通过将大型数据集暴露给机器学习工具和统计方法，可以学习数据中的正常模式。当不一致的事件发生时，异常检测算法可以隔离异常行为并标记不符合学习模式的事件。这种功能在许多商业用例中至关重要。异常检测使得安全、金融、物联网监控等领域的应用成为可能。

网络图现在无处不在，是大型数据结构的常见表示形式。它们同时支持在线和离线应用。在线示例包括大型社交网络、产品推荐引擎和金融交易图。在离线环境中，道路网络、物联网平台和电力网中的电压传感器都是大量图形数据的来源。将数据表示为图形既有利也有弊。它允许在多维空间中表示数据点及其关系，但同时也需要可扩展的数据分析和解释算法。这导致了对异常检测等方法的研究重点增加，例如图形数据的异常检测。

让我们来看一下为动态图数据异常检测开发的最新算法。

MIDAS

基于微簇的异常检测算法（MIDAS）是用于动态图数据异常检测的算法。它由新加坡国立大学的研究人员开发，他们声称他们的方法优于现有的方法。他们的方法缓解了以前异常检测实现的常见缺陷：

以下是新加坡大学的Siddarth Bhatia和他的团队开发的异常检测新基准

介绍MIDAS：图形异常检测的新基准。图片来源：博客

将数据表示为静态图

静态图仅包含连接信息，忽略时间信息。它们也被称为图快照，只能用于识别异常图实体（例如可疑节点、边或子图）。但是，对于许多实际应用，时间方面同样重要：需要知道图结构何时发生变化。例如，在表示网络流量流的静态图中，边仅表示源IP地址和目标IP地址之间存在连接，但时间信息缺失，因此不知道两个地址何时连接。由于静态图不能表示此类时间信息，因此基于此类图的异常检测方法仅提供有限的支持。另一方面，MIDAS处理存储在动态图中的数据。图中的每个元素都有一个关联的时间戳，表示该元素添加到图中的时间。继续上面的例子，动态网络流量图还将告知连接两个IP地址的时间。时间戳在现有边或节点更新或添加新边到图时发生变化。因此，动态图是随时间演化的结构，更适合许多实际应用，这些应用本质上也是动态的。它们使得可以使用连接性和时间信息来检测可疑图元素。基于此功能，MIDAS可以实时检测异常，因此为许多商业用例提供了支持。

MIDAS针对动态图数据进行了优化。如上所述，动态图使得可以表示时变数据。然而，这也意味着图结构本身也会随时间变化。这为旨在使用此数据的实时应用的异常检测算法带来了挑战。一个例子是方法的可扩展性，特别是与图特征的变化有关。考虑到某些应用的数据量很大，算法需要与图的大小线性可扩展。MIDAS在线运行，并以恒定时间和恒定内存处理每个边。作者还报告说，该算法比现有方法“快162-633倍”。这使得算法适合实时应用，在这些应用中需要处理大量数据流。

哪些商业用例需要MIDAS？

为了更好地了解异常检测在当今商业世界中的应用，我们采访了加拿大加密货币提供商NDAX。NDAX在三个业务领域使用异常检测：一般业务运营、营销部门和合规团队。异常检测有助于识别错误，从而改善网站性能和客户入网流程。它还为软件开发和后台运营团队提供了如何解决这些问题的指导。网站流量也是可以利用异常检测的另一个领域。了解网站流量中的异常可以为营销团队提供洞察力和更好的理解，从而可以判断营销活动是否有效。因此，可以更清楚地了解哪些领域是最重要的。我们的最后一个例子是客户注册异常检测如何帮助合规团队识别潜在欺诈并降低客户风险。

在与NDAX首席合规官Julia Baranovskaya的讨论中，她强调了异常检测在当前疫情期间的重要性。过去几个月，检测到的欺诈案例增加了300%。艰难时期和高网络流量吸引了各种针对失业和老年人的骗局。有了异常检测，我们现在可以将这些异常转化为欺诈或趋势的指标。下面的图表显示了今年上半年欺诈案例的变化情况。

NDAX在第二季度发现欺诈案例增加，尤其是针对老年人的骗局和假招聘信息。

你的业务怎么办？

异常检测算法可以帮助企业在多种场景中识别和响应异常数据点。银行安全系统可能会使用异常检测来识别欺诈性交易。同样，制造厂主也依赖异常检测来处理故障设备并实施预测性维护措施。在物联网传感器网络中，异常检测用于条件监控解决方案和防止不想要的恶意软件部署。关键点很明确：具有大量数据的企业可以使用MIDAS（和其他异常检测算法）来实时识别异常模式。

你的数据是如何结构化的，我们如何帮助你设置现代的异常检测解决方案？请告诉我们。Blue Orange Digital的数据科学团队很乐意让异常检测为你带来好处！

主图来源：Canva