基于本地浏览器行为的机器学习广告拦截方法

瑞士和美国的研究人员开发了一种新的机器学习方法来检测网站广告材料，该方法基于广告材料与浏览器的交互方式，而不是分析其内容或网络行为——这两种方法在长期内已被证明是无效的，尤其是在面对CNAME隐匿（见下文）时。

被称为WebGraph的框架使用基于图的AI广告拦截方法来检测促销内容，重点关注网络广告的基本活动，包括遥测尝试和本地浏览器存储——唯一有效的规避技术就是不进行这些活动。

虽然之前的方法在检测率方面略高于WebGraph，但它们都容易受到规避技术的影响，而WebGraph能够在面对对抗性响应时达到100%的完整性，包括可能在面对这种新型广告拦截方法时出现的更复杂的假设响应。

该论文由两位来自瑞士联邦理工大学的研究人员领导，联合加利福尼亚大学戴维斯分校和爱荷华大学的研究人员共同完成。

超越AdGraph

该工作是2020年与Brave浏览器合作的研究计划AdGraph的发展，该计划中有两位研究人员参与了新的论文。

AdGraph与WebGraph的比较，虚线表示对前一种方法的架构创新。 来源：https://arxiv.org/pdf/2107.11309.pdf

AdGraph依赖于（广告）内容特征，这些特征来自URL分析，是检测商业材料的关键。然而，这些特征代表了对手试图检测广告检测系统的单一潜在失败点，并制定方法来规避它们。这种对内容属性的依赖使AdGraph本质上成为一个机械化的、基于手动策略的方法，共享其弱点。

CNAME隐匿

来自网站自身域名的材料属于“可信”类别，因为该域名本身是可信的。对于一个高权威网站，运行广告活动以使材料看起来像是由权威网站本身托管的，这是有价值的，因为这种广告对基于过滤器的广告拦截列表和甚至2020年的AdGraph方法都是免疫的。

然而，定制活动难以协商，实施成本高，并且违背了过去25年中发展起来的网络广告模型的核心原则，即第三方平台直接将代码插入托管网站，通常在微秒内根据关键词可行性和其他因素“拍卖”广告位。

由于几乎所有广告拦截系统都依赖于网页中的第三方材料（即托管在“外来”域名上的元素），广告商在过去五年中一直使用CNAME隐匿技术来反击。CNAME隐匿欺骗跟踪器，使其相信主机网站的子域名（例如information.example.com而不是example.com）是网站的真正附属，而实际上这是第三方广告提供商安排的代理广告服务机制。

2021年3月的一项研究揭示，CNAME隐匿事件在2018年至2020年之间增加了22%，截至2020年10月，Tranco排名前10,000的网站中几乎有10%至少使用了一个基于CNAME的跟踪器。

不信任URL

CNAME欺骗技术涉及广告服务过程中URL的操纵。任何信任URL链的广告拦截系统都将容易受到操纵和规避。因此，WebGraph随机改变提供的URL（包括查询字符串、参数数量和参数名称），寻找使用模式而不是特定的禁止或接受的URL。

系统必须考虑两个常见的广告服务架构配置：一、主机直接与广告商合作；二、广告商由于需要保护自己免受客户操纵而提供有限的合作（更常见的场景）。

在基于列表的方法中，包括AdGraph，广告服务系统成功操纵URL几乎是完全的胜利，赋予广告“本地”来源，并因此规避了几乎所有系统性阻止广告内容的尝试。

剩下的什么？WebGraph关注的是广告系统需要通过各种半隐蔽的手段共享信息，例如网页跟踪器、iframe和网页“监听器”之间的通信，这些监听器不断轮询主机页面的实时状态以获取与网页指标相关的活动。这种活动包括在cookie或HTML5本地存储中存储变量。

WebGraph使用Mozilla的Web隐私度量（OpenWPM框架）来跟踪此类活动在Firefox中的情况。它捕获JavaScript层的所有活动和网络层的所有出站网络请求及其响应。

这种额外的审查为之前由AdGraph提出的图网络引入了新的“信息流”边缘，允许WebGraph明确记录和量化基于本地活动的信息共享模式，无论起源和目的URL如何，包括广告服务系统中的遥测或其他类型的内部通信。

结果

研究人员使用OpenWPM的扩展版本来系统地爬取10,000个网站，这些网站来自Alexa排名前100,000的网站，以及1k-100k排名之间的9,000个网站的随机样本，存储它们的图表示，然后将结果传递给一个决策树分类器，该分类器的设计基于AdGraph的原始设计，并使用流行的广告过滤列表作为基准。通过这种方式，构建了一个用于训练核心模型的数据集。

该系统实现了与AdGraph相当的结果，准确率为92.33%。然而，新系统对对抗性抵抗的鲁棒性从AdGraph的几乎完全失败率提高到WebGraph的8%易受性。

未来方向

该论文认为，广告网络需要显著地重新架构其系统，以便在面对WebGraph方法时避免被检测，并且这种变化将需要重新评估第三方广告商与其广告出现在的主机网站之间当前的信任关系。

该论文还指出，WebGraph不考虑无状态跟踪技术，例如通过Canvas元素的浏览器指纹识别，这些技术使用了系统当前不监控的API。研究人员建议，WebGraph可以在未来扩展以考虑这些类型的交互和本地存储标志。