关注我们.

网络安全

通过机器学习解决验证码以实现暗网研究

mm

发布时间

 on

来自美国的一个联合学术研究项目开发了一种挫败 CAPTCHA* 测试的方法,据报道,通过使用生成对抗网络,其性能优于类似的最先进的机器学习解决方案(GAN)来解码视觉上复杂的挑战。

研究人员根据当前最好的框架测试新系统,发现他们的方法在精心策划的现实世界基准数据集上取得了超过 94.4% 的成功,并证明在导航高度验证码保护的新兴市场时能够“消除人类参与”暗网市场,最多尝试三次自动解决验证码挑战。

DW-GAN 的架构。 资料来源:https://arxiv.org/pdf/2201.02799.pdf

DW-GAN 的工作流程。 资料来源:https://arxiv.org/pdf/2201.02799.pdf

作者认为,他们的方法对网络安全研究人员来说是一个突破,他们传统上必须承担提供人在环中手动解决验证码的成本,通常是通过 Amazon Mechanical Turk (AMT) 等众包平台。

如果该系统能够证明具有适应性和弹性,它可能会进一步为更自动化的监督系统以及 TOR 网络的索引和网络抓取铺平道路。 这可以实现可扩展和大容量的分析,以及开发新的网络安全方法和技术,而迄今为止,这些方法和技术一直受到验证码防火墙的阻碍。

我们推荐使用 标题为 通过生成对抗学习来对抗基于暗网文本的验证码,以实现主动网络威胁情报,来自亚利桑那大学、南佛罗里达大学和佐治亚大学的研究人员。

启示

由于该系统称为暗网-GAN(DW-GAN, 在 GitHub 上可用)——显然比它的前辈更具表现力,它有可能被用作克服标准网络上(通常不太困难的)验证码材料的通用方法,无论是在这个特定的实现中,还是基于新论文概述的一般原则。 然而,由于 GitHub 的存储有限,目前需要联系主要作者 Ning Chang 才能获取与该框架相关的数据。

因为 DW-GAN 具有破解验证码的“积极”使命(就像 TOR 本身最初具有保护军事通信和后来的记者的积极使命一样),并且因为验证码既是一种合法的防御(经常且有争议) 用过的 这种方法可以说是一种“均衡”技术。

作者自己也承认 DW-GAN 具有更广泛的用途:

“[虽然]这项研究主要关注暗网验证码作为一个更具挑战性的问题,但本研究中提出的方法预计适用于其他类型的验证码而不失一般性。”

据推测,DW-GAN 或类似的系统需要变得广泛且明显地扩散,以促使暗网市场寻求机器可解析性较低的解决方案,或者至少定期改进其验证码配置,这是一种“冷战”场景。

动机

正如该论文所观察到的那样,暗网是与网络攻击相关的黑客情报的主要来源,这些攻击包括: 估计 到 10 年,全球经济将损失 2025 万亿美元。因此,洋葱网络对于非法暗网社区来说仍然是一个相对安全的环境,可以通过各种方法来排斥入侵者,包括会话超时、cookie 和用户身份验证。

两种类型的验证码,都使用模糊背景和倾斜字体来降低机器可读性。

两种类型的验证码,都使用模糊背景和倾斜字体来降低机器可读性。

然而,作者观察到,这些障碍都没有像验证码那样严重,这些验证码在“敏感”社区中强调了浏览体验:

虽然大多数这些措施都可以通过在爬虫程序中实施自动化反措施来有效规避,但验证码是暗网中最具阻碍性的反爬行措施,由于自动化通常不具备高认知能力,因此无法轻易规避。工具'

基于文本的验证码并不是唯一可用的选项; 我们许多人都熟悉一些变体,这些变体挑战用户解释视频、音频,尤其是图像。 尽管如此,正如作者所观察到的,基于文本的验证码是 当前选择的挑战 适用于暗网市场,也是使 TOR 网络更容易受到机器分析的自然起点。

建筑

尽管中国西北大学之前的方法使用生成对抗网络从验证码平台导出特征模式,但新论文的作者指出,这种方法依赖于对光栅化图像的解释,而不是对挑战中识别的字母进行更深入的检查;并且 DW-GAN 的有效性不会受到暗网验证码中常见的无意义单词(和数字)的可变长度的影响。

DW-GAN 使用四阶段管道:首先捕获图像,然后将其馈送到背景去噪模块,该模块使用已在带注释的验证码样本上进行训练的 GAN,因此能够将字母与扰动的背景区分开来。正在休息。 在基于 GAN 的提取之后,提取的字母将进一步从任何剩余噪声中过滤掉。

接下来,对提取的文本进行分割,然后使用轮廓检测​​算法将其分解为看似构成的字符。

字符分割隔离像素组并尝试通过边界跟踪进行识别。

字符分割隔离像素组并尝试通过边界跟踪进行识别。

最后,“猜测”的字符段通过卷积神经网络 (CNN) 进行字符识别。

有时字符可能会重叠,这是一种专门为欺骗机器系统而设计的超级字距调整。 因此,DW-GAN 使用基于间隔的分割来增强和隔离边界,从而有效地分离字符。 由于这些词通常是无意义的,因此在这个过程中没有语义上下文来帮助。

成果

DW-GAN 针对来自三个不同暗网数据集的验证码图像以及流行的验证码合成器进行了测试。 这些图像源自的暗市包括两家梳理店 Rescator-1 和 Rescator-2,以及来自当时新兴市场“黄砖”(Yellow Brick)的一本小说集。 报道 后来随着 DarkMarket 的关闭而消失)。

来自三个数据集的验证码示例以及开源验证码合成器。

来自三个数据集的验证码示例以及开源验证码合成器。

作者表示,测试中使用的数据是网络威胁情报 (CTI) 专家基于这些数据在暗网市场中的广泛传播而推荐的。

测试每个数据集涉及开发一个面向 TOR 的蜘蛛,其任务是收集 500 个验证码图像,这些图像随后由 CTI 顾问进行标记和管理。

设计了三个实验。 第一个评估了 DW-GAN 相对于标准 SOTA 方法的一般验证码击败性能。 竞争对手的方法是 带预处理的图像级 CNN,涉及灰度转换、归一化和高斯平滑,是伊朗和英国学术界的共同努力; 字符级 CNN 基于间隔的分割; 和 图像级CNN,来自英国牛津大学。

DW-GAN 第一次实验的结果与之前最先进的方法进行了比较。

DW-GAN 第一次实验的结果与之前最先进的方法进行了比较。

研究人员发现 DW-GAN 能够全面改进之前的结果(见上表)。

第二个实验是消融研究,其中活性框架的各个组件被移除或禁用,以降低外部或次要因素影响结果的可能性。

消融研究的结果。

消融研究的结果。

作者也发现,在几乎所有情况下,禁用架构的关键部分都会降低 DW-GAN 的性能(见上表)。

第三个离线实验将 DW-GAN 的功效与基于图像的基准方法和两种字符级方法进行了比较,以确定 DW-GAN 的字符评估在多大程度上影响其在无意义验证码单词是任意的情况下的有用性(而不是预定义的)长度。 在这些情况下,验证码长度在 4 到 7 个字符之间变化。

在这个实验中,作者使用了 50,000 个验证码图像的训练集,其中 5,000 个保留用于典型的 90/10 分割中的测试。

在这方面,DW-GAN 的性能也优于之前的方法:

暗网市场现场测试

最后,DW-GAN 被部署用于对抗(当时活跃的)Yellow Brick 暗网市场。 对于此测试,开发了一个 Tor 网络浏览器,将 DW-GAN 集成到其浏览功能中,自动解析验证码挑战。

在此场景中,平均每 15 个 HTTP 请求就会向自动爬虫程序提供一个验证码。 该爬虫能够索引 Yellow Brick 中出售的 1,831 种非法物品,其中包括 1,223 种毒品相关产品(包括阿片类药物和可卡因)、44 个黑客包和 286 个伪造文档扫描。 该系统总共能够识别 102 个与网络安全相关的项目,其中包括 131 张被盗的信用卡和 XNUMX 个被盗的帐户登录信息。

作者表示,在所有情况下,DW-GAN 都能在 76 次或更少的尝试中破解验证码,并且需要 1,831 分钟的处理时间来解释保护所有 XNUMX 个产品的验证码。 无需人工干预,也没有发生端点故障案例。

作者指出,出现了比文本验证码更复杂的挑战,包括一些似乎以图灵测试为模型的挑战,并观察到随着这些新趋势的流行,DW-GAN 可以得到增强以适应这些新趋势。

 

*完全自动化的公共图灵测试告诉计算机和人类的

首次发布于 11 年 2022 月 XNUMX 日。