对 3D 高斯斑点的中毒攻击

新加坡和中国之间的一项新研究合作提出了针对流行的合成方法 3D 高斯斑点 (3DGS) 的攻击方法。

新攻击方法使用精心设计的源数据来超载目标系统的可用 GPU 内存，并使训练时间过长，可能使目标服务器瘫痪，相当于拒绝服务 (DOS) 攻击。来源：https://arxiv.org/pdf/2410.08190

该攻击使用精心设计的训练图像，其复杂性可能会让允许用户创建 3DGS 表示的在线服务不堪重负。

这种方法得益于 3DGS 的自适应性，它旨在根据源图像的要求为真实渲染添加尽可能多的表示细节。

攻击系统 ‘poison-splat’ 得到代理模型的帮助，代理模型估计和迭代源图像添加复杂性和高斯斑点实例到模型的潜力，直到宿主系统不堪重负。

论文断言，像 LumaAI、KIRI、Spline 和 Polycam 这样的在线平台正在越来越多地提供 3DGS 服务，而新攻击方法——称为 Poison-Splat ——可能能够将 3DGS 算法推向在这些领域上的“最坏计算复杂性”，甚至可以促成拒绝服务 (DOS) 攻击。

根据研究人员的说法，3DGS 可能比其他在线神经网络训练服务更容易受到攻击。传统的 机器学习 训练程序一开始就设置参数，并在此后在相对一致的资源使用和功耗水平下运行。由于高斯斑点需要“弹性”来分配斑点实例，因此没有这种弹性的服务很难以同样的方式成为目标。

此外，作者指出，服务提供商无法通过限制模型的复杂性或密度来防御此类攻击，因为这会在正常使用时损害服务的有效性。

从新工作中，我们看到限制分配的高斯斑点数量的宿主系统无法正常运行，因为这些参数的弹性是 3DGS 的一个基本特征。

论文指出：

‘[3DGS] 模型在这些防御约束下训练，其性能远远低于无约束训练的模型，特别是在细节重构方面。这种质量下降是因为 3DGS 不能自动区分必要的细节和有毒纹理。

‘简单地限制高斯数量将直接导致模型无法准确重构 3D 场景，这违反了服务提供者的主要目标。这项研究表明，需要更复杂的防御策略来保护系统并在我们的攻击下维持 3D 重构的质量。’

在测试中，攻击方法在松散的白盒场景（攻击者知道受害者的资源）和黑盒方法（攻击者没有此类知识）中都被证明是有效的。

作者认为，他们的工作代表了对 3DGS 的首次攻击方法，并警告说，神经合成安全研究领域尚未准备好应对此类攻击。

新论文的标题为 Poison-splat：对 3D 高斯斑点的计算成本攻击，由新加坡国立大学和北京 Skywork AI 的五位作者撰写。

方法

作者分析了在 3DGS 管道中分配给模型的高斯斑点数量（基本上是 三维椭球体“像素”）对训练和渲染模型的计算成本的影响。

作者的研究揭示了分配的高斯数量和训练时间成本之间以及 GPU 内存使用之间的明显相关性。

上述图像的右侧图表明，图像清晰度和分配的高斯数量之间存在明显的关系。图像越清晰，渲染 3DGS 模型所需的细节越多。

论文指出：

‘[我们] 发现，3DGS 倾向于将更多的高斯分配给具有更复杂结构和非光滑纹理的对象，如通过评估图像清晰度的总变化评分——一种评估 图像清晰度 的指标所量化的。直观地，3D 对象的表面越不光滑，模型需要更多的高斯来从其 2D 图像投影中恢复所有细节。

‘因此，非光滑度可以成为 [高斯] 复杂性的良好描述符。’

但是，简单地增强图像清晰度往往会影响 3DGS 模型的语义完整性，使攻击在早期阶段变得明显。

有效地毒化数据需要更复杂的方法。作者采用了 代理模型 方法，其中攻击图像在由攻击者开发和控制的离线 3DGS 模型中进行优化。

左侧，我们看到一个图表，表示 MIP-NeRF360 ‘房间’ 数据集上的计算时间成本和 GPU 内存占用，展示了本地性能、天真地扰动和代理驱动数据。右侧，我们看到天真地扰动源图像（红色）会导致灾难性的结果过早地出现在过程中。相比之下，我们看到代理引导的源图像保持了更隐蔽和累积的攻击方法。

作者指出：

‘很明显，代理模型可以从 2D 图像的非光滑度引导出开发高度复杂的 3D 形状。

‘因此，从过度密集的代理模型的投影中产生的有毒数据可以产生更多的有毒数据，引入更多的高斯来适应这些有毒数据。’

攻击系统受到 2013 年谷歌/脸书 合作 的限制，确保扰动保持在允许系统造成损害而不影响 3DGS 图像重建的范围内，这将是入侵的早期信号。

数据和测试

研究人员测试了 poison-splat 对三个数据集：NeRF-Synthetic；Mip-NeRF360；和 Tanks-and-Temples。

他们使用 官方实现 的 3DGS 作为受害环境。对于黑盒方法，他们使用 Scaffold-GS 框架。

测试是在 NVIDIA A800-SXM4-80G GPU 上进行的。

对于指标，产生的高斯斑点数量是主要指标，因为攻击的目的是制作源图像以最大化和超过源数据的合理推断。目标系统的渲染速度也被考虑在内。

初始测试的结果如下：

对三个数据集的测试攻击的完整结果。作者观察到，他们强调了成功消耗超过 24GB 内存的攻击。请参阅源论文以获得更好的分辨率。

对于这些结果，作者评论：

‘[我们的] Poison-splat 攻击展示了在多个数据集上制造巨大的额外计算负担的能力。即使在限制范围内的攻击中，峰值 GPU 内存也可以增加两倍，使得整体最大 GPU 占用超过 24 GB。

‘在现实世界中，这可能意味着我们的攻击可能需要比常见的 GPU 站点（例如 RTX 3090、RTX 4090 和 A5000）可以提供的更多可分配资源。此外，[攻击] 不仅大大增加了内存使用，还大大减慢了训练速度。

‘这种属性将进一步加强攻击，因为 GPU 占用的过载将持续比正常训练时间更长，从而使整体计算能力损失更大。’

代理模型在限制和不限制攻击场景中的进展。

对 Scaffold-GS（黑盒模型）的测试结果如下。作者指出，这些结果表明 poison-splat 对这种不同的架构（即参考实现）推广得很好。

对 NeRF-Synthetic 和 MIP-NeRF360 数据集的黑盒攻击测试结果。

作者指出，针对推理过程的资源攻击的研究非常少。2020 年的论文 对神经网络的能量延迟攻击 能够识别出触发过度神经元激活的数据示例，导致能量和延迟的消耗。

在随后的工作中，例如 对自适应多出口神经网络推理的减速攻击、朝着效率后门注入的方向，以及针对语言模型和视觉语言模型（VLM）的 NICGSlowDown 和 Verbose Images，推理时间攻击得到了进一步的研究。

结论

研究人员开发的 Poison-splat 攻击利用了高斯斑点的一个基本漏洞，即它根据提供的训练材料分配复杂性和高斯的密度。

2024 年的论文 F-3DGS：3D 高斯斑点的因子坐标和表示 已经观察到高斯斑点的任意分配斑点的方法是低效的，通常也会产生冗余实例：

‘[这种]低效来自于 3DGS 内在无法利用结构模式或冗余的能力。我们观察到，即使对于简单的几何结构（如平面），3DGS 也会产生不必要的大量高斯。

‘此外，附近的高斯有时会表现出相似的属性，表明通过删除冗余表示可以提高效率的潜力。’

由于限制高斯生成会损害非攻击场景下的重构质量，因此越来越多地提供 3DGS 服务的在线提供商可能需要研究源图像的特征，以确定可能指示恶意意图的签名。

无论如何，作者得出结论，对于在线服务来说，面对他们制定的攻击，需要更复杂的防御方法。

* 我将作者的内联引用转换为超链接

首次发布于 2024 年 10 月 11 日