对 3D 高斯斑点的中毒攻击

新加坡和中国之间的新研究合作提出了对流行的合成方法 3D 高斯斑点 (3DGS) 的攻击方法。

新攻击方法使用精心设计的源数据来超载目标系统的可用 GPU 内存，并使训练时间如此漫长，以至于可能使目标服务器失去功能，相当于拒绝服务 (DOS) 攻击。 来源：https://arxiv.org/pdf/2410.08190

该攻击使用精心设计的训练图像，其复杂性可能会让允许用户创建 3DGS 表示的在线服务不堪重负。

这种方法得益于 3DGS 的自适应性，它旨在根据源图像的要求为实现真实渲染添加尽可能多的表示细节。该方法利用了精心设计的图像复杂性（纹理）和形状（几何形状）。

攻击系统 ‘poison-splat’ 得到了一种代理模型的帮助，该模型估计和迭代源图像添加复杂性和高斯斑点到模型的潜力，直到宿主系统不堪重负。

论文断言，像 LumaAI、KIRI、Spline 和 Polycam 这样的在线平台越来越多地提供 3DGS 服务，而新的攻击方法——称为 Poison-Splat ——可能会将 3DGS 算法推向其最坏的计算复杂性，即使可能促成拒绝服务 (DOS) 攻击。

根据研究人员的说法，3DGS 可能比其他在线神经网络训练服务更容易受到攻击。传统的机器学习训练程序在开始时设置参数，并在此后在相对一致的资源使用和功耗水平下运行。由于高斯斑点需要“弹性”来分配斑点实例，因此没有这种“弹性”的服务很难以同样的方式攻击。

此外，作者指出，服务提供商无法通过限制模型的复杂性或密度来防御此类攻击，因为这会在正常使用下损害服务的有效性。

从新工作中，我们可以看到，限制分配的高斯斑点数量的宿主系统无法正常运行，因为这些参数的“弹性”是 3DGS 的基本特征。

论文指出：

‘[3DGS] 模型在这些防御约束下训练，相比之下，性能要差得多，特别是在细节重建方面。这种质量下降的原因是 3DGS 不能自动区分必要的细节和有毒纹理。 ‘

‘天真地限制高斯数量将直接导致模型无法准确地重建 3D 场景，这违反了服务提供者的主要目标。该研究表明，需要更复杂的防御策略来保护系统并在攻击下保持 3D 重建的质量。’

在测试中，攻击已被证明在松散的白盒场景（攻击者知道受害者的资源）和黑盒方法（攻击者没有此类知识）中都有效。

作者认为，他们的工作代表了对 3DGS 的第一个攻击方法，并警告说，神经网络合成安全研究领域并没有准备好应对这种类型的攻击。

新论文 的标题为 Poison-splat：对 3D 高斯斑点的计算成本攻击，由新加坡国立大学和北京 Skywork AI 的五位作者撰写。

方法

作者分析了在 3DGS 管道中分配给模型的高斯斑点数量（本质上是三维椭球形“像素”）对训练和渲染模型的计算成本的影响。

作者的研究显示，分配的高斯数量和训练时间成本以及 GPU 内存使用之间存在明显的相关性。

上述图像中的右图表明，图像清晰度和分配的高斯数量之间存在明显的关系。图像越清晰，渲染 3DGS 模型所需的细节就越多。

论文指出：

‘[我们] 发现，3DGS 倾向于为具有更复杂结构和非光滑纹理的对象分配更多的高斯，根据总变化评分量化——一种评估 图像清晰度 的指标。直观地，3D 对象的表面越不光滑，模型需要更多的高斯来恢复所有细节。 ‘

‘因此，非光滑度可以成为复杂性的良好描述符。 ‘

然而，天真地提高图像清晰度往往会影响 3DGS 模型的语义完整性，以至于攻击在早期阶段就会变得明显。

有效地污染数据需要更复杂的方法。作者采用了 代理模型 方法，即攻击图像在攻击者开发和控制的离线 3DGS 模型中进行优化。

左图显示 MIP-NeRF360 ‘room’ 数据集的计算时间成本和 GPU 内存占用图，展示了本地性能、天真扰动和代理驱动数据。右图显示，源图像的天真扰动（红色）会导致过程过早出现灾难性的结果。相比之下，代理引导的源图像保持了更隐蔽和累积的攻击方法。

作者指出：

‘很明显，代理模型可以从 2D 图像的非光滑度引导出开发高度复杂的 3D 形状。 ‘

‘因此，代理模型的过度密集化投影产生的有毒数据可以产生更多有毒数据，诱导更多高斯来拟合这些有毒数据。 ‘

攻击系统受到 2013 年谷歌/脸书与各大学合作的约束，以便在攻击系统能够造成损害而不影响 3DGS 图像的重建（这将是攻击的早期信号）时保持扰动。

数据和测试

研究人员测试了 poison-splat 对三个数据集：NeRF-Synthetic；Mip-NeRF360；和 Tanks-and-Temples。

他们使用 3DGS 的官方实现 作为受害环境。对于黑盒方法，他们使用 Scaffold-GS 框架。

测试是在 NVIDIA A800-SXM4-80G GPU 上进行的。

对于指标，产生的高斯斑点数量是主要指标，因为目标是设计源图像以最大化和超过对源数据的合理推理。目标系统的渲染速度也被考虑在内。

初始测试结果如下所示：

对三个数据集的测试攻击的完整结果。作者观察到，他们强调了成功消耗超过 24GB 内存的攻击。请参考源论文以获取更好的分辨率。

对于这些结果，作者评论：

‘[我们的] Poison-splat 攻击展示了在多个数据集上制作巨大的额外计算负担的能力。即使在受限攻击中，扰动在一个小范围内，峰值 GPU 内存也可以增加两倍，使得整体最大 GPU 占用量超过 24 GB。 ‘

‘在现实世界中，这可能意味着我们的攻击可能需要比常见的 GPU 站点（例如 RTX 3090、RTX 4090 和 A5000）更多的可分配资源。此外，[攻击] 不仅显著增加了内存使用，还大大减慢了训练速度。 ‘

‘这种属性将进一步加强攻击，因为 GPU 占用量过高的时间将比正常训练时间更长，从而导致计算能力损失更大。 ‘

在约束和无约束攻击场景中，代理模型的进展。

对 Scaffold-GS（黑盒模型）的测试结果如下。作者指出，这些结果表明 poison-splat 很好地推广到了这种不同的架构（即，参考实现）。

对 NeRF-Synthetic 和 MIP-NeRF360 数据集的黑盒攻击测试结果。

作者指出，针对此类资源针对推理过程的攻击的研究非常少。2020 年的论文 神经网络的能量-延迟攻击 能够识别出引起过度神经元激活的数据示例，从而导致能量和延迟的严重消耗。

推理时间攻击在随后的工作中得到了进一步的研究，例如 自适应多出口神经网络推理的减速攻击、朝着效率后门注入的方向，以及针对语言模型和视觉语言模型（VLM）的 NICGSlowDown 和 Verbose Images。

结论

研究人员开发的 Poison-splat 攻击利用了高斯斑点的基本漏洞，即根据提供的材料分配复杂性和高斯密度。

2024 年的论文 F-3DGS：3D 高斯斑点的因子坐标和表示 已经观察到，高斯斑点的任意分配斑点的方法效率低下，通常还会产生冗余实例：

‘[这] 低效是由于 3DGS 内在无法利用结构模式或冗余的能力。我们观察到，即使对于简单的几何结构，例如平面，3DGS 也会产生不必要的大量高斯。 ‘

‘此外，附近的高斯有时会表现出相似的属性，表明通过删除冗余表示可以提高效率的潜力。 ‘

由于限制高斯生成会损害非攻击场景下的重建质量，因此提供 3DGS 服务的在线提供商的数量不断增长，他们可能需要研究源图像的特征以确定恶意意图的签名。

无论如何，新工作的作者得出结论，需要更复杂的防御方法来应对他们所构想的攻击类型，并且在线服务需要更复杂的防御方法来应对这种类型的攻击。* 我将作者的内联引用转换为超链接

首次发布于 2024 年 10 月 11 日