3Dガウシアン・スプラッティングに対する毒性攻撃

シンガポールと中国の新しい研究コラボレーションは、人気の合成方法である3Dガウシアン・スプラッティング（3DGS）を攻撃する方法を提案している。

新しい攻撃方法は、作成されたソースデータを使用してターゲットシステムの利用可能なGPUメモリを過負荷させ、トレーニングを非常に長くしてターゲットサーバーを無力化する可能性がある、サービス拒否（DOS）攻撃に相当する。ソース：https://arxiv.org/pdf/2410.08190

攻撃は、オンラインサービスが3DGS表現を作成できるようにする画像の複雑さが高いほど、オンラインサービスを圧倒する可能性が高い。

このアプローチは、3DGSの適応性によって促進される。3DGSは、リアルなレンダリングのためにソース画像が必要とする表現の詳細を追加するように設計されている。

攻撃システム「ポイズンスプラット」は、ソース画像の複雑性とガウシアン・スプラットのインスタンスをモデルに追加する可能性を推定して反復するプロキシモデルによって支援される。

論文では、オンラインプラットフォーム（例：LumaAI、KIRI、Spline、Polycam）が増え続けており、3DGSをサービスとして提供していることが述べられている。また、新しい攻撃方法「ポイズンスプラット」は、3DGSアルゴリズムをその計算コストの最悪のシナリオに向けて押し進める可能性があり、サービス拒否（DOS）攻撃を引き起こす可能性もある。

研究者によると、3DGSは他のオンラインニューラルネットワークトレーニングサービスよりもはるかに脆弱である。従来の機械学習トレーニング手順は、最初にパラメータを設定し、そこから一定のリソース使用量と電力消費量で動作する。一方、ガウシアン・スプラットの「伸縮性」がなければ、サービスを同じ方法で標的とすることは難しい。

さらに、著者は、サービスプロバイダーが攻撃に対して防御するために、モデルまたは密度の複雑さを制限することはできないことを指摘している。なぜなら、通常の使用ではサービスを損なうからである。

新しい研究から、ガウシアン・スプラットの数を制限するホストシステムは、3DGSの基本的な特性であるこれらのパラメータの伸縮性のために正常に機能できないことがわかる。

論文では次のように述べられている。

‘[3DGS]モデルは、防御的制約の下でトレーニングされたものは、制約のないトレーニングされたものよりもはるかに悪いパフォーマンスを示す。特に、詳細の再構築の点で。この低下は、3DGSが必要な細部と毒性テキストを自動的に区別できないため発生する。 ‘

‘単純にガウシアンの数を制限すると、モデルが3Dシーンを正確に再構築できないことになる。これは、サービスプロバイダーの第一の目標に反する。 ‘

テストでは、この攻撃が効果的であることが証明された。攻撃は、ターゲットのリソースに関する知識がある白ボックスシナリオと、ターゲットのリソースに関する知識がないブラックボックスアプローチの両方で効果的であった。

著者たちは、自分たちの研究が3DGSに対する最初の攻撃方法であると考えている。また、ニューラル合成のセキュリティ研究分野は、この種の攻撃に対して未準備であると警告している。

新しい論文は、Poison-splat：3Dガウシアン・スプラッティングに対する計算コスト攻撃と題され、シンガポール国立大学と北京のSkywork AIの5人の著者によって書かれた。

方法

著者たちは、3DGSパイプラインでモデルに割り当てられたガウシアン・スプラットの数が、トレーニングとレンダリングの計算コストにどのように影響するかを分析した。

著者たちの研究から、割り当てられたガウシアンの数とトレーニング時間コストおよびGPUメモリ使用量の間には明確な相関関係があることがわかる。

画像上の右端の図は、画像の鮮明度と割り当てられたガウシアンの数との間の明確な関係を示している。画像が鮮明であるほど、3DGSモデルをレンダリングするために必要な詳細が多くなる。

論文では次のように述べられている。

‘[私たち]は、3DGSが複雑な構造と非滑らかなテクスチャを持つオブジェクトに更多のガウシアンを割り当てる傾向があることを発見した。総変動スコアによって量化される画像の鮮明度によって評価される。 ‘

‘直感的に、3Dオブジェクトの表面が滑らかでないほど、モデルは詳細を回復するために更多のガウシアンが必要になる。 ‘

ただし、画像を単純に鮮明にすることは、3DGSモデルを初期段階で攻撃していることがわかるため、攻撃は効果的ではない。

データを効果的に毒するには、より洗練されたアプローチが必要である。著者たちは、攻撃画像を攻撃者が制御するオフラインの3DGSモデルで最適化する「プロキシモデル」方法を採用した。

左側のグラフは、MIP-NeRF360「ルーム」データセットにおける計算時間とGPUメモリ占有量の全体的なコストを、ネイティブ性能、単純な摂動、プロキシ駆動データで示している。右側のグラフは、ソース画像の単純な摂動（赤）が早期に壊滅的な結果をもたらすことを示している。一方、プロキシ駆動のソース画像は、より巧妙で累積的な攻撃方法を維持している。

著者たちは次のように述べている。

‘明らかに、プロキシモデルは2D画像の非滑らかさから、非常に複雑な3D形状を開発することができる。 ‘

‘したがって、この過密なプロキシモデルからの投影によって生成される毒性データは、さらに多くのガウシアンを適合させることができる。 ‘

攻撃システムは、2013年のGoogleとFacebookの共同研究によって制約されるため、システムが被害を与えることなく3DGS画像の再構築に影響を与えないように、摂動は制限される。

データとテスト

研究者たちは、3つのデータセット（NeRF-Synthetic、Mip-NeRF360、Tanks-and-Temples）に対してポイズンスプラットをテストした。

彼らは、3DGSの公式実装を被害者環境として使用した。ブラックボックスアプローチの場合、Scaffold-GSフレームワークを使用した。

テストは、NVIDIA A800-SXM4-80G GPUで実行された。

指標としては、生成されたガウシアン・スプラットの数が主な指標であった。なぜなら、ソースデータの合理的な推論を超えて、計算コストを最大化するように設計されたソース画像を生成することが目的であったからである。また、ターゲットシステムのレンダリング速度も考慮された。

初期テストの結果は以下の通りである。

3つのデータセットに対するテスト攻撃の完全な結果。著者たちは、24GBを超えるメモリを消費する攻撃を強調している。ソース論文を参照してください。

これらの結果について、著者たちは次のように述べている。

‘[私たちの]ポイズンスプラット攻撃は、複数のデータセットに対して大量の計算負荷を課す能力を示している。 ‘

‘[制約付き]攻撃では、GPUメモリのピークは2倍以上になり、全体のGPU占有量が24GBを超える。 ‘

‘現実世界では、これは私たちの攻撃が一般的なGPUステーション（例：RTX 3090、RTX 4090、A5000）が提供できるよりも多くのリソースを必要とすることを意味する。さらに、攻撃はメモリ使用量を大幅に増加させるだけでなく、トレーニング速度も大幅に低下させる。 ‘

‘この特性は攻撃をさらに強化する。なぜなら、GPU占有量の増加は通常のトレーニング時間よりも長く続くからである。 ‘

制約付きおよび制約なしの攻撃シナリオでのプロキシモデルの進化。

ブラックボックスモデル（Scaffold-GS）に対するテスト結果は以下の通りである。著者たちは、これらの結果は、ポイズンスプラットが別のアーキテクチャ（参考実装）に一般化することを示していることを示唆している。

NeRF-SyntheticおよびMIP-NeRF360データセットに対するブラックボックス攻撃のテスト結果。

著者たちは、リソースを標的とするこの種の攻撃を中心とした研究が非常に少ないことを指摘している。2020年の論文Energy-Latency Attacks on Neural Networksは、エネルギーと遅延の消費を悪化させる過剰なニューロン活性化を引き起こすデータ例を特定することができた。

推論時の攻撃は、Slowdown attacks on adaptive multi-exit neural network inference、Towards Efficiency Backdoor Injection、および言語モデルとビジョン言語モデル（VLMs）の場合、NICGSlowDownおよびVerbose Imagesなどの後の研究でさらに研究された。

結論

研究者たちによって開発されたポイズンスプラット攻撃は、ガウシアン・スプラッティングの基本的な脆弱性を利用する。ガウシアン・スプラッティングは、トレーニングに使用する素材に応じて、ガウシアンの複雑さと密度を割り当てる。

2024年の論文F-3DGS：3Dガウシアン・スプラッティングのための因子分解座標と表現は、ガウシアン・スプラッティングの任意のスプラットの割り当ては非効率的であることを既に観察している。

‘[3DGS]は、構造パターンまたは冗長性を利用できないため、非効率性が生じる。 ‘

‘3DGSは、たとえ単純な幾何学的構造（平面）を表現する場合でも、必要以上に多くのガウシアンを生成する。 ‘

‘さらに、近くのガウシアンは時々類似の属性を示し、冗長な表現を削除することで効率を向上させる可能性がある。 ‘

ただし、ガウシアンの生成を制限すると、攻撃以外のシナリオでは再構築の品質が損なわれる。

いずれにせよ、新しい研究の著者たちは、オンラインサービスに対して、提案された攻撃の種類に対してより洗練された防御方法が必要であると結論付ける。