3D 가우시안 스플래팅에 대한 포이즌 공격

싱가포르와 중국의 새로운 연구 협력은 3D 가우시안 스플래팅(3DGS)이라는 인기 있는 합성 방법을 공격하는 방법을 제안했다.

새로운 공격 방법은 제작된 소스 데이터를 사용하여 대상 시스템의 사용 가능한 GPU 메모리를 과부화시키고, 훈련을 så 길게 만들어서 대상 서버를 잠시 사용할 수 없게 할 수 있다. 출처: https://arxiv.org/pdf/2410.08190

이 공격은 3DGS를 사용하여 3D 표현을 생성할 수 있는 온라인 서비스를 사용할 때 발생할 수 있다.

이 접근 방식은 3DGS의 적응성에 의해 촉진되며, 이는 소스 이미지에 필요한 실제적인 렌더링을 위해 càng 많은 대표적인 세부를 추가하도록 설계되었다. 이 방법은 제작된 이미지의 복잡성(텍스처)과 모양(기하학)을 모두 악용한다.

공격 시스템 ‘poison-splat’은 모델에 대한 복잡성과 가우시안 스플래팅 인스턴스를 추가할 수 있는 소스 이미지의 잠재력을 추정하고 반복하는 프록시 모델의 도움을 받는다.

연구자들은 3DGS를 제공하는 온라인 플랫폼, 즉 LumaAI, KIRI, Spline, Polycam과 같은 서비스가 증가하고 있으며, 새로운 공격 방법은 이러한 서비스를 대상으로 할 수 있다고 주장한다.

연구자들은 3DGS가 다른 온라인 신경망 훈련 서비스보다 훨씬 더 취약할 수 있다고 주장한다. 전통적인 기계 학습 훈련 절차는 매개변수를事前に 설정하고, 이후에 상대적으로 일관된 자원 사용 및 전력 소비 수준에서 작동한다. 가우시안 스플래팅이 요구하는 탄력성 없이 이러한 서비스는 같은 방식으로 공격하기 어렵다.

さらに, 연구자들은 서비스 제공자가 공격에 대비하여 모델의 복잡성이나 밀도를 제한할 수 없다고 주장한다. 이러한 제한은 서비스의 효과성을 손상시킬 수 있다.

새로운 연구에서, 가우시안 스플래팅 인스턴스의 수를 제한하는 호스트 시스템은 정상적으로 작동할 수 없다. 이는 가우시안 스플래팅의 기본 특성이다.

연구 논문은 다음과 같이述한다:

‘[3DGS] 모델은 이러한 방어적 제약 아래서 훈련될 때, 제한되지 않은 훈련과 비교하여 훨씬 더 나쁜 성능을 보인다. 특히, 세부 재구성 측면에서 그렇다. 이러한 성능 저하는 3DGS가 필수적인 세부와 độc성 텍스처를 자동으로 구별할 수 없는데서 비롯된다.

‘가우시안의 수를 단순히 제한하면 모델이 3D 장면을 정확하게 재구성하지 못하게 된다. 이는 서비스 제공자의 주요 목표를 위반한다. 이 연구는 시스템을 보호하고 공격下的 3D 재구성을 유지하기 위해 더 정교한 방어 전략이 필요하다는 것을 보여준다.

테스트에서, 공격은 느슨한 화이트박스 시나리오(공격자가 피해자의 자원을 알고 있는 경우)와 블랙박스 접근(공격자가 그러한 지식이 없는 경우)에서 모두 효과적이었다.

연구자들은 자신의 연구가 3DGS에 대한 첫 번째 공격 방법이라고 주장하며, 신경 합성 보안 연구 분야가 이러한 종류의 공격에 대비하지 못했다고 경고한다.

새로운 논문은 Poison-splat: Computation Cost Attack on 3D Gaussian Splatting이라고 제목이 붙여졌으며, 싱가포르 국립 대학과 베이징의 Skywork AI의 5명의 저자에 의해 작성되었다.

방법

연구자들은 3DGS 파이프라인에서 모델에 할당된 가우시안 스플래팅의 수와 훈련 및 렌더링 모델의 계산 비용 사이의 관계를 분석했다.

연구에서 가우시안의 수와 훈련 시간 비용 및 GPU 메모리 사용량 사이의 명확한 상관관계가 발견되었다.

위 이미지의 오른쪽에 있는 그림은 이미지의 선명도와 할당된 가우시안의 수 사이의 명확한 관계를 나타낸다. 이미지의 선명도에 따라 3DGS 모델을 렌더링하는 데 필요한 세부의 양이 달라진다.

연구 논문은 다음과 같이述한다:

‘[우리는] 3DGS가 복잡한 구조와 비활성화된 텍스처를 가진 객체에 더 많은 가우시안을 할당하는 경향이 있음을 발견했다. 이는 총 변동 점수로 평가되는 이미지의 선명도에 의해 양적화된다. 직관적으로, 3D 객체의 표면이 매끄럽지 않을수록, 모델은 2D 이미지 프로젝션에서 모든 세부를 회복하기 위해 더 많은 가우시안이 필요하다.

‘따라서, 비활성화는 가우시안의 복잡성의 좋은 설명자이다.

그러나, 단순히 이미지를 선명하게 하는 것은 공격의 초기 단계에서 공격이 명백해질 정도로 3DGS 모델의 의미적 무결성을 그렇게 많이 영향을 미치게 된다.

데이터를 효과적으로 독성화하려면 더 정교한 접근 방식이 필요하다. 연구자들은 공격 이미지를 오프라인에서 개발되고 공격자에 의해 제어되는 3DGS 모델에서 최적화하는 프록시 모델 방법을 채택했다.

왼쪽에 있는 그래프는 MIP-NeRF360 ‘room’ 데이터셋에서 계산 시간과 GPU 메모리 점유에 대한 전체 비용을 나타낸다. 이는 네이티브 성능, 순수한 섭동 및 프록시 주도 데이터를 보여준다. 오른쪽에 있는 그래프는 소스 이미지를 순수하게 섭동시키면(빨간색) quá trình의 초기 단계에서 치명적인 결과가 나타난다는 것을 보여준다. 반면에, 프록시 가이드 소스 이미지는 더 은밀한이고 누적적인 공격 방법을 유지한다.

연구자들은 다음과 같이述한다:

‘프록시 모델은 2D 이미지의 비활성화에서 매우 복잡한 3D 모양을 개발하도록 안내할 수 있다.

‘따라서, 이 프록시 모델에서 생성된 독성 데이터는 더 많은 가우시안을 유도하여 이러한 독성 데이터를 맞출 수 있다.

공격 시스템은 2013년 Google /Facebook의 대학과의 협력에 의해 제한되므로, 섭동은 시스템이 피해를 입히지 않고 3DGS 이미지를 재구성할 수 있도록 허용하는 범위 내에서 유지된다.

데이터 및 테스트

연구자들은 세 가지 데이터셋에 대해 poison-splat을 테스트했다: NeRF-Synthetic; Mip-NeRF360; 및 Tanks-and-Temples.

그들은 3DGS의 공식 구현을 피해 환경으로 사용했다. 블랙박스 접근 방식으로, Scaffold-GS 프레임워크를 사용했다.

테스트는 NVIDIA A800-SXM4-80G GPU에서 수행되었다.

메트릭으로, 생성된 가우시안의 수는 주요 지표였다. 의도는 합리적인 추론을 초과하고 최대화하기 위해 설계된 소스 이미지를 제작하는 것이었다. 대상 시스템의 렌더링 속도도 고려되었다.

초기 테스트의 결과는 아래에 표시된다:

세 가지 데이터셋에 대한 테스트 공격의 전체 결과. 연구자들은 24GB 이상의 메모리를 소비하는 공격을 강조했다. 출처 논문에서 더 나은 해상도를 참조하십시오.

이 결과에 대해, 연구자들은 다음과 같이述한다:

‘[우리의] Poison-splat 공격은 여러 데이터셋에서巨大한 추가 계산 부담을 가할 수 있는 능력을 보여준다. даже 작은 범위 내에서 제한된 공격에서도, 피크 GPU 메모리는 2배 이상으로 증가하여 전체 최대 GPU 점유율이 24GB 이상이 될 수 있다.

‘실제 세계에서, 우리의 공격은 일반적인 GPU 스테이션에서 제공할 수 있는 자원보다 더 많은 자원을 요구할 수 있다. 예를 들어, RTX 3090, RTX 4090 및 A5000. 또한, 공격은 메모리 사용량을 크게 증가시키고 훈련 속도를 크게 늦추는 효과가 있다.

‘이 속성은 공격을 더욱 강화할 것이다. 왜냐하면, GPU 점유율의 과부화는 정상적인 훈련 시간보다 더 오래 지속되기 때문이다. 이는 전체 계산 능력의 손실을 더욱 크게 만든다.

제한된 공격과 제한되지 않은 공격 시나리오에서 프록시 모델의 진행 상황.

블랙박스 모델(Scaffold-GS)에 대한 테스트 결과는 아래에 표시된다. 연구자들은 이러한 결과가 poison-splat이 다른 아키텍처(즉, 참조 구현)에도 잘 일반화된다는 것을 나타낸다고 주장한다.

NeRF-Synthetic 및 MIP-NeRF360 데이터셋에 대한 블랙박스 공격 테스트 결과.

연구자들은 이러한 종류의 공격을 대상으로 하는 자원-타겟 공격에 관한 연구가 거의 없다고 주장한다. 2020년 논문 Energy-Latency Attacks on Neural Networks는 과도한 뉴런 활성화를 유발하여 에너지와 대기 시간을 소모하는 데이터 예를 식별할 수 있었다.

추론 시간 공격은 이후 연구에서 더욱 연구되었다. 예를 들어, Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, 및 언어 모델과 비전-언어 모델(VLMs)의 경우 NICGSlowDown 및 Verbose Images.

결론

연구자들이 개발한 Poison-splat 공격은 가우시안 스플래팅의 기본적인 취약점을 악용한다. 즉, 가우시안의 복잡성과 밀도를 훈련 데이터에 따라 할당한다는 사실이다.

2024년 논문 F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting는 이미 가우시안 스플래팅의 임의 할당이 비효율적인 방법이며, 종종冗余한 인스턴스를 생성한다는 것을 관찰했다:

‘[이] 비효율성은 3DGS가 구조적 패턴이나冗余성을 활용할 수 없는 본질적인 능력 부족에서 비롯된다. 우리는 3DGS가 단순한 기하학적 구조, 즉 평면 표면을 나타내는 데에도 불필요하게 많은 가우시안을 생성한다는 것을 관찰했다.

‘또한, 근처의 가우시안은 때때로 유사한 속성을 나타낼 수 있다. 이는冗余한 표현을 제거하여 효율성을 향상시키는 잠재력을 나타낸다.

그러나, 가우시안 생성을 제한하는 것은 비공격 시나리오에서 재구성의 품질을 손상시킬 수 있다. 3DGS를 사용자 업로드 데이터에서 제공하는 온라인 제공자의 수가 증가하고 있으므로, 이러한 공격에 대비하기 위해 소스 이미지의 특성을 연구해야 할 수 있다.

어떤 경우에든, 새로운 연구의 저자들은 더 정교한 방어 방법이 이러한 공격에 대비하여 온라인 서비스에 필요하다고 결론지었다.

* 저자의 인라인 인용을 하이퍼링크로 변환

2024년 10월 11일 처음 게시