3D 가우시안 스플래팅에 대한 중독 공격

싱가포르와 중국의 새로운 연구 협력이 3D 가우시안 스플래팅(3DGS)이라는 인기 있는 합성 방법을 공격하는 방법을 제안했다.

새로운 공격 방법은 제작된 소스 데이터를 사용하여 대상 시스템의 사용 가능한 GPU 메모리를 과부화시키고, 훈련을 så 길게 만들어서 대상 서버를 잠시 사용할 수 없게 할 수 있다. 이는 서비스 거부 공격(DOS 공격)과 동일하다. 출처: https://arxiv.org/pdf/2410.08190

공격은 3DGS 표현을 생성할 수 있는 온라인 서비스를 압도할 가능성이 있는 훈련 이미지의 복잡성을 사용한다.

이 접근 방식은 3DGS의 적응성에 의해 erleichtert된다. 3DGS는 현실적인 렌더링을 위해 소스 이미지에 필요한 만큼 많은 표현 세부 정보를 추가하도록 설계되었다. 이 방법은 제작된 이미지 복잡성(텍스처)와 모양(기하학)을 모두 악용한다.

공격 시스템 ‘poison-splat’은 모델에 복잡성과 가우시안 스플래팅 인스턴스를 추가할 수 있는 소스 이미지의 잠재력을 추정하고 반복하는 프록시 모델에 의해 지원된다. 호스트 시스템이 과부화될 때까지.

이 논문은 온라인 플랫폼(예: LumaAI, KIRI, Spline 및 Polycam)이 3DGS를 서비스로 제공하고 있으며, 새로운 공격 방법(Poison-Splat)은 이러한 도메인에서 3DGS 알고리즘을 ‘최악의 계산 복잡성‘으로 밀어붙일 수 있으며, 심지어 서비스 거부 공격(DOS 공격)을 유발할 수 있다고 주장한다.

연구자에 따르면, 3DGS는 다른 온라인 신경망 훈련 서비스보다 훨씬 더 취약할 수 있다. 전통적인 기계 학습 훈련 절차는 처음부터 매개 변수를 설정하고, 이후에 상대적으로 일관된 자원 사용 및 전력 소비 수준에서 작동한다. 가우시안 스플래팅에 필요한 ‘탄력성’이 없으면 이러한 서비스를 동일한 방식으로 대상으로 삼기가 어렵다.

さらに, 저자는 서비스 제공자가 공격에 대항하기 위해 모델의 복잡성이나 밀도를 제한할 수 없다고 주장한다. 왜냐하면 이것은 정상적인 사용에서 서비스의 효과성을 손상시킬 것이기 때문이다.

새로운 연구에서, 가우시안 스플래팅 인스턴스의 수를 제한하는 호스트 시스템은 정상적으로 작동할 수 없다는 것을 알 수 있다. 왜냐하면 이러한 매개 변수의 탄력성은 3DGS의 기본 기능이기 때문이다.

이 논문은 다음과 같이述한다:

‘[3DGS] 모델은 이러한 방어적 제약 조건하에 훈련될 때, 제약이 없는 훈련과 비교하여 훨씬 더 나쁨을 수행한다. 특히, 세부 사항 재구성 측면에서. 이러한 품질의 저하는 3DGS가 자동으로 필요한 세부 사항과 중독된 텍스처를 구별할 수 없기 때문에 발생한다.

‘가우시안의 수를 단순히 제한하는 것은 모델이 3D 장면을 정확하게 재구성하지 못하게 할 것이며, 이는 서비스 제공자의 주요 목표를 위반한다. 이 연구는 시스템을 보호하고 중독 공격하에서 3D 재구성을 유지하기 위해 더 정교한 방어 전략이 필요하다는 것을 보여준다.’

테스트에서, 공격은 느슨한 화이트 박스 시나리오(공격자가 피해자의 자원을 알고 있는 경우)와 블랙 박스 접근법(공격자가 그러한 지식이 없는 경우) 모두에서 효과적인 것으로 입증되었다.

저자들은 자신의 연구가 3DGS에 대한 첫 번째 공격 방법이라고 믿으며, 신경 합성 보안 연구 분야가 이러한 종류의 접근 방식에 준비가 되지 않았다고 경고한다.

새로운 논문은 Poison-splat: 3D 가우시안 스플래팅에 대한 계산 비용 공격이라고 제목이 붙여졌으며, 싱가포르 국립 대학과 베이징의 Skywork AI의 5명의 저자에 의해 작성되었다.

방법

저자들은 3DGS 파이프라인에서 모델에 할당된 가우시안 스플래팅(본질적으로, 3차원 타원형 ‘픽셀’)의 수가 모델의 훈련 및 렌더링의 계산 비용에 미치는 영향을 분석했다.

저자의 연구는 할당된 가우시안의 수와 훈련 시간 비용 및 GPU 메모리 사용량 사이에 명확한 상관 관계를 보여준다.

위의 이미지의 가장 오른쪽 그림은 이미지의 선명도와 할당된 가우시안의 수 사이에 명확한 관계를 보여준다. 이미지의 선명도에 따라 3DGS 모델을 렌더링하는 데 필요한 세부 사항이 더 많이 필요하다.

이 논문은 다음과 같이述한다:

‘[우리는] 3DGS가 더 복잡한 구조와 매끄럽지 않은 텍스처를 가진 객체에 더 많은 가우시안을 할당하는 경향이 있음을 발견했다. 이는 총 변동 점수에 의해 양적화되는 이미지의 선명도에 대한 지표이다. 직관적으로, 3D 객체의 표면이 매끄럽지 않을수록, 모델은 2D 이미지 투영에서 모든 세부 사항을 복구하기 위해 더 많은 가우시안이 필요하다.

‘따라서, 매끄럽지 않은 정도는 복잡성의 좋은 설명자이다.’

그러나, 이미지를 단순히 선명하게 만들면 3DGS 모델의 의미적 무결성이 너무 많이 영향을 받을 수 있으므로, 공격이 초기 단계에서 명백해질 수 있다.

데이터를 효과적으로 중독시키는 것은 더 정교한 접근 방식이 필요하다. 저자들은 공격 이미지를 최적화하는 오프라인 3DGS 모델을 개발하여 공격 이미지를 제작하는 프록시 모델 방법을 채택했다.

왼쪽에는 MIP-NeRF360 ‘room’ 데이터 세트에서 계산 시간 및 GPU 메모리 점유에 대한 총 비용을 나타내는 그래프가 있다. 이는 네이티브 성능, 천진한 섭동 및 프록시 구동 데이터를 보여준다. 오른쪽에는 소스 이미지를 천진하게 섭동시키면(빨간색) quá trình 초기에 치명적인 결과가 나타난다. 반면, 프록시 가이드 소스 이미지는 더 은밀하고 누적적인 공격 방법을 유지한다.

저자들은 다음과 같이述한다:

‘프록시 모델이 2D 이미지의 매끄럽지 않은 정도에서 매우 복잡한 3D 모양을 개발하는 것을 안내할 수 있다.

‘따라서, 이 과잉 밀집된 프록시 모델의 투영에서 생성된 중독된 데이터는 더 많은 가우시안을 유도하여 이러한 중독된 데이터에 맞출 수 있다.’

공격 시스템은 2013년 Google/Facebook 협력에 의해 제약되므로, 섭동은 시스템이 3DGS 이미지를 재구성하는 것을 방해하지 않으면서도 피해를 가할 수 있는 범위 내에서 유지된다.

데이터 및 테스트

연구자들은 세 가지 데이터 세트에 대한 poison-splat을 테스트했다: NeRF-Synthetic; Mip-NeRF360; 및 Tanks-and-Temples.

그들은 3DGS의 공식 구현을 피해 환경으로 사용했다. 블랙 박스 접근 방식으로는 Scaffold-GS 프레임워크를 사용했다.

테스트는 NVIDIA A800-SXM4-80G GPU에서 수행되었다.

메트릭으로는 생성된 가우시안 스플래팅의 수가 주된 지표였으며, 목적은 소스 데이터의 합리적인 추론을 초과하고 최대화하는 소스 이미지를 제작하는 것이었다. 대상 시스템의 렌더링 속도도 고려되었다.

초기 테스트의 결과는 아래에 표시된다:

세 가지 데이터 세트에 대한 테스트 공격의 전체 결과. 저자는 24GB 이상의 메모리를 소비하는 공격을 강조했다. 출처 논문에서 더 높은 해상도를 참조하십시오.

이러한 결과에 대해 저자는 다음과 같이述한다:

‘[우리의] Poison-splat 공격은 여러 데이터 세트에 걸쳐巨大한 추가 계산 부담을 가하는 능력을 보여준다. даже 제약된 공격에서 섭동은 작은 범위 내에 제한되더라도, 피크 GPU 메모리는 2배 이상 증가할 수 있으며, 전체 최대 GPU 점유율은 24GB를 초과할 수 있다.

‘실제 세계에서, 우리의 공격은 일반적인 GPU 스테이션(예: RTX 3090, RTX 4090 및 A5000)에서 제공할 수 있는 할당 가능한 리소스보다 더 많은 리소스가 필요할 수 있다. 또한 공격은 메모리 사용량을 크게 증가시키는 것뿐만 아니라 훈련 속도를 크게 느리게 한다.

‘이 속성은 공격을 더욱 강화할 것이다. 왜냐하면 GPU 점유율이 과부화되면 정상적인 훈련 시간보다 더 오래 지속되므로, 전체 계산력 손실이 더 커지기 때문이다.’

제약된 공격 시나리오와 제약되지 않은 공격 시나리오에서 프록시 모델의 진행 상황.

Scaffold-GS(블랙 박스 모델)에 대한 테스트 결과는 아래에 표시된다. 저자들은 이러한 결과가 다른 아키텍처(즉, 참조 구현)에 대한 poison-splat의 일반화를 나타낸다고 주장한다.

NeRF-Synthetic 및 MIP-NeRF360 데이터 세트에 대한 블랙 박스 공격 테스트 결과.

저자들은 이러한 종류의 자원 타겟 공격에 대한 연구가 거의 없으며, 2020년 논문 Energy-Latency Attacks on Neural Networks 은 과도한 뉴런 활성화를 유발하여 에너지 및 대기 시간 소비가 과도한 데이터 예를 식별할 수 있었다.

추론 시간 공격은 이후 연구에서さらに 조사되었다. 예를 들어, Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, 및 언어 모델 및 비전-언어 모델(VLM)의 경우 NICGSlowDown 및 Verbose Images.

결론

연구자들이 개발한 Poison-splat 공격은 가우시안 스플래팅의 기본 취약성을 악용한다. 가우시안 스플래팅은 훈련에 사용되는 자료에 따라 가우시안의 복잡성과 밀도를 할당한다.

2024년 논문 F-3DGS: 3D 가우시안 스플래팅을 위한 인자화된 좌표 및 표현는 이미 가우시안 스플래팅의 임의의 스플래팅 할당이 비효율적인 방법이며, 종종 중복 인스턴스를 생성한다는 것을 관찰했다:

‘[이] 비효율성은 3DGS가 구조적 패턴이나 중복성을 활용할 수 없는 본질적인 능력 부족에서 비롯된다. 우리는 3DGS가 심지어 단순한 기하학적 구조(예: 평면 표면)를 나타내는 데에도 불필요하게 많은 가우시안을 생성한다는 것을 관찰했다.

‘또한, 인근 가우시안은 때때로 유사한 속성을 나타내므로, 구조적 패턴이나 중복성을 활용하여 효율성을 향상시키는 잠재력이 있다. ‘

그러나 가우시안 생성을 제한하면 비공격 시나리오에서 재구성 품질이 손상되므로, 사용자 업로드 데이터에서 3DGS를 제공하는 온라인 제공자가 증가함에 따라, 악의적인 의도를 나타내는 소스 이미지의 특성을 연구해야 할 수 있다.

어떤 경우에든, 저자들은 자신의 연구가 在线 서비스가 이러한 종류의 공격에 직면했을 때 더 정교한 방어 방법이 필요하다는 것을 보여준다고 결론지었다.

* 저자의 인라인 인용을 하이퍼링크로 변환한 내 버전

2024년 10월 11일 처음 게시