Serangan Racun Terhadap 3D Gaussian Splatting

Kolaborasi penelitian baru antara Singapura dan Cina telah mengusulkan metode untuk menyerang metode sintesis populer 3D Gaussian Splatting (3DGS).

Metode serangan baru menggunakan data sumber yang dibuat untuk membebani memori GPU yang tersedia pada sistem target, dan membuat pelatihan sehingga panjang sehingga berpotensi melumpuhkan server target, setara dengan serangan denial-of-service (DOS). Sumber: https://arxiv.org/pdf/2410.08190

Serangan ini menggunakan gambar pelatihan yang dibuat dengan kompleksitas sehingga kemungkinan akan membebani layanan online yang memungkinkan pengguna membuat representasi 3DGS.

Pendekatan ini difasilitasi oleh sifat adaptif 3DGS, yang dirancang untuk menambahkan detail representatif sebanyak mungkin sesuai dengan kebutuhan gambar sumber untuk render yang realistis. Metode ini memanfaatkan kompleksitas gambar (tekstur) dan bentuk (geometri).

Sistem serangan ‘poison-splat’ dibantu oleh model proxy yang memperkirakan dan mengulangi potensi gambar sumber untuk menambah kompleksitas dan instance Gaussian Splat ke model, sampai sistem host terlalu banyak beban.

Makalah tersebut menyatakan bahwa platform online – seperti LumaAI, KIRI, Spline dan Polycam – semakin banyak menawarkan 3DGS sebagai layanan, dan bahwa metode serangan baru – yang disebut Poison-Splat – berpotensi mendorong algoritma 3DGS ke ‘kompleksitas komputasi terburuknya pada domain tersebut, dan bahkan memfasilitasi serangan denial-of-service (DOS).

Menurut peneliti, 3DGS bisa jauh lebih rentan daripada layanan pelatihan neural online lainnya. Prosedur pelatihan machine learning konvensional menetapkan parameter pada awalnya, dan kemudian beroperasi dalam tingkat penggunaan sumber daya dan konsumsi daya yang relatif konsisten. Tanpa ‘kelenturan’ yang diperlukan Gaussian Splat untuk mengatur instance splat, layanan tersebut sulit diserang dengan cara yang sama.

Lebih lanjut, penulis mencatat, penyedia layanan tidak dapat melindungi diri dari serangan seperti ini dengan membatasi kompleksitas atau kepadatan model, karena ini akan mengurangi efektivitas layanan dalam penggunaan normal.

Dari karya baru, kita lihat bahwa sistem host yang membatasi jumlah Gaussian Splats yang ditugaskan tidak dapat berfungsi normal, karena kelenturan parameter ini adalah fitur fundamental dari 3DGS.

Makalah tersebut menyatakan:

‘[3DGS] model yang dilatih di bawah konstrain pertahanan ini memiliki kinerja yang jauh lebih buruk dibandingkan dengan mereka yang memiliki pelatihan tanpa konstrain, terutama dalam hal rekonstruksi detail. Penurunan kualitas ini terjadi karena 3DGS tidak dapat secara otomatis membedakan detail yang diperlukan dari tekstur yang diracuni.

‘Secara naif, membatasi jumlah Gaussians akan langsung menyebabkan kegagalan model untuk merekonstruksi adegan 3D dengan akurat, yang melanggar tujuan utama penyedia layanan. Studi ini menunjukkan bahwa strategi pertahanan yang lebih canggih diperlukan untuk melindungi sistem dan mempertahankan kualitas rekonstruksi 3D di bawah serangan kita.’

Dalam pengujian, serangan ini terbukti efektif baik dalam skenario white-box longgar (di mana penyerang memiliki pengetahuan tentang sumber daya korban), dan pendekatan black box (di mana penyerang tidak memiliki pengetahuan tersebut).

Penulis percaya bahwa karya mereka mewakili metode serangan pertama melawan 3DGS, dan memperingatkan bahwa sektor penelitian keamanan sintesis neural tidak siap untuk jenis pendekatan ini.

Makalah baru ini berjudul Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, dan berasal dari lima penulis di National University of Singapore, dan Skywork AI di Beijing.

Metode

Penulis menganalisis seberapa besar jumlah Gaussian Splats (secara esensial, ellipsoid tiga dimensi ‘pixel’) yang ditugaskan ke model di bawah pipa 3DGS mempengaruhi biaya komputasi pelatihan dan rendering model.

Studi penulis menunjukkan korelasi yang jelas antara jumlah Gaussians yang ditugaskan dan biaya waktu pelatihan, serta penggunaan memori GPU.

Gambar kanan di atas menunjukkan hubungan yang jelas antara ketajaman gambar dan jumlah Gaussians yang ditugaskan. Semakin tajam gambar, semakin banyak detail yang diperlukan untuk merender model 3DGS.

Makalah tersebut menyatakan*:

‘[Kami] menemukan bahwa 3DGS cenderung menugaskan lebih banyak Gaussians ke objek dengan struktur yang lebih kompleks dan tekstur yang tidak halus, seperti yang diukur oleh skor total variasi – sebuah metrik yang menilai ketajaman gambar. Secara intuitif, semakin tidak halus permukaan objek 3D, semakin banyak Gaussians yang diperlukan model untuk memulihkan semua detail dari proyeksi gambar 2D.

‘Oleh karena itu, kekasaran dapat menjadi deskriptor yang baik dari kompleksitas [Gaussians]’

Namun, mempertajam gambar secara naif cenderung mempengaruhi integritas semantik model 3DGS sehingga serangan akan jelas pada tahap awal.

Mempertajam data secara efektif memerlukan pendekatan yang lebih canggih. Penulis telah mengadopsi metode model proxy, di mana gambar serangan dioptimalkan dalam model 3DGS offline yang dikembangkan dan dikendalikan oleh penyerang.

Di sebelah kiri, kita lihat grafik yang mewakili biaya waktu komputasi dan okupansi memori GPU pada dataset MIP-NeRF360 ‘room’, menunjukkan kinerja asli, gangguan naif, dan data yang dipandu oleh proxy. Di sebelah kanan, kita lihat bahwa gangguan naif pada gambar sumber (merah) menyebabkan hasil yang sangat buruk terlalu dini dalam proses. Sebaliknya, kita lihat bahwa gambar sumber yang dipandu oleh proxy mempertahankan metode serangan yang lebih stealthy dan kumulatif.

Penulis menyatakan:

‘Jelas bahwa model proxy dapat dipandu dari kekasaran gambar 2D untuk mengembangkan bentuk 3D yang sangat kompleks.

‘Akibatnya, data yang diracuni yang dihasilkan dari proyeksi model proxy yang terlalu padat dapat menghasilkan lebih banyak data yang diracuni, yang menyebabkan lebih banyak Gaussians untuk memuat data yang diracuni.’

Sistem serangan ini dibatasi oleh kerja sama Google /Facebook pada tahun 2013 dengan beberapa universitas, sehingga gangguan tetap dalam batas yang dirancang untuk memungkinkan sistem untuk menyebabkan kerusakan tanpa mempengaruhi rekonstruksi gambar 3DGS, yang akan menjadi sinyal awal dari serangan.

Data dan Pengujian

Peneliti menguji poison-splat melawan tiga dataset: NeRF-Sintetis; Mip-NeRF360; dan Tanks-and-Temples.

Mereka menggunakan implementasi resmi 3DGS sebagai lingkungan korban. Untuk pendekatan black box, mereka menggunakan kerangka Scaffold-GS.

Pengujian dilakukan pada GPU NVIDIA A800-SXM4-80G.

Untuk metrik, jumlah Gaussian splats yang dihasilkan adalah indikator utama, karena tujuan adalah untuk membuat gambar sumber yang dirancang untuk memaksimalkan dan melebihi inferensi rasional dari data sumber. Kecepatan rendering sistem korban juga dipertimbangkan.

Hasil pengujian awal ditunjukkan di bawah:

Hasil lengkap serangan pengujian di seluruh tiga dataset. Penulis mencatat bahwa mereka telah menyoroti serangan yang berhasil mengonsumsi lebih dari 24GB memori. Silakan merujuk ke makalah sumber untuk resolusi yang lebih baik.

Dari hasil ini, penulis mengomentari:

‘[Serangan] Poison-splat kami menunjukkan kemampuan untuk membuat beban komputasi tambahan yang besar di seluruh dataset. Bahkan dengan gangguan yang dibatasi dalam rentang kecil dalam serangan yang dibatasi, memori GPU puncak dapat ditingkatkan lebih dari dua kali lipat, membuat okupansi GPU maksimum lebih dari 24 GB.

‘Di dunia nyata, ini mungkin berarti bahwa serangan kami mungkin memerlukan sumber daya yang lebih banyak daripada stasiun GPU umum dapat menyediakan, misalnya RTX 3090, RTX 4090 dan A5000. Selain itu, serangan tidak hanya meningkatkan penggunaan memori, tetapi juga memperlambat kecepatan pelatihan.

‘Sifat ini akan memperkuat serangan, karena okupansi GPU yang luar biasa akan berlangsung lebih lama daripada waktu pelatihan normal, membuat kehilangan daya komputasi lebih tinggi.’

Kemajuan model proxy dalam skenario serangan yang dibatasi dan tidak dibatasi.

Pengujian terhadap Scaffold-GS (model black box) ditunjukkan di bawah. Penulis menyatakan bahwa hasil ini menunjukkan bahwa poison-splat umumnya berlaku untuk arsitektur yang berbeda (yaitu, implementasi referensi).

Hasil pengujian serangan black box pada dataset NeRF-Sintetis dan MIP-NeRF360.

Penulis mencatat bahwa telah ada sangat sedikit studi yang berfokus pada jenis serangan yang menargetkan sumber daya pada proses inferensi. Makalah 2020 Energy-Latency Attacks on Neural Networks dapat mengidentifikasi contoh data yang memicu aktivasi neuron yang berlebihan, menyebabkan konsumsi energi yang parah dan latensi yang buruk.

Serangan pada waktu inferensi dipelajari lebih lanjut dalam karya-karya berikutnya seperti Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, dan, untuk model bahasa dan model bahasa-visi (VLMs), dalam NICGSlowDown, dan Verbose Images.

Kesimpulan

Serangan Poison-splat yang dikembangkan oleh peneliti memanfaatkan kerentanan fundamental dalam Gaussian Splatting – fakta bahwa itu menugaskan kompleksitas dan kepadatan Gaussians sesuai dengan bahan yang diberikan untuk dilatih.

Makalah 2024 F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting telah mengamati bahwa penugasan Gaussian Splatting yang sewenang-wenang adalah metode yang tidak efisien, yang sering juga menghasilkan instance yang berlebihan:

‘[Ketidakefisienan] ini berasal dari ketidakmampuan 3DGS untuk memanfaatkan pola struktural atau redundansi. Kami mengamati bahwa 3DGS menghasilkan jumlah Gaussian yang tidak perlu besar bahkan untuk merepresentasikan struktur geometris sederhana, seperti permukaan datar.

‘Lebih lanjut, Gaussians yang berdekatan kadang-kadang menunjukkan atribut yang serupa, menunjukkan potensi untuk meningkatkan efisiensi dengan menghilangkan representasi yang berlebihan.’

Karena membatasi generasi Gaussian mengurangi kualitas reproduksi dalam skenario non-serangan, jumlah layanan online yang menawarkan 3DGS dari data pengguna yang diunggah mungkin perlu mempelajari karakteristik gambar sumber untuk menentukan tanda-tanda yang menunjukkan niat jahat.’

Bagaimanapun, penulis karya baru menyimpulkan bahwa metode pertahanan yang lebih canggih diperlukan untuk layanan online dalam menghadapi jenis serangan yang mereka formulasi.

* konversi saya dari kutipan inline penulis ke tautan

Dipublikasikan pertama kali pada hari Jumat, 11 Oktober 2024