3D Gauss Splatting’e Karşı Bir Zehirlenme Saldırısı

Singapur ve Çin arasındaki yeni bir araştırma işbirliği, popüler sentez yöntemi 3D Gauss Splatting (3DGS) için bir saldırı yöntemi önerdi.

Yeni saldırı yöntemi,rafted source verilerini kullanarak hedef sistemin mevcut GPU belleğini aşırı yüklemeye ve eğitimi o kadar uzun hale getirmeye çalışır ki, potansiyel olarak hedef sunucuyu devre dışı bırakabilir, bu da bir hizmet reddi saldırısına (DOS) eşdeğerdir. Kaynak: https://arxiv.org/pdf/2410.08190

Saldırı, 3DGS temsilini oluşturmak için kullanıcıların karmaşık görüntüler oluşturmasına izin veren bir online hizmete karşı kullanılabilir.

Bu yaklaşım, 3DGS’nin uyarlanabilir doğası tarafından kolaylaştırılır, bu da kaynak görüntülerin gerçekçi bir şekilde 렌der edilmesi için gerekli olan temsil detayını eklemeye yöneliktir. Yöntem, hemrafted görüntü karmaşıklığını (dokuları) hem de şekli (geometriyi) sömürür.

Saldırı sistemi ‘poison-splat’, kaynak görüntülerinin karmaşıklığını ve Gaussian Splat örneklerini bir modele eklemek için potansiyellerini tahmin eden ve yineleyen bir proxy model tarafından desteklenir.

Çalışma, online platformların – örneğin LumaAI, KIRI, Spline ve Polycam – 3DGS-as-a-service sunmaya başladığını ve yeni saldırı yönteminin – Poison-Splat olarak adlandırılan – bu tür hizmetleri potansiyel olarak 3DGS algoritmasının ‘en kötü hesaplamalı karmaşıklığına’ itebilecek kadar güçlü olabileceğini öne sürer.

Araştırmacılara göre, 3DGS, diğer online nöral ağ eğitim hizmetlerine kıyasla radikal olarak daha savunmasız olabilir. Geleneksel makine öğrenimi eğitim prosedürleri, parametreleri baştan belirler ve ardından relativ olarak tutarlı kaynak kullanımı ve güç tüketimi seviyelerinde çalışır. Gaussian Splat gerektirdiği ‘esneklik’ olmadan, bu hizmetler aynı şekilde hedeflenemez.

Dahası, yazarlar, hizmet sağlayıcıların böyle bir saldırıya karşı savunma olarak modelin karmaşıklığını veya yoğunluğunu sınırlayamayacaklarını belirtirler, çünkü bu, normal kullanım altında hizmetin etkinliğini bozardı.

Yeni çalışmadan görüldüğü gibi, atanan Gaussian Splats sayısını sınırlayan bir host sistemi normal olarak çalışamaz, çünkü bu parametrelerin esnekliği 3DGS’nin temel bir özelliğidir.

Makalede denir:

‘[3DGS] modelleri, bu savunma kısıtlamaları altında eğitildiğinde, kısıtlamasız eğitim ile karşılaştırıldığında çok daha kötü performans gösterir, özellikle ayrıntı yeniden yapılandırması açısından. Bu kalite düşüşü, 3DGS’nin gerekli ince detayları poisonous dokulardan ayırt edememesi nedeniyle oluşur.

‘Basitçe, Gaussian sayısını sınırlamak, modelin 3D sahneyi doğru bir şekilde yeniden yapılandırmasını engelleyecektir, bu da hizmet sağlayıcının birincil amacını ihlal edecektir. Bu çalışma, hem sistemi korumak hem de Poison-Splat saldırısı altında 3D yeniden yapılandırmaların kalitesini korumak için daha sofistike savunma stratejilerine ihtiyaç olduğunu göstermektedir.’

Testlerde, saldırı hem beyaz kutu senaryosunda (saldırganın kurbanın kaynakları hakkında bilgisi vardır) hem de kara kutu yaklaşımında (saldırganın böyle bir bilgisi yoktur) etkili olmuştur.

Yazarlar, bu çalışmanın 3DGS’ye karşı ilk saldırı yöntemi olduğunu ve nöral sentez güvenlik araştırma sektörünün bu tür bir saldırıya karşı hazırlıksız olduğunu belirtiyorlar.

Yeni makale Poison-splat: 3D Gauss Splatting’e Karşı Hesaplama Maliyeti Saldırısı olarak adlandırılmış ve Singapur Ulusal Üniversitesi ve Beijing’deki Skywork AI’den beş yazar tarafından yazılmıştır.

Yöntem

Yazarlar, 3DGS pipeline’ında bir modele atanan Gaussian Splats sayısının eğitim ve rendering maliyetlerini nasıl etkilediğini analiz ettiler.

Yazarların çalışması, atanan Gaussian Splats sayısı ile eğitim zamanı maliyetleri ve GPU bellek kullanımı arasında net bir korelasyon olduğunu gösterir.

Üstteki resmin sağdaki figürü, görüntü keskinliği ile atanan Gaussian Splats sayısı arasındaki açık ilişkiyi gösterir. Görüntü ne kadar keskinse, 3DGS modelini render etmek için o kadar fazla ayrıntı gerektiği görülür.

Makalede denir*:

‘[3DGS] daha kompleks yapıları ve pürüzsüz olmayan dokuları olan nesnelere daha fazla Gaussian atar, bu da toplam varyasyon puanı tarafından ölçülür – bir görüntü keskinliği metriği. Mantıksal olarak, 3D nesnelerinin yüzeyi ne kadar pürüzsüz değilse, modelin tüm detayları 2D görüntü projeksiyonlarından geri yüklemek için o kadar fazla Gaussian’a ihtiyacı vardır.

‘Dolayısıyla, pürüzsüzlük, [Gaussian] karmaşıklığının iyi bir tanımlayıcısı olabilir.’

Ancak, görüntüleri basitçe keskinleştirmek, 3DGS modelinin anlamsal bütünlüğünü o kadar etkiler ki, bir saldırı erken aşamalarında belirgin olur.

Verileri zehirlemek için daha sofistike bir yaklaşım gerekir. Yazarlar, saldırganların kontrolünde geliştirilen ve optimize edilen bir proxy model yöntemini benimsemişlerdir.

Solda, MIP-NeRF360 ‘odası’ veri kümesinde, yerel performansı, naif pertürbasyonu ve proxy tarafından yönlendirilen verileri gösteren bir grafik görülür. Sağda, kaynak görüntülerin naif pertürbasyonu (kırmızı) quá sớm felaket sonuçlara yol açar. Buna karşılık, proxy tarafından yönlendirilen kaynak görüntüleri daha gizli ve kümülatif bir saldırı yöntemi sağlar.

Yazarlar şöyle diyor:

‘Açık ki, proxy model, 2D görüntülerin pürüzsüzlüğü üzerinden yüksek kompleksiteli 3D şekiller geliştirmek için yönlendirilebilir.

‘Sonuç olarak, bu aşırı yoğunlaştırılmış proxy modelin projeksiyonundan elde edilen zehirlenmiş veriler, daha fazla Gaussian’ı uyarmak için daha fazla zehirlenmiş veri üretebilir.’

Saldırı sistemi, 2013 yılında Google /Facebook işbirliği ile çeşitli üniversitelerin katılımı ile sınırlıdır, böylece pertürbasyonlar, sistemlerin hasar vermeden 3DGS görüntüsünün yeniden yapılandırılmasını etkilemeyecek şekilde tasarlanır.

Veri ve Testler

Araştırmacılar, Poison-splat saldırısını üç veri kümesinde test ettiler: NeRF-Sentetik; Mip-NeRF360; ve Tanklar ve Tapınaklar.

3DGS’nin resmi uygulamasını kurban ortam olarak kullandılar. Kara kutu yaklaşımı için Scaffold-GS çerçevesini kullandılar.

Testler, NVIDIA A800-SXM4-80G GPU üzerinde gerçekleştirildi.

Metrik olarak, üretilen Gaussian Splats sayısı primær bir göstergeydi, çünkü amaç, kaynak verilerini maksimize etmek ve makul bir şekilde çıkarımı aşmak için tasarlanmış kaynak görüntülerini oluşturmaktı. Hedef sistemin rendering hızı da dikkate alındı.

İlk test sonuçları aşağıda gösterilmiştir:

Üç veri kümesinde saldırı testlerinin tam sonuçları. Yazarlar, 24GB’den fazla bellek tüketen saldırıları vurgulamışlardır. Kaynak makale için daha iyi bir çözünürlük için lütfen kaynak makaleye başvurun.

Bu sonuçlardan, yazarlar şöyle diyor:

‘Poison-splat saldırımız, çeşitli veri kümeleri boyunca büyük bir ek hesaplama yükü oluşturma yeteneğini göstermektedir. Sınırlı bir aralıkta sınırlı bir saldırı ile bile, maksimum GPU belleği 2 katına çıkarılabilir ve genel maksimum GPU işgali 24 GB’den fazla olabilir.

‘Gerçek dünyada, bu, saldırımızın ortak GPU istasyonlarından daha fazla atama kaynağı gerektirebileceği anlamına gelebilir, örneğin RTX 3090, RTX 4090 ve A5000. Ayrıca, saldırı sadece bellek kullanımını önemli ölçüde artırmakla kalmaz, aynı zamanda eğitim hızını da büyük ölçüde yavaşlatır.

‘Bu özellik, saldırıyı daha da güçlendirecektir, çünkü aşırı GPU işgali, normal eğitim süresinden daha uzun sürebilecektir, bu da genel hesaplama gücünün kaybının daha yüksek olacağı anlamına gelir.’

Kısıtlı ve kısıtsız saldırı senaryolarında proxy modelin ilerlemesi.

Scaffold-GS (kara kutu modeli) karşı yapılan testler aşağıda gösterilmiştir. Yazarlar, bu sonuçların, poison-splat’ın farklı bir mimariye (referans uygulamasına) genellemesini iyi bir şekilde gösterdiğini belirtiyorlar.

NeRF-Sentetik ve MIP-NeRF360 veri kümeleri için kara kutu saldırı test sonuçları.

Yazarlar, bu tür kaynak hedefli saldırılar üzerine çok az çalışma yapıldığını ve 2020 tarihli bir makalenin, aşırı nöron aktivasyonlarına yol açan veri örneklerini tanımlayabilmesini ve enerji tüketimini ve gecikmeyi engelleyebileceğini belirtiyorlar.

Sonuçta, yazarlar Poison-splat saldırısının 3DGS’ye karşı bir tehdit oluşturabileceğini ve online hizmetlerin daha sofistike savunma yöntemlerine ihtiyaç duyabileceğini belirtiyorlar.

Sonuç

Araştırmacılar tarafından geliştirilen Poison-splat saldırısı, Gaussian Splatting’de temel bir zayıflık olan, verilen materyale göre Gaussian ve yoğunluğunu atama özelliğini sömürür.

2024 tarihli bir makale, Gaussian Splatting’in keyfi olarak splat atamasının verimsiz bir yöntem olduğunu ve genellikle gereksiz örnekler ürettiğini gözlemlemiştir:

‘[Bu] verimsizlik, 3DGS’nin yapısal kalıpları veya redundansları kullanamamasından kaynaklanmaktadır. 3DGS’nin, basit geometrik yapıları temsil etmek için bile gereksiz yere çok fazla Gaussian ürettiğini gözlemledik.

‘Dahası, yakın Gaussian’lar bazen benzer öznitelikler gösterir, bu da représentasyonların verimliliğini artırmak için gereksiz représentasyonları kaldırma potansiyelini gösterir.’

Ancak, Gaussian üretiminin kısıtlanması, saldırı olmayan senaryolarda yeniden yapılandırma kalitesini bozardı.

Her durumda, yazarlar daha sofistike savunma yöntemlerinin, bu tür bir saldırıya karşı online hizmetler için gerekli olabileceğini belirtiyorlar.

* Yazarların inline alıntılarını hyperlinklere dönüştürmem

İlk olarak 11 Ekim 2024 Cuma günü yayımlanmıştır