Un ataque de envenenamiento contra el Gaussian Splatting 3D

Una nueva colaboración de investigación entre Singapur y China ha propuesto un método para atacar el popular método de síntesis Gaussian Splatting 3D (3DGS).

El nuevo método de ataque utiliza datos de origen elaborados para sobrecargar la memoria de GPU disponible del sistema objetivo y hacer que el entrenamiento sea tan largo que pueda incapacitar potencialmente al servidor objetivo, equivalente a un ataque de denegación de servicio (DOS). Fuente: https://arxiv.org/pdf/2410.08190

El ataque utiliza imágenes de entrenamiento de tal complejidad que es probable que abrumen a un servicio en línea que permite a los usuarios crear representaciones de 3DGS.

Este enfoque se facilita por la naturaleza adaptativa de 3DGS, que está diseñada para agregar tanto detalle representativo como sea necesario para una representación realista. El método explota tanto la complejidad de la imagen (texturas) como la forma (geometría).

El sistema de ataque ‘poison-splat’ se ve ayudado por un modelo proxy que estima y itera el potencial de las imágenes de origen para agregar complejidad y instancias de Gaussian Splat a un modelo, hasta que el sistema host es abrumado.

El artículo afirma que las plataformas en línea, como LumaAI, KIRI, Spline y Polycam, están ofreciendo cada vez más 3DGS como servicio, y que el nuevo método de ataque, titulado Poison-Splat, es potencialmente capaz de empujar al algoritmo de 3DGS hacia ‘su peor complejidad computacional’ en dichos dominios, e incluso facilitar un ataque de denegación de servicio (DOS).

Según los investigadores, 3DGS podría ser radicalmente más vulnerable que otros servicios de entrenamiento de redes neuronales en línea. Los procedimientos de entrenamiento de aprendizaje automático convencionales establecen parámetros al comienzo y luego operan dentro de niveles constantes y relativamente consistentes de uso de recursos y consumo de energía. Sin la ‘elasticidad’ que Gaussian Splat requiere para asignar instancias de Gaussian Splat, dichos servicios son difíciles de atacar de la misma manera.

Además, los autores señalan que los proveedores de servicios no pueden defenderse contra tal ataque limitando la complejidad o densidad del modelo, ya que esto debilitaría la efectividad del servicio en uso normal.

Del nuevo trabajo, vemos que un sistema host que limita el número de Gaussian Splats asignados no puede funcionar normalmente, ya que la elasticidad de estos parámetros es una característica fundamental de 3DGS.

El artículo establece:

‘[3DGS] modelos entrenados bajo estas restricciones defensivas funcionan mucho peor en comparación con aquellos con entrenamiento sin restricciones, particularmente en términos de reconstrucción de detalles. Esta disminución en la calidad ocurre porque 3DGS no puede distinguir automáticamente los detalles necesarios de las texturas envenenadas.

‘La restricción ingenua del número de Gaussianos conducirá directamente al fracaso del modelo para reconstruir la escena 3D con precisión, lo que viola el objetivo principal del proveedor de servicios. Este estudio demuestra que se necesitan estrategias defensivas más sofisticadas para proteger el sistema y mantener la calidad de las reconstrucciones 3D bajo nuestro ataque.’

En las pruebas, el ataque ha demostrado ser efectivo tanto en un escenario de white-box (donde el atacante tiene conocimiento de los recursos de la víctima) como en un enfoque de black box (donde el atacante no tiene dicho conocimiento).

Los autores creen que su trabajo representa el primer método de ataque contra 3DGS, y advierten que el sector de investigación de seguridad de síntesis neural no está preparado para este tipo de enfoque.

El nuevo artículo se titula Poison-splat: Ataque de costo computacional a Gaussian Splatting 3D, y proviene de cinco autores de la Universidad Nacional de Singapur y Skywork AI en Pekín.

Método

Los autores analizaron la medida en que el número de Gaussian Splats (esencialmente, píxeles elipsoidales tridimensionales) asignados a un modelo bajo una tubería de 3DGS afecta los costos computacionales del entrenamiento y la representación del modelo.

El estudio de los autores revela una clara correlación entre el número de Gaussianos asignados y los costos de tiempo de entrenamiento, así como el uso de memoria de GPU.

La figura de la derecha en la imagen de arriba indica la clara relación entre la nitidez de la imagen y el número de Gaussianos asignados. Cuanto más nítida es la imagen, más detalles se ven necesarios para representar el modelo de 3DGS.

El artículo establece*:

‘[Encontramos que 3DGS tiende a asignar más Gaussianos a aquellos objetos con estructuras más complejas y texturas no suaves, como se cuantifica por la puntuación de variación total – una métrica que evalúa la nitidez de la imagen. Intuitivamente, cuanto menos suave es la superficie de los objetos 3D, más Gaussianos necesita el modelo para recuperar todos los detalles de sus proyecciones de imagen 2D.

‘Por lo tanto, la no suavidad puede ser un buen descriptor de la complejidad de [Gaussianos]’

Sin embargo, afilar ingenuamente las imágenes tenderá a afectar la integridad semántica del modelo de 3DGS tanto que un ataque sería obvio en las primeras etapas.

Envenenar los datos de manera efectiva requiere un enfoque más sofisticado. Los autores han adoptado un modelo proxy método, en el que las imágenes de ataque se optimizan en un modelo de 3DGS fuera de línea desarrollado y controlado por los atacantes.

A la izquierda, vemos un gráfico que representa el costo total de tiempo de computación y ocupación de memoria de GPU en el conjunto de datos MIP-NeRF360 ‘room’, demostrando el rendimiento nativo, la perturbación ingenua y los datos impulsados por proxy. A la derecha, vemos que la perturbación ingenua de las imágenes de origen (rojo) conduce a resultados catastróficos demasiado pronto en el proceso. Por el contrario, vemos que las imágenes de origen guiadas por proxy mantienen un método de ataque más sigiloso y acumulativo.

Los autores establecen:

‘Es evidente que el modelo proxy puede ser guiado desde la no suavidad de las imágenes 2D para desarrollar formas 3D muy complejas.

‘En consecuencia, los datos envenenados producidos a partir de la proyección de este modelo proxy sobre-densificado pueden producir más datos envenenados, induciendo más Gaussianos para ajustar estos datos envenenados.’

El sistema de ataque está limitado por una colaboración de 2013 entre Google y Facebook con varias universidades, para que las perturbaciones permanezcan dentro de los límites diseñados para permitir que el sistema inflija daño sin afectar la recreación de una imagen de 3DGS, lo que sería una señal temprana de una incursión.

Datos y pruebas

Los investigadores probaron poison-splat contra tres conjuntos de datos: NeRF-Synthetic; Mip-NeRF360; y Tanks-and-Temples.

Utilizaron la implementación oficial de 3DGS como entorno de víctima. Para un enfoque de black box, utilizaron el marco de Scaffold-GS.

Las pruebas se llevaron a cabo en una GPU NVIDIA A800-SXM4-80G.

Para las métricas, el número de Gaussian Splats producidos fue el indicador principal, ya que la intención es crear imágenes de origen diseñadas para maximizar y exceder la inferencia racional de los datos de origen. También se consideró la velocidad de renderizado del sistema de víctima objetivo.

Los resultados de las pruebas iniciales se muestran a continuación:

Resultados completos de los ataques de prueba en los tres conjuntos de datos. Los autores observan que han resaltado los ataques que consumen con éxito más de 24 GB de memoria. Consulte el artículo de origen para una mejor resolución.

De estos resultados, los autores comentan:

‘[Nuestro] ataque Poison-splat demuestra la capacidad de crear una gran carga computacional adicional en múltiples conjuntos de datos. Incluso con perturbaciones limitadas dentro de un rango pequeño en [un ataque limitado], la memoria de GPU máxima puede aumentar más de 2 veces, lo que hace que la ocupación de GPU máxima sea mayor que 24 GB.

‘En el mundo real, esto puede significar que nuestro ataque puede requerir más recursos asignables de los que pueden proporcionar las estaciones de GPU comunes, por ejemplo, RTX 3090, RTX 4090 y A5000. Además [el] ataque no solo aumenta significativamente el uso de memoria, sino que también ralentiza enormemente la velocidad de entrenamiento.

‘Esta propiedad fortalecería aún más el ataque, ya que la ocupación de GPU abrumadora duraría más que el entrenamiento normal, lo que haría que la pérdida de potencia de cálculo fuera mayor.’

El progreso del modelo proxy en escenarios de ataque limitado y no limitado.

Las pruebas contra Scaffold-GS (el modelo de black box) se muestran a continuación. Los autores establecen que estos resultados indican que poison-splat se generaliza bien a una arquitectura tan diferente (es decir, a la implementación de referencia).

Resultados de las pruebas de ataques de black box en los conjuntos de datos NeRF-Synthetic y MIP-NeRF360.

Los autores señalan que ha habido muy pocos estudios centrados en este tipo de ataques de recursos dirigidos a procesos de inferencia. El artículo de 2020 Ataques de energía y latencia en redes neuronales pudo identificar ejemplos de datos que desencadenan activaciones excesivas de neuronas, lo que conduce a un consumo debilitante de energía y a una mala latencia.

Los ataques de tiempo de inferencia se estudiaron más en trabajos posteriores como Ataques de ralentización en la inferencia de redes neuronales de salida múltiple adaptativa, Hacia la inyección de puerta trasera de eficiencia, y, para modelos de lenguaje y modelos de visión-lenguaje (VLM), en NICGSlowDown, y Imágenes verbosas.

Conclusión

El ataque Poison-splat desarrollado por los investigadores explota una vulnerabilidad fundamental en Gaussian Splatting – el hecho de que asigna complejidad y densidad de Gaussianos según el material que se le da para entrenar.

El artículo de 2024 F-3DGS: Coordenadas y representaciones factorizadas para Gaussian Splatting 3D ya ha observado que la asignación arbitraria de Gaussian Splatting es un método ineficiente, que a menudo también produce instancias redundantes:

‘[Esta] ineficiencia se debe a la incapacidad inherente de 3DGS para utilizar patrones estructurales o redundancias. Observamos que 3DGS produce un número innecesariamente grande de Gaussianos incluso para representar estructuras geométricas simples, como superficies planas.

‘Además, los Gaussianos cercanos a veces exhiben atributos similares, lo que sugiere el potencial de mejorar la eficiencia al eliminar las representaciones redundantes.’

Dado que limitar la generación de Gaussianos socava la calidad de la reproducción en escenarios no de ataque, los proveedores de servicios en línea que ofrecen 3DGS a partir de datos subidos por los usuarios pueden necesitar estudiar las características de las imágenes de origen para determinar firmas que indiquen una intención maliciosa.

En cualquier caso, los autores del nuevo trabajo concluyen que se necesitan métodos de defensa más sofisticados para los servicios en línea frente al tipo de ataque que han formulado.

* Mi conversión de las citas en línea de los autores a hipervínculos

Publicado por primera vez el viernes 11 de octubre de 2024