Um Ataque de Envenenamento Contra a Splatting Gaussiana 3D

Uma nova colaboração de pesquisa entre Singapura e China propôs um método para atacar o popular método de síntese Splatting Gaussiana 3D (3DGS).

O novo método de ataque usa dados de origem criados para sobrecarregar a memória GPU disponível do sistema alvo e tornar o treinamento tão longo que possa incapacitar o servidor alvo, equivalente a um ataque de negação de serviço (DOS). Fonte: https://arxiv.org/pdf/2410.08190

O ataque usa imagens de treinamento criadas com tanta complexidade que é provável que sobrecarreguem um serviço online que permite aos usuários criar representações 3DGS.

Essa abordagem é facilitada pela natureza adaptativa da 3DGS, que é projetada para adicionar tanto detalhe representacional quanto as imagens de origem exigem para uma renderização realista. O método explora tanto a complexidade da imagem (texturas) quanto a forma (geometria).

O sistema de ataque ‘poison-splat’ é auxiliado por um modelo proxy que estima e itera o potencial das imagens de origem para adicionar complexidade e instâncias de Splatting Gaussiana a um modelo, até que o sistema hospedeiro seja sobrecarregado.

O artigo afirma que as plataformas online – como LumaAI, KIRI, Spline e Polycam – estão cada vez mais oferecendo 3DGS como um serviço, e que o novo método de ataque – intitulado Poison-Splat – é potencialmente capaz de impulsionar o algoritmo de 3DGS em direção à ‘sua pior complexidade computacional‘ nesses domínios, e até mesmo facilitar um ataque de negação de serviço (DOS).

De acordo com os pesquisadores, a 3DGS poderia ser radicalmente mais vulnerável a outros serviços de treinamento de redes neurais online. Procedimentos de treinamento de aprendizado de máquina convencionais definem parâmetros no início e, em seguida, operam dentro de níveis constantes e relativamente consistentes de uso de recursos e consumo de energia. Sem a ‘elasticidade’ que a Splatting Gaussiana requer para atribuir instâncias de Splat, esses serviços são difíceis de atacar da mesma maneira.

Além disso, os autores observam que os provedores de serviços não podem se defender contra esse ataque limitando a complexidade ou densidade do modelo, pois isso comprometeria a eficácia do serviço em uso normal.

Do novo trabalho, vemos que um sistema hospedeiro que limita o número de Splats Gaussianos atribuídos não pode funcionar normalmente, pois a elasticidade desses parâmetros é uma característica fundamental da 3DGS.

O artigo afirma:

‘[3DGS] modelos treinados sob essas restrições defensivas performam muito pior em comparação com aqueles com treinamento não restrito, particularmente em termos de reconstrução de detalhes. Essa declínio na qualidade ocorre porque a 3DGS não pode distinguir automaticamente detalhes necessários de texturas envenenadas.

‘Naively, limitar o número de Gaussians levará diretamente ao fracasso do modelo em reconstruir a cena 3D com precisão, o que viola o objetivo principal do provedor de serviços. Este estudo demonstra que estratégias defensivas mais sofisticadas são necessárias para proteger o sistema e manter a qualidade das reconstruções 3D sob nosso ataque.’

Nos testes, o ataque provou ser eficaz tanto em um cenário white-box (onde o atacante tem conhecimento dos recursos da vítima) quanto em uma abordagem black box (onde o atacante não tem esse conhecimento).

Os autores acreditam que seu trabalho representa o primeiro método de ataque contra a 3DGS e alertam que o setor de pesquisa de segurança de síntese neural está despreparado para esse tipo de abordagem.

O novo artigo é intitulado Poison-splat: Ataque de Custo Computacional em Splatting Gaussiana 3D e vem de cinco autores da Universidade Nacional de Singapura e da Skywork AI em Pequim.

Método

Os autores analisaram a extensão com que o número de Splats Gaussianos (essencialmente, elipsoides tridimensionais ‘pixels’) atribuídos a um modelo sob uma pipeline de 3DGS afeta os custos computacionais de treinamento e renderização do modelo.

O estudo dos autores revela uma clara correlação entre o número de Gaussians atribuídos e os custos de tempo de treinamento, bem como o uso de memória GPU.

A figura mais à direita na imagem acima indica a clara relação entre a nitidez da imagem e o número de Gaussians atribuídos. Quanto mais nítida a imagem, mais detalhes são vistos como necessários para renderizar o modelo 3DGS.

O artigo afirma*:

‘[Nós] descobrimos que a 3DGS tende a atribuir mais Gaussians aos objetos com estruturas mais complexas e texturas não suaves, como quantificado pelo escore de variação total – uma métrica que avalia a nitidez da imagem. Intuitivamente, quanto menos suave a superfície dos objetos 3D for, mais Gaussians o modelo precisa para recuperar todos os detalhes das suas projeções de imagem 2D.

‘Portanto, a não suavidade pode ser um bom descritor de complexidade de [Gaussians]’

No entanto, simplesmente aumentar a nitidez das imagens tenderia a afetar a integridade semântica do modelo 3DGS a tal ponto que um ataque seria óbvio nos estágios iniciais.

Envenenar os dados efetivamente requer uma abordagem mais sofisticada. Os autores adotaram um modelo proxy, no qual as imagens de ataque são otimizadas em um modelo 3DGS offline desenvolvido e controlado pelos atacantes.

À esquerda, vemos um gráfico representando o custo geral de tempo de computação e ocupação de memória GPU no conjunto de dados MIP-NeRF360 ‘room’, demonstrando o desempenho nativo, a perturbação ingênua e os dados orientados pelo proxy. À direita, vemos que a perturbação ingênua das imagens de origem (vermelho) leva a resultados catastróficos muito cedo no processo. Em contraste, vemos que as imagens de origem orientadas pelo proxy mantêm um método de ataque mais sigiloso e cumulativo.

Os autores afirmam:

‘É evidente que o modelo proxy pode ser orientado a partir da não suavidade das imagens 2D para desenvolver formas 3D altamente complexas.

‘Consequentemente, os dados envenenados produzidos a partir da projeção desse modelo proxy superdensificado podem produzir mais dados envenenados, induzindo mais Gaussians para se ajustar a esses dados envenenados.’

O sistema de ataque é limitado por uma colaboração de 2013 entre o Google e o Facebook com várias universidades, de modo que as perturbações permaneçam dentro de limites projetados para permitir que o sistema cause danos sem afetar a recriação de uma imagem 3DGS, o que seria um sinal precoce de uma incursão.

Dados e Testes

Os pesquisadores testaram o poison-splat contra três conjuntos de dados: NeRF-Synthetic; Mip-NeRF360; e Tanks-and-Temples.

Eles usaram a implementação oficial da 3DGS como um ambiente de vítima. Para uma abordagem black box, eles usaram o framework Scaffold-GS.

Os testes foram realizados em um GPU NVIDIA A800-SXM4-80G.

Para métricas, o número de Splats Gaussianos produzidos foi o principal indicador, pois a intenção é criar imagens de origem projetadas para maximizar e exceder a inferência racional dos dados de origem. A velocidade de renderização do sistema vítima também foi considerada.

Os resultados dos testes iniciais são mostrados abaixo:

Resultados completos dos testes de ataque nos três conjuntos de dados. Os autores observam que destacaram ataques que consumiram mais de 24GB de memória. Por favor, consulte o artigo de origem para uma melhor resolução.

Desses resultados, os autores comentam:

‘[Nosso] ataque Poison-splat demonstra a capacidade de criar uma enorme carga computacional extra em vários conjuntos de dados. Mesmo com perturbações limitadas dentro de um pequeno intervalo em um ataque limitado, a memória GPU de pico pode ser aumentada para mais de duas vezes, tornando a ocupação máxima de GPU maior que 24 GB.

‘[No] mundo real, isso pode significar que nosso ataque pode exigir mais recursos alocáveis do que as estações GPU comuns podem fornecer, por exemplo, RTX 3090, RTX 4090 e A5000. Além disso, [o] ataque não apenas aumenta significativamente o uso de memória, mas também desacelera significativamente a velocidade de treinamento.

‘Essa propriedade fortaleceria ainda mais o ataque, pois a ocupação de GPU esmagadora duraria mais do que o treinamento normal pode levar, tornando a perda de poder computacional maior.’

O progresso do modelo proxy em um cenário de ataque limitado e não limitado.

Os testes contra o Scaffold-GS (o modelo black box) são mostrados abaixo. Os autores afirmam que esses resultados indicam que o poison-splat se generaliza bem para uma arquitetura tão diferente (ou seja, para a implementação de referência).

Resultados dos testes de ataques de caixa preta nos conjuntos de dados NeRF-Synthetic e MIP-NeRF360.

Os autores observam que houve muito poucos estudos centrados nesse tipo de ataques de recursos direcionados a processos de inferência. O artigo de 2020 Ataques de Energia-Latência em Redes Neurais conseguiu identificar exemplos de dados que desencadeiam ativações excessivas de neurônios, levando a um consumo debilitante de energia e a uma latência ruim.

Ataques de tempo de inferência foram estudados posteriormente em trabalhos como Ataques de desaceleração em inferência de redes neurais multi-exit adaptáveis, Injeção de Backdoor em Eficiência, e, para modelos de linguagem e modelos de visão-linguagem (VLMs), em NICGSlowDown e Imagens Verbosas.

Conclusão

O ataque Poison-splat desenvolvido pelos pesquisadores explora uma vulnerabilidade fundamental na Splatting Gaussiana – o fato de que ela atribui complexidade e densidade de Gaussians de acordo com o material que é dado para treinar.

O artigo de 2024 F-3DGS: Coordenadas e Representações Fatorizadas para Splatting Gaussiana 3D já observou que a atribuição arbitrária de Splats da Splatting Gaussiana é um método ineficiente, que frequentemente também produz instâncias redundantes:

‘[Isso] decorre da incapacidade inerente da 3DGS de utilizar padrões estruturais ou redundâncias. Observamos que a 3DGS produz um número desnecessariamente grande de Gaussians, mesmo para representar estruturas geométricas simples, como superfícies planas.

‘Além disso, Gaussians próximos às vezes exibem atributos semelhantes, sugerindo o potencial para melhorar a eficiência removendo as representações redundantes.’

Como restringir a geração de Gaussians compromete a qualidade da reprodução em cenários não de ataque, o número crescente de provedores online que oferecem 3DGS a partir de dados carregados pelo usuário pode precisar estudar as características das imagens de origem para determinar assinaturas que indiquem uma intenção maliciosa.’

Em qualquer caso, os autores do novo trabalho concluem que métodos de defesa mais sofisticados serão necessários para os serviços online diante do tipo de ataque que eles formularam.

* Minha conversão das citações inline dos autores para links

Publicado pela primeira vez na sexta-feira, 11 de outubro de 2024