Roubo de Modelos de Aprendizado de Máquina Através da Saída da API

Pesquisas recentes do Canadá oferecem um método possível pelo qual atacantes poderiam roubar os frutos de caros quadros de aprendizado de máquina, mesmo quando o único acesso a um sistema proprietário é via uma API (interface ou protocolo que processa consultas de usuário no servidor e retorna apenas a resposta de saída) altamente sanitizada e aparentemente bem defendida.

À medida que o setor de pesquisa se volta cada vez mais para a monetização do treinamento de modelo caro por meio de implementações de Aprendizado de Máquina como Serviço (MLaaS), o novo trabalho sugere que os modelos de Aprendizado Auto-Supervisionado (SSL) são mais vulneráveis a esse tipo de extração de modelo, pois são treinados sem rótulos, simplificando a extração e geralmente fornecendo resultados que contêm uma grande quantidade de informações úteis para alguém que deseja replicar o modelo de origem (oculto).

Em simulações de teste “caixa preta” (onde os pesquisadores concederam a si mesmos nenhum acesso a um modelo “vítima” local além do que um usuário típico teria via uma API da web), os pesquisadores foram capazes de replicar os sistemas alvo com recursos relativamente baixos:

‘[Nossos] ataques podem roubar uma cópia do modelo vítima que alcança um desempenho considerável em tarefas downstream em menos de 1/5 das consultas usadas para treinar o modelo vítima. Contra um modelo vítima treinado em 1,2 milhão de amostras não rotuladas do ImageNet, com uma precisão de 91,9% na tarefa de classificação Fashion-MNIST downstream, nosso ataque de extração direta com a perda InfoNCE roubou uma cópia do codificador que alcança 90,5% de precisão em 200.000 consultas.

‘Da mesma forma, contra um modelo vítima treinado em 50.000 amostras não rotuladas do CIFAR10, com uma precisão de 79,0% na tarefa de classificação CIFAR10 downstream, nosso ataque de extração direta com a perda SoftNN roubou uma cópia que alcança 76,9% de precisão em 9.000 consultas.’

Os pesquisadores usaram três métodos de ataque, descobrindo que a ‘Extração Direta’ foi o mais eficaz. Esses modelos foram roubados de um codificador CIFAR10 vítima recriado localmente usando 9.000 consultas do conjunto de teste CIFAR10. Fonte: https://arxiv.org/pdf/2205.07890.pdf

Os pesquisadores também observam que os métodos que são adequados para proteger modelos supervisionados contra ataques não se adaptam bem a modelos treinados em uma base não supervisionada – embora esses modelos representem alguns dos mais antecipados e celebrados frutos do setor de síntese de imagens.

O novo artigo é intitulado Sobre a Dificuldade de Defender o Aprendizado Auto-Supervisionado contra a Extração de Modelo, e vem da Universidade de Toronto e do Instituto Vector para Inteligência Artificial.

Consciência de Si

No Aprendizado Auto-Supervisionado, um modelo é treinado em dados não rotulados. Sem rótulos, um modelo SSL deve aprender associações e grupos a partir da estrutura implícita dos dados, procurando facetas semelhantes dos dados e gradualmente reunindo essas facetas em nós ou representações.

Onde uma abordagem SSL é viável, é incrivelmente produtiva, pois ela contorna a necessidade de categorização cara (geralmente terceirizada e controversa) por trabalhadores da multidão, e essencialmente racionaliza os dados de forma autônoma.

As três abordagens SSL consideradas pelos autores do novo artigo são SimCLR, uma Rede Siamesa; SimSiam, outra Rede Siamesa centrada no aprendizado de representação; e Barlow Twins, uma abordagem SSL que alcançou o desempenho de classificador ImageNet de estado da arte em seu lançamento em 2021.

A extração de modelo para dados rotulados (ou seja, um modelo treinado por meio do aprendizado supervisionado) é uma área de pesquisa relativamente bem documentada. Também é mais fácil de defender, pois o atacante deve obter os rótulos do modelo vítima para recriá-lo.

De um artigo anterior, um modelo de ataque ‘knockoff classifier’ contra uma arquitetura de aprendizado supervisionado. Fonte: https://arxiv.org/pdf/1812.02766.pdf

Os autores treinaram modelos vítimas em três conjuntos de dados de imagens: CIFAR10, ImageNet e os Números de Casas da Visão de Rua de Stanford (SVHN). O ImageNet foi treinado no ResNet50, enquanto o CIFAR10 e o SVHN foram treinados no ResNet18 e no ResNet24 sobre uma implementação PyTorch disponível gratuitamente do SimCLR.

O desempenho downstream (ou seja, implantado) dos modelos foi testado contra o CIFAR100, STL10, SVHN e Fashion-MNIST. Os pesquisadores também experimentaram com métodos mais ‘caixa branca’ de apropriação de modelo, embora tenha se tornado claro que a Extração Direta, a abordagem menos privilegiada, rendeu os melhores resultados.

Para avaliar as representações sendo inferidas e replicadas nos ataques, os autores adicionaram uma camada de previsão linear ao modelo, que foi ajustada finamente no conjunto de treinamento completo rotulado da tarefa subsequente (downstream), com as demais camadas da rede congeladas. Dessa forma, a precisão do teste na camada de previsão pode funcionar como uma métrica para o desempenho. Como isso não contribui para o processo de inferência, isso não representa funcionalidade ‘caixa branca’.

Resultados nas execuções de teste, tornados possíveis pela Camada de Avaliação Linear (não contribuinte). Pontuações de precisão em negrito.

Comentando sobre os resultados, os pesquisadores afirmam:

‘Descobrimos que o objetivo direto de imitar as representações da vítima dá um desempenho alto em tarefas downstream, apesar de o ataque exigir apenas uma fração (menos de 15% em certos casos) do número de consultas necessárias para treinar o codificador roubado pela primeira vez.’

E continuam:

‘[É] desafiador defender codificadores treinados com SSL, pois as representações de saída vazam uma quantidade substancial de informações. Os métodos de defesa mais promissores são métodos reativos, como a marca d’água, que podem incorporar augmentações específicas em codificadores de alta capacidade.’

* Minha conversão das citações inline do artigo para links.

Publicado pela primeira vez em 18 de maio de 2022.