Identificando o Roubo de Modelos de IA por meio de Dados de Rastreamento Secretos

Um novo método pode marcar secretamente modelos semelhantes ao ChatGPT em segundos, sem retreinamento, sem deixar rastros na saída geral e sobrevivendo a todas as tentativas de remoção viáveis.

A diferença sutil entre marca d’água e ‘isca de direitos autorais’ é que as marcas d’água – sejam elas óbvias ou ocultas – são geralmente destinadas a aparecer ao longo de uma coleção (como um conjunto de dados de imagens) como uma obstrução ubíqua à cópia casual.

Em contraste, uma entrada fictícia é um pequeno segmento de texto, geralmente uma palavra ou definição apresentada em uma coleção grande e relativamente genérica, projetada para provar o roubo. A ideia é que, quando a totalidade do trabalho é copiada ilegitimamente, seja em si mesma ou como base para uma obra derivada, a presença de um ‘fato único’ e espúrio, plantado pelo proprietário original, facilmente revelará o ato de roubo.

Em termos de adicionar marcas d’água a Modelos de Linguagem Grande (LLMs) e Modelos de Visão e Linguagem (VLMs), a extensão com que a saída é destinada a conter esses sinais é frequentemente dividida entre esses dois objetivos: garantir que toda ou a maioria da saída contenha uma marca d’água manifesta ou latente; ou garantir que um ‘token secreto’ possa ser recuperado, o que prova o roubo – mas que não aparece na saída regular do modelo.

O Peso (s) das Evidências

A última abordagem é abordada em uma colaboração interessante entre a China, a Itália e Cingapura; um trabalho que visa fornecer um método de divulgação para modelos de código aberto, para que eles não possam ser facilmente comercializados ou utilizados de maneiras que a licença original não permita.

Por exemplo, a licença original de um modelo pode exigir que qualquer pessoa que lucre com o trabalho faça suas próprias alterações ou emendas disponíveis publicamente sob os mesmos termos de licença generosos – mas uma empresa pode desejar controlar seus ‘ajustes’ (como versões ajustadas), para gerar um fosso onde nenhum é realmente permitido.

A maioria das pesquisas nessa linha é ocupada com rotinas de detecção relacionadas a modelos de código fechado, apenas API, ou modelos para os quais apenas pesos otimizados (quantizados) estão disponíveis; e que, portanto, são mais difíceis de editar e alterar da maneira que o novo artigo propõe (porque não há acesso direto à arquitetura do modelo em si).

Essa atenção às versões de código aberto é, talvez, surpreendente do setor de pesquisa chinês, desde que a saída de IA da China nos últimos tempos foi marcada por liberações completas de modelos que rivalizam os equivalentes ocidentais mais ‘trancados’.

A nova abordagem, intitulada EditMark, distingue-se por não exigir que o modelo seja ajustado para adicionar os dados ‘envenenados’, nem treinado desde o início com os dados incluídos.

Isso tem vários benefícios: um deles é que qualquer dado ‘sinalizador’ incluído no conjunto de dados de treinamento, uma vez descoberto e divulgado, não será mais eficaz, pois pode ser diretamente visado por atacantes; mas para atacar EditMark, um mal-intencionado precisaria saber qual camada do modelo visar e que abordagem foi tomada. Isso é um cenário improvável.

Em segundo lugar, a abordagem é rápida e barata, levando apenas alguns segundos (e não dias ou semanas) para ser aplicada a um modelo treinado, eliminando o grave custo de ajuste (que aumenta linearmente com o tamanho do modelo e os dados a serem aplicados).

Finalmente, a abordagem causa significativamente menos danos à operação normal do modelo visado do que o ajuste ou métodos de edição anteriores.

Nos testes, EditMark – que incorpora consultas matemáticas com múltiplas respostas possíveis nos pesos do modelo – alcançou uma taxa de extração de 100%.

Os autores afirmam:

‘Experimentos abrangentes demonstram o desempenho excepcional de EditMark na marca d’água de LLMs. EditMark alcança uma notável eficiência, incorporando uma marca d’água de 32 bits em menos de 20 segundos com uma taxa de extração de marca d’água de 100% (ESR).

‘Notavelmente, o tempo de incorporação da marca d’água é menos de 1/300 do ajuste (em média 6.875 segundos), o que destaca a eficácia de EditMark na implementação de marcas d’água de alta capacidade com velocidade e confiabilidade sem precedentes.

‘Além disso, experimentos extensivos validam a robustez, a sigilo e a fidelidade de EditMark.’

O novo artigo é intitulado EditMark: Marca d’água de Modelos de Linguagem Grande com base na Edição de Modelo, e vem de oito autores da Universidade de Ciência e Tecnologia da China, da Universidade de Siena e do CFAR/IHPC/A*STAR em Cingapura.

Método

A abordagem EditMark compreende quatro componentes: um Gerador, um Codificador, um Editor e um Decodificador:

O pipeline EditMark incorpora uma marca d’água editando um modelo para responder a perguntas matemáticas específicas de uma maneira que codifica informações de identificação ocultas. Fonte: https://arxiv.org/pdf/2510.16367

O Gerador usa uma semente pseudo-aleatória para construir perguntas matemáticas com múltiplas respostas; o Codificador seleciona respostas com base na marca d’água, que são então incorporadas no modelo por meio de um processo de edição especializado. Uma vez que o modelo editado é liberado ou mal utilizado, a marca d’água pode ser extraída fazendo as mesmas perguntas e decodificando o padrão de respostas.

Posteriormente, o Editor modifica os pesos do modelo para que, quando perguntado essas perguntas com sementes, o modelo produza consistentemente as respostas alvo, incorporando a marca d’água diretamente em seu comportamento. O Decodificador, então, recupera a marca d’água alimentando as mesmas perguntas ao modelo suspeito e traduzindo suas respostas de volta na assinatura oculta.

Modelo de Ameaça

O modelo de ameaça do artigo assume que a marca d’água é feita em um ambiente de caixa branca. Embora isso não seja normalmente um bom sinal em pesquisas relacionadas à segurança, aqui isso é normal, pois o método visa proteger proprietários que têm acesso total ao seu próprio trabalho.

O atacante também é suposto ter acesso à caixa branca após obter o modelo, o que significa que ele pode modificá-lo (por exemplo, por meio de poda ou ajuste). Mais uma vez, esse cenário é normal e esperado no caso de uma liberação de código aberto. No entanto, o atacante não tem conhecimento do processo de extração da marca d’água ou do esquema utilizado e só pode descobrir esse método por inferência e experimentação (ou vazamentos).

O Gerador constrói perguntas matemáticas logicamente e factualmente válidas com múltiplas respostas corretas, usando GPT-4o para diversificar modelos (como ilustrado abaixo), e uma semente pseudo-aleatória para garantir que cada pergunta seja única. Isso permite que uma marca d’água conhecida seja incorporada deterministicamente por meio de permutações de respostas, minimizando a sobreposição entre perguntas, para evitar entrelaçamento de edição:

Modelos de perguntas geradas por GPT-4o para incorporação de marca d’água, cada um estruturado para produzir múltiplas respostas de integers válidas a partir de uma desigualdade com sementes.

O Codificador transforma cada segmento binário da marca d’água em uma permutação única de inteiros extraídos do conjunto de soluções de uma pergunta matemática dada. Usando teoria de permutação lexicográfica, o Codificador mapeia o valor decimal de cada segmento da marca d’água para uma seleção ordenada específica de respostas, garantindo que a marca d’água seja incorporada deterministicamente no comportamento do modelo.

Em relação ao Editor, o método de edição de modelo AlphaEdit original usado para marca d’água carece de precisão e resiliência, com o modelo editado frequentemente falhando em retornar as respostas necessárias. Qualquer mudança que ele faz é facilmente quebrada por poda ou ruído.

Para superar isso, os autores desenvolveram uma estratégia de edição multi-etapas que ajusta gradualmente os pesos do modelo em uma única camada MLP até que suas respostas estejam suficientemente alinhadas com as respostas alvo, incorporando a marca d’água diretamente em seu comportamento. O Decodificador, então, recupera a marca d’água alimentando as mesmas perguntas ao modelo suspeito e traduzindo suas respostas de volta na assinatura oculta.

Distribuição de alterações em K1 para Baichuan-7B, Qwen-7B e LLaMA3-8B antes e após ataques. A linha superior mostra o efeito da injeção de ruído aleatório; a linha inferior mostra o efeito da poda do modelo. Todas as alterações permanecem próximas de zero, sugerindo que os ataques não desestabilizam significativamente o comportamento interno do modelo.

Um sistema de pontuação interrompe o processo assim que as edições são precisas o suficiente, enquanto regularização garante que as atualizações permaneçam estáveis ao longo de várias rodadas.

O Decodificador faz ao modelo as mesmas perguntas especiais usadas durante a marca d’água, então lê suas respostas para inferir a ID oculta. Como o padrão de respostas segue uma regra secreta, essa ID pode ser recuperada sem precisar examinar os internos do modelo.

Dados e Testes

Para testar EditMark, cinco LLMs foram avaliados: GPT2-X; GPT-J-6B; LLaMA-3-8B; Baichuan-7B; e Qwen-7B. O mencionado Model Watermark (backdoor); KIMark; e BadEdit, um framework originalmente projetado para injeção de backdoor, aqui adaptado para os próprios propósitos do projeto, foram usados como linhas de base.

Os autores editaram a 15ª camada de LLaMA-3-8; a 17ª de GPT2-XL e GPT-J-6B; e a 14ª de Qwen-7B e Baichuan-7B.

Os experimentos foram realizados em quatro GPUs NVIDIA RTX 4090 (24 GB de VRAM cada), com marcas d’água de 32 bits, 64 bits e 128 bits incorporadas. Os modelos de perguntas usados são detalhados na imagem abaixo:

Modelos usados para gerar perguntas de respostas múltiplas para marca d’água. Cada pergunta é baseada em um tipo diferente de desigualdade matemática, com valores aleatórios inseridos para as variáveis. O modelo é solicitado a retornar uma lista de soluções de integers, com a ordem das respostas usada para codificar ou decodificar bits da marca d’água. Os quatro modelos abrangem formas quadráticas, logarítmicas, racionais e baseadas em intervalos, e todos foram gerados usando GPT-4o.

Para reduzir os efeitos da aleatoriedade, sementes de 1 a 20 foram aplicadas durante os testes, em diferentes capacidades de marca d’água.

Inicialmente, os pesquisadores testaram tanto a taxa de extração de marca d’água quanto o custo de tempo para incorporar uma marca d’água em toda a gama de LLMs:

Comparação de EditMark contra três métodos de marca d’água anteriores em cinco grandes modelos de linguagem. São relatados a taxa de extração de marca d’água (ESR) e o tempo de incorporação (ET) em segundos. EditMark alcança consistentemente uma taxa de sucesso de 100% enquanto reduz o tempo de incorporação por várias ordens de magnitude, superando todas as linhas de base em precisão e eficiência em modelos de diferentes tamanhos e arquiteturas.

Desses resultados, os autores afirmam:

‘[EditMark] alcança uma taxa de extração de marca d’água de 100% e requer menos de 20 segundos para incorporar uma marca d’água de 32 bits para todos os LLMs avaliados. Em particular, o tempo de incorporação médio para Baichuan-7B e Qwen-7B é inferior a 10 segundos, o que demonstra a alta eficiência de EditMark.’

Para a avaliação de uma marca d’água de 128 bits, o valor mais alto viável sob esse esquema, EditMark foi capaz de manter um status de ‘indelibilidade’:

Taxas de extração de marca d’água e tempos de incorporação para EditMark em comprimentos de marca d’água de 32, 64 e 128 bits em cinco modelos de linguagem. Taxas de sucesso perfeitas são mantidas em todos os casos, enquanto o tempo de incorporação aumenta com o tamanho da marca d’água, mas permanece abaixo de um minuto, mesmo em 128 bits.

Em seguida, a capacidade do sistema de reter a fidelidade da marca d’água foi testada em vários benchmarks:

Avaliação da fidelidade da marca d’água em quatro benchmarks em cinco modelos, comparando modelos não modificados com modelos marcados com capacidades de 32 bits e 128 bits. O desempenho permaneceu estável em todas as configurações, com apenas flutuações menores nos escores médios, indicando impacto limitado na precisão do benchmark devido à inserção da marca d’água.

A resiliência de EditMark foi testada contra seis estratégias de ataque comuns. Os modelos foram primeiramente incorporados com marcas d’água de 128 bits usando cinco sementes diferentes. O ajuste, como mostrado na imagem abaixo, causou apenas uma degradação menor nas taxas de extração de marca d’água (ESR) para a maioria dos modelos:

Taxa de extração de marca d’água (ESR) de LLMs marcados antes e após ajuste por um a três époques. Embora a maioria dos modelos retorne ESR altos ao longo do tempo, Qwen-7B mostra uma queda acentuada, sugerindo maior vulnerabilidade a atualizações de parâmetros.

Even após múltiplos époques, a maioria dos modelos manteve ESRs acima de 90%, indicando que EditMark resiste ao deslizamento de parâmetros introduzido pelo treinamento LoRA-based.

Ataques de quantização reduziram a precisão do modelo, mas deixaram a maioria das marcas d’água intactas:

Taxa de extração de marca d’água (ESR) de modelos marcados antes e após quantização usando precisão Int-8 e Int-4. A ESR permanece inalterada sob quantização Int-8 em todos os modelos, enquanto a quantização Int-4 causa degradação parcial, indicando que a precisão mais baixa pode enfraquecer, mas não remover completamente a marca d’água.

Como podemos ver na imagem acima, a quantização Int-8 preservou 100% de ESR em todos os modelos, enquanto a quantização Int-4 teve um impacto moderado na ESR, mas introduziu perdas de desempenho inaceitáveis.

Como o artigo observa, esse cenário particular sugere um potencial limitado para um atacante, pois isso resulta em um modelo hackeado, mas com perda de desempenho.

Testes de ruído e poda avaliaram quatro frameworks de benchmark: MMLU; BLIMP; TruthfulQA; e GLUE. Esses ataques levaram a uma diminuição da ESR à medida que as perturbações se intensificavam:

Efeito de ataques de ruído (linha superior) e poda (linha inferior) na ESR e no desempenho do benchmark de modelos marcados. À medida que a ESR cai com a intensificação das perturbações, a precisão do benchmark também degrada, especialmente em níveis mais altos de ruído e taxas de poda, destacando a tensão (comum) entre a remoção da marca d’água e a utilidade do modelo.

No entanto, esses também causaram declínios acentuados no desempenho da tarefa, com Baichuan-7B recebendo uma queda de 27-31% no BLIMP quando ruído ou poda foi aplicada.

Edição de modelo e ataques adaptativos também foram avaliados:

Taxa de extração de marca d’água de modelos marcados submetidos a diferentes graus de edição de modelo. Mesmo com até cinquenta edições aplicadas às camadas de marca d’água conhecidas, a ESR permanece acima de 95% para todos os modelos, indicando que as modificações diretas de parâmetros têm um efeito limitado na remoção da marca d’água.

Aqui, EditMark manteve mais de 95% de ESR, mesmo quando as camadas de marca d’água exatas foram visadas.

Conclusão

DRM, marcas d’água secretas e outras abordagens de segurança que desfrutaram de (limitado ou parcial) sucesso na era pré-IA são difíceis de aplicar a sistemas de aprendizado de máquina; a natureza intencionalmente reducionista da gama atual de arquiteturas de hospedagem combina com a falta de ferramentas apropriadas para tornar qualquer marca d’água injetada bastante frágil.

É impressionante ver um sistema destinado à distribuição de modelos de código aberto e vê-lo sobreviver a todos os cenários, exceto os mais improváveis, em termos do conhecimento prévio de um atacante. No entanto, a ligeira queda no desempenho que vem com as edições pós-treinamento, pequena embora seja nesses experimentos, pode dar aos potenciais adotantes motivo para hesitar; não menos porque recuar para um modelo de controle baseado em API obvia esses ataques quase por completo.

* Este site afirmou que as liberações de ‘pesos abertos’ da China não necessariamente se qualificam como totalmente de código aberto, pois os dados são frequentemente retidos, o que impede a recriação exata do pipeline de treinamento. Arguivelmente, esse tópico convida a um olhar mais profundo na política de liberações de modelos de IA comparadas entre o ocidente e o oriente, o que está além do escopo deste artigo.

Publicado pela primeira vez na segunda-feira, 27 de outubro de 2025