Modelos de Linguagem Personalizados São Fáceis de Criar – e Mais Difíceis de Detectar

Clones de código aberto do ChatGPT podem ser ajustados em escala e com expertise limitada ou nenhuma, facilitando a criação de “modelos de linguagem privados” que evadem a detecção. A maioria das ferramentas não consegue rastrear de onde esses modelos vêm ou para o que foram treinados, permitindo que estudantes e outros usuários gerem texto de IA sem serem detectados; mas um novo método afirma que pode identificar essas variantes ocultas detectando “características de família” compartilhadas nos resultados dos modelos.

De acordo com um novo estudo do Canadá, modelos de chat de IA personalizados, semelhantes ao ChatGPT, são capazes de produzir conteúdo de mídia social que se assemelha muito à escrita humana e que pode enganar algoritmos de detecção de última geração e humanos.

O artigo afirma:

‘Um atacante realisticamente motivado provavelmente ajustará um modelo para seu estilo e caso de uso específicos, pois é barato e fácil de fazer. Com um esforço mínimo, tempo e dinheiro, produzimos geradores ajustados que são capazes de produzir tweets de mídia social muito mais realistas, com base em recursos linguísticos e precisão de detecção, e verificados por meio de anotações humanas.’

Os autores enfatizam que modelos personalizados desse tipo não estão limitados a conteúdo de mídia social de curta duração:

‘Embora motivados pela disseminação de conteúdo de IA em mídia social e os riscos associados de astroturfing e campanhas de influência, enfatizamos que as principais descobertas se estendem a todos os domínios de texto.

‘De fato, ajustar modelos para geração de conteúdo específico de estilo é um método geralmente aplicável, e um que provavelmente já está em uso por muitos usuários de IA gerativa – questionando se os métodos existentes de detecção de AIGT são tão eficazes no mundo real quanto em laboratório.’

Como observa o artigo, o método usado para criar esses modelos de linguagem personalizados é o ajuste fino, onde os usuários curam uma quantidade limitada de seus próprios dados de destino e os alimentam em uma crescente variedade de ferramentas de treinamento online fáceis de usar e baratas.

Por exemplo, o repositório popular Hugging Face oferece ajuste fino de Modelo de Linguagem Grande (LLM) por meio de uma interface simplificada, usando seu sistema AutoTrain Avançado, que pode ser executado por alguns dólares por meio de uma GPU online ou de graça, localmente, se o usuário tiver hardware adequado:

Várias estruturas de preços em toda a gama de GPUs disponíveis para o sistema AutoTrain da Hugging Face. Fonte: https://huggingface.co/spaces/autotrain-projects/autotrain-advanced?duplicate=true

Outros métodos e plataformas simplificados incluem Axolotl, Unsloth e o mais capaz, mas exigente TorchTune.

Um exemplo de caso de uso seria um estudante que está cansado de escrever seus próprios ensaios, mas tem medo de ser pego por ferramentas de detecção de IA online, que pode usar seus próprios ensaios históricos reais como dados de treinamento para ajustar um modelo de código aberto popular, como a série Mistral.

Embora o ajuste fino de um modelo tende a inclinar seu desempenho em direção aos dados de treinamento adicionais e degradar o desempenho geral, modelos “personalizados” podem ser usados para “des-AI” a saída cada vez mais distintiva de sistemas como o ChatGPT, de uma maneira que reflete o estilo histórico do usuário (e, para aumentar a autenticidade, seus pontos fracos).

No entanto, é possível usar exclusivamente um modelo ajustado que foi treinado especificamente para uma tarefa ou conjunto de tarefas específicas, como um LLM ajustado para o currículo de um módulo universitário específico. Um modelo tão específico teria uma visão miópica, mas muito mais profunda, nesse domínio do que um LLM geral, como o ChatGPT, e provavelmente custaria menos de $10-20 para treinar.

O Iceberg do LLM

É difícil dizer qual é a escala da prática. Anecdoticamente, em diversas plataformas de mídia social, encontrei muitos exemplos de negócios de ajuste fino de LLM – certamente muitos mais do que há um ano; em um caso, uma empresa ajustou um modelo de linguagem em seus próprios artigos de liderança de pensamento, que foi então capaz de converter uma ligação de Zoom um pouco desorganizada com um novo cliente em um post de B2B polido quase em um passe, sob demanda.

Um modelo dessa natureza exige dados emparelhados (exemplos antes e depois, em escala), enquanto criar um “brilho” personalizado das características de um escritor específico é uma tarefa mais fácil, mais semelhante à transferência de estilo.

Embora essa seja uma perseguição clandestina (apesar de numerosos títulos e estudos acadêmicos sobre o tópico), onde os números não estão disponíveis, o mesmo senso comum que trouxe a lei TAKE IT DOWN para a lei este ano se aplica aqui: a atividade-alvo é possível e acessível, e há um forte entendimento comum de que os usuários potenciais estão altamente motivados.

Há apenas enough fricção nos sistemas de ajuste fino online mais “derrubados” para que a prática de treinar e usar modelos ajustados de forma desonesta permaneça um caso de uso relativamente nicho – por enquanto, pelo menos – embora certamente não esteja além da inventividade tradicional dos estudantes.

PhantomHunter

Isso nos leva ao artigo principal de interesse aqui – uma nova abordagem da China que reúne uma ampla variedade de técnicas em um único quadro – chamado PhantomHunter – que afirma identificar a saída de modelos de linguagem ajustados, que de outra forma passariam como trabalho original humano.

O sistema é projetado para funcionar mesmo quando o modelo ajustado específico nunca foi encontrado antes, confiando em vez disso em vestígios residuais deixados pelo modelo base original – que os autores caracterizam como “características de família” que sobrevivem ao processo de ajuste fino.

Nos testes, o artigo – intitulado PhantomHunter: Detectando Texto Gerado por LLMs Ajustados Privadamente por Aprendizado de Família – relata uma forte precisão de detecção, com o sistema superando a avaliação zero-shot do GPT-4-mini^† na rastreabilidade de uma amostra de texto para sua família de modelos.

Isso sugere que, quanto mais um modelo é ajustado, mais revela sobre sua ascendência, contrariando a suposição de que o ajuste fino privado sempre mascara a origem de um modelo; em vez disso, o processo de ajuste pode deixar uma impressão digital detectável que, se lida corretamente, revela o jogo – pelo menos, pendente de avanços adicionais que parecem chegar semanalmente agora.

O artigo afirma*:

‘A detecção de texto gerado por máquina geralmente distingue texto gerado por LLM e texto escrito por humanos por meio de classificação binária. Os métodos existentes ou aprendem recursos textuais comuns compartilhados entre LLMs usando aprendizado de representação ou projetam métricas distinguíveis entre textos humanos e LLMs com base em sinais internos dos LLMs (por exemplo, probabilidades de token).

‘Para ambas as categorias, seus testes foram principalmente realizados em dados de LLMs disponíveis publicamente, supondo que os usuários geram texto usando serviços off-the-shelf públicos.

‘Nós argumentamos que essa situação está sendo alterada devido ao desenvolvimento recente da comunidade de LLM de código aberto. Com a ajuda de plataformas como HuggingFace e técnicas de treinamento de LLM eficientes, como a adaptação de baixa classificação (LoRA), tornou-se muito mais fácil construir LLMs ajustados com conjuntos de dados privados personalizados do que antes.

‘Por exemplo, houve mais de 60.000 modelos derivados do Llama no HuggingFace. Após o ajuste fino em um corpus desconhecido, as características aprendidas dos modelos base podem mudar e os detectores de LLMGT falhariam, moldando um novo risco de que usuários mal-intencionados possam gerar textos prejudiciais privadamente sem serem detectados pelos detectores de LLMGT.

‘Um novo desafio surge: Como detectar texto gerado por LLMs ajustados privadamente?‘

Método e Treinamento

O sistema PhantomHunter usa uma estratégia de aprendizado de família consciente, combinando três componentes: um extrator de recursos, capturando probabilidades de saída de modelos base conhecidos; um codificador contrastivo treinado para distinguir entre famílias; e (como detalhado abaixo) um classificador de mistura de especialistas que atribui rótulos de família a novas amostras de texto:

Esquema do sistema. O PhantomHunter processa uma amostra de texto primeiro extratindo recursos de probabilidade de vários modelos base, que são então codificados usando camadas CNN e transformer. Ele estima a família do modelo para calcular pesos de gateway, que orientam um módulo de mistura de especialistas na previsão de se o texto é gerado por LLM. Uma perda contrastiva é aplicada durante o treinamento para refinar a separação entre famílias de modelos. Fonte: https://arxiv.org/pdf/2506.15683

O PhantomHunter funciona passando um pedaço de texto por vários modelos base conhecidos e registrando quão provável cada um acha que a próxima palavra seja, a cada passo. Esses padrões são então alimentados em uma rede neural que aprende as características distintas de cada família de modelos.

Durante o treinamento, o sistema compara textos da mesma família e aprende a agrupá-los juntos, enquanto diferencia aqueles de diferentes famílias, ajudando a identificar conexões ocultas entre modelos ajustados e seus modelos base.

MOE

Para decidir se um pedaço de texto foi escrito por um humano ou por IA, o PhantomHunter usa um sistema de mistura de especialistas, no qual cada “especialista” é ajustado para detectar texto de uma família de modelo específica.

Uma vez que o sistema adivinha de qual família o texto mais provavelmente veio, ele usa essa suposição para decidir quanto peso dar à opinião de cada especialista. Essas opiniões ponderadas são então combinadas para fazer a chamada final: IA ou humano.

O treinamento do sistema envolve vários objetivos: aprender a reconhecer famílias de modelos; aprender a distinguir texto de IA de texto humano; e aprender a separar diferentes famílias usando aprendizado contrastivo – objetivos que são equilibrados durante o treinamento por meio de parâmetros ajustáveis.

Ao se concentrar em padrões compartilhados em cada família, em vez de peculiaridades de modelos individuais, o PhantomHunter deve, em teoria, ser capaz de detectar até mesmo modelos ajustados que nunca viu antes.

Dados e Testes

Para desenvolver dados para testes, os autores se concentraram nos dois cenários acadêmicos mais comuns: escrita e resposta a perguntas. Para escrita, eles coletaram 69.297 resumos do arquivo acadêmico Arxiv, divididos em domínios principais. Para perguntas e respostas, 2.062 pares foram curados do conjunto de dados HC3 em três assuntos: ELI5; finanças; e medicina:

Lista de fontes de dados e números, nos dados curados para o estudo.

Ao todo, doze modelos foram treinados para o teste. Os três modelos base foram LLaMA-2 7B-Chat; Mistral 7B-Instruct-v0.1; e Gemma 7B-it), dos quais nove variantes ajustadas foram derivadas, cada uma adaptada para imitar um domínio ou estilo de autor diferente, usando dados específicos de domínio:

Estatísticas do conjunto de dados de avaliação, onde ‘FT Domain’ se refere ao domínio usado durante o ajuste fino e ‘base’ indica sem ajuste fino.

No total, portanto, três modelos base foram ajustados usando técnicas de ajuste completo e LoRA em três domínios distintos em cada um dos dois cenários de uso: escrita de resumos acadêmicos e resposta a perguntas. Para refletir desafios de detecção do mundo real, modelos ajustados em dados de ciência da computação foram retidos dos testes de escrita, enquanto aqueles ajustados em dados de finanças foram retidos das avaliações de perguntas e respostas.

Quadros rivais selecionados foram RoBERTa; T5-Sentinel; SeqXGPT; DNA-GPT; DetectGPT; Fast-DetectGPT; e DeTeCtive.

O PhantomHunter foi treinado usando dois tipos de camadas de rede neural: três camadas convolucionais com max-pooling para capturar padrões de texto locais, e duas camadas transformer com quatro cabeças de atenção cada para modelar relacionamentos de longo alcance.

Para aprendizado contrastivo, que encoraja o sistema a distinguir entre diferentes famílias de modelos, o parâmetro temperatura foi definido como 0,07.

O objetivo de treinamento combinou três termos de perda: L1 (para classificação de família) e L2 (para detecção binária), cada um ponderado em 1,0, e L3 (para aprendizado contrastivo), ponderado em 0,5.

O modelo foi otimizado usando Adam com uma taxa de aprendizado de 2e-5 e um tamanho de lote de 32. O treinamento ocorreu por dez époques completas, com o melhor checkpoint de desempenho selecionado usando um conjunto de validação. Todos os experimentos foram realizados em um servidor com quatro GPUs NVIDIA A100.

As métricas usadas foram pontuação F1 para cada subconjunto de teste, juntamente com taxa de verdadeiros positivos, para comparação com detectores comerciais.

Pontuações F1 para detecção de texto de modelos de linguagem ajustados não vistos. Os dois melhores resultados em cada categoria estão em negrito e sublinhados. ‘BFE’ se refere à extração de recursos de probabilidade base, ‘CL’ ao aprendizado contrastivo e ‘MoE’ ao módulo de mistura de especialistas.

Os resultados do teste inicial, visualizados na tabela acima, mostram que o PhantomHunter superou todos os sistemas de linha de base, mantendo pontuações F1 acima de 90% para ambos os textos gerados por humanos e máquinas, mesmo quando avaliados em saídas de modelos ajustados excluídos do treinamento.

Os autores comentam:

‘Com ajuste fino completo, o PhantomHunter melhora a pontuação MacF1 em 3,65% e 2,96% em ambos os conjuntos de dados, respectivamente; e com ajuste fino LoRA, as melhorias são de 2,01% e 6,09%, respectivamente.

‘O resultado demonstra a poderosa capacidade de detecção do PhantomHunter para textos gerados por LLMs ajustados não vistos.’

Estudos de ablação foram realizados para avaliar o papel de cada componente central no PhantomHunter. Quando elementos individuais foram removidos, como o extrator de recursos, o codificador contrastivo ou o classificador de mistura de especialistas, uma queda consistente na precisão foi observada, indicando que a arquitetura depende da coordenação de todas as partes.

Os autores também examinaram se o PhantomHunter poderia generalizar além de sua distribuição de treinamento e determinaram que, mesmo quando aplicado a saídas de modelos base completamente ausentes durante o treinamento, ele continuou a superar os métodos rivais – sugerindo que assinaturas de nível de família permanecem detectáveis em variantes ajustadas.

Conclusão

Um argumento a favor de modelos de linguagem gerativos treinados por usuários é que, pelo menos, esses pequenos ajustes e LoRAs preservam o sabor e as peculiaridades individuais de um autor, em um clima em que o idioma genérico, inspirado no SEO, dos chatbots de IA ameaça genéricizar qualquer linguagem em que a IA se torna um contribuinte importante ou dominante.

Com a desvalorização do ensaio universitário e com os estudantes agora transmitindo sessões de escrita gigantescas para provar que não usaram IA em suas submissões, mais professores fora da Europa (onde os exames orais são normalizados) estão considerando exames presenciais como uma alternativa a textos submetidos. Mais recentemente, um retorno ao trabalho manuscrito foi proposto.

Argumenta-se que ambas as soluções são superiores ao que ameaça ser uma repetição baseada em LLM da corrida armamentista de deepfakes; embora elas venham ao custo de esforço e atenção humanos, que a cultura tecnológica está atualmente tentando automatizar.

^† Por favor, veja a seção final após os principais resultados, no artigo de origem, para detalhes sobre isso.

* Minha conversão das citações em linha dos autores para links. Ênfase do texto dos autores, não minha.

Publicado pela primeira vez na quinta-feira, 19 de junho de 2025