Modelos de IA Preferem Escrita Humana em Relação à Escrita Gerada por IA

De acordo com uma nova pesquisa, o ChatGPT e modelos semelhantes agora mostram um viés claro em relação ao texto que acreditam ter sido escrito por humanos, mesmo quando essa crença está errada. Apenas chamar o texto de “feito pelo homem” inclina os modelos de IA a favorecê-lo – e, ironicamente, eles podem estar aprendendo esse preconceito conosco.

Noções de autenticidade, proveniência e experiência humana compartilhada podem ter um papel maior na invasão da IA no setor de escrita criativa do que se pensava até agora: testes realizados para um novo estudo na Princeton descobriram que uma série de grandes modelos de linguagem de código aberto e fechado, incluindo o ChatGPT, preferem o que acreditam ser textos “gerados por humanos”.

Mesmo quando as etiquetas das amostras de escrita foram revertidas, tanto os modelos de IA quanto os participantes humanos continuaram a encontrar falhas no texto escrito por IA, ecoando as mesmas críticas que fizeram quando foi rotulado corretamente.

Os pesquisadores acreditam que parte do motivo pode ser que a crescente hostilidade humana contra a IA gerativa, que parece manifestar novos e interessantes eventos todos os dias, pode estar se alimentando nos sistemas de IA em si. Notando a extensão com que a IA desgosta da escrita de IA ainda mais do que os humanos, eles afirmam*:

‘Os 13 modelos de IA que testamos demonstraram um viés de 34,3 pontos percentuais em comparação com os 13,7 pontos percentuais dos humanos, tornando-os 2,5 vezes mais suscetíveis a pistas de atribuição do que nossos avaliadores humanos.

‘Essa amplificação faz sentido uma vez que reconhecemos que os modelos contemporâneos são avaliadores de preferência treinados. O treinamento de alinhamento por meio do Aprendizado por Reforço com Feedback Humano (RLHF) ensina explicitamente os modelos a tratar os julgamentos humanos como seu padrão ouro, instalando efetivamente uma prioridade aprendida.

‘Os modelos aprendem que deferir às preferências humanas é recompensado, criando uma sycophancy onde eles ecoam as atitudes esperadas do usuário em vez de fornecer uma avaliação independente.’

Os resultados se aplicam ao domínio da escrita criativa, com os pesquisadores usando histórias de um autor francês distinto como amostras de dados; e indicam que o preconceito humano contra a IA pode, no equilíbrio, superar qualquer melhoria quantitativa na construção da linguagem que os grandes modelos de linguagem (LLMs) podem produzir à medida que evoluem – e que a etiqueta “IA” pode estar vindo a significar “inautêntico”, “ersatz” e até “segunda classe” nesse domínio.

Muitas das razões centram-se na prática e uso cultural: o artigo indica que a criatividade é frequentemente descrita em termos de novidade, valor e tipicidade, ou seja, quão novo algo parece; quão apreciado pelos especialistas; e quão bem se encaixa em sua categoria. Quando um trecho é rotulado como escrito por humanos, os traços de gênero familiares são recompensados como valiosos; quando rotulado como gerado por IA, os mesmos traços são descartados como não originais.

Em essência, revelar a fonte promove uma reavaliação do mérito da obra, moldada por suposições sobre como foi feita. Uma vez que a autoria da IA é divulgada, os leitores rejeitam instintivamente a possibilidade de descoberta individual ou intenção por trás da saída.

O artigo afirma*:

‘Na maioria das artes, não há um padrão ouro para “criativo o suficiente”, tornando as pistas de proveniência poderosos primos que podem mudar qual critério parece mais saliente: ofício disciplinado ou novidade conspícua, acessibilidade ou dificuldade.

‘Porque os observadores frequentemente inferem o processo a partir do produto, a proveniência influencia os julgamentos sobre como algo foi feito, bem como o que é: movimentos conservadores podem ser creditados como ofício de um ser humano (julgado como ofício habilidoso), mas descartados como “mera geração” de um modelo’.

Treze modelos, incluindo variantes do ChatGPT, Claude, Gemini e Mistral, participaram ao lado de leitores humanos, com todos avaliando as histórias de forma mais favorável quando informados de que eram feitas por humanos, com os LLMs mostrando mais viés do que os humanos.

A ideia de que os modelos de IA podem ter absorvido um preconceito contra sua própria saída levanta questões sobre onde esse viés se origina. Como a escrita de IA nem sempre é fácil de identificar, quaisquer associações negativas formadas durante o treinamento provavelmente derivam de exemplos que são explicitamente rotulados, seja por meio de cobertura de notícias de conteúdo de IA ou artigos auto-declarados gerados por IA em publicações de grande circulação.

O novo artigo é intitulado Todos preferem escritores humanos, incluindo a IA, e vem de dois escritores do Centro de Humanidades Digitais da Princeton. O trabalho é acompanhado por uma liberação de dados relacionada no Zenodo (com uma liberação do GitHub citada no artigo, mas o repositório não estava ativo no momento da escrita).

Método

Para explorar como a atribuição afeta e forma percepções de estilo e criatividade, os autores usaram Exercices de style, uma obra excêntrica de 1947 de Raymond Queneau que reescreve uma simples anedota em 99 estilos diferentes. A história segue um homem que entra em um ônibus, discute com outro passageiro e mais tarde recebe conselhos de moda de um amigo.

Embora literário em origem, essa estrutura antecipa transformações baseadas em prompts em modelos de linguagem modernos, onde os usuários solicitam reescritas em tons, vozes ou registros específicos. Esse processo foi uma vez chamado transstylização – uma estrutura agora ecoada em pesquisas de IA no contexto de Transferência de Estilo. Enquanto a maioria dos métodos computacionais visa mudanças funcionais, como mudanças de sentimento ou desintoxicação, as reescritas de Queneau visam um contraste estilístico notável.

De uma tradução popular em inglês do trabalho de Queneau, trinta exercícios foram selecionados que preservaram a narrativa enquanto cobriam uma ampla gama estilística. Isso incluiu formas restritas, como alexandrinos e lipogramas, mudanças de registro, como nobre ou abusivo, mudanças narrativas, como retrogrado e hesitação, e distorções divertidas envolvendo spoonerismos, onomatopeias ou latim de colher.

Exemplos do estudo mostrando como o GPT-4 reescreveu as histórias de Queneau em diferentes estilos literários, emparelhados com as descrições de estilo que os avaliadores humanos e de IA viram durante os testes. Fonte: https://arxiv.org/pdf/2510.08831

Como os experimentos de Queneau são difíceis de classificar, essas categorias são apenas agrupamentos aproximados, com a intenção não de testar a recognoscibilidade ou a conformidade com o gênero, mas de criar condições diversas sob as quais (humanos) leitores e modelos possam revelar seus vieses.

Para produzir contrapartes autoradas por IA para cada estilo selecionado, os pesquisadores usaram prompts deliberadamente mínimos. Cada modelo recebeu a versão mais simples da anedota de Queneau (o primeiro exercício, Notação), junto com uma instrução curta para reescrevê-la em um estilo específico, como Reescreva a história como uma versão de ficção científica. Essa abordagem permitiu que os prompts refletissem o espírito das transformações originais de Queneau, enquanto ainda permitiam que o modelo interpretasse o estilo livremente.

Visão Dupla

O primeiro estudo realizado pelos autores usou o GPT-4o para gerar todas as 30 variantes de estilo, pois era o modelo mais avançado disponível na época. Usar um único modelo garantia saídas consistentes, ajudando a isolar o efeito das etiquetas de atribuição, que o estudo buscou testar.

As saídas não foram editadas para estilo ou tom, a não ser por lixo de formatação, como Aqui está a versão reescrita.

No segundo estudo, o processo de geração foi repetido em treze grandes modelos de linguagem: Qwen 2.5 72B Instruct, Mistral Nemo, Mistral Medium 3, Llama 4 Maverick, Llama 3.3 70B Instruct, Gemini 2.5 Flash, GPT-4o Mini, GPT-4o, GPT-3.5 Turbo Instruct, DeepSeek RI (0528), DeepSeek Chat v3 (0324), Cohere Command R (08-2024), Claude Sonnet 4, e Claude 3.5 Haiku.

Cada modelo recebeu as mesmas instruções e produziu suas próprias versões dos 30 exercícios, resultando em 420 histórias reescritas no total. Isso permitiu que os pesquisadores testassem se os efeitos de atribuição se mantinham em diferentes autores de IA, em vez de estarem ligados a um único modelo.

Dados e Testes

Os pesquisadores mostraram os mesmos pares de histórias a diferentes grupos de pessoas, mas mudaram as etiquetas para ver como o nome do autor influenciava as opiniões:

Um grupo viu apenas as etiquetas ‘A’ e ‘B’, sem nomes de autores. O segundo grupo viu os nomes corretos, com uma versão marcada como escrita por um humano e a outra marcada como escrita por GPT-4o.

Um terceiro grupo viu os nomes trocados, com a história ‘IA’ marcada como ‘humana’ e a versão ‘humana’ marcada como ‘IA’:

Visão geral do Estudo 1. Juízes humanos e de IA compararam 30 pares de histórias, cada um contendo uma versão escrita por Queneau e uma pelo GPT-4. Os juízes foram divididos em três grupos: um viu sem etiquetas de autor; um viu as etiquetas corretas; e um viu as etiquetas trocadas – um setup projetado para testar a extensão com que os nomes dos autores influenciam opiniões sobre estilo de escrita.

Estudo 1

Os pesquisadores dividiram os 30 estilos criados em conjuntos menores, com cada participante do estudo vendo apenas cinco estilos, e cada estilo testado sob todas as três configurações de etiquetas.

Cada participante viu apenas uma configuração de etiqueta: o grupo cego viu sem menção à IA, enquanto os outros grupos viram etiquetas de autor corretas ou revertidas. A atribuição do grupo, a ordem da história e o posicionamento esquerdo-direito foram todos randomizados.

Os modelos de IA passaram pelo mesmo processo, recebendo a mesma mistura de estilos e a mesma aleatoriedade. Cada teste foi executado três vezes por modelo para garantir que os resultados fossem consistentes, tornando possível comparar reações humanas e de IA às etiquetas de autor.

O Estudo 2 usou as mesmas três configurações de etiqueta que antes, mas expandiu o teste para incluir todas as 420 histórias geradas a partir dos 14 diferentes modelos de LLM. Cada modelo julgou cada história sob cada condição de etiqueta, produzindo 1.260 decisões por modelo, resultando em 17.596 avaliações válidas:

Resultados do Estudo 1. Juízes humanos e de IA mostraram viés baseado em etiquetas de autor. Quando nenhuma etiqueta foi mostrada (Cego), as preferências estavam próximas do equilíbrio; quando as etiquetas corretas foram mostradas (Etiqueta Aberta), ambos os grupos favoreceram o texto escrito por humanos; e quando as etiquetas foram revertidas (Contratual), ambos os grupos mudaram para favorecer o texto que achavam ser humano – e esse efeito foi muito mais forte nos modelos de IA do que nos humanos. Barras de erro mostram intervalos de confiança de 95%.

Em todos os 13 modelos, o padrão correspondeu ao viés humano, mas foi muito mais forte: sem etiquetas, os sistemas de IA avaliaram histórias humanas e de IA quase igualmente, escolhendo o texto de IA 49,4% do tempo; quando a etiqueta de IA era visível, essa preferência caiu acentuadamente para 29,8%, mostrando uma desvalorização clara do trabalho de IA reconhecido; e quando o mesmo texto era etiquetado como humano, a preferência subiu para 64,1%.

A diferença entre as duas condições de etiqueta foi de 34,3%, significando que os modelos de IA mudaram sua preferência muito mais do que os humanos quando as etiquetas foram trocadas. Além disso, os modelos foram altamente consistentes em execuções repetidas, confirmando que o viés era estável e não aleatório.

Para verificar se o viés foi causado pela palavra-chave das etiquetas em vez de quem escreveu o texto, os pesquisadores realizaram dois testes adicionais: um usou etiquetas que faziam a IA soar mais impressionante; e o outro usou termos neutros, como ‘autoria de IA’ e ‘autoria humana’.

Ambos ainda mostraram o mesmo viés, e mesmo quando os modelos de IA produziram a mesma resposta todas as vezes, o viés persistiu, indicando que o viés é causado pelo tipo de etiqueta (‘humano’ ou ‘IA’), e não pelas palavras exatas usadas.

Estudo 2

O segundo estudo encontrou o mesmo viés pró-humano em todos os 13 modelos de IA, independentemente da arquitetura ou fornecedor:

Viés de atribuição para cada um dos 13 modelos de IA: barras mostram tamanhos de efeito com intervalos de confiança de 95%, e a linha vermelha marca a linha de base humana. Todos os modelos mostraram um viés mais forte do que os humanos, com apenas pequenas diferenças entre eles.

Cada modelo preferiu histórias rotuladas como escritas por humanos, com efeitos mais fortes do que os vistos nas pessoas. Mesmo após remover o caso mais extremo, o viés médio permaneceu mais de duas vezes maior do que a versão humana, sugerindo que o efeito não é um bug em um modelo, mas um traço compartilhado dos LLMs em geral.

Conclusão

Embora, como o artigo observa, estudos anteriores tenham mostrado que a IA pode produzir escrita igual ou até melhor do que a humana, os autores enfatizam que, na literatura, o valor atribuído à autoria e à autenticidade é uma convenção antiga e profundamente enraizada:

‘Quando o GPT-4o Mini descarta a abordagem “criativa e humorística” de Queneau como “exagerada” sob a etiqueta de IA, enquanto elogia recursos idênticos sob a etiqueta humana, ele implicitamente revela como essas etiquetas desencadeiam suposições de que nenhum processo psicológico autêntico ocorreu.

‘As pistas de proveniência contrabandeadas o processo de volta para o que poderia ser um julgamento apenas do produto: “mera geração” é aceitável de um artesão humano (julgado como ofício habilidoso), mas suspeito de um modelo (julgado como recombinação algorítmica).’

Os LLMs não são ainda confiáveis o suficiente para pesquisas baseadas em fatos sem supervisão, embora uma supervisão cuidadosa ainda possa torná-los produtivos – mas a escrita criativa baseada em LLM pode enfrentar um futuro mais incerto, caso as obras criativas geradas por IA se tornem estigmatizadas por meio de uma desaprovação pública mais ampla da invasão da IA em domínios humanos, em vez de ser baseada no mérito literário.

As implicações dos resultados de estudos desse tipo são afetadas consideravelmente pela disposição das empresas e dos usuários individuais em serem honestos sobre se a IA contribuiu para sua saída. Em alguns casos, a relutância em admitir tal uso pode ter mais a ver com pirataria de direitos autorais corporativos do que com a preocupação de que o público aceite obras criativas geradas por IA.

No entanto, soluções legais, financeiras e políticas são possíveis (embora muito desafiadoras) em relação aos direitos autorais. Seja possível fazer as pessoas gostarem do trabalho criativo de IA que não tem uma mente humana única e relacional por trás – isso pode ser um prospecto ainda mais difícil.

* Por favor, consulte o artigo de origem para citações em linha removidas. Conforme necessário, essas serão incluídas no artigo.

Publicado pela primeira vez na segunda-feira, 13 de outubro de 2025