Lutas do AI para Emular Linguagem Histórica

Uma colaboração entre pesquisadores nos Estados Unidos e Canadá descobriu que grandes modelos de linguagem (LLMs) como o ChatGPT têm dificuldade em reproduzir expressões idiomáticas históricas sem um pré-treinamento extensivo – um processo caro e trabalhoso que está além das possibilidades da maioria das iniciativas acadêmicas ou de entretenimento, tornando projetos como a conclusão do último romance inacabado de Charles Dickens efetivamente improvável por meio do AI.

Os pesquisadores exploraram uma variedade de métodos para gerar textos que soassem historicamente precisos, começando com um simples prompt usando prosa do início do século XX e passando para o ajuste fino de um modelo comercial em uma pequena coleção de livros daquele período.

Eles também compararam os resultados com um modelo separado que havia sido treinado inteiramente em livros publicados entre 1880 e 1914.

No primeiro dos testes, instruir o ChatGPT-4o a imitar a linguagem fin‑de‑siècle produziu resultados bastante diferentes dos do menor modelo baseado em GPT2 que havia sido ajustado finamente na literatura do período:

Quando solicitado a concluir um texto histórico real (centro superior), mesmo um ChatGPT-4o bem preparado (canto inferior esquerdo) não consegue evitar cair no ‘modo de blog’, falhando em representar o idioma solicitado. Em contraste, o modelo GPT2 ajustado finamente (canto inferior direito) captura o estilo de linguagem bem, mas não é tão preciso de outras maneiras. Fonte: https://arxiv.org/pdf/2505.00030

Embora o ajuste fino traga a saída mais próxima do estilo original, os leitores humanos ainda frequentemente conseguiam detectar traços de linguagem moderna ou ideias, sugerindo que mesmo os modelos cuidadosamente ajustados continuam a refletir a influência de seus dados de treinamento contemporâneos.

Os pesquisadores chegaram à conclusão frustrante de que não há atalhos econômicos para a geração de textos históricos idiomáticos produzidos por máquina ou diálogos. Eles também conjecturam que o desafio em si pode ser mal colocado:

‘[Devemos] também considerar a possibilidade de que o anacronismo possa ser, de certa forma, inevitável. Seja representando o passado por meio do ajuste de modelos históricos para que possam manter conversas, ou ensinando modelos contemporâneos a ventríloquizar um período mais antigo, algum compromisso pode ser necessário entre os objetivos de autenticidade e fluência conversacional.

‘Afinal, não há exemplos “autênticos” de uma conversa entre um questionador do século XXI e um respondente de 1914. Pesquisadores que tentam criar tal conversa precisarão refletir sobre a [premissa] de que a interpretação sempre envolve uma negociação entre o presente e o [passado].’

O novo estudo é intitulado Os Modelos de Linguagem Podem Representar o Passado sem Anacronismo?, e vem de três pesquisadores das universidades de Illinois, Colúmbia Britânica e Cornell.

Desastre Completo

Inicialmente, em uma abordagem de pesquisa de três partes, os autores testaram se os modelos de linguagem modernos poderiam ser induzidos a imitar a linguagem histórica por meio de um simples prompt. Usando trechos reais de livros publicados entre 1905 e 1914, eles pediram ao ChatGPT-4o para continuar essas passagens no mesmo idioma.

O texto original do período era:

‘Neste último caso, alguns cinco ou seis dólares são economizados por minuto, pois mais de vinte jardas de filme têm que ser rebobinadas para projetar durante um minuto um objeto de uma pessoa em repouso ou uma paisagem. Assim, é obtida uma combinação prática de imagens fixas e em movimento, que produz efeitos artísticos.

‘Isso também nos permite trabalhar com dois cinematógrafos projetando alternadamente para evitar cintilação, ou projetando imagens vermelhas e verdes simultaneamente e reproduzindo cores naturais, aliviando assim o olho humano, acostumado a receber as cores fundamentais simultaneamente, de toda fadiga fisiológica. Uma palavra agora sobre a aplicação da luz fria à fotografia instantânea.’

Para avaliar se o texto gerado correspondia ao estilo histórico pretendido, e conscientes de que as pessoas não são especialmente habilidosas em adivinhar a data em que um texto foi escrito, os pesquisadores ajustaram finamente um modelo RoBERTa para estimar datas de publicação, usando um subconjunto do Corpus de Inglês Americano Histórico, que abrange material de 1810 a 2009.

O classificador RoBERTa foi então usado para avaliar continuidades produzidas pelo ChatGPT-4o, que havia sido solicitado com passagens reais de livros publicados entre 1905 e 1914.

O prompt do sistema (ou seja, instruções contextuais para o ChatGPT sobre como abordar a tarefa) era:

‘Sua tarefa é completar passagens de livros do início do século XX. Você receberá uma passagem de um livro publicado em 1913. Continue essa passagem no mesmo estilo, por pelo menos 200 palavras. Apenas forneça essa continuação; não faça comentários de enquadramento, como ’aqui está a continuação:’.

Apesar de ambos os prompts de uma única tentativa e 20 tentativas, as saídas do ChatGPT-4o consistentemente se inclinavam para um registro estilístico do século XXI.

O exemplo dado no artigo apresenta uma das tentativas do ChatGPT-4o de continuar o texto real do período sobre fotografia:

‘O uso de luz fria na fotografia instantânea revolucionou a abordagem para capturar imagens sob condições de luz variadas. Tradicionalmente, os fotógrafos lutavam com a dureza e variabilidade da luz natural ou a natureza intrusiva da fotografia com flash, que podia perturbar a atmosfera de uma cena ou o comportamento natural dos sujeitos, particularmente na fotografia de vida selvagem e humana.

‘A luz fria, com sua natureza mais suave e difusa… permite uma representação mais natural de cores e texturas, que é frequentemente perdida sob iluminação artificial dura.’

Como podemos facilmente ver, esse texto genérico e no estilo de wiki não corresponde ao estilo prolixo e elaborado do texto original do período. Além disso, não continua realmente a partir de onde o conteúdo original deixa, mas lança mão de uma divagação tangencial e abstrata sobre um dos sub-tópicos.

A equipe também testou o GPT-1914, um modelo menor da classe GPT-2 treinado a partir do zero em 26,5 bilhões de tokens de literatura datada entre 1880 e 1914.

Embora sua saída fosse menos coerente do que a do ChatGPT-4o, ela era mais consistente com o estilo do período de origem. O único exemplo fornecido no artigo, novamente como uma continuação do texto real do período sobre fotografia, lê:

‘O princípio de sua ação já foi explicado (p. 4). Aqui, apenas mencionaremos que pode ser aplicado com vantagem quando desejamos obter fotografias muito rápidas em papel revestido com colódio, bem como aquelas tiradas por meio de placas de gelatina.

‘Nesses casos, a exposição não deve exceder um segundo; mas se a imagem for desejada para ser desenvolvida em menos tempo – digamos, meio segundo – então a temperatura nunca deve cair abaixo de 20° C., caso contrário a imagem ficará muito escura após o desenvolvimento; além disso, a placa perderia sua sensibilidade sob essas condições.

‘Para fins comuns, no entanto, basta simplesmente expor a superfície sensível a um baixo grau de calor sem necessidade de precauções especiais além de manter a’ [sic]

Desde que mesmo o material real e original é arcano e bastante difícil de seguir, é difícil entender a extensão com que o GPT-1914 capturou com precisão o original; mas a saída certamente soa mais autêntica do período.

No entanto, os autores concluíram a partir desse experimento que o simples prompt faz pouco para superar os vieses contemporâneos de um modelo pré-treinado grande como o ChatGPT-4o.

O Enredo se Complica

Para medir o quão de perto as saídas do modelo se assemelhavam à escrita histórica autêntica, os pesquisadores usaram um classificador estatístico para estimar a data de publicação provável de cada amostra de texto. Em seguida, visualizaram os resultados usando um gráfico de densidade de kernel, que mostra onde o modelo acredita que cada passagem se encaixa em uma linha do tempo histórica.

Datas de publicação estimadas para textos reais e gerados, com base em um classificador treinado para reconhecer estilo histórico (textos de 1905-1914 comparados com continuidades do GPT-4o usando prompts de uma única tentativa e 20 tentativas, e do GPT-1914 treinado apenas em literatura de 1880-1914).

O modelo RoBERTa ajustado finamente usado para essa tarefa, observam os autores, não é perfeito, mas foi capaz de destacar tendências estilísticas gerais. Passagens escritas pelo GPT-1914, o modelo treinado inteiramente em literatura do período, se agruparam em torno do início do século XX – semelhante ao material de origem.

Em contraste, as saídas do ChatGPT-4o, mesmo quando solicitado com múltiplos exemplos históricos, tendiam a se assemelhar à escrita do século XXI, refletindo os dados em que foi originalmente treinado.

Os pesquisadores quantificaram essa discrepância usando a divergência de Jensen-Shannon, uma medida de quão diferentes duas distribuições de probabilidade são. O GPT-1914 obteve uma pontuação próxima de 0,006 em comparação com o texto histórico real, enquanto as saídas do ChatGPT-4o, tanto com prompts de uma única tentativa quanto com 20 tentativas, mostraram lacunas muito maiores, em 0,310 e 0,350, respectivamente.

Os autores argumentam que esses achados indicam que os prompts por si só, mesmo com múltiplos exemplos, não são uma maneira confiável de produzir textos que simulam convincentemente um estilo histórico.

Concluindo a Passagem

O artigo então investiga se o ajuste fino poderia produzir um resultado superior, pois esse processo envolve afetar diretamente os pesos de um modelo por meio de seu treinamento contínuo em dados especificados pelo usuário – um processo que pode afetar a funcionalidade original do modelo, mas melhorar significativamente seu desempenho no domínio que está sendo enfatizado.

No primeiro experimento de ajuste fino, a equipe treinou o GPT-4o-mini em cerca de dois mil pares de passagens de conclusão extraídas de livros publicados entre 1905 e 1914, com o objetivo de ver se um ajuste fino em pequena escala poderia deslocar as saídas do modelo em direção a um estilo historicamente mais preciso.

Usando o mesmo classificador RoBERTa que atuou como juiz nos testes anteriores para estimar a data estilística de cada saída, os pesquisadores encontraram que, nesse novo experimento, o modelo ajustado finamente produziu texto alinhado estreitamente com a verdade do solo.

Sua divergência estilística em relação aos textos originais, medida pela divergência de Jensen-Shannon, caiu para 0,002, geralmente alinhada com o GPT-1914:

Datas de publicação estimadas para textos reais e gerados, mostrando o quão bem o GPT-1914 e uma versão ajustada finamente do GPT-4o-mini correspondem ao estilo da escrita do início do século XX (com base em livros publicados entre 1905 e 1914).

No entanto, os pesquisadores advertiram que essa métrica pode capturar apenas características superficiais do estilo histórico e não anacronismos conceptuais ou factuais mais profundos.

‘[Isso] não é um teste muito sensível. O modelo RoBERTa usado como juiz aqui é apenas treinado para prever uma data, não para discriminar passagens autênticas de anacronísticas. Ele provavelmente usa evidências estilísticas grosseiras para fazer essa previsão. Leitores humanos, ou modelos maiores, ainda poderiam detectar conteúdo anacronístico em passagens que superficialmente soam “no período”. ‘

Toque Humano

Finalmente, os pesquisadores conduziram testes de avaliação humana usando 250 passagens selecionadas à mão de livros publicados entre 1905 e 1914, e observam que muitos desses textos provavelmente seriam interpretados de maneira muito diferente hoje do que na época de escrita:

‘Nossa lista incluiu, por exemplo, uma entrada de enciclopédia sobre Alsácia (que então fazia parte da Alemanha) e uma sobre beribéri (que então era frequentemente explicada como uma doença fúngica em vez de uma deficiência nutricional). Embora essas sejam diferenças de fato, também selecionamos passagens que exibiriam diferenças mais sutis de atitude, retórica ou imaginação.

‘Por exemplo, descrições de lugares não europeus no início do século XX tendem a deslizar para generalizações raciais. Uma descrição do nascer do sol na lua escrita em 1913 imagina ricos fenômenos cromáticos, pois ninguém havia visto ainda fotografias de um mundo sem atmosfera.’

Os pesquisadores criaram perguntas curtas que cada passagem histórica poderia plausivelmente responder, então ajustaram finamente o GPT-4o-mini nesses pares de pergunta e resposta. Para fortalecer a avaliação, treinaram cinco versões separadas do modelo, cada vez segurando uma porção diferente dos dados para teste.

Eles então produziram respostas usando tanto as versões padrão do GPT-4o e GPT-4o-mini quanto as variantes ajustadas finamente, cada uma avaliada na porção que não havia visto durante o treinamento.

Perdido no Tempo

Para avaliar o quão convincentemente os modelos poderiam imitar a linguagem histórica, os pesquisadores pediram a três annotadores especializados que revisassem 120 conclusões geradas por AI e julgassem se cada uma parecia plausível para um escritor em 1914.

Essa abordagem de avaliação direta provou ser mais desafiadora do que o esperado: embora os annotadores concordassem em suas avaliações quase oitenta por cento do tempo, o desequilíbrio em seus julgamentos (com ‘plausível’ escolhido duas vezes mais frequentemente do que ‘não plausível’) significou que seu nível real de concordância foi apenas moderado, conforme medido por uma pontuação de Cohen de 0,554.

Os avaliadores em si descreveram a tarefa como difícil, frequentemente exigindo pesquisa adicional para avaliar se uma declaração alinhava-se com o que era conhecido ou acreditado em 1914.

Algumas passagens levantaram questões difíceis sobre tom e perspectiva – por exemplo, se uma resposta era apropriadamente limitada em sua visão de mundo para refletir o que teria sido típico em 1914. Esse tipo de julgamento frequentemente dependia do nível de etnocentrismo (ou seja, a tendência de ver outras culturas através das suposições ou vieses da própria cultura).

Nesse contexto, o desafio foi decidir se uma passagem expressava apenas o suficiente de viés cultural para parecer historicamente plausível sem soar muito moderna ou ofensivamente ofensiva pelos padrões de hoje. Os autores observam que, mesmo para estudiosos familiarizados com o período, foi difícil traçar uma linha clara entre linguagem que sentia-se historicamente precisa e linguagem que refletia ideias do presente.

No entanto, os resultados mostraram uma classificação clara dos modelos, com a versão ajustada finamente do GPT-4o-mini julgada mais plausível no geral:

Avaliações dos annotadores sobre o quão plausível parecia a saída de cada modelo

Se esse nível de desempenho, considerado plausível em oitenta por cento dos casos, é confiável o suficiente para pesquisas históricas, permanece incerto – particularmente desde que o estudo não incluiu uma medida de baseline de quão frequentemente textos do período real poderiam ser mal classificados.

Alerta de Intruso

Em seguida, veio um ‘teste de intruso’, no qual os annotadores especializados foram apresentados a quatro passagens anônimas que respondiam à mesma pergunta histórica. Três das respostas vinham de modelos de linguagem, enquanto uma era um trecho real e genuíno de uma fonte do início do século XX.

A tarefa era identificar qual passagem era a original, genuinamente escrita durante o período.

Essa abordagem não pediu aos annotadores que avaliassem a plausibilidade diretamente, mas sim mediu com que frequência a passagem real se destacava das respostas geradas por AI, testando, em essência, se os modelos poderiam enganar os leitores para pensar que sua saída era autêntica.

A classificação dos modelos correspondia aos resultados da tarefa de julgamento anterior: a versão ajustada finamente do GPT-4o-mini foi o modelo mais convincente, mas ainda ficou aquém do real.

A frequência com que cada fonte foi corretamente identificada como a passagem histórica autêntica.

Esse teste também serviu como um benchmark útil, pois, com a passagem real identificada mais da metade do tempo, a lacuna entre prosa autêntica e sintética permaneceu notável para os leitores humanos.

Uma análise estatística conhecida como teste de McNemar confirmou que as diferenças entre os modelos eram significativas, exceto no caso das duas versões não ajustadas (GPT-4o e GPT-4o-mini), que se desempenharam de forma semelhante.

O Futuro do Passado

Os autores descobriram que solicitar aos modelos de linguagem modernos que adotassem uma voz histórica não produziu resultados convincentes de forma confiável: menos de dois terços das saídas foram consideradas plausíveis por leitores humanos, e mesmo essa cifra provavelmente superestima o desempenho.

Em muitos casos, as respostas incluíam sinais explícitos de que o modelo estava falando a partir de uma perspectiva do presente – frases como ’em 1914, não é ainda conhecido que…’ ou ‘até 1914, não estou familiarizado com…’ eram comuns o suficiente para aparecer em até um quinto das conclusões. Disclaimers desse tipo tornavam claro que o modelo estava simulando a história de fora, em vez de escrever a partir dela.

Os autores afirmam:

‘O desempenho ruim do aprendizado no contexto é infeliz, porque esses métodos são os mais fáceis e baratos para a pesquisa histórica baseada em AI. Queremos enfatizar que não exploramos essas abordagens de forma exaustiva.

‘Pode ser que o aprendizado no contexto seja adequado – agora ou no futuro – para um subconjunto de áreas de pesquisa. Mas nossa evidência inicial não é encorajadora.’

Os autores concluem que, embora o ajuste fino de um modelo comercial em passagens históricas possa produzir saídas estilisticamente convincentes a um custo mínimo, isso não elimina completamente vestígios de perspectiva moderna. Treinar um modelo inteiramente em material do período evita anacronismos, mas exige recursos muito maiores e resulta em saídas menos fluentes.

Nenhum dos métodos oferece uma solução completa, e, por enquanto, qualquer tentativa de simular vozes históricas parece envolver um compromisso entre autenticidade e coerência. Os autores concluem que pesquisas adicionais serão necessárias para esclarecer como melhor navegar essa tensão.

Conclusão

Talvez uma das questões mais interessantes que surgem desse novo artigo seja a da autenticidade. Embora não sejam ferramentas perfeitas, funções de perda e métricas como LPIPS e SSIM dão aos pesquisadores de visão computacional, pelo menos, uma metodologia de avaliação contra a verdade do solo.

Quando se gera novo texto no estilo de uma era passada, em contraste, não há verdade do solo – apenas uma tentativa de habitar uma perspectiva cultural desaparecida. Tentar reconstruir essa mentalidade a partir de vestígios literários é, em si, um ato de quantização, pois esses vestígios são apenas evidências, enquanto a consciência cultural da qual emergem permanece além da inferência e, provavelmente, além da imaginação.

Em um nível prático também, os fundamentos dos modelos de linguagem modernos, moldados por normas e dados atuais, correm o risco de reinterpretar ou suprimir ideias que teriam parecido razoáveis ou insignificantes para um leitor eduardiano, mas que agora se registram como (frequentemente ofensivos) artefatos de preconceito, desigualdade ou injustiça.

Portanto, nos perguntamos se, mesmo que pudéssemos criar tal colóquio, ele não nos repeliria.

Publicado pela primeira vez na sexta-feira, 2 de maio de 2025