O que a IA pode nos dizer sobre agendas ocultas nas notícias

Modelos do tipo ChatGPT estão sendo treinados para detectar o que um artigo de notícias realmente pensa sobre um assunto – mesmo quando essa posição é enterrada sob citações, enquadramento ou (às vezes desonesto) ‘neutralidade’. Ao dividir os artigos em segmentos, como manchetes, leads e citações, um novo sistema aprende a identificar viés, mesmo em jornalismo profissional de longa forma.

A capacidade de entender a visão real de um escritor ou falante – uma busca conhecida na literatura como detecção de posição – aborda um dos problemas interpretativos mais difíceis em linguagem: extrair a intenção de conteúdo que pode ser projetado para esconder ou obscurecer.

Desde a Proposta Modesta de Jonathan Swift até as performances recentes de atores políticos emprestando a polêmica de seus oponentes ideológicos, a superfície de uma declaração não é mais um indicador confiável de sua intenção; o surgimento de ironia, trolagem, desinformação e ambiguidade estratégica tornou mais difícil do que nunca identificar qual lado um texto realmente defende, ou se ele defende algum lado.

Muitas vezes, o que não é dito tem tanto peso quanto o que é declarado, e simplesmente escolher cobrir um tópico pode sinalizar a posição do autor.

Isso torna a tarefa de detecção automática de posição excepcionalmente desafiadora, pois um sistema de detecção eficaz precisa fazer mais do que rotular frases isoladas como ‘apoio’ ou ‘oposição’: em vez disso, ele deve iterar por camadas de significado, pesando pequenos sinais contra a forma e a deriva do artigo inteiro; e isso é mais difícil no jornalismo de longa forma, onde o tom pode mudar e a opinião pode raramente ser expressa explicitamente.

Agentes de Mudança

Para abordar alguns desses problemas, pesquisadores na Coreia do Sul desenvolveram um novo sistema chamado JOA-ICL (Aprendizado de Contexto Guiado por Jornalismo com Aprendizado In-Context) para detectar a posição de artigos de notícias de longa forma.

A ideia central por trás do JoA-ICL é que a posição do artigo é inferida pela agregação de previsões de nível de segmento produzidas por um agente de modelo de linguagem separado. Fonte: https://arxiv.org/pdf/2507.11049

Em vez de julgar um artigo como um todo, o JOA-ICL o divide em partes estruturais (manchete, lead, citações e conclusão) e atribui a cada uma delas um modelo menor para rotulá-la. Essas previsões locais são então passadas para um modelo maior, que as usa para determinar a posição geral do artigo.

O método foi testado em um conjunto de dados coreano recém-compilado contendo 2.000 artigos de notícias anotados para posição de nível de artigo e de segmento. Cada artigo foi rotulado com entrada de um especialista em jornalismo, refletindo como a posição é distribuída pela estrutura da redação profissional.

De acordo com o artigo, o JOA-ICL supera tanto as abordagens baseadas em prompts quanto as linhas de base ajustadas, demonstrando força particular na detecção de posições de apoio (que os modelos com um objetivo semelhante tendem a perder). O método também se provou eficaz quando aplicado a um conjunto de dados alemão sob condições correspondentes, indicando que seus princípios são potencialmente resilientes a formas de linguagem.

Os autores afirmam:

‘Experimentos mostram que o JOA-ICL supera os métodos existentes de detecção de posição, destacando os benefícios da agência de nível de segmento na captura da posição geral de artigos de notícias de longa forma.”

O novo artigo é intitulado Aprendizado de Contexto Guiado por Jornalismo com Aprendizado In-Context para Detecção de Posição de Notícias, e vem de várias faculdades da Universidade Soongsil, em Seul, bem como da Escola de Pós-Graduação em Estratégia Futura da KAIST.

Método

Parte do desafio da detecção de posição com IA é logístico e relacionado à quantidade de sinal que um sistema de aprendizado de máquina pode reter e combinar ao mesmo tempo, no estado atual da arte.

Os artigos de notícias tendem a evitar declarações diretas de opinião, confiando em vez disso em uma implícita ou pressuposta posição, sinalizada por meio de escolhas sobre quais fontes citar, como a narrativa é enquadrada e quais detalhes são omitidos, entre muitas outras considerações.

Even quando um artigo assume uma posição clara, o sinal é frequentemente disperso pelo texto, com diferentes segmentos apontando em direções diferentes. Como os modelos de linguagem (LMs) ainda lutam com janelas de contexto limitadas, isso pode tornar difícil para os modelos avaliar a posição da maneira que eles fazem com conteúdo mais curto (como tweets e outras mídias sociais de curta forma), onde a relação entre o texto e o alvo é mais explícita.

Portanto, as abordagens padrão frequentemente falham quando aplicadas a jornalismo de longa forma; um caso em que a ambiguidade é uma característica e não um defeito.

O artigo afirma:

‘Para abordar esses desafios, propomos uma abordagem de modelagem hierárquica que primeiro infere a posição no nível de unidades de discurso menores (por exemplo, parágrafos ou seções) e subsequentemente integra essas previsões locais para determinar a posição geral do artigo.

‘Essa estrutura é projetada para reter o contexto local e capturar sinais de posição dispersos ao avaliar como diferentes partes de uma história de notícias contribuem para sua posição geral sobre um assunto.’

Para esse fim, os autores compilaram um conjunto de dados novo intitulado K-NEWS-STANCE, extraído da cobertura de notícias coreanas entre junho de 2022 e junho de 2024. Os artigos foram identificados primeiro por meio do BigKinds, um serviço de metadados apoiado pelo governo operado pela Fundação da Imprensa da Coreia, e os textos completos foram recuperados usando a API do agregador de notícias Naver. O conjunto de dados final compreendia 2.000 artigos de 31 veículos, cobrindo 47 questões de relevância nacional.

Cada artigo foi anotado duas vezes: uma vez para sua posição geral em relação a um determinado assunto e novamente para segmentos individuais; especificamente a manchete, lead, conclusão e citações diretas.

A anotação foi liderada pelo especialista em jornalismo Jiyoung Han, também o terceiro autor do artigo, que orientou o processo por meio do uso de sinais estabelecidos de estudos de mídia, como seleção de fontes, enquadramento lexical e padrões de citação. Por esses meios, um total de 19.650 rótulos de posição de nível de segmento foram obtidos.

Para garantir que os artigos contenham sinais de posição significativos, cada um foi classificado por gênero, e apenas aqueles rotulados como análise ou opinião (onde o enquadramento subjetivo é mais provável de ser encontrado) foram usados para anotação de posição.

Dois annotadores treinados rotularam todos os artigos e foram instruídos a consultar artigos relacionados caso a posição não estivesse clara, com desacordos resolvidos por meio de discussão e revisão adicional.

Entradas de amostra do conjunto de dados K-NEWS-STANCE, traduzidas para o inglês. Apenas a manchete, lead e citações são mostradas; o texto do corpo é omitido. Destaque indica rótulos de posição para citações, com azul para apoio e vermelho para oposição. Por favor, consulte o PDF da fonte citada para uma representação mais clara.

JoA-ICL

Em vez de tratar um artigo como um bloco de texto único, o sistema proposto pelos autores divide-o em partes estruturais-chave: manchete, lead, citações e conclusão, atribuindo cada uma delas a um agente de modelo de linguagem, que rotula o segmento como apoio, oposição ou neutro.

Essas previsões locais são passadas para um segundo agente que decide a posição geral do artigo, com os dois agentes coordenados por um controlador que prepara os prompts e reúne os resultados.

Assim, o JoA-ICL adapta o aprendizado de contexto (onde o modelo aprende com exemplos no prompt) para corresponder à maneira como as histórias de notícias profissionais são escritas, usando prompts de segmento cientes em vez de uma entrada genérica única.

(Por favor, note que a maioria dos exemplos e ilustrações no artigo são longos e difíceis de reproduzir de forma legível em um artigo online. Portanto, pedimos ao leitor que examine o PDF original da fonte)

Dados e Testes

Nos testes, os pesquisadores usaram macro F1 e precisão para avaliar o desempenho, média dos resultados sobre dez execuções com sementes aleatórias de 42 a 51 e relatando erro padrão. Os dados de treinamento foram usados para ajustar os modelos de base e os agentes de nível de segmento, com amostras de poucos disparos selecionadas por meio de busca de similaridade usando KLUE-RoBERTa-large.

Os testes foram executados em três GPUs RTX A6000 (cada uma com 48GB de VRAM), usando Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 e vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haiku e Gemini 2 Flash foram utilizados por meio de API, a uma temperatura de 1,0 e com tokens máximo definidos para 1000 para prompts de cadeia de pensamento, e 100 para os demais.

Para o ajuste completo do Exaone-3.5-2.4B, o otimizador AdamW foi usado a uma taxa de aprendizado de 5e-5, com decaimento de peso de 0,01, 100 passos de aquecimento e com os dados treinados por 10 épocas a um tamanho de lote de 6.

Para as linhas de base, os autores usaram RoBERTa, ajustado para detecção de posição de nível de artigo; Embeddings de Cadeia de Pensamento (CoT), um ajuste alternativo do RoBERTa para a tarefa atribuída; LKI-BART, um modelo codificador-decodificador que adiciona conhecimento contextual de um grande modelo de linguagem por meio de prompts com o texto de entrada e o rótulo de posição pretendido; e PT-HCL, um método que usa aprendizado contrastivo para separar recursos gerais daqueles específicos do assunto-alvo:

Desempenho de cada modelo no conjunto de teste K-NEWS-STANCE para previsão de posição geral. Os resultados são mostrados como macro F1 e precisão, com a pontuação mais alta em cada grupo em negrito.

O JoA-ICL alcançou o melhor desempenho geral em ambas as precisões e macro F1, uma vantagem evidente em todos os três modelos de backbone testados: GPT-4o-mini, Claude 3 Haiku e Gemini 2 Flash.

O método baseado em segmentos consistentemente superou todas as outras abordagens, com, observam os autores, uma vantagem notável na detecção de posições de apoio, uma fraqueza comum em modelos semelhantes.

Os modelos de base apresentaram um desempenho pior em geral. RoBERTa e variantes de Cadeia de Pensamento lutaram com casos nuances, enquanto PT-HCL e LKI-BART se saíram melhor, embora ainda atrás do JoA-ICL em muitas categorias. O resultado mais preciso individual veio do JoA-ICL (Claude), com 64,8% de macro F1 e 66,1% de precisão.

A imagem abaixo mostra com que frequência os modelos acertaram cada rótulo certo ou errado:

Matrizes de confusão comparando a linha de base e o JoA-ICL, mostrando que ambos os métodos lutam mais com a detecção de posições de apoio.

O JoA-ICL se saiu melhor em geral do que a linha de base, acertando mais rótulos corretos em cada categoria. No entanto, ambos os modelos lutaram mais com artigos de apoio, e a linha de base os classificou erroneamente como neutros quase na metade das vezes.

O JoA-ICL cometeu menos erros, mas mostrou o mesmo padrão, reforçando que as ‘posições positivas’ são mais difíceis para os modelos detectar.

Para testar se o JoA-ICL funciona além dos limites da língua coreana, os autores o executaram no CheeSE, um conjunto de dados alemão para detecção de posição de nível de artigo. Como o CheeSE não possui rótulos de nível de segmento, os pesquisadores usaram supervisão distante, onde cada segmento foi atribuído ao mesmo rótulo de posição que o artigo completo.

Resultados de detecção de posição no conjunto de dados CheeSE em alemão. O JoA-ICL melhora consistentemente sobre a prompting zero-shot em todos os três LLMs e supera as linhas de base ajustadas, com o Gemini-2.0-flash produzindo o desempenho geral mais forte.

Mesmo sob essas condições ‘barulhentas’, o JoA-ICL superou tanto os modelos ajustados quanto a prompting zero-shot. Dos três backbones testados, o Gemini-2.0-flash deu os melhores resultados.

Conclusão

Poucas tarefas em aprendizado de máquina são mais carregadas politicamente do que a previsão de posição; no entanto, é frequentemente tratada em termos frios e mecânicos, enquanto mais atenção é dada a questões menos complexas em IA geradora, como criação de vídeo e imagem, que desencadeiam manchetes mais altas.

A desenvolvimento mais encorajador no novo trabalho coreano é que ele oferece uma contribuição significativa para a análise de conteúdo de longa forma, em vez de tweets e mídias sociais de curta forma, cujos efeitos incendiários são mais rapidamente esquecidos do que um tratado, ensaio ou outra obra significativa.

Uma omissão notável no novo trabalho e (até onde posso perceber) no corpus de previsão de posição em geral é a falta de consideração dada aos hiperlinks, que frequentemente se substituem por citações como recursos opcionais para os leitores aprenderem mais sobre um assunto; no entanto, deve ser claro que a escolha de tais URLs é potencialmente muito subjetiva e até política.

Isso posto, quanto mais prestigioso a publicação, menos provável que ela incluirá qualquer link que oriente o visualizador para longe do domínio hospedeiro; isso, juntamente com outros usos e abusos de SEO de hiperlinks, os torna mais difíceis de quantificar do que citações explícitas, títulos ou outras partes de um artigo que podem buscar, consciente ou inconscientemente, influenciar a opinião do leitor.

Publicado pela primeira vez na quarta-feira, 16 de julho de 2025