Por que a Linguagem Histórica é um Desafio para a Inteligência Artificial

Um dos principais desafios dos sistemas de Processamento de Linguagem Natural (NLP) é derivar insights essenciais de uma ampla variedade de materiais escritos. As fontes contribuintes para um conjunto de dados de treinamento para um novo algoritmo de NLP podem ser tão linguisticamente diversificadas quanto o Twitter, jornais de grande circulação e periódicos científicos, com todas as peculiaridades apelativas únicas de cada uma dessas três fontes.

Na maioria dos casos, isso é apenas para o inglês; e isso é apenas para fontes de texto atuais ou recentes. Quando um algoritmo de NLP precisa considerar material que vem de múltiplas eras, ele geralmente tem dificuldade em reconciliar as formas muito diferentes como as pessoas falam ou escrevem em comunidades nacionais e subnacionais, e especialmente em diferentes períodos da história.

No entanto, usar dados de texto (como tratados históricos e obras científicas veneráveis) que abrangem épocas é um método potencialmente útil para gerar uma visão geral histórica de um tópico e formular reconstruções de linha do tempo estatísticas que antecedem a adoção e manutenção de métricas para um domínio.

Por exemplo, as informações climáticas que contribuem para os modelos de previsão de mudanças climáticas baseados em inteligência artificial não foram adequadamente registradas em todo o mundo até 1880, enquanto a mineração de textos clássicos oferece registros mais antigos de eventos meteorológicos importantes que podem ser úteis para fornecer dados climáticos pré-vitorianos.

Desalinhamento Temporal

Um novo artigo da Universidade de Washington e do Instituto Allen para Inteligência Artificial descobriu que mesmo um intervalo tão curto quanto cinco anos pode causar desalinhamento temporal, o que pode prejudicar a utilidade de um modelo de NLP pré-treinado.

Em todos os casos, pontuações mais altas são melhores. Aqui vemos um mapa de calor de degradação temporal em quatro corpora de material de texto que abrangem um período de cinco anos. Tais discrepâncias entre os dados de treinamento e avaliação, de acordo com os autores do novo artigo, podem causar uma ‘queda de desempenho maciça’. Fonte: https://arxiv.org/pdf/2111.07408.pdf

O artigo afirma:

‘Descobrimos que o desalinhamento temporal afeta tanto a generalização do modelo de linguagem quanto o desempenho da tarefa. Encontramos uma variação considerável na degradação em diferentes domínios de texto e tarefas. Em cinco anos, a pontuação F1 dos classificadores pode se deteriorar tanto quanto 40 pontos (afiliação política no Twitter) ou tão pouco quanto 1 ponto (classificação de avaliações do Yelp). Duas tarefas distintas definidas no mesmo domínio podem mostrar níveis diferentes de degradação ao longo do tempo.’

Divisões Desiguais

O problema central é que os conjuntos de dados de treinamento geralmente são divididos em dois grupos, às vezes em uma proporção desequilibrada de 80/20, devido à limitação de dados disponíveis. O grupo maior de dados é treinado em uma rede neural, enquanto os dados restantes são usados como um grupo de controle para testar a precisão do algoritmo resultante.

Em conjuntos de dados mistos que contêm material que abrange vários anos, uma distribuição desigual de dados de diferentes períodos pode significar que os dados de avaliação são compostos de material de uma época particular.

Isso fará com que seja um mau terreno de teste para um modelo treinado em uma mistura mais diversificada de épocas (ou seja, em mais de todos os dados disponíveis). Em essência, dependendo de se os dados de avaliação minoritários super-representam material mais novo ou mais antigo, é como pedir ao seu avô para avaliar os últimos ídolos do K-Pop.

A solução de longo prazo seria treinar vários modelos em conjuntos de dados mais restritos no tempo e tentar combinar recursos compatíveis dos resultados de cada modelo. No entanto, práticas de inicialização aleatória de modelo significam que essa abordagem enfrenta seus próprios problemas para alcançar a paridade e a equidade entre os modelos – mesmo antes de considerar se os conjuntos de dados contribuintes eram suficientemente semelhantes para tornar o experimento significativo.

Dados e Treinamento

Para avaliar o desalinhamento temporal, os autores treinaram quatro corpora de texto em quatro domínios;

Twitter
…onde eles coletaram dados não rotulados extraíndo uma seleção aleatória de 12 milhões de tuítes uniformemente distribuídos entre 2015-2020, onde os autores estudaram entidades nomeadas (ou seja, pessoas e organizações) e afiliações políticas.

Artigos Científicos
…onde os autores obtiveram dados não rotulados do corpus do Semantic Scholar, constituído por 650.000 documentos que abrangem um período de 30 anos, e nos quais eles estudaram a classificação de menção de tipo (SciERC) e a classificação de local de publicação de IA (AIC, que distingue se um artigo foi publicado na AAAI ou na ICML).

Artigos de Notícias
…onde os autores usaram nove milhões de artigos do conjunto de dados do Newsroom que abrangem um período de 2009-2016, nos quais eles realizaram três tarefas: resumo de notícias, classificação de editoras e classificação de molduras de mídia (MFC), que examina a priorização percebida de vários tópicos na saída de notícias.

Avaliações de Alimentos
…onde os pesquisadores usaram o conjunto de dados aberto do Yelp em uma tarefa: classificação de avaliações de revisões (YELPCLS), um desafio de análise de sentimento típico de muitas pesquisas de NLP nesse setor.

Resultados

Os modelos foram avaliados no GPT-2, com uma variedade de pontuações F1 resultantes. Os autores descobriram que a perda de desempenho devido ao desalinhamento temporal é bidirecional, significando que os modelos treinados em dados recentes podem ser adversamente afetados pela influência de dados mais antigos, e vice-versa (veja a imagem no início do artigo para gráficos). Os autores observam que isso tem implicações particulares para aplicações em ciências sociais.

Em geral, os resultados mostram que o desalinhamento temporal degrada a perda de desempenho ‘substancialmente’ e tem um efeito amplo na maioria das tarefas. Conjuntos de dados que abrangem períodos muito longos, como décadas, naturalmente exacerbam o problema.

Os autores observam ainda que o desalinhamento temporal também afeta dados de pré-treinamento rotulados e não rotulados. Além disso, suas tentativas de mitigar os efeitos por meio da adaptação de domínio (veja abaixo) não melhoraram substancialmente a situação, embora afirmem que o ajuste fino das informações de dados no conjunto de dados pode ajudar a certo extento.

Conclusão

Os pesquisadores confirmam as descobertas anteriores de que as soluções sugeridas anteriormente, envolvendo adaptação de domínio (DAPT, onde é criada uma adaptação para a disparidade de dados) e adaptação temporal (onde os dados são selecionados por período de tempo), fazem pouco para aliviar o problema.

O artigo conclui*:

‘Nossos experimentos revelaram uma variação considerável na degradação temporal em tarefas, mais do que encontrado em estudos anteriores. Essas descobertas motivam o estudo contínuo do desalinhamento temporal em aplicações de NLP, sua consideração em avaliações de benchmark e vigilância por parte dos praticantes capazes de monitorar o desempenho do sistema ao vivo ao longo do tempo.

‘Notavelmente, observamos que o treinamento contínuo de LMs em dados temporalmente alinhados não tem muito efeito, motivando mais pesquisas para encontrar métodos de adaptação temporal eficazes que sejam menos custosos do que a coleta contínua de conjuntos de dados anotados/rotulados ao longo do tempo.’

Os autores sugerem que uma investigação mais aprofundada sobre o aprendizado contínuo, onde os dados são constantemente atualizados, pode ser útil a esse respeito, e que a deriva de conceito e outros métodos de detecção de mudanças em tarefas podem ser uma ajuda útil para atualizar conjuntos de dados.

* Minha conversão de citações em linha para hiperlinks.