A Luta para Impedir que o AI Trapaceie nos Testes

Novas descobertas de pesquisa de uma universidade chinesa oferecem uma visão sobre por que os modelos de processamento de linguagem natural gerativos, como o GPT-3, tendem a “trapacear” quando solicitados a responder a uma pergunta difícil, produzindo respostas que podem ser tecnicamente corretas, mas sem qualquer compreensão real de por que a resposta é correta; e por que eles demonstram pouca ou nenhuma capacidade de explicar a lógica por trás de suas respostas “fáceis”. Os pesquisadores também propõem novos métodos para fazer com que os sistemas “estudem mais” durante a fase de treinamento.

O problema é duplo: primeiro, projetamos sistemas que tentam alcançar resultados rapidamente e com um uso ótimo de recursos. Mesmo onde, como no caso do GPT-3, os recursos possam ser consideravelmente maiores do que os que um projeto de pesquisa de PLN médio pode reunir, essa cultura de otimização orientada a resultados ainda permeia a metodologia, porque veio a dominar a convenção acadêmica.

Consequentemente, nossas arquiteturas de treinamento recompensam modelos que convergem rapidamente e produzem respostas aparentemente apropriadas a perguntas, mesmo que o modelo de PLN subsequentemente não possa justificar sua resposta, ou demonstrar como chegou a suas conclusões.

Uma Tendência Precoce para Trapacear

Isso ocorre porque o modelo aprende ‘respostas de atalho’ muito mais cedo no treinamento do que aprende tipos mais complicados de aquisição de conhecimento. Como a precisão aumentada é frequentemente recompensada de forma indiscriminada ao longo do treinamento, o modelo então prioriza qualquer abordagem que lhe permita responder a uma pergunta ‘de forma superficial’, e sem insight real.

Como o aprendizado de atalho inevitavelmente representará os primeiros sucessos durante o treinamento, a sessão naturalmente tenderá a se afastar da tarefa mais difícil de adquirir uma perspectiva epistemológica útil e mais completa, que pode conter camadas mais profundas e mais intuitivas de atribuição e lógica.

Alimentando o AI com Respostas ‘Fáceis’

O segundo problema é que, embora iniciativas de pesquisa recentes tenham estudado a tendência do AI a ‘trapacear’ dessa forma, e tenham identificado o fenômeno de ‘atalhos’, não houve até agora nenhum esforço para classificar material que permita ‘atalhos’ em um conjunto de dados contribuinte, o que seria o passo lógico para abordar o que pode provar ser um defeito arquitetônico fundamental nos sistemas de compreensão de leitura de máquina (MRC).

O novo artigo, uma colaboração entre o Instituto de Tecnologia da Computação Wangxuan e o Laboratório-Chave MOE de Linguística Computacional da Universidade de Pequim, testa vários modelos de linguagem contra um conjunto de dados anotado que inclui classificações para soluções ‘fáceis’ e ‘difíceis’ para uma pergunta possível.

Fonte: https://arxiv.org/pdf/2106.01024.pdf

O conjunto de dados usa a paraphrase como um critério para respostas mais complicadas e profundas, pois uma compreensão semântica é necessária para reformular o conhecimento obtido. Em contraste, as respostas de ‘atalho’ podem usar tokens como datas e outras palavras-chave encapsuladoras para produzir uma resposta que é factualmente precisa, mas sem contexto ou raciocínio.

O componente de atalho das anotações apresenta correspondência de palavras de pergunta (QWM) e correspondência simples (SpM). Para QWM, o modelo utiliza entidades extraídas dos dados de texto fornecidos e dispensa o contexto; para SpM, o modelo identifica a sobreposição entre frases de resposta e perguntas, ambas fornecidas nos dados de treinamento.

Dados de Atalho Quase ‘Viral’ em Influência no Conjunto de Dados

Os pesquisadores defendem que os conjuntos de dados tendem a conter uma grande proporção de perguntas de atalho, o que faz com que os modelos treinados dependam de truques de atalho.

Os dois modelos usados nos experimentos foram BiDAF e o BERT-base da Google. Os pesquisadores observam que, mesmo quando treinados em variações do conjunto de dados com uma maior proporção de perguntas ‘difíceis’, ambos os modelos ainda performam melhor em perguntas de atalho do que em perguntas mais difíceis e parafraseadas, apesar do pequeno número de exemplos nos conjuntos de dados.

Isso apresenta ‘dados de atalho’ quase no contexto de um vírus – que precisa haver muito pouco deles presentes em um conjunto de dados para que sejam adotados e priorizados no treinamento, sob padrões e práticas convencionais em PLN.

Comprovando a Trapaceira

Um método que a pesquisa usa para provar a fragilidade de uma resposta de atalho é substituir uma palavra de entidade ‘fácil’ por uma palavra anômala. Onde um método de atalho foi usado, a lógica da resposta ‘trapaceada’ não pode ser fornecida; mas onde a resposta foi fornecida a partir de um contexto mais profundo e avaliação semântica de uma gama mais ampla de texto contribuinte, é possível para o sistema desmontar o erro e reconstruir uma resposta correta.

Substituir ‘Beyoncé’ (uma pessoa) por ‘América’ (um local) revela se o modelo tem alguma lógica de fundo para sua resposta.

Atalhos Devido a um Imperativo Econômico

Com relação a algumas das razões arquitetônicas pelas quais os atalhos são tão priorizados nos fluxos de trabalho de treinamento de PLN, os autores comentam ‘Os modelos de MRC podem aprender os truques de atalho, como QWM, com menos recursos computacionais do que os desafios de compreensão, como a identificação de parafraseamento’.

Isso, então, poderia ser um resultado não intencional das filosofias de otimização e preservação de recursos padrão em abordagens à compreensão de leitura de máquina, e a pressão para obter resultados com recursos limitados em prazos apertados.

Os pesquisadores também observam:

‘[Desde] o truque de atalho pode ser usado para responder à maioria das perguntas de treinamento corretamente, as perguntas não resolvidas limitadas podem não motivar os modelos a explorar soluções sofisticadas que requerem habilidades desafiadoras.’

Se os resultados do artigo forem subsequentemente comprovados, parece que o vasto e sempre crescente campo da pré-processamento de dados pode precisar considerar ‘gabaritos ocultos’ nos dados como um problema a ser abordado a longo prazo, ou revisar as arquiteturas de PLN para priorizar rotinas mais desafiadoras para ingestão de dados. habilidades.