Geração de Paráfrases usando Aprendizado por Reforço Profundo – Líderes de Pensamento

Quando escrevemos ou falamos, já nos perguntamos se há uma melhor maneira de comunicar uma ideia para os outros. Quais palavras devo usar? Como devo estruturar o pensamento? Como eles provavelmente responderão? Na Phrasee, passamos muito tempo pensando sobre linguagem – o que funciona e o que não funciona.

Imagine que você está escrevendo a linha de assunto de uma campanha de e-mail que irá para 10 milhões de pessoas em sua lista, promovendo 20% de desconto em um novo laptop sofisticado.

Qual linha você escolheria:

• Agora você pode ter um desconto extra de 20% em seu próximo pedido
• Prepare-se – um desconto extra de 20%

Embora transmitam a mesma informação, uma delas alcançou uma taxa de abertura quase 15% maior do que a outra (e aposto que você não pode superar nosso modelo em prever qual delas ?). Embora a linguagem possa ser frequentemente testada por meio de testes A/B ou bandidos multiarmados, gerar paráfrases automaticamente permanece um problema de pesquisa muito desafiador.

Duas frases são consideradas paráfrases uma da outra se compartilham o mesmo significado e podem ser usadas de forma intercambiável. Outra coisa importante que é frequentemente dada como certa é se uma frase gerada por máquina é fluente.

Ao contrário do aprendizado supervisionado, os agentes de Aprendizado por Reforço (RL) aprendem interagindo com o ambiente e observando as recompensas que recebem como resultado. Essa diferença um pouco sutil tem implicações massivas para como os algoritmos funcionam e como os modelos são treinados. O Aprendizado por Reforço Profundo usa redes neurais como um aproximador de função para permitir que o agente aprenda a superar os humanos em ambientes complexos, como Go, Atari e StarCraft II.

Apesar desse sucesso, o aprendizado por reforço não foi amplamente aplicado a problemas do mundo real, incluindo o Processamento de Linguagem Natural (NLP).

Como parte da minha tese de mestrado em Ciência de Dados, demonstramos como o Aprendizado por Reforço Profundo pode ser usado para superar os métodos de aprendizado supervisionado na geração automática de paráfrases de texto de entrada. O problema de gerar a melhor paráfrase pode ser visto como encontrar a série de palavras que maximiza a semelhança semântica entre as frases, mantendo a fluência na saída. Os agentes de RL são bem adaptados para encontrar o melhor conjunto de ações para alcançar a recompensa máxima esperada em ambientes de controle.

Em contraste com a maioria dos problemas de aprendizado de máquina, o maior problema na maioria das aplicações de Geração de Linguagem Natural (NLG) não está no modelo, mas sim na avaliação. Embora a avaliação humana seja atualmente considerada o padrão ouro na avaliação de NLG, ela sofre de desvantagens significativas, incluindo ser cara, demorada, desafiadora para ajustar e falta de reprodutibilidade entre experimentos e conjuntos de dados (Han, 2016). Como resultado, os pesquisadores há muito tempo vêm procurando por métricas automáticas que sejam simples, generalizáveis e que reflitam o julgamento humano (Papineni et al., 2002).

Os métodos de avaliação automáticos mais comuns na avaliação de legendas de imagens geradas por máquina são resumidos abaixo com seus prós e contras:

Geração de Paráfrases usando Pipeline de Aprendizado por Reforço

Desenvolvemos um sistema chamado ParaPhrasee que gera paráfrases de alta qualidade. O sistema consiste em várias etapas para aplicar o aprendizado por reforço de forma computacionalmente eficiente. Um resumo do pipeline de alto nível é mostrado abaixo com mais detalhes contidos na tese.

Conjunto de Dados

Há vários conjuntos de dados de paráfrases disponíveis que são usados em pesquisas, incluindo: o corpus de paráfrases da Microsoft (MSFT ), a competição de semelhança semântica de texto da ACL, Pares de Perguntas do Quora e Links Compartilhados no Twitter. Selecionamos MS-COCO devido ao seu tamanho, limpeza e uso como benchmark para dois artigos notáveis de geração de paráfrases. O MS-COCO contém 120k imagens de cenas comuns com 5 legendas de imagem por imagem fornecidas por 5 diferentes anotadores humanos.

Embora seja projetado principalmente para pesquisas de visão computacional, as legendas tendem a ter alta semelhança semântica e são paráfrases interessantes. Dado que as legendas são fornecidas por pessoas diferentes, elas tendem a ter variações sutis nos detalhes fornecidos na cena, portanto, as frases geradas tendem a alucinar detalhes.

Modelo Supervisionado

Embora o aprendizado por reforço tenha melhorado consideravelmente em termos de eficiência de amostra, tempos de treinamento e práticas recomendadas, treinar modelos de RL do zero ainda é comparativamente muito lento e instável (Arulkumaran et al., 2017). Portanto, em vez de treinar do zero, primeiro treinamos um modelo supervisionado e, em seguida, o ajustamos usando RL.

Usamos um modelo Encoder-Decoder e avaliamos o desempenho de vários modelos supervisionados de linha de base. Ao ajustar o modelo usando RL, ajustamos apenas a rede decodificadora e tratamos a rede codificadora como estática. Como tal, consideramos dois principais quadros:

• Treinando o modelo supervisionado do zero usando um encoder-decoder padrão/vanilla com GRUs
• Usando modelos de embeddings de sentenças pré-treinados para o codificador, incluindo: embeddings de palavras em pool (GloVe), InferSent e BERT

Os modelos supervisionados tendem a ter um desempenho razoável, com o BERT e o encoder-decoder padrão alcançando o melhor desempenho.

Embora o desempenho tenda a ser razoável, há três fontes comuns de erro: gagueira, geração de fragmentos de frases e alucinações. Esses são os principais problemas que o uso de RL visa resolver.

Modelo de Aprendizado por Reforço

Implementar algoritmos de RL é muito desafiador, especialmente quando você não sabe se o problema pode ser resolvido. Pode haver problemas na implementação do ambiente, do agente, dos hiperparâmetros, da função de recompensa ou uma combinação de todos os acima! Esses problemas são exacerbados quando se faz RL profundo, pois você tem a diversão da complexidade adicionada de depurar redes neurais.

Como em todos os casos de depuração, é crucial começar de forma simples. Implementamos variações de dois ambientes de RL de brinquedo bem compreendidos (CartPole e FrozenLake) para testar algoritmos de RL e encontrar uma estratégia repetível para transferir conhecimento do modelo supervisionado.

Descobrimos que usar um algoritmo Actor-Critic superou o REINFORCE nesses ambientes. Em termos de transferir conhecimento para o modelo Actor-Critic, descobrimos que inicializar os pesos do ator com o modelo supervisionado treinado e pré-treinar o crítico alcançou o melhor desempenho. Encontramos que é desafiador generalizar abordagens de destilação de política sofisticadas para novos ambientes, pois elas introduzem muitos novos hiperparâmetros que exigem ajuste para funcionar.

Apoiados por essas percepções, então nos voltamos para desenvolver uma abordagem para a tarefa de geração de paráfrases. Primeiro, precisamos criar um ambiente.

O ambiente permite que testemos facilmente o impacto de usar diferentes métricas de avaliação como funções de recompensa.

Definimos o agente, dado seus muitos benefícios, usamos uma arquitetura Actor-Critic. O ator é usado para selecionar a próxima palavra na sequência e tem seus pesos inicializados usando o modelo supervisionado. O crítico fornece uma estimativa da recompensa esperada que um estado provavelmente receberá para ajudar o ator a aprender.

Projetando a Função de Recompensa Certa

O componente mais importante de projetar um sistema de RL é a função de recompensa, pois é isso que o agente de RL está tentando otimizar. Se a função de recompensa estiver incorreta, então os resultados sofrerão, mesmo que todas as outras partes do sistema funcionem!

Um exemplo clássico disso é CoastRunners, onde os pesquisadores da OpenAI definiram a função de recompensa como maximizar a pontuação total, em vez de vencer a corrida. O resultado disso é que o agente descobriu um loop onde poderia obter a pontuação mais alta, atingindo turbos sem nunca completar a corrida.

https://www.youtube.com/watch?time_continue=2&v=tlOIHko8ySg&feature=emb_title

Dado que avaliar a qualidade das paráfrases é um problema não resolvido, projetar uma função de recompensa que capture automaticamente esse objetivo é ainda mais difícil. A maioria dos aspectos da linguagem não se decomponde bem em métricas lineares e é dependente da tarefa (Novikova et al., 2017).

O agente de RL frequentemente descobre uma estratégia interessante para maximizar as recompensas, que explora as fraquezas na métrica de avaliação, em vez de gerar texto de alta qualidade. Isso tende a resultar em um desempenho ruim em métricas que o agente não está otimizando diretamente.

Consideramos três principais abordagens:

1. Métricas de Overlap de Palavras

As métricas de avaliação de NLP mais comuns consideram a proporção de sobreposição de palavras entre a paráfrase gerada e a sentença de avaliação. Quanto maior a sobreposição, maior a recompensa. O desafio com as abordagens de nível de palavra é que o agente inclui muitas palavras de conexão, como “a é em” e não há medida de fluência. Isso resulta em paráfrases de muito baixa qualidade.

2. Métricas de Semelhança e Fluência de Nível de Sentença

As principais propriedades de uma paráfrase gerada são que ela deve ser fluente e semanticamente semelhante à sentença de entrada. Portanto, tentamos pontuar explicitamente esses individualmente e, em seguida, combiná-los. Para semelhança semântica, usamos a semelhança coseno entre embeddings de sentenças de modelos pré-treinados, incluindo o BERT. Para fluência, usamos uma pontuação baseada na perplexidade de uma sentença do GPT-2. Quanto maior a semelhança coseno e as pontuações de fluência, maior a recompensa.

Tentamos muitas combinações diferentes de modelos de embeddings de sentenças e modelos de fluência e, embora o desempenho fosse razoável, o principal problema que o agente enfrentou foi não equilibrar suficientemente a semelhança semântica com a fluência. Para a maioria das configurações, o agente priorizou a fluência, resultando na remoção de detalhes e na maioria das entidades sendo colocadas “no meio” de algo ou sendo movidas “para uma mesa” ou “para o lado da estrada”.

O aprendizado por reforço multiobjetivo é uma questão de pesquisa aberta e é muito desafiador neste caso.

3. Usando um Modelo Adversarial como Função de Recompensa

Dado que os humanos são considerados o padrão ouro na avaliação, treinamos um modelo separado chamado discriminador para prever se duas sentenças são paráfrases uma da outra (semelhante à forma como um humano avaliaria). O objetivo do modelo de RL é, então, convencer esse modelo de que a sentença gerada é uma paráfrase da sentença de entrada. O discriminador gera uma pontuação de quão provável é que as duas sentenças sejam paráfrases uma da outra, que é usada como recompensa para treinar o agente.

A cada 5.000 palpites, o discriminador é informado de qual paráfrase veio do conjunto de dados e qual foi gerada, para que ele possa melhorar suas suposições futuras. O processo continua por várias rodadas, com o agente tentando enganar o discriminador e o discriminador tentando diferenciar entre as paráfrases geradas e as paráfrases de avaliação do conjunto de dados.

Após várias rodadas de treinamento, o agente gera paráfrases que superam os modelos supervisionados e outras funções de recompensa.

Conclusão e Limitações

As abordagens adversárias (incluindo o autojogo para jogos) fornecem uma abordagem extremamente promissora para treinar algoritmos de RL para superar o desempenho humano em certas tarefas sem definir uma função de recompensa explícita.

Embora o RL tenha conseguido superar o aprendizado supervisionado neste caso, o montante adicional de sobrecarga em termos de código, computação e complexidade não vale a pena a melhoria no desempenho para a maioria das aplicações. O RL é melhor deixado para situações em que o aprendizado supervisionado não pode ser facilmente aplicado e uma função de recompensa é fácil de definir (como jogos Atari). As abordagens e algoritmos são muito mais maduros no aprendizado supervisionado e o sinal de erro é muito mais forte, o que resulta em um treinamento muito mais rápido e estável.

Outra consideração é que, como em outras abordagens neurais, o agente pode falhar de forma dramática em casos em que a entrada é diferente das entradas que ele viu anteriormente, exigindo uma camada adicional de verificações de sanidade para aplicações de produção.

A explosão de interesse em abordagens de RL e avanços na infraestrutura computacional nos últimos anos desbloqueará oportunidades enormes para aplicar RL na indústria, especialmente dentro do NLP.