Génération de paraphrases à l’aide de l’apprentissage par renforcement profond – Leaders d’opinion

Lorsque nous écrivons ou parlons, nous nous sommes tous demandé s’il existe un meilleur moyen de communiquer une idée aux autres. Quels mots devrais-je utiliser ? Comment devrais-je structurer la pensée ? Comment vont-ils probablement réagir ? Chez Phrasee, nous passons beaucoup de temps à réfléchir au langage – ce qui fonctionne et ce qui ne fonctionne pas.

Imaginez que vous écrivez le sujet d’une campagne de courriel qui sera envoyée à 10 millions de personnes dans votre liste pour promouvoir 20 % de réduction sur un nouvel ordinateur portable de luxe.

Quelle ligne choisiriez-vous :

• Vous pouvez maintenant bénéficier de 20 % de réduction sur votre prochaine commande
• Préparez-vous – 20 % de réduction supplémentaire

Bien qu’ils transmettent les mêmes informations, l’un a obtenu un taux d’ouverture presque 15 % plus élevé que l’autre (et je parie que vous ne pouvez pas battre notre modèle pour prédire lequel ?). Bien que le langage puisse souvent être testé grâce à des tests A/B ou à des bandits à bras multiples, la génération automatique de paraphrases reste un problème de recherche très difficile.

Deux phrases sont considérées comme des paraphrases l’une de l’autre si elles partagent le même sens et peuvent être utilisées de manière interchangeable. Une autre chose importante qui est souvent prise pour acquise est de savoir si une phrase générée par une machine est fluente.

Contrairement à l’apprentissage supervisé, les agents d’apprentissage par renforcement (RL) apprennent en interagissant avec leur environnement et en observant les récompenses qu’ils reçoivent en conséquence. Cette différence nuancée a des implications massives sur la façon dont les algorithmes fonctionnent et sur la façon dont les modèles sont formés. L’apprentissage par renforcement profond utilise des réseaux de neurones comme approximateur de fonction pour permettre à l’agent d’apprendre à surpasser les humains dans des environnements complexes tels que Go, Atari et StarCraft II.

Malgré ce succès, l’apprentissage par renforcement n’a pas été largement appliqué à des problèmes du monde réel, y compris le traitement automatique des langues (NLP).

Dans le cadre de mon mémoire de master en sciences des données, nous démontrons comment le RL peut être utilisé pour surpasser les méthodes d’apprentissage supervisé dans la génération automatique de paraphrases de texte d’entrée. Le problème de génération de la meilleure paraphrase peut être considéré comme trouver la série de mots qui maximise la similarité sémantique entre les phrases tout en maintenant la fluidité de la sortie. Les agents RL sont bien adaptés pour trouver le meilleur ensemble d’actions pour atteindre la récompense attendue maximale dans les environnements de contrôle.

Contrairement à la plupart des problèmes d’apprentissage automatique, le plus grand problème dans la plupart des applications de génération de langage naturel (NLG) ne réside pas dans la modélisation, mais plutôt dans l’évaluation. Alors que l’évaluation humaine est actuellement considérée comme la norme de référence en NLG, elle présente des inconvénients importants, notamment le fait d’être coûteuse, longue, difficile à ajuster et manquant de reproductibilité entre les expériences et les ensembles de données (Han, 2016). En conséquence, les chercheurs ont longtemps cherché des métriques automatiques simples, généralisables et reflétant le jugement humain (Papineni et al., 2002).

Les méthodes d’évaluation automatiques les plus courantes pour évaluer les légendes d’images générées par machine sont résumées ci-dessous avec leurs avantages et inconvénients :

Génération de paraphrases à l’aide de l’apprentissage par renforcement

Nous avons développé un système appelé ParaPhrasee qui génère des paraphrases de haute qualité. Le système consiste en plusieurs étapes afin d’appliquer l’apprentissage par renforcement de manière efficace sur le plan computationnel. Un bref résumé du pipeline de haut niveau est présenté ci-dessous avec plus de détails contenus dans le mémoire.

Ensemble de données

Il existe plusieurs ensembles de données de paraphrases disponibles qui sont utilisés dans la recherche, notamment : l’ensemble de données de paraphrases de Microsoft (MSFT ), la compétition de similarité sémantique de texte ACL, Quora Duplicate Questions et Twitter Shared Links. Nous avons sélectionné MS-COCO en raison de sa taille, de sa propreté et de son utilisation comme référence pour deux articles de génération de paraphrases notables. MS-COCO contient 120 000 images de scènes communes avec 5 légendes d’image par image fournies par 5 annotateurs humains différents.

Bien qu’il soit principalement conçu pour la recherche en vision par ordinateur, les légendes tendent à avoir une similarité sémantique élevée et sont des paraphrases intéressantes. Étant donné que les légendes sont fournies par différentes personnes, elles tendent à avoir de légères variations dans les détails fournis dans la scène, les phrases générées tendent donc à halluciner des détails.

Modèle supervisé

Bien que l’apprentissage par renforcement ait considérablement amélioré en termes d’efficacité d’échantillonnage, de temps de formation et de meilleures pratiques, la formation de modèles RL à partir de zéro est toujours relativement très lente et instable (Arulkumaran et al., 2017). Par conséquent, au lieu de former à partir de zéro, nous formons d’abord un modèle supervisé, puis nous l’affinons à l’aide de RL.

Nous utilisons un cadre de modèle Encoder-Decoder et évaluons les performances de plusieurs modèles supervisés de base. Lors de l’affinage du modèle à l’aide de RL, nous n’affinons que le réseau décodeur et traitons le réseau encodeur comme statique. Nous considérons donc deux principaux cadres :

• Formation du modèle supervisé à partir de zéro en utilisant un encodeur-décodeur standard/vanille avec des GRU
• Utilisation de modèles d’intégration de phrases préformés pour l’encodeur, notamment : l’intégration de mots regroupés (GloVe), InferSent et BERT

Les modèles supervisés tendent à performer de manière raisonnable, avec BERT et l’encodeur-décodeur vanille atteignant les meilleures performances.

Bien que les performances soient raisonnables, il existe trois sources d’erreurs courantes : les bégaiements, la génération de fragments de phrase et les hallucinations. Ce sont les principaux problèmes que l’utilisation de RL vise à résoudre.

Modèle d’apprentissage par renforcement

La mise en œuvre d’algorithmes RL est très difficile, en particulier lorsque vous ne savez pas si le problème peut être résolu. Il peut y avoir des problèmes dans la mise en œuvre de votre environnement, de vos agents, de vos hyperparamètres, de votre fonction de récompense ou une combinaison de tout ce qui précède ! Ces problèmes sont exacerbés lorsque vous faites de l’apprentissage par renforcement profond, car vous avez le plaisir de la complexité supplémentaire de la débogage des réseaux de neurones.

Comme pour toutes les débogages, il est crucial de commencer simplement. Nous avons mis en œuvre des variations de deux environnements RL jouets bien compris (CartPole et FrozenLake) pour tester les algorithmes RL et trouver une stratégie répétitive pour transférer des connaissances du modèle supervisé.

Nous avons constaté que l’utilisation d’un algorithme Actor-Critic surpassait REINFORCE dans ces environnements. En termes de transfert de connaissances au modèle Actor-Critic, nous avons constaté que l’initialisation des poids de l’acteur avec le modèle supervisé formé et la préformation du critique ont atteint les meilleures performances. Nous avons trouvé qu’il était difficile de généraliser des approches sophistiquées de distillation de politiques à de nouveaux environnements, car elles introduisent de nombreux nouveaux hyperparamètres qui nécessitent un ajustement pour fonctionner.

Étayés par ces connaissances, nous nous tournons ensuite vers le développement d’une approche pour la tâche de génération de paraphrases. Nous devons d’abord créer un environnement.

L’environnement nous permet de tester facilement l’impact de l’utilisation de différentes métriques d’évaluation en tant que fonctions de récompense.

Nous définissons ensuite l’agent, étant donné ses nombreux avantages, nous utilisons une architecture Actor-Critic. L’acteur est utilisé pour sélectionner le mot suivant dans la séquence et ses poids sont initialisés à l’aide du modèle supervisé. Le critique fournit une estimation de la récompense attendue que l’état est susceptible de recevoir pour aider l’acteur à apprendre.

Conception de la bonne fonction de récompense

La composante la plus importante de la conception d’un système RL est la fonction de récompense, car c’est ce que l’agent RL tente d’optimiser. Si la fonction de récompense est incorrecte, les résultats souffriront, même si toutes les autres parties du système fonctionnent !

Un exemple classique de ceci est CoastRunners, où les chercheurs d’OpenAI ont défini la fonction de récompense comme la maximisation du score total plutôt que la victoire dans la course. Le résultat de ceci est que l’agent a découvert une boucle où il pouvait obtenir le score le plus élevé en frappant des turbos sans jamais terminer la course.

https://www.youtube.com/watch?time_continue=2&v=tlOIHko8ySg&feature=emb_title

Étant donné que l’évaluation de la qualité des paraphrases est elle-même un problème non résolu, concevoir une fonction de récompense qui capture automatiquement cet objectif est encore plus difficile. La plupart des aspects du langage ne se décomposent pas bien en métriques linéaires et sont dépendants de la tâche (Novikova et al., 2017).

L’agent RL découvre souvent une stratégie intéressante pour maximiser les récompenses qui exploite les faiblesses de la métrique d’évaluation plutôt que de générer du texte de haute qualité. Cela tend à entraîner de mauvaises performances sur les métriques que l’agent n’optimise pas directement.

Nous considérons trois approches principales :

1. Métriques de chevauchement de mots

Les métriques d’évaluation NLP courantes considèrent la proportion de chevauchement de mots entre la paraphrase générée et la phrase d’évaluation. Plus le chevauchement est important, plus la récompense est grande. Le défi des approches au niveau des mots est que l’agent inclut trop de mots de connexion tels que « un est sur de » et il n’y a pas de mesure de fluidité. Cela entraîne des paraphrases de très mauvaise qualité.

2. Métriques de similarité et de fluidité au niveau de la phrase

Les propriétés principales d’une paraphrase générée sont qu’elle doit être fluide et sémantiquement similaire à la phrase d’entrée. Par conséquent, nous essayons d’évaluer explicitement ces deux aspects, puis de combiner les métriques. Pour la similarité sémantique, nous utilisons la similarité cosinus entre les embeddings de phrases de modèles préformés, notamment BERT. Pour la fluidité, nous utilisons un score basé sur la perplexité d’une phrase à partir de GPT-2. Plus les scores de similarité cosinus et de fluidité sont élevés, plus la récompense est grande.

Nous avons essayé de nombreuses combinaisons différentes de modèles d’intégration de phrases et de modèles de fluidité, et bien que les performances soient raisonnables, le principal problème que l’agent a rencontré est de ne pas équilibrer suffisamment la similarité sémantique avec la fluidité. Pour la plupart des configurations, l’agent a donné la priorité à la fluidité, ce qui a entraîné la suppression de détails et la plupart des entités ont été placées « au milieu » de quelque chose ou ont été déplacées « sur une table » ou « sur le côté de la route ».

L’apprentissage par renforcement multi-objectif est une question de recherche ouverte et est très difficile dans ce cas.

3. Utilisation d’un modèle antagoniste comme fonction de récompense

Étant donné que les humains sont considérés comme la norme de référence pour l’évaluation, nous formons un modèle distinct appelé discriminateur pour prédire si deux phrases sont des paraphrases l’une de l’autre (de la même manière qu’un humain évaluerait). L’objectif du modèle RL est alors de convaincre ce modèle que la phrase générée est une paraphrase de la phrase d’entrée. Le discriminateur génère un score de la probabilité que les deux phrases soient des paraphrases l’une de l’autre, qui est utilisé comme récompense pour former l’agent.

Toutes les 5 000 hypothèses, le discriminateur est informé de laquelle des paraphrases provenait de l’ensemble de données et de laquelle a été générée afin qu’il puisse améliorer ses hypothèses futures. Le processus se poursuit pendant plusieurs cycles, l’agent essayant de tromper le discriminateur et le discriminateur essayant de différencier les paraphrases générées des paraphrases d’évaluation de l’ensemble de données.

Après plusieurs cycles de formation, l’agent génère des paraphrases qui surpassent les modèles supervisés et les autres fonctions de récompense.

Conclusion et limites

Les approches antagonistes (y compris l’auto-jeu pour les jeux) offrent une approche très prometteuse pour former des algorithmes RL pour dépasser les performances humaines sur certaines tâches sans définir une fonction de récompense explicite.

Bien que le RL ait pu surpasser l’apprentissage supervisé dans ce cas, le surcroît de complexité, de code, de calcul et de complexité n’en vaut pas la peine pour la plupart des applications. Le RL est mieux laissé à des situations où l’apprentissage supervisé ne peut pas être facilement appliqué et où une fonction de récompense est facile à définir (comme les jeux Atari). Les approches et les algorithmes sont beaucoup plus matures dans l’apprentissage supervisé et le signal d’erreur est beaucoup plus fort, ce qui entraîne une formation plus rapide et plus stable.

Une autre considération est que, comme pour les autres approches neuronales, l’agent peut échouer de manière dramatique dans les cas où l’entrée est différente des entrées qu’il a précédemment vues, nécessitant une couche supplémentaire de vérifications de sanity pour les applications de production.

L’explosion d’intérêt pour les approches RL et les progrès de l’infrastructure computationnelle au cours des dernières années ouvriront d’énormes opportunités pour appliquer le RL dans l’industrie, en particulier dans le domaine du NLP.