Parafraze-generatie met behulp van diepe versterking van leerprocessen – Thought Leaders

Wanneer we schrijven of praten, hebben we allemaal wel eens nagedacht over of er een betere manier is om een idee over te brengen op anderen. Welke woorden zou ik moeten gebruiken? Hoe zou ik de gedachte moeten structureren? Hoe zullen ze waarschijnlijk reageren? Bij Phrasee besteden we veel tijd aan het nadenken over taal – wat werkt en wat niet.

Stel je voor dat je de onderwerpregel voor een e-mailcampagne schrijft die naar 10 miljoen mensen in je lijst wordt gestuurd en 20% korting op een nieuwe laptop aanbiedt.

Welke regel zou je kiezen:

• Je kunt nu 20% extra korting krijgen op je volgende bestelling
• Wees klaar – 20% extra korting

Hoewel ze dezelfde informatie overbrengen, behaalde een van de regels een openratio die bijna 15% hoger was dan de andere (en ik durf te wedden dat je onze model niet kunt verslaan bij het voorspellen van welke regel het was). Hoewel taal vaak getest kan worden met A/B-testing of multi-armed bandits, blijft het automatisch genereren van parafrazes een zeer moeilijk onderzoeksprobleem.

Twee zinnen worden beschouwd als parafrazes van elkaar als ze dezelfde betekenis hebben en onderling uitwisselbaar zijn. Een andere belangrijke zaak die vaak voor vanzelfsprekend wordt gehouden, is of een door een machine gegenereerde zin vloeiend is.

In tegenstelling tot supervised learning, leren Reinforcement Learning (RL)-agenten door interactie met hun omgeving en observeren van de beloningen die ze daarbij ontvangen. Dit subtiele verschil heeft enorme gevolgen voor de manier waarop de algoritmen werken en de modellen getraind worden. Diepe versterking van leerprocessen gebruikt neurale netwerken als een benaderingsfunctie om de agent in staat te stellen te leren hoe hij mensen kan overtreffen in complexe omgevingen zoals Go, Atari en StarCraft II.

Ondanks dit succes is versterking van leerprocessen nog niet breed toegepast op echte problemen, waaronder Natural Language Processing (NLP).

Als onderdeel van mijn MSc-scriptie in Data Science, laten we zien hoe diepe RL gebruikt kan worden om supervised learning-methoden te overtreffen bij het automatisch genereren van parafrazes van invoertekst. Het probleem van het genereren van de beste parafraze kan worden gezien als het vinden van de reeks woorden die de semantische gelijkenis tussen zinnen maximaliseert, terwijl de vloeiendheid van de uitvoer behouden blijft. RL-agenten zijn goed geschikt om de beste set acties te vinden om de maximale verwachte beloning te behalen in controleomgevingen.

In tegenstelling tot de meeste problemen in machine learning, ligt het grootste probleem in de meeste Natural Language Generation (NLG)-toepassingen niet in de modellering, maar eerder in de evaluatie. Terwijl humanevaluatie momenteel wordt beschouwd als de gouden standaard in NLG-evaluatie, heeft het significante nadelen, waaronder het feit dat het duur, tijdrovend, moeilijk te tunen en ontbreekt aan reproductiebaarheid over experimenten en datasets (Han, 2016). Als gevolg daarvan zoeken onderzoekers al lang naar automatische metrieken die eenvoudig, generaliseerbaar en reflecteren van humanevaluatie (Papineni et al., 2002).

De meest voorkomende automatische evaluatiemethoden voor het evalueren van door machines gegenereerde beeldonderschriften worden hieronder samengevat met hun voor- en nadelen:

Parafraze-generatie met behulp van versterking van leerprocessen Pipeline

We hebben een systeem ontwikkeld genaamd ParaPhrasee dat hoge kwaliteit parafrazes genereert. Het systeem bestaat uit meerdere stappen om versterking van leerprocessen op een computationeel efficiënte manier toe te passen. Een korte samenvatting van de high-level pipeline wordt hieronder weergegeven met meer details in de scriptie.

Dataset

Er zijn verschillende parafrazedatasets beschikbaar die in onderzoek worden gebruikt, waaronder: de Microsoft Paraphrase corpus (MSFT ), ACL’s Semantic Text Similarity-competitie, Quora Duplicate Questions en Twitter Shared Links. We hebben MS-COCO geselecteerd vanwege de grootte, netheid en het gebruik als benchmark voor twee opvallende parafrazegeneratiepapers. MS-COCO bevat 120k afbeeldingen van gewone scènes met 5 afbeeldingsonderschriften per afbeelding, verstrekt door 5 verschillende menselijke annotators.

Hoewel het primair is ontworpen voor computer vision-onderzoek, hebben de onderschriften de neiging om een hoge semantische gelijkenis te hebben en zijn ze interessante parafrazes. Aangezien de onderschriften zijn verstrekt door verschillende mensen, hebben ze de neiging om kleine variaties in detail te hebben, waardoor de gegenereerde zinnen de neiging hebben om details te hallucineren.

Begeleid model

Hoewel versterking van leerprocessen aanzienlijk is verbeterd in termen van steekproefefficiëntie, trainings­tijd en over­ige beste praktijken, is het trainen van RL-modellen van scratch nog steeds relatief langzaam en onstabiel (Arulkumaran et al., 2017). Daarom trainen we eerst een begeleid model en fine-tunen we het vervolgens met RL.

We gebruiken een Encoder-Decoder-modelkader en evalueren de prestaties van verschillende baseline-begeleide modellen. Wanneer we het model fine-tunen met RL, fine-tunen we alleen het decoder-netwerk en behandelen we het encoder-netwerk als statisch. We overwegen twee hoofdkaders:

• Trainen van het begeleide model van scratch met een standaard/vanilla encoder-decoder met GRU’s
• Gebruiken van vooraf getrainde zin-embeddingsmodellen voor de encoder, waaronder: pooled woord-embeddings (GloVe), InferSent en BERT

De begeleide modellen tendeerden naar redelijke prestaties over modellen, met BERT en de vanilla encoder-decoder die de beste prestaties behaalden.

Hoewel de prestaties redelijk waren, waren er drie veelvoorkomende bronnen van fouten: stuttering, genereren van zinsfragmenten en hallucinaties. Dit zijn de belangrijkste problemen die het gebruik van RL probeert op te lossen.

Versterking van leerprocessen-model

Het implementeren van RL-algoritmen is zeer moeilijk, vooral wanneer je niet weet of het probleem kan worden opgelost. Er kunnen problemen zijn in de implementatie van je omgeving, je agenten, je hyperparameters, je beloningsfunctie of een combinatie van al het bovenstaande! Deze problemen worden verergerd wanneer je diepe RL doet, omdat je dan de extra complexiteit van het debuggen van neurale netwerken krijgt.

Net als bij alle debugging, is het cruciaal om simpel te beginnen. We hebben variaties van twee goed begrepen speelgoed-RL-omgevingen (CartPole en FrozenLake) geïmplementeerd om RL-algoritmen te testen en een herhaalbare strategie te vinden voor het overdragen van kennis van het begeleide model.

We vonden dat het gebruik van een Actor-Critic-algoritme beter presteerde dan REINFORCE in deze omgevingen. Wat betreft het overdragen van kennis naar het actor-critic-model, vonden we dat het initialiseren van de actor-gewichten met het getrainde begeleide model en het pretrainen van de critic de beste prestaties opleverden. We vonden het moeilijk om geavanceerde beleidsdistillatiebenaderingen te generaliseren naar nieuwe omgevingen, omdat ze veel nieuwe hyperparameters introduceren die moeten worden afgestemd om te werken.

Met steun van deze inzichten, gaan we vervolgens over tot het ontwikkelen van een benadering voor de parafrazegeneratie-taak. We moeten eerst een omgeving creëren.

De omgeving stelt ons in staat om gemakkelijk het effect van het gebruik van verschillende evaluatiemetrics als beloningsfuncties te testen.

We definiëren vervolgens de agent, gegeven zijn vele voordelen, gebruiken we een actor-critic-architectuur. De actor wordt gebruikt om het volgende woord in de sequentie te selecteren en heeft zijn gewichten geïnitialiseerd met het begeleide model. De critic biedt een schatting van de verwachte beloning die een staat waarschijnlijk zal ontvangen om de actor te helpen leren.

Het ontwerpen van de juiste beloningsfunctie

Het belangrijkste onderdeel van het ontwerpen van een RL-systeem is de beloningsfunctie, omdat dit is wat de RL-agent probeert te optimaliseren. Als de beloningsfunctie onjuist is, zullen de resultaten lijden, zelfs als elk ander deel van het systeem werkt!

Een klassiek voorbeeld hiervan is CoastRunners, waarin de onderzoekers van OpenAI de beloningsfunctie instelden als het maximaliseren van de totale score in plaats van het winnen van de race. Het resultaat hiervan was dat de agent een lus ontdekte waarin hij de hoogste score kon krijgen door turbos te raken zonder ooit de race te voltooien.

https://www.youtube.com/watch?time_continue=2&v=tlOIHko8ySg&feature=emb_title

Gezien het evalueren van de kwaliteit van parafrazes zelf een onopgelost probleem is, is het ontwerpen van een beloningsfunctie die deze doelstelling automatisch vastlegt, nog moeilijker. De meeste aspecten van taal decomponeren niet mooi in lineaire metrics en zijn taakafhankelijk (Novikova et al., 2017).

De RL-agent ontdekt vaak een interessante strategie om beloningen te maximaliseren die de zwakheden in de evaluatiemetric exploiteert in plaats van hoge kwaliteit tekst te genereren. Dit resulteert in slechte prestaties op metrics waarop de agent niet direct optimaliseert.

We overwegen drie hoofdbenaderingen:

1. Woord-overlapparameters

Gemeenschappelijke NLP-evaluatiemetrics overwegen het percentage woordoverlapping tussen de gegenereerde parafraze en de evaluatiesin. Hoe groter de overlapping, hoe groter de beloning. De uitdaging met woordniveau-benaderingen is dat de agent te veel verbindingswoorden zoals “a is on of” bevat en er geen maatstaf is voor vloeiendheid. Dit resulteert in zeer lage kwaliteit parafrazes.

2. Zin-niveau gelijkenis en vloeiendheidsparameters

De belangrijkste eigenschappen van een gegenereerde parafraze zijn dat deze vloeiend moet zijn en semantisch gelijkwaardig aan de invoersin. We proberen deze individueel te scoren en combineren de metrics. Voor semantische gelijkenis gebruiken we de cosinusgelijkenis tussen zin-embeddings van vooraf getrainde modellen, waaronder BERT. Voor vloeiendheid gebruiken we een score op basis van de perplexiteit van een zin van GPT-2. Hoe groter de cosinusgelijkenis en vloeiendheidsscores, hoe groter de beloning.

We hebben veel verschillende combinaties van zin-embeddingsmodellen en vloeiendheidsmodellen geprobeerd en hoewel de prestaties redelijk waren, had de agent voornamelijk te maken met het niet voldoende in balans brengen van semantische gelijkenis met vloeiendheid. Voor de meeste configuraties gaf de agent prioriteit aan vloeiendheid, waardoor details werden verwijderd en de meeste entiteiten “in het midden” van iets of “op een tafel” of “aan de kant van de weg” werden geplaatst.

Multi-objective versterking van leerprocessen is een open onderzoeksprobleem en is zeer moeilijk in dit geval.

3. Gebruiken van een tegenwerkend model als beloningsfunctie

Gezien mensen worden beschouwd als de gouden standaard in evaluatie, trainen we een apart model genaamd de discriminator om te voorspellen of twee zinnen al dan niet parafrazes van elkaar zijn (soortgelijk aan de manier waarop een mens zou evalueren). Het doel van het RL-model is vervolgens om deze discriminator te overtuigen dat de gegenereerde zin een parafraze is van de invoer. De discriminator genereert een score van hoe waarschijnlijk het is dat de twee zinnen parafrazes van elkaar zijn, die wordt gebruikt als beloning om de agent te trainen.

Elke 5.000 keer wordt de discriminator verteld welke parafraze uit het dataset kwam en welke werd gegenereerd, zodat deze zijn toekomstige voorspellingen kan verbeteren. Het proces gaat door voor verschillende ronden, waarbij de agent probeert de discriminator te misleiden en de discriminator probeert de gegenereerde parafrazes te onderscheiden van de evaluatieparafrazes uit het dataset.

Na verschillende ronden van training, genereert de agent parafrazes die de begeleide modellen en andere beloningsfuncties overtreffen.

Conclusie en beperkingen

Teegenwerkende benaderingen (inclusief zelfspel voor games) bieden een zeer veelbelovende benadering voor het trainen van RL-algoritmen om menselijke prestaties te overtreffen op bepaalde taken zonder een expliciete beloningsfunctie te definiëren.

Hoewel RL in staat was om supervised learning te overtreffen in dit geval, is de extra overhead in termen van code, berekening en complexiteit niet waard voor de prestatieverbetering voor de meeste toepassingen. RL is het beste achtergelaten voor situaties waarin supervised learning niet gemakkelijk kan worden toegepast en een beloningsfunctie gemakkelijk kan worden gedefinieerd (zoals Atari-spellen). De benaderingen en algoritmen zijn veel verder ontwikkeld in supervised learning en het foutsignaal is veel sterker, wat resulteert in snellere en stabielere training.

Een andere overweging is dat, net als bij andere neurale benaderingen, de agent dramatisch kan falen in gevallen waarin de invoer anders is dan de invoer die hij eerder heeft gezien, waardoor een extra laag van sanity checks nodig is voor productie-toepassingen.

De explosie van interesse in RL-benaderingen en de vooruitgang in computationele infrastructuur in de afgelopen jaren zal enorme kansen bieden voor het toepassen van RL in de industrie, vooral binnen NLP.