Paraphrasgenerering med hjälp av djup förstärkt inlärning – Tankeledare

När vi skriver eller talar har vi alla undrat om det finns ett bättre sätt att kommunicera en idé till andra. Vilka ord ska jag använda? Hur ska jag strukturera tanken? Hur kommer de att svara? På Phrasee tillbringar vi mycket tid med att tänka på språk – vad som fungerar och vad som inte fungerar.

Föreställ dig att du skriver ämnesraden för en e-postkampanj som ska skickas till 10 miljoner personer i din lista och som främjar 20 % rabatt på en ny laptop.

Vilken rad skulle du välja:

• Du kan nu få 20 % rabatt på din nästa beställning
• Vänta – 20 % rabatt

Medan de förmedlar samma information, uppnådde en av dem en öppningsfrekvens som var nästan 15 % högre än den andra (och jag tror att du inte kan slå vår modell på att förutsäga vilken som är den bästa ?). Medan språk ofta kan testas genom A/B-testning eller multi-armed bandits, kvarstår automatisk generering av parafraser som ett mycket svårt forskningsproblem.

Två meningar anses vara parafraser av varandra om de har samma betydelse och kan användas utbytbart. En annan viktig sak som ofta tas för givet är om en maskingenererad mening är flytande.

Till skillnad från övervakad inlärning lär sig förstärkt inlärning (RL) genom att interagera med sin miljö och observera de belöningar de får som ett resultat. Denna något nyanserade skillnad har enorma implikationer för hur algoritmerna fungerar och hur modellerna tränas. Djup förstärkt inlärning använder neurala nätverk som en approximator för att låta agenten lära sig att överträffa människor i komplexa miljöer som Go, Atari och StarCraft II.

Trots denna framgång har förstärkt inlärning inte tillämpats på riktiga problem, inklusive naturligt språkbehandling (NLP).

Som en del av min masteruppsats i datavetenskap visar vi hur djup RL kan användas för att överträffa övervakad inlärning vid automatisk generering av parafraser av indata. Problemet med att generera den bästa parafrasen kan ses som att hitta den serie av ord som maximalt ökar den semantiska likheten mellan meningar samtidigt som den upprätthåller flytande utdata. RL-agenter är väl lämpade för att hitta den bästa uppsättningen åtgärder för att uppnå den maximala förväntade belöningen i kontrollmiljöer.

Till skillnad från de flesta problemen i maskinlärning ligger det största problemet i de flesta naturliga språkgenereringsapplikationer (NLG) inte i modelleringen utan snarare i utvärderingen. Medan mänsklig utvärdering för närvarande anses vara den gyllene standarden i NLG-utvärdering, lider den av betydande nackdelar, inklusive att den är dyr, tidskrävande, svår att justera och saknar reproducerbarhet över experiment och datamängder (Han, 2016). Som ett resultat har forskare länge sökt efter automatiska mått som är enkla, allmängiltiga och som återspeglar mänskliga bedömningar (Papineni et al., 2002).

De vanligaste automatiska utvärderingsmetoderna för att utvärdera maskingenererade bildtexter sammanfattas nedan med deras för- och nackdelar:

Paraphrasgenerering med förstärkt inlärning – pipeline

Vi utvecklade ett system som heter ParaPhrasee som genererar högkvalitativa parafraser. Systemet består av flera steg för att tillämpa förstärkt inlärning på ett beräkningsmässigt effektivt sätt. En kort sammanfattning av den högnivåpipeline som visas nedan med mer information som finns i uppsatsen.

Dataset

Det finns flera parafrasdatauppsättningar tillgängliga som används i forskning, inklusive Microsoft Paraphrase-korpus (MSFT ), ACL:s semantiska textlikhetstävling, Quora Duplicate Questions och Twitter Shared Links. Vi har valt MS-COCO med tanke på dess storlek, renhet och användning som en benchmark för två noterbara parafrasgenereringsartiklar. MS-COCO innehåller 120 000 bilder av vanliga scener med 5 bildtexter per bild som tillhandahålls av 5 olika mänskliga annotatorer.

Medan det främst är utformat för datorseende-forskning tenderar bildtexterna att ha hög semantisk likhet och är intressanta parafraser. Eftersom bildtexterna tillhandahålls av olika personer tenderar de att ha små variationer i detaljer som tillhandahålls i scenen, varför de genererade meningarna tenderar att hallucinera detaljer.

Övervakad modell

Medan förstärkt inlärning har förbättrats avsevärt i termer av exempelverksamhet, träningsgånger och allmänna bästa metoder, är utbildning av RL-modeller från scratch fortfarande relativt långsam och instabil (Arulkumaran et al., 2017). Därför, istället för att utbilda från scratch, utbildar vi först en övervakad modell och finjusterar sedan den med RL.

Vi använder en Encoder-Decoder-modellram och utvärderar prestandan för flera baslinje-övervakade modeller. När vi finjusterar modellen med RL finjusterar vi endast decoder-nätverket och behandlar encoder-nätverket som statiskt. Som sådan överväger vi två huvudsakliga ramverk:

• Utbildning av den övervakade modellen från scratch med en standard/vanlig encoder-decoder med GRU:er
• Användning av förutbildade meningsinbäddningsmodeller för encoder, inklusive: poolade ordinbäddningar (GloVe), InferSent och BERT

De övervakade modellerna tenderar att prestera ganska lika över modeller, med BERT och den vanliga encoder-decoder som uppnår den bästa prestandan.

Medan prestandan tenderar att vara rimlig, finns det tre vanliga källor till fel: stuttering, generering av meningsfragment och hallucinationer. Dessa är de primära problemen som användning av RL syftar till att lösa.

Förstärkt inlärningsmodell

Att implementera RL-algoritmer är mycket utmanande, särskilt när du inte vet om problemet kan lösas. Det kan finnas problem i implementeringen av din miljö, dina agenter, dina hyperparametrar, din belöningsfunktion eller en kombination av alla ovanstående! Dessa problem förvärras när du gör djup RL, eftersom du får den extra komplexiteten att felsöka neurala nätverk.

Som med all felsökning är det avgörande att börja enkelt. Vi implementerade variationer av två väl förstådda leksaks-RL-miljöer (CartPole och FrozenLake) för att testa RL-algoritmer och hitta en upprepad strategi för att överföra kunskap från den övervakade modellen.

Vi fann att användning av en Actor-Critic-algoritm presterade bättre än REINFORCE i dessa miljöer. När det gäller att överföra kunskap till Actor-Critic-modellen fann vi att initiering av aktörens vikter med den tränade övervakade modellen och förträning av kritikern uppnådde den bästa prestandan. Vi fann det svårt att generalisera sofistikerad policydestilleringstillämpningar till nya miljöer, eftersom de introducerar många nya hyperparametrar som kräver justering för att fungera.

Med stöd av dessa insikter vände vi oss sedan till att utveckla en strategi för parafrasgenerering. Vi behövde först skapa en miljö.

Miljön gör det möjligt för oss att enkelt testa effekten av att använda olika utvärderingsmått som belöningsfunktioner.

Sedan definierar vi agenten, med tanke på dess många fördelar, använder vi en Actor-Critic-arkitektur. Aktören används för att välja nästa ord i sekvensen och har sina vikter initierade med den övervakade modellen. Kritikern tillhandahåller en uppskattning av den förväntade belöningen som en tillstånd troligen kommer att ta emot för att hjälpa aktören att lära sig.

Designa rätt belöningsfunktion

Den viktigaste komponenten i designen av ett RL-system är belöningsfunktionen, eftersom detta är vad RL-agenten försöker optimera. Om belöningsfunktionen är felaktig, kommer resultaten att lida, även om alla andra delar av systemet fungerar!

Ett klassiskt exempel på detta är CoastRunners, där OpenAI-forskarna satte belöningsfunktionen till att maximera den totala poängen snarare än att vinna loppet. Resultatet av detta var att agenten upptäckte en loop där den kunde få den högsta poängen genom att träffa turbos utan att någonsin slutföra loppet.

https://www.youtube.com/watch?time_continue=2&v=tlOIHko8ySg&feature=emb_title

Med tanke på att utvärdering av parafrasers kvalitet i sig är ett olöst problem, är det ännu svårare att designa en belöningsfunktion som automatiskt fångar detta mål. De flesta aspekter av språk kan inte brytas ned i linjära mått och är beroende av uppgiften (Novikova et al., 2017).

RL-agenten upptäcker ofta en intressant strategi för att maximera belöningar som utnyttjar svagheterna i utvärderingsmåttet snarare än att generera högkvalitativ text. Detta tenderar att resultera i dålig prestanda på mått som agenten inte direkt optimerar.

Vi överväger tre huvudsakliga tillvägagångssätt:

1. Ord-överlappningsmått

Vanliga NLP-utvärderingsmått överväger andelen ordöverlappning mellan den genererade parafrasen och utvärderingsmeningen. Ju större överlapp, desto större belöning. Utmaningen med ordnivåtillvägagångssätt är att agenten inkluderar för många kopplingsord som “en är på av” och det finns inget mått på flytande. Detta resulterar i mycket lågkvalitativa parafraser.

2. Meningsnivålikhet och flytande mått

De viktigaste egenskaperna hos en genererad parafras är att den måste vara flytande och semantiskt lik den ingående meningen. Därför försöker vi explicit poängsätta dessa individuellt och kombinera måtten. För semantisk likhet använder vi kosinuslikheten mellan meningsinbäddningar från förutbildade modeller, inklusive BERT. För flytande använder vi en poäng baserad på meningsperplexitet från GPT-2. Ju större kosinuslikhet och flytande poäng, desto större belöning.

Vi försökte många olika kombinationer av meningsinbäddningsmodeller och flytandemodeller, och medan prestandan var rimlig, var det primära problemet som agenten stod inför att den inte tillräckligt balanserade semantisk likhet med flytande. För de flesta konfigurationer prioriterade agenten flytande, vilket resulterade i att detaljer togs bort och de flesta entiteter placerades “i mitten” av något eller flyttades “på ett bord” eller “vid sidan av vägen”.

Multiobjektsförstärkt inlärning är en öppen forskningsfråga och är mycket utmanande i detta fall.

3. Användning av en antagonistisk modell som belöningsfunktion

Med tanke på att människor anses vara den gyllene standarden i utvärdering, tränar vi en separat modell som kallas diskriminanten för att förutsäga om två meningar är parafraser av varandra (på samma sätt som en människa skulle utvärdera). Målet för RL-modellen är sedan att övertyga denna modell om att den genererade meningen är en parafras av ingångsmeningen. Diskriminanten genererar en poäng för hur sannolikt det är att de två meningarna är parafraser av varandra, som används som belöning för att träna agenten.

Vart och ett av 5 000 gissningar berättar diskriminanten vilken parafras som kom från datauppsättningen och vilken som genererades, så att den kan förbättra sina framtida gissningar. Processen fortsätter under flera omgångar, med agenten som försöker lura diskriminanten och diskriminanten som försöker differentiera mellan de genererade parafraserna och utvärderingsparafraserna från datauppsättningen.

Efter flera omgångar av träning genererar agenten parafraser som överträffar de övervakade modellerna och andra belöningsfunktioner.

Slutsats och begränsningar

Antagonistiska tillvägagångssätt (inklusive självspel för spel) erbjuder ett extremt lovande tillvägagångssätt för att träna RL-algoritmer för att överträffa mänsklig nivå på vissa uppgifter utan att definiera en explicit belöningsfunktion.

Medan RL kunde överträffa övervakad inlärning i detta fall, är den extra överhuvudtagandet i termer av kod, beräkning och komplexitet inte värt prestandavinster för de flesta tillämpningar. RL är bäst lämpat för situationer där övervakad inlärning inte kan tillämpas lätt och en belöningsfunktion är lätt att definiera (såsom Atari-spel). Tillvägagångssätten och algoritmerna är långt mer mogna i övervakad inlärning och fel signalen är mycket starkare, vilket resulterar i mycket snabbare och stabilare träning.

En annan övervägning är, som med andra neurala tillvägagångssätt, att agenten kan misslyckas mycket dramatiskt i fall där indata är annorlunda än de indata den tidigare har sett, vilket kräver ett extra lager av sanity checks för produktionsapplikationer.

Explosionen av intresse för RL-tillvägagångssätt och framsteg inom beräkningsinfrastruktur under de senaste åren kommer att låsa upp enorma möjligheter för att tillämpa RL inom industrin, särskilt inom NLP.