Generazione di parafrasi utilizzando l’apprendimento per rinforzo profondo – Leader di pensiero

Quando scriviamo o parliamo, ci siamo tutti chiesti se ci sia un modo migliore per comunicare un’idea agli altri. Quali parole dovrei usare? Come dovrei strutturare il pensiero? Come potrebbero rispondere? In Phrasee, passiamo molto tempo a pensare al linguaggio – cosa funziona e cosa no.

Immagina di scrivere la riga dell’oggetto per una campagna di posta elettronica che verrà inviata a 10 milioni di persone nella tua lista per promuovere uno sconto del 20% su un nuovo laptop di lusso.

Quale linea sceglieresti:

• Ora puoi avere uno sconto aggiuntivo del 20% sul tuo prossimo ordine
• Preparati – uno sconto aggiuntivo del 20%

Mentre trasmettono la stessa informazione, una ha ottenuto un tasso di apertura quasi del 15% superiore all’altra (e scommetto che non puoi battere il nostro modello nella previsione di quale sia quella giusta ?). Mentre il linguaggio può spesso essere testato attraverso A/B testing o multi-armed bandits, generare automaticamente parafrasi rimane un problema di ricerca molto impegnativo.

Due frasi sono considerate parafrasi l’una dell’altra se condividono lo stesso significato e possono essere utilizzate in modo intercambiabile. Un’altra cosa importante che viene spesso data per scontata è se una frase generata da una macchina sia fluente.

A differenza dell’apprendimento supervisionato, gli agenti di apprendimento per rinforzo (RL) imparano interagendo con il loro ambiente e osservando le ricompense che ricevono in conseguenza. Questa differenza un po’ sottile ha implicazioni massive per il modo in cui funzionano gli algoritmi e come vengono addestrati i modelli. L’apprendimento per rinforzo profondo utilizza reti neurali come approssimatore di funzioni per consentire all’agente di imparare a superare gli esseri umani in ambienti complessi come Go, Atari e StarCraft II.

Nonostante questo successo, l’apprendimento per rinforzo non è stato ampiamente applicato a problemi del mondo reale, compresa l’elaborazione del linguaggio naturale (NLP).

Come parte della mia tesi di laurea in Data Science, dimostriamo come il deep RL possa essere utilizzato per superare i metodi di apprendimento supervisionato nella generazione automatica di parafrasi di testo di input. Il problema della generazione della migliore parafrasi può essere visto come trovare la serie di parole che massimizza la somiglianza semantica tra le frasi mentre mantiene la fluidità nella produzione. Gli agenti RL sono ben adatti a trovare il miglior set di azioni per ottenere la massima ricompensa attesa in ambienti di controllo.

In contrasto con la maggior parte dei problemi di apprendimento automatico, il problema più grande nella maggior parte delle applicazioni di generazione del linguaggio naturale (NLG) non risiede nel modello, ma piuttosto nella valutazione. Mentre la valutazione umana è attualmente considerata lo standard oro nella valutazione NLG, soffre di svantaggi significativi, tra cui essere costosa, lunga, difficile da regolare e mancare di riproducibilità tra esperimenti e set di dati (Han, 2016). Di conseguenza, i ricercatori hanno a lungo cercato metriche automatiche che siano semplici, generalizzabili e che riflettano il giudizio umano (Papineni et al., 2002).

I metodi di valutazione automatica più comuni per la valutazione delle didascalie delle immagini generate da macchine sono riassunti di seguito con i loro pro e contro:

Generazione di parafrasi utilizzando la pipeline di apprendimento per rinforzo

Abbiamo sviluppato un sistema chiamato ParaPhrasee che genera parafrasi di alta qualità. Il sistema consiste in più passaggi per applicare l’apprendimento per rinforzo in modo computazionalmente efficiente. Un breve riassunto della pipeline di alto livello è mostrato di seguito con più dettagli contenuti nella tesi.

Dataset

Esistono diversi set di dati di parafrasi disponibili che vengono utilizzati nella ricerca, tra cui: il corpus di parafrasi di Microsoft (MSFT ), la competizione di somiglianza semantica del testo ACL, Quora Duplicate Questions e Twitter Shared Links. Abbiamo selezionato MS-COCO data la sua dimensione, pulizia e utilizzo come benchmark per due notevoli articoli di generazione di parafrasi. MS-COCO contiene 120k immagini di scene comuni con 5 didascalie per immagine fornite da 5 diversi annotatori umani.

Sebbene sia stato progettato principalmente per la ricerca di visione artificiale, le didascalie tendono ad avere una somiglianza semantica elevata e sono parafrasi interessanti. Poiché le didascalie sono fornite da persone diverse, tendono ad avere variazioni leggere nei dettagli forniti nella scena, quindi le frasi generate tendono a hallucinare dettagli.

Modello supervisionato

Sebbene l’apprendimento per rinforzo sia migliorato notevolmente in termini di efficienza dei campioni, tempi di addestramento e migliori pratiche, addestrare modelli RL da zero è ancora relativamente lento e instabile (Arulkumaran et al., 2017). Pertanto, invece di addestrare da zero, addestriamo prima un modello supervisionato e poi lo adattiamo utilizzando RL.

Utilizziamo un framework di modello Encoder-Decoder e valutiamo le prestazioni di diversi modelli supervisionati di base. Quando adattiamo il modello utilizzando RL, adattiamo solo la rete decoder e trattiamo la rete encoder come statica. Pertanto, consideriamo due principali framework:

• Addestramento del modello supervisionato da zero utilizzando un encoder-decoder standard/vanilla con GRUs
• Utilizzo di modelli di incapsulamento di frase pre-addestrati per l’encoder, tra cui: incapsulamento di parole in piscina (GloVe), InferSent e BERT

I modelli supervisionati tendono a eseguire in modo ragionevole, con BERT e l’encoder-decoder vanilla che raggiungono le migliori prestazioni.

Sebbene le prestazioni tendano a essere ragionevoli, ci sono tre fonti comuni di errore: balbettio, generazione di frammenti di frase e allucinazioni. Questi sono i principali problemi che l’utilizzo di RL mira a risolvere.

Modello di apprendimento per rinforzo

Implementare algoritmi RL è molto impegnativo, soprattutto quando non si sa se il problema possa essere risolto. Ci possono essere problemi nell’implementazione dell’ambiente, degli agenti, degli iperparametri, della funzione di ricompensa o una combinazione di tutti questi! Questi problemi sono esacerbati quando si esegue il deep RL, poiché si aggiunge la complessità di debuggere le reti neurali.

Come per ogni debug, è cruciale iniziare con semplicità. Abbiamo implementato variazioni di due ambienti di RL ben compresi (CartPole e FrozenLake) per testare gli algoritmi RL e trovare una strategia ripetibile per trasferire conoscenze dal modello supervisionato.

Abbiamo scoperto che utilizzare un algoritmo Actor-Critic ha superato REINFORCE in questi ambienti. In termini di trasferimento di conoscenze al modello Actor-Critic, abbiamo scoperto che l’inizializzazione dei pesi dell’attore con il modello supervisionato addestrato e l’addestramento del critico ha ottenuto le migliori prestazioni. Abbiamo trovato difficile generalizzare approcci di distillazione di politica sofisticati a nuovi ambienti, poiché introducono molti nuovi iperparametri che richiedono regolazione per funzionare.

Sostenuti da queste intuizioni, ci siamo poi rivolti a sviluppare un approccio per il compito di generazione di parafrasi. Abbiamo prima bisogno di creare un ambiente.

L’ambiente ci consente di testare facilmente l’impatto dell’utilizzo di diverse metriche di valutazione come funzioni di ricompensa.

Definiamo quindi l’agente, dato i suoi molti vantaggi, utilizziamo un’architettura Actor-Critic. L’attore viene utilizzato per selezionare la prossima parola nella sequenza e ha i suoi pesi inizializzati utilizzando il modello supervisionato. Il critico fornisce una stima della ricompensa attesa che uno stato è probabile ricevere per aiutare l’attore a imparare.

Progettazione della funzione di ricompensa corretta

Il componente più importante della progettazione di un sistema RL è la funzione di ricompensa, poiché è ciò che l’agente RL sta cercando di ottimizzare. Se la funzione di ricompensa è errata, allora i risultati soffriranno, anche se ogni altra parte del sistema funziona!

Un esempio classico di ciò è CoastRunners, dove i ricercatori di OpenAI hanno impostato la funzione di ricompensa come massimizzazione del punteggio totale anziché vincere la gara. Il risultato di ciò è che l’agente ha scoperto un ciclo in cui poteva ottenere il punteggio più alto colpendo i turbos senza mai completare la gara.

https://www.youtube.com/watch?time_continue=2&v=tlOIHko8ySg&feature=emb_title

Considerata la valutazione della qualità delle parafrasi è un problema irrisolto, progettare una funzione di ricompensa che catturi automaticamente questo obiettivo è ancora più difficile. La maggior parte degli aspetti del linguaggio non si decompongono bene in metriche lineari e sono dipendenti dal compito (Novikova et al., 2017).

L’agente RL spesso scopre una strategia interessante per massimizzare le ricompense che sfrutta le debolezze nella metrica di valutazione anziché generare testo di alta qualità.

Consideriamo tre principali approcci:

1. Metriche di sovrapposizione di parole

Le metriche di valutazione NLP più comuni considerano la proporzione di sovrapposizione di parole tra la parafrasi generata e la frase di valutazione. Maggiore è la sovrapposizione, maggiore è la ricompensa. La sfida con gli approcci a livello di parole è che l’agente include troppe parole di collegamento come “a è su di” e non c’è misura di fluidità. Ciò risulta in parafrasi di qualità molto bassa.

2. Metriche di somiglianza e fluidità a livello di frase

Le principali proprietà di una parafrasi generata sono che deve essere fluida e semanticamente simile alla frase di input. Pertanto, cerchiamo di valutare esplicitamente questi aspetti individualmente e poi combinare le metriche. Per la somiglianza semantica, utilizziamo la somiglianza coseno tra le incapsulazioni di frase di modelli pre-addestrati, tra cui BERT. Per la fluidità, utilizziamo un punteggio basato sulla perplessità di una frase da GPT-2. Maggiore è la somiglianza coseno e maggiore è il punteggio di fluidità, maggiore è la ricompensa.

Abbiamo provato molte combinazioni diverse di modelli di incapsulamento di frase e modelli di fluidità e sebbene le prestazioni fossero ragionevoli, il principale problema che l’agente ha affrontato è stato quello di non bilanciare sufficientemente la somiglianza semantica con la fluidità. Per la maggior parte delle configurazioni, l’agente ha dato priorità alla fluidità, risultando nella rimozione dei dettagli e nella maggior parte degli elementi che sono stati posizionati “nel mezzo” di qualcosa o sono stati spostati “su un tavolo” o “lato della strada”.

L’apprendimento per rinforzo multi-obiettivo è una questione di ricerca aperta e molto impegnativa in questo caso.

3. Utilizzo di un modello avversario come funzione di ricompensa

Considerato che gli esseri umani sono considerati lo standard oro nella valutazione, addestriamo un modello separato chiamato discriminatore per prevedere se due frasi siano parafrasi l’una dell’altra (in modo simile a come un essere umano valuterebbe). L’obiettivo del modello RL è quindi convincere questo modello che la frase generata è una parafrasi della frase di input. Il discriminatore genera un punteggio di quanto probabile sia che le due frasi siano parafrasi l’una dell’altra, che viene utilizzato come ricompensa per addestrare l’agente.

Ogni 5.000 ipotesi, il discriminatore viene informato di quale parafrasi proveniva dal set di dati e quale era stata generata in modo che possa migliorare le sue ipotesi future. Il processo continua per diversi round con l’agente che tenta di ingannare il discriminatore e il discriminatore che tenta di differenziare le parafrasi generate dalle parafrasi di valutazione del set di dati.

Dopo diversi round di addestramento, l’agente genera parafrasi che superano i modelli supervisionati e le altre funzioni di ricompensa.

Conclusione e limitazioni

Gli approcci avversari (incluso l’autogioco per i giochi) offrono un approccio estremamente promettente per l’addestramento di algoritmi RL per superare le prestazioni umane in determinati compiti senza definire una funzione di ricompensa esplicita.

Sebbene il RL sia stato in grado di superare l’apprendimento supervisionato in questo caso, la quantità di sovraccarico aggiuntivo in termini di codice, calcolo e complessità non vale la pena del guadagno di prestazioni per la maggior parte delle applicazioni. Il RL è meglio lasciato a situazioni in cui l’apprendimento supervisionato non può essere applicato facilmente e una funzione di ricompensa è facile da definire (come i giochi Atari). Gli approcci e gli algoritmi sono molto più maturi nell’apprendimento supervisionato e il segnale di errore è molto più forte, il che si traduce in un addestramento più veloce e stabile.

Un’altra considerazione è che, come per gli altri approcci neurali, l’agente può fallire in modo molto drammatico nei casi in cui l’input è diverso da quelli che ha visto in precedenza, richiedendo un ulteriore livello di controlli di sanità per le applicazioni di produzione.

L’esplosione di interesse per gli approcci RL e i progressi nell’infrastruttura computazionale negli ultimi anni sbloccheranno enormi opportunità per l’applicazione del RL nell’industria, soprattutto all’interno del NLP.