Pembangkitan Parfrase Menggunakan Pembelajaran Penguatan Dalam – Pemimpin Pikiran

Ketika menulis atau berbicara, kita semua pernah bertanya-tanya apakah ada cara yang lebih baik untuk mengkomunikasikan ide kepada orang lain. Kata apa yang harus saya gunakan? Bagaimana saya harus membangun pikiran? Bagaimana mereka akan merespons? Di Phrasee, kami menghabiskan banyak waktu untuk memikirkan bahasa – apa yang berhasil dan apa yang tidak.

Bayangkan Anda menulis subjek email untuk kampanye yang akan dikirim ke 10 juta orang dalam daftar Anda untuk mempromosikan laptop baru dengan diskon 20%.

Mana yang akan Anda pilih:

• Anda sekarang dapat mendapatkan diskon tambahan 20% untuk pesanan berikutnya
• Siap-siap – diskon tambahan 20%

Meskipun mereka menyampaikan informasi yang sama, salah satu dari mereka mencapai tingkat pembukaan yang hampir 15% lebih tinggi daripada yang lain (dan saya bertaruh Anda tidak bisa mengalahkan model kami dalam memprediksi mana yang satu). Meskipun bahasa sering dapat diuji melalui A/B testing atau multi-armed bandits, menghasilkan parfrase secara otomatis masih merupakan masalah penelitian yang sangat menantang.

Dua kalimat dianggap sebagai parfrase satu sama lain jika mereka berbagi makna yang sama dan dapat digunakan secara bergantian. Hal lain yang sering dianggap remeh adalah apakah kalimat yang dihasilkan mesin itu fasih.

Tidak seperti pembelajaran berawasan, agen Pembelajaran Penguatan (RL) belajar melalui interaksi dengan lingkungan mereka dan mengamati imbalan yang mereka terima sebagai hasilnya. Perbedaan ini sedikit banyak memiliki implikasi besar untuk cara algoritma bekerja dan bagaimana model dilatih. Pembelajaran Penguatan Dalam menggunakan jaringan saraf sebagai approximator fungsi untuk memungkinkan agen belajar bagaimana mengalahkan manusia dalam lingkungan yang kompleks seperti Go, Atari, dan StarCraft II.

Meskipun kesuksesan ini, pembelajaran penguatan belum banyak diterapkan pada masalah dunia nyata termasuk Pemrosesan Bahasa Alami (NLP).

Sebagai bagian dari tesis MSc saya di Data Science, kami menunjukkan bagaimana Pembelajaran Penguatan Dalam dapat digunakan untuk mengungguli metode pembelajaran berawasan dalam menghasilkan parfrase otomatis dari teks input. Masalah menghasilkan parfrase terbaik dapat dilihat sebagai menemukan serangkaian kata yang memaksimalkan kesamaan semantik antara kalimat sambil mempertahankan kelancaran dalam output. Agen RL sangat cocok untuk menemukan set aksi terbaik untuk mencapai imbalan yang diharapkan maksimum dalam lingkungan kontrol.

Berbeda dengan sebagian besar masalah dalam pembelajaran mesin, masalah terbesar dalam sebagian besar aplikasi Pembangkitan Bahasa Alami (NLG) tidak terletak pada pemodelan tetapi pada evaluasi. Sementara evaluasi manusia saat ini dianggap sebagai standar emas dalam evaluasi NLG, itu memiliki kelemahan signifikan termasuk biaya tinggi, memakan waktu, sulit disetel, dan kekurangan reproduktifitas di seluruh eksperimen dan dataset (Han, 2016). Sebagai hasilnya, peneliti telah lama mencari metrik otomatis yang sederhana, umum, dan mencerminkan penilaian manusia (Papineni et al., 2002).

Metode evaluasi otomatis paling umum dalam mengevaluasi keterangan gambar yang dihasilkan mesin dirangkum di bawah ini dengan kelebihan dan kekurangannya:

Pembangkitan Parfrase Menggunakan Pembelajaran Penguatan Pipa

Kami mengembangkan sistem yang disebut ParaPhrasee yang menghasilkan parfrase berkualitas tinggi. Sistem ini terdiri dari beberapa langkah untuk menerapkan pembelajaran penguatan dengan cara yang komputasi efisien. Ringkasan singkat dari pipa tingkat tinggi ditunjukkan di bawah dengan detail lebih lanjut yang terkandung dalam tesis.

Dataset

Ada beberapa dataset parfrase yang tersedia yang digunakan dalam penelitian termasuk: korpus parfrase Microsoft (MSFT ), kompetisi kesamaan teks semantik ACL, Quora Pertanyaan Ganda, dan Tautan Bersama Twitter. Kami telah memilih MS-COCO karena ukurannya, kebersihannya, dan penggunaannya sebagai benchmark untuk dua makalah pembangkitan parfrase yang terkenal. MS-COCO berisi 120k gambar adegan umum dengan 5 keterangan gambar per gambar yang disediakan oleh 5 annotator manusia yang berbeda.

Meskipun sebagian besar dirancang untuk penelitian penglihatan komputer, keterangan gambar cenderung memiliki kesamaan semantik yang tinggi dan merupakan parfrase yang menarik. Karena keterangan gambar disediakan oleh orang yang berbeda, mereka cenderung memiliki variasi detail yang sedikit dalam adegan yang diberikan sehingga kalimat yang dihasilkan cenderung menghaluskan detail.

Model Berawasan

Meskipun pembelajaran penguatan telah meningkat secara signifikan dalam hal efisiensi sampel, waktu pelatihan, dan praktik terbaik secara keseluruhan, melatih model RL dari awal masih relatif sangat lambat dan tidak stabil (Arulkumaran et al., 2017). Oleh karena itu, alih-alih melatih dari awal, kami pertama-tama melatih model berawasan dan kemudian memperbarui dengan RL.

Kami menggunakan kerangka kerja Encoder-Decoder dan mengevaluasi kinerja beberapa model berawasan dasar. Ketika memperbarui model menggunakan RL, kami hanya memperbarui jaringan decoder dan menganggap jaringan encoder sebagai statis. Dengan demikian, kami mempertimbangkan dua kerangka kerja utama:

• Melatih model berawasan dari awal menggunakan encoder-decoder standar/vanila dengan GRUs
• Menggunakan model embedding kalimat pra-dilatih untuk encoder termasuk: embedding kata yang dipooling (GloVe), InferSent, dan BERT

Model berawasan cenderung memiliki kinerja yang cukup mirip di seluruh model dengan BERT dan encoder-decoder vanila yang mencapai kinerja terbaik.

Meskipun kinerjanya cenderung masuk akal, ada tiga sumber kesalahan umum: stuttering, menghasilkan fragmen kalimat, dan halusinasi. Ini adalah masalah utama yang menggunakan RL bertujuan untuk memecahkan.

Model Pembelajaran Penguatan

Mengimplementasikan algoritma RL sangat menantang terutama ketika Anda tidak tahu apakah masalah dapat diselesaikan. Ada masalah dalam implementasi lingkungan Anda, agen Anda, hiperparameter Anda, fungsi imbalan Anda, atau kombinasi dari semua di atas! Masalah ini diperburuk ketika melakukan pembelajaran penguatan dalam karena Anda mendapatkan kesenangan kompleksitas tambahan dari debugging jaringan saraf.

Sebagaimana dengan semua debugging, itu sangat penting untuk memulai dengan sederhana. Kami mengimplementasikan variasi dari dua lingkungan RL mainan yang dipahami (CartPole dan FrozenLake) untuk menguji algoritma RL dan menemukan strategi yang dapat diulangi untuk mentransfer pengetahuan dari model berawasan.

Kami menemukan bahwa menggunakan algoritma Actor-Critic mengungguli REINFORCE dalam lingkungan ini. Dalam hal mentransfer pengetahuan ke model actor-critic, kami menemukan bahwa menginisialisasi bobot aktor dengan model berawasan yang dilatih dan memperbarui kritikus mencapai kinerja terbaik. Kami menemukan bahwa sulit untuk menggeneralisasi pendekatan distilasi kebijakan yang canggih ke lingkungan baru karena mereka memperkenalkan banyak hiperparameter baru yang memerlukan penyetelan untuk bekerja.

Didukung oleh wawasan ini, kami kemudian beralih ke mengembangkan pendekatan untuk tugas pembangkitan parfrase. Kami pertama-tama perlu membuat lingkungan.

Lingkungan memungkinkan kami untuk dengan mudah menguji dampak dari menggunakan metrik evaluasi yang berbeda sebagai fungsi imbalan.

Kami kemudian mendefinisikan agen, diberi banyak kelebihannya, kami menggunakan arsitektur actor-critic. Aktor digunakan untuk memilih kata berikutnya dalam urutan dan memiliki bobot yang diinisialisasi menggunakan model berawasan. Kritikus memberikan perkiraan imbalan yang diharapkan yang mungkin diterima negara untuk membantu aktor belajar.

Mendesain Fungsi Imbalan yang Tepat

Komponen paling penting dalam merancang sistem RL adalah fungsi imbalan karena itulah yang agen RL coba untuk mengoptimalkan. Jika fungsi imbalan salah, maka hasilnya akan menderita bahkan jika setiap bagian lain dari sistem bekerja!

Contoh klasik dari ini adalah CoastRunners di mana peneliti OpenAI menetapkan fungsi imbalan sebagai memaksimalkan skor total alih-alih memenangkan perlombaan. Hasil dari ini adalah agen menemukan loop di mana mereka bisa mendapatkan skor tertinggi dengan memukul turbos tanpa pernah menyelesaikan perlombaan.

https://www.youtube.com/watch?time_continue=2&v=tlOIHko8ySg&feature=emb_title

Mengingat mengevaluasi kualitas parfrase itu sendiri merupakan masalah yang belum terpecahkan, merancang fungsi imbalan yang secara otomatis menangkap tujuan ini bahkan lebih sulit. Sebagian besar aspek bahasa tidak terurai dengan baik menjadi metrik linier dan bergantung pada tugas (Novikova et al., 2017).

Agen RL sering menemukan strategi menarik untuk memaksimalkan imbalan yang memanfaatkan kelemahan dalam metrik evaluasi alih-alih menghasilkan teks berkualitas tinggi. Ini cenderung menghasilkan kinerja yang buruk pada metrik yang agen tidak dioptimalkan secara langsung.

Kami mempertimbangkan tiga pendekatan utama:

1. Metrik Tumpang Tindih Kata

Metrik evaluasi NLP yang umum mempertimbangkan proporsi tumpang tindih kata antara parfrase yang dihasilkan dan kalimat evaluasi. Semakin besar tumpang tindih, semakin besar imbalan. Tantangan dengan pendekatan tingkat kata adalah agen memasukkan terlalu banyak kata penghubung seperti “a is on of” dan tidak ada ukuran kelancaran. Ini menghasilkan parfrase berkualitas sangat rendah.

2. Metrik Kesamaan dan Kelancaran Kalimat

Properti utama dari parfrase yang dihasilkan adalah bahwa itu harus fasih dan semantically mirip dengan kalimat input. Oleh karena itu, kami mencoba untuk secara eksplisit menilai keduanya secara terpisah kemudian menggabungkan metrik. Untuk kesamaan semantik, kami menggunakan kesamaan kosinus antara embedding kalimat dari model pra-dilatih. Untuk kelancaran, kami menggunakan skor berdasarkan perplexity kalimat dari GPT-2. Semakin besar kesamaan kosinus dan skor kelancaran, semakin besar imbalan.

Kami mencoba banyak kombinasi berbeda dari model embedding kalimat dan model kelancaran dan meskipun kinerjanya masuk akal, masalah utama yang dihadapi agen adalah tidak cukup seimbang antara kesamaan semantik dan kelancaran. Untuk sebagian besar konfigurasi, agen memprioritaskan kelancaran yang menghasilkan penghapusan detail dan sebagian besar entitas ditempatkan “di tengah” sesuatu atau dipindahkan “di atas meja” atau “di samping jalan”.

Pembelajaran penguatan multi-objek adalah pertanyaan penelitian terbuka dan sangat menantang dalam kasus ini.

3. Menggunakan Model Adversarial sebagai Fungsi Imbalan

Mengingat manusia dianggap sebagai standar emas dalam evaluasi, kami melatih model terpisah yang disebut diskriminator untuk memprediksi apakah dua kalimat adalah parfrase satu sama lain (mirip dengan cara manusia mengevaluasi). Tujuan dari model RL kemudian adalah untuk meyakinkan model ini bahwa kalimat yang dihasilkan adalah parfrase dari input. Diskriminator menghasilkan skor seberapa mungkin dua kalimat adalah parfrase satu sama lain yang digunakan sebagai imbalan untuk melatih agen.

Setiap 5.000 tebakan, diskriminator diberitahu parfrase mana yang berasal dari dataset dan mana yang dihasilkan sehingga dapat meningkatkan tebakan masa depan. Proses ini berlanjut selama beberapa putaran dengan agen mencoba menipu diskriminator dan diskriminator mencoba membedakan antara parfrase yang dihasilkan dan parfrase evaluasi dari dataset.

Setelah beberapa putaran pelatihan, agen menghasilkan parfrase yang mengungguli model berawasan dan fungsi imbalan lainnya.

Kesimpulan dan Keterbatasan

Pendekatan adversarial (termasuk self-play untuk permainan) menawarkan pendekatan yang sangat menjanjikan untuk melatih algoritma RL untuk melebihi kinerja manusia pada tugas tertentu tanpa mendefinisikan fungsi imbalan eksplisit.

Meskipun RL dapat mengungguli pembelajaran berawasan dalam kasus ini, jumlah overhead tambahan dalam hal kode, komputasi, dan kompleksitas tidak sebanding dengan keuntungan kinerja untuk sebagian besar aplikasi. RL paling baik ditinggalkan untuk situasi di mana pembelajaran berawasan tidak dapat dengan mudah diterapkan, dan fungsi imbalan mudah didefinisikan (seperti permainan Atari). Pendekatan dan algoritma jauh lebih matang dalam pembelajaran berawasan dan sinyal kesalahan jauh lebih kuat yang menghasilkan pelatihan yang jauh lebih cepat dan stabil.

Pertimbangan lain adalah, seperti dengan pendekatan saraf lainnya, bahwa agen dapat gagal sangat dramatis dalam kasus di mana input berbeda dari input yang sebelumnya dilihat, memerlukan lapisan tambahan pemeriksaan kewarasan untuk aplikasi produksi.

Lonjakan minat dalam pendekatan RL dan kemajuan infrastruktur komputasi dalam beberapa tahun terakhir akan membuka peluang besar untuk menerapkan RL di industri, terutama dalam NLP.