โมเดลและแพลตฟอร์ม AI
การสร้างพาราฟเรซโดยใช้การเรียนรู้แบบเสริมกำลังลึก – Thought Leaders
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
เมื่อเขียนหรือพูด เราทุกคนเคยสงสัยว่ามีวิธีที่ดีกว่าในการสื่อสารความคิดให้กับผู้อื่นหรือไม่ คำว่าอะไรที่ควรใช้ กวรจะจัดโครงสร้างความคิดอย่างไร และผู้อื่นจะตอบสนองอย่างไร ที่ Phrasee เราใช้เวลานานในการคิดเกี่ยวกับภาษา – สิ่งที่ได้ผลและสิ่งที่ไม่ได้ผล
ลองนึกภาพว่าคุณกำลังเขียนหัวข้ออีเมลแคมเปญที่จะส่งไปยังผู้คน 10 ล้านคนในรายชื่อของคุณ โดยส่งเสริมส่วนลด 20% สำหรับแล็ปท็อปใหม่หรูหรา
คุณจะเลือกบรรทัดไหน:
- คุณสามารถรับส่วนลดเพิ่มเติม 20% สำหรับการสั่งซื้อครั้งถัดไป
- เตรียมตัว – ส่วนลดเพิ่มเติม 20%
แม้ว่าพวกเขาจะสื่อสารข้อมูลเดียวกัน แต่บรรทัดหนึ่งจะได้รับอัตราการเปิดที่สูงกว่าอีกบรรทัดหนึ่งเกือบ 15% (และฉันเดาว่าคุณไม่สามารถเอาชนะโมเดลของเราในการทำนายว่าบรรทัดไหน) ในขณะที่ภาษาสามารถทดสอบได้โดยใช้ การทดสอบ A/B หรือ การโจมตีหลายมือ การสร้างพาราฟเรซโดยอัตโนมัติยังคงเป็นปัญหาการวิจัยที่ท้าทาย
สองประโยคถือเป็นพาราฟเรซของกันและกันหากพวกมันแบ่งปันความหมายเดียวกันและสามารถใช้แทนกันได้ สิ่งสำคัญอีกอย่างที่มักถือว่าได้รับเป็นของขวัญคือว่าประโยคที่สร้างโดยเครื่องจักรมีความสม่ำเสมอหรือไม่
ไม่เหมือนกับการเรียนรู้แบบมีคำสอน ตัวแทนการเรียนรู้แบบเสริมกำลัง (RL) เรียนรู้ผ่านการโต้ตอบกับสภาพแวดล้อมและการสังเกตผลตอบแทนจากการกระทำนั้น ผลต่างที่ซับซ้อนเล็กน้อยนี้มีผลกระทบอย่างมากต่อวิธีการทำงานของอัลกอริทึมและวิธีการฝึกโมเดล การเรียนรู้แบบเสริมกำลังลึก ใช้เครือข่ายประสาทเทียมเป็นตัวประมาณค่าฟังก์ชันเพื่อให้ตัวแทนสามารถเรียนรู้วิธีการเอาชนะมนุษย์ในสภาพแวดล้อมที่ซับซ้อน เช่น โก , แอ็ทาริ และ สตาร์คราฟต์ II
尽管มีความสำเร็จนี้ การเรียนรู้แบบเสริมกำลังยังไม่ได้ถูกนำไปใช้กับปัญหาในโลกแห่งความเป็นจริง รวมถึงการประมวลผลภาษาธรรมชาติ (NLP)
เป็นส่วนหนึ่งของ วิทยานิพนธ์ปริญญาโทด้านวิทยาศาสตร์ข้อมูล ของเรา เราแสดงให้เห็นว่าการเรียนรู้แบบเสริมกำลังลึกสามารถใช้เพื่อเอาชนะวิธีการเรียนรู้แบบมีคำสอนในการสร้างพาราฟเรซของข้อความอินพุตโดยอัตโนมัติ ปัญหาการสร้างพาราฟเรซที่ดีที่สุดสามารถมองได้ว่าเป็นการค้นหาชุดของคำที่เพิ่มความคล้ายคลึงทางความหมายระหว่างประโยคให้สูงสุด ในขณะเดียวกันก็รักษาความสม่ำเสมอของเอาท์พุตให้ได้ ตัวแทน RL มีความเหมาะสมในการค้นหาชุดของการกระทำที่ดีที่สุดเพื่อให้ได้รับผลตอบแทนที่คาดหวังสูงสุดในสภาพแวดล้อมที่ควบคุมได้
ในทางตรงกันข้ามกับปัญหาส่วนใหญ่ใน मशีนเลิร์นนิง ปัญหาใหญ่ที่สุดในแอปพลิเคชันการสร้างภาษาธรรมชาติ (NLG) ส่วนใหญ่ไม่ได้อยู่ที่การสร้างแบบจำลอง แต่อยู่ที่การประเมินผล ในขณะที่การประเมินของมนุษย์ถือเป็นมาตรฐานทองคำในการประเมิน NLG แต่ก็มีข้อเสียเปรียบอย่างมาก รวมถึงการมีค่าใช้จ่ายสูง ใช้เวลานาน และยากต่อการปรับแต่ง และขาดความสามารถในการทำซ้ำผลลัพธ์ระหว่างการทดลองและชุดข้อมูล (Han, 2016) ดังนั้น นักวิจัยจึงพยายามค้นหามาตรการอัตโนมัติที่ง่ายๆ ทั่วไป และสะท้อนถึงการตัดสินของมนุษย์ (Papineni et al., 2002)
วิธีการประเมินอัตโนมัติที่พบบ่อยที่สุดในการประเมินคำบรรยายภาพที่สร้างโดยเครื่องจักรสรุปไว้ด้านล่างพร้อมข้อดีและข้อเสีย:
การสร้างพาราฟเรซโดยใช้การเรียนรู้แบบเสริมกำลัง Pipeline
เราพัฒนาระบบที่เรียกว่า ParaPhrasee ซึ่งสร้างพาราฟเรซคุณภาพสูง ระบบประกอบด้วยขั้นตอนหลายขั้นตอนเพื่อใช้การเรียนรู้แบบเสริมกำลังในลักษณะที่มีประสิทธิภาพในการคำนวณ สรุปภาพรวมของไพพลายนที่ระดับสูงแสดงไว้ด้านล่าง โดยมีรายละเอียดเพิ่มเติมใน วิทยานิพนธ์
ชุดข้อมูล
มีชุดข้อมูลพาราฟเรซหลายชุดพร้อมใช้งานที่ใช้ในการวิจัย รวมถึง Microsoft Paraphrase corpus (MSFT ) , การแข่งขันความคล้ายคลึงทางความหมายของ ACL , Quora Duplicate Questions และ Twitter Shared Links เราได้เลือก MS-COCO เนื่องจากขนาด ความสะอาด และการใช้เป็นมาตรฐานสำหรับเอกสารพาราฟเรซสองฉบับ MS-COCO มีภาพ 120,000 ภาพของฉากทั่วไปพร้อมคำบรรยายภาพ 5 ภาพต่อภาพที่ให้มาโดยผู้บันทึก 5 คน
แม้ว่าจะได้รับการออกแบบหลักสำหรับการวิจัยด้านการมองเห็น แต่คำบรรยายภาพมักจะมีความคล้ายคลึงทางความหมายสูงและเป็นพาราฟเรซที่น่าสนใจ เนื่องจากคำบรรยายภาพให้มาโดยคนต่างๆ จึงมีความแตกต่างกันเล็กน้อยในรายละเอียดที่ให้ไว้ในฉาก ดังนั้น ประโยคที่สร้างจึงมักจะคิดค้นรายละเอียด
แบบจำลองแบบมีคำสอน
แม้ว่าการเรียนรู้แบบเสริมกำลังจะดีขึ้นอย่างมากในแง่ของประสิทธิภาพตัวอย่าง เวลาในการฝึก และแนวทางปฏิบัติที่ดีที่สุด แต่การฝึกโมเดล RL จากต้นน้ำยังคงช้าและไม่มั่นคง (Arulkumaran et al., 2017) ดังนั้น แทนที่จะฝึกจากต้นน้ำ เราจะฝึกแบบจำลองแบบมีคำสอนก่อน แล้วปรับให้เหมาะสมโดยใช้ RL
เรใช้แบบจำลอง Encoder-Decoder และประเมินประสิทธิภาพของแบบจำลองแบบมีคำสอนหลายแบบ เมื่อปรับให้เหมาะสมโดยใช้ RL เราปรับให้เหมาะสมเฉพาะเครือข่ายตัวถอดเท่านั้น และถือเครือข่ายตัวเข้ารหัสเป็นแบบคงที่ ดังนั้นเราจึงพิจารณาโครงสร้างหลักสองแบบ:
- การฝึกแบบจำลองแบบมีคำสอนจากต้นน้ำโดยใช้แบบจำลอง Encoder-Decoder มาตรฐาน/วานิลลาโดยใช้ GRUs
- การใช้แบบจำลองการฝังตัวประโยคที่ฝึกไว้ล่วงหน้าสำหรับตัวเข้ารหัส รวมถึง: การฝังตัวคำที่รวมกัน (GloVe), InferSent และ BERT
แบบจำลองแบบมีคำสอนมักจะทำงานได้ดีในระดับเดียวกัน โดยที่ BERT และแบบจำลอง Encoder-Decoder มาตรฐานได้รับผลการทำงานที่ดีที่สุด
แม้ว่าผลการทำงานจะดี แต่ก็มีแหล่งที่มาของข้อผิดพลาดสามประการ: การซ้ำกัน การสร้างประโยคที่ไม่สมบูรณ์ และการคิดค้นเรื่องราว
แบบจำลองการเรียนรู้แบบเสริมกำลัง
การนำอัลกอริทึม RL ไปใช้นั้นเป็นเรื่องที่ท้าทายอย่างมาก โดยเฉพาะอย่างยิ่งเมื่อคุณไม่แน่ใจว่าปัญหานั้นสามารถแก้ไขได้หรือไม่ มีปัญหาในการนำไปใช้กับสภาพแวดล้อม ตัวแทน อะไหล่ และฟังก์ชันผลตอบแทน หรือการผสมผสานระหว่างทั้งหมดนี้ ปัญหาเหล่านี้ยิ่งรุนแรงขึ้นเมื่อทำการเรียนรู้แบบเสริมกำลังลึกเนื่องจากคุณได้รับความร่วมสนุกในการแก้ปัญหาเครือข่ายประสาทเทียม
เช่นเดียวกับการแก้ปัญหา อันดับแรกคือ เริ่มต้นด้วยสิ่งที่ง่าย เราได้ใช้การเปลี่ยนแปลงของสภาพแวดล้อม RL ที่เข้าใจง่ายสองแบบ (CartPole และ FrozenLake) เพื่อทดสอบอัลกอริทึม RL และหาวิธีการที่สามารถทำซ้ำได้ในการถ่ายโอนความรู้จากแบบจำลองแบบมีคำสอน
เราพบว่าการใช้อัลกอริทึม Actor-Critic มีประสิทธิภาพมากกว่า REINFORCE ในสภาพแวดล้อมเหล่านี้ ในแง่ของการถ่ายโอนความรู้ไปยังแบบจำลอง Actor-Critic เราพบว่าการเริ่มต้นน้ำหนักของตัวแสดงด้วยแบบจำลองแบบมีคำสอนที่ฝึกไว้แล้วและการฝึกตัววิจารณ์ให้ได้ผลการทำงานที่ดีที่สุด เราพบว่ามันยากที่จะทำให้การกลั่นกรองนโยบายที่ซับซ้อนสามารถใช้ได้กับสภาพแวดล้อมใหม่ๆ เนื่องจากพวกมันแนะนำไฮเปอร์พารามิเตอร์ใหม่ๆ ที่ต้องการการปรับให้เหมาะสมเพื่อให้ทำงานได้
โดยการสนับสนุนจากข้อค้นพบเหล่านี้ เราได้พัฒนาแนวทางในการสร้างพาราฟเรซ
สภาพแวดล้อมช่วยให้เราทดสอบผลกระทบของการใช้มาตรการประเมินต่างๆ เป็นฟังก์ชันผลตอบแทนได้อย่างง่ายดาย
เรากำหนดตัวแทน โดยที่มีข้อดีหลายประการ เราใช้สถาปัตยกรรม Actor-Critic ตัวแสดงถูกใช้ในการเลือกคำถัดไปในลำดับและถูกเริ่มต้นด้วยน้ำหนักโดยใช้แบบจำลองแบบมีคำสอน ตัววิจารณ์ให้การประมาณการของผลตอบแทนที่คาดหวังที่รัฐมีแนวโน้มที่จะได้รับเพื่อช่วยให้ตัวแสดงเรียนรู้
การออกแบบฟังก์ชันผลตอบแทนที่ถูกต้อง
ส่วนประกอบที่สำคัญที่สุดของการออกแบบระบบ RL คือฟังก์ชันผลตอบแทน เนื่องจากนี่คือสิ่งที่ตัวแทน RL พยายามที่จะเพิ่มประสิทธิภาพให้สูงสุด หากฟังก์ชันผลตอบแทนไม่ถูกต้อง ผลลัพธ์จะทุกข์ทรมานแม้ว่าส่วนอื่นๆ ของระบบจะทำงานได้ดี
ตัวอย่างคลาสสิกของสิ่งนี้คือ CoastRunners โดยที่นักวิจัยของ OpenAI ตั้งค่าฟังก์ชันผลตอบแทนให้เพิ่มคะแนนรวมให้สูงสุด แทนที่จะชนะการแข่งขัน ผลลัพธ์ของสิ่งนี้คือตัวแทนค้นพบวิธีการที่จะได้รับคะแนนสูงสุดโดยการโจมตีโดยไม่ต้องจบการแข่งขัน
https://www.youtube.com/watch?time_continue=2&v=tlOIHko8ySg&feature=emb_title
เนื่องจากการประเมินคุณภาพของพาราฟเรซยังคงเป็นปัญหาที่ยังไม่ได้รับการแก้ไข การออกแบบฟังก์ชันผลตอบแทนที่จับวัตถุประสงค์นี้โดยอัตโนมัตินั้นยิ่งยากขึ้น
ตัวแทน RL มักจะค้นพบกลยุทธ์ที่น่าสนใจในการเพิ่มผลตอบแทนซึ่งใช้ประโยชน์จากจุดอ่อนของมาตรการประเมินแทนการสร้างข้อความที่มีคุณภาพสูง
เราพิจารณาแนวทางหลักสามประการ:
- มาตรการ Word-overlap
มาตรการประเมิน NLP ทั่วไปพิจารณาอัตราส่วนของคำที่ทับซ้อนกันระหว่างพาราฟเรซที่สร้างและประโยคที่ใช้ในการประเมิน คำที่มีการทับซ้อนกันมากขึ้นจะให้ผลตอบแทนที่มากขึ้น ปัญหากับวิธีการระดับคำคือตัวแทนรวมคำเชื่อมต่อ เช่น “a is on of” และไม่มีการวัดความสม่ำเสมอของประโยค สิ่งนี้ส่งผลให้ได้พาราฟเรซที่มีคุณภาพต่ำ
- มาตรการความคล้ายคลึงและความสม่ำเสมอระดับประโยค
คุณสมบัติหลักของพาราฟเรซที่สร้างคือต้องมีความสม่ำเสมอและคล้ายคลึงกับประโยคอินพุตทางความหมาย ดังนั้นเราจึงพยายามให้คะแนนสิ่งเหล่านี้แยกกันแล้วรวมมาตรการเหล่านั้น สำหรับความคล้ายคลึงทางความหมาย เราใช้ความคล้ายคลึงโคไซน์ระหว่างการฝังตัวประโยคจากแบบจำลองที่ฝึกไว้ล่วงหน้า สำหรับความสม่ำเสมอ เราใช้คะแนนตามความสับสนของประโยคจาก GPT-2 ความคล้ายคลึงและคะแนนความสม่ำเสมอที่มากขึ้นจะให้ผลตอบแทนที่มากขึ้น
เราลองใช้การผสมผสานแบบจำลองการฝังตัวประโยคและแบบจำลองความสม่ำเสมอต่างๆ และแม้ว่าผลการทำงานจะดี แต่ปัญหาหลักที่ตัวแทนเผชิญคือไม่สามารถสร้างสมดุลระหว่างความคล้ายคลึงทางความหมายและความสม่ำเสมอได้ สำหรับการกำหนดค่าส่วนใหญ่ ตัวแทนให้ความสำคัญกับความสม่ำเสมอมากกว่า ซึ่งส่งผลให้ลบรายละเอียดและทำให้สิ่งของส่วนใหญ่อยู่ “ตรงกลาง” ของบางสิ่งหรือย้ายไป “บนโต๊ะ” หรือ “ด้านข้างถนน”
การเรียนรู้แบบเสริมกำลังหลายวัตถุเป็นคำถามการวิจัยที่เปิดกว้างและท้าทายมากในกรณีนี้
- การใช้แบบจำลองที่เป็นปฏิปักษ์เป็นฟังก์ชันผลตอบแทน
เนื่องจากมนุษย์ถือเป็นมาตรฐานทองคำในการประเมิน เราได้ฝึกแบบจำลองที่แยกออกมาเรียกว่าแบบจำลองที่เป็นปฏิปักษ์ เพื่อทำนายว่าประโยคสองประโยคเป็นพาราฟเรซของกันและกันหรือไม่ (ในลักษณะเดียวกับที่มนุษย์จะประเมิน) วัตถุประสงค์ของแบบจำลอง RL คือการทำให้แบบจำลองนี้เชื่อว่าประโยคที่สร้างเป็นพาราฟเรซของประโยคอินพุต แบบจำลองที่เป็นปฏิปักษ์สร้างคะแนนของความน่าจะเป็นที่สองประโยคจะเป็นพาราฟเรซของกันและกัน ซึ่งใช้เป็นผลตอบแทนในการฝึกตัวแทน
ทุกๆ 5,000 ครั้ง แบบจำลองที่เป็นปฏิปักษ์จะถูกบอกว่าพาราฟเรซใดมาจากชุดข้อมูลและพาราฟเรซใดถูกสร้างขึ้น เพื่อที่จะปรับปรุงการคาดเดาในอนาคต
หลังจากหลายรอบของการฝึก ตัวแทนสร้างพาราฟเรซที่เอาชนะแบบจำลองแบบมีคำสอนและฟังก์ชันผลตอบแทนอื่นๆ
สรุปและข้อจำกัด
แนวทางแบบที่เป็นปฏิปักษ์ (รวมถึงการเล่นแบบ self-play สำหรับเกม) เป็นวิธีที่มีแนวโน้มมากในการฝึกอัลกอริทึม RL เพื่อเอาชนะการทำงานระดับมนุษย์โดยไม่ต้องกำหนดฟังก์ชันผลตอบแทนอย่างชัดเจน
แม้ว่าการเรียนรู้แบบเสริมกำลังจะเอาชนะการเรียนรู้แบบมีคำสอนในกรณีนี้ แต่การเพิ่มภาระการทำงานที่เพิ่มขึ้นในแง่ของโค้ด การคำนวณ และความซับซ้อนไม่คุ้มค่ากับการเพิ่มประสิทธิภาพสำหรับหลายๆ การใช้งาน การเรียนรู้แบบเสริมกำลังควรใช้เฉพาะในสถานการณ์ที่การเรียนรู้แบบมีคำสอนไม่สามารถใช้ได้ง่าย และฟังก์ชันผลตอบแทนสามารถกำหนดได้ง่าย (เช่น เกม Atari) วิธีการและอัลกอริทึมมีความเป็นมาตรฐานมากกว่าในด้านการเรียนรู้แบบมีคำสอน และสัญญาณข้อผิดพลาดมีความเข้มแข็งมากขึ้น ซึ่งนำไปสู่การฝึกที่เร็วขึ้นและเสถียรขึ้น
สิ่งสำคัญอีกประการหนึ่งคือ เช่นเดียวกับแนวทางด้านประสาทเทียมอื่นๆ ตัวแทนสามารถล้มเหลวได้อย่างมากในกรณีที่อินพุตแตกต่างจากอินพุตที่เคยเห็นมาก่อน ซึ่งต้องการการตรวจสอบความถูกต้องเพิ่มเติมสำหรับการใช้งานการผลิต
การเพิ่มขึ้นของความสนใจในแนวทาง RL และความก้าวหน้าในโครงสร้างพื้นฐานการคำนวณในช่วงไม่กี่ปีที่ผ่านมา จะปลดล็อกโอกาสที่ยิ่งใหญ่ในการใช้ RL ในอุตสาหกรรม โดยเฉพาะอย่างยิ่งใน NLP
