Tạo Paraphrase bằng Deep Reinforcement Learning – Các Lãnh Đạo Tư Duy

Khi viết hoặc nói, chúng ta đã từng tự hỏi liệu có cách nào tốt hơn để truyền đạt một ý tưởng đến người khác. Từ nào nên sử dụng? Cấu trúc suy nghĩ như thế nào? Họ sẽ phản ứng như thế nào? Tại Phrasee, chúng tôi dành nhiều thời gian để suy nghĩ về ngôn ngữ – những gì hiệu quả và những gì không.

Hãy tưởng tượng bạn đang viết dòng tiêu đề cho một chiến dịch email sẽ gửi đến 10 triệu người trong danh sách của bạn, quảng cáo 20% giảm giá cho một chiếc laptop mới.

Bạn sẽ chọn dòng nào:

• Bạn có thể nhận thêm 20% giảm giá cho đơn hàng tiếp theo
• Chuẩn bị sẵn – thêm 20% giảm giá

Mặc dù chúng truyền tải cùng một thông tin, nhưng một trong số chúng đạt được tỷ lệ mở cao hơn gần 15% so với dòng kia (và tôi cá rằng bạn không thể đánh bại mô hình của chúng trong việc dự đoán dòng nào ?). Mặc dù ngôn ngữ thường có thể được kiểm tra thông qua kiểm tra A/B hoặc đa vũ trang, việc tạo paraphrase tự động vẫn là một vấn đề nghiên cứu đầy thách thức.

Hai câu được coi là paraphrase của nhau nếu chúng chia sẻ cùng một ý nghĩa và có thể được sử dụng thay thế cho nhau. Một điều quan trọng khác thường được coi là đương nhiên là liệu một câu được tạo bởi máy có hay không.

Không giống như học có giám sát, các tác nhân Học tăng cường (RL) học thông qua tương tác với môi trường của chúng và quan sát phần thưởng mà chúng nhận được như một kết quả. Sự khác biệt tinh vi này có những ý nghĩa lớn về cách các thuật toán hoạt động và cách các mô hình được đào tạo. Deep Reinforcement Learning sử dụng mạng nơ-ron như một hàm xấp xỉ để cho phép tác nhân học cách vượt qua con người trong các môi trường phức tạp như Go, Atari và StarCraft II.

Mặc dù thành công này, học tăng cường chưa được áp dụng rộng rãi cho các vấn đề thực tế, bao gồm cả Xử lý Ngôn ngữ Tự nhiên (NLP).

Trong khuôn khổ luận văn thạc sĩ về Khoa học Dữ liệu của tôi, chúng tôi chứng minh cách Deep RL có thể được sử dụng để vượt qua các phương pháp học có giám sát trong việc tạo paraphrase tự động của văn bản đầu vào. Vấn đề tạo paraphrase tốt nhất có thể được xem là tìm chuỗi từ tối đa hóa sự tương đồng ngữ nghĩa giữa các câu while duy trì tính lưu loát trong đầu ra. Các tác nhân RL rất phù hợp để tìm tập hợp các hành động tốt nhất để đạt được phần thưởng dự kiến tối đa trong các môi trường điều khiển.

Ngược lại với hầu hết các vấn đề trong học máy, vấn đề lớn nhất trong hầu hết các ứng dụng Tạo Ngôn ngữ Tự nhiên (NLG) không nằm ở mô hình mà nằm ở đánh giá. Trong khi đánh giá của con người hiện được coi là tiêu chuẩn vàng trong đánh giá NLG, nó có những bất lợi đáng kể, bao gồm tốn kém, mất thời gian, khó điều chỉnh và thiếu khả năng tái tạo trên các thí nghiệm và tập dữ liệu (Han, 2016). Do đó, các nhà nghiên cứu đã tìm kiếm các metric tự động đơn giản, có thể tổng quát hóa và phản ánh phán quyết của con người (Papineni et al., 2002).

Phương pháp đánh giá tự động phổ biến nhất trong đánh giá chú thích hình ảnh được tạo bởi máy được tóm tắt dưới đây với ưu và nhược điểm:

Tạo Paraphrase bằng Reinforcement Learning Pipeline

Chúng tôi đã phát triển một hệ thống có tên là ParaPhrasee, tạo ra các paraphrase chất lượng cao. Hệ thống bao gồm nhiều bước để áp dụng học tăng cường một cách hiệu quả về mặt tính toán. Tóm tắt sơ bộ về đường ống cấp cao được hiển thị dưới đây với chi tiết hơn chứa trong luận văn.

Tập Dữ Liệu

Có một số tập dữ liệu paraphrase có sẵn được sử dụng trong nghiên cứu, bao gồm: Microsoft Paraphrase corpus (MSFT ), cuộc thi Tương đồng Ngữ nghĩa Semantic Text của ACL, Quora Duplicate Questions và Twitter Shared Links. Chúng tôi đã chọn MS-COCO vì kích thước, sự sạch sẽ và sử dụng nó làm điểm chuẩn cho hai bài báo tạo paraphrase đáng chú ý. MS-COCO chứa 120k hình ảnh của các cảnh thông thường với 5 chú thích hình ảnh cho mỗi hình ảnh được cung cấp bởi 5 người chú thích khác nhau.

Mặc dù nó được thiết kế chủ yếu cho nghiên cứu thị giác máy tính, nhưng các chú thích hình ảnh có xu hướng có sự tương đồng ngữ nghĩa cao và là các paraphrase thú vị. Vì các câu được cung cấp bởi những người khác nhau, chúng có xu hướng có sự khác biệt nhỏ về chi tiết được cung cấp trong cảnh, do đó các câu được tạo ra có xu hướng tưởng tượng ra các chi tiết.

Mô Hình Giám Sát

Mặc dù học tăng cường đã được cải thiện đáng kể về hiệu quả mẫu, thời gian đào tạo và các phương pháp hay nhất, việc đào tạo các mô hình RL từ đầu vẫn chậm và không ổn định so với (Arulkumaran et al., 2017). Do đó, thay vì đào tạo từ đầu, chúng tôi trước tiên đào tạo một mô hình giám sát và sau đó tinh chỉnh nó bằng RL.

Chúng tôi sử dụng mô hình Encoder-Decoder và đánh giá hiệu suất của một số mô hình giám sát cơ bản. Khi tinh chỉnh mô hình bằng RL, chúng tôi chỉ tinh chỉnh mạng giải mã và coi mạng mã hóa là tĩnh. Do đó, chúng tôi xem xét hai khuôn khổ chính:

• Đào tạo mô hình giám sát từ đầu bằng cách sử dụng bộ giải mã-vanilla với GRUs
• Sử dụng mô hình nhúng câu được đào tạo trước cho bộ mã hóa, bao gồm: nhúng từ được nhóm lại (GloVe), InferSent và BERT

Các mô hình giám sát có xu hướng hoạt động khá tương tự trên các mô hình với BERT và bộ giải mã-vanilla đạt được hiệu suất tốt nhất.

Mặc dù hiệu suất có xu hướng hợp lý, có ba nguồn lỗi phổ biến: lặp lại, tạo ra các mảnh câu và ảo giác. Đây là những vấn đề chính mà việc sử dụng RL nhằm giải quyết.

Mô Hình Học Tăng Cường

Việc triển khai các thuật toán RL rất thách thức, đặc biệt là khi bạn không biết liệu vấn đề có thể được giải quyết hay không. Có thể có vấn đề trong việc triển khai môi trường của bạn, tác nhân của bạn, siêu tham số của bạn, hàm phần thưởng của bạn hoặc sự kết hợp của tất cả những điều trên! Những vấn đề này được làm trầm trọng hơn khi làm RL sâu vì bạn có được sự phức tạp bổ sung của việc gỡ lỗi mạng nơ-ron.

Giống như tất cả việc gỡ lỗi, điều quan trọng là bắt đầu đơn giản. Chúng tôi đã triển khai các biến thể của hai môi trường RL đồ chơi được hiểu rõ (CartPole và FrozenLake) để kiểm tra các thuật toán RL và tìm một chiến lược lặp lại để chuyển kiến thức từ mô hình giám sát.

Chúng tôi đã tìm thấy rằng việc sử dụng thuật toán Actor-Critic vượt trội so với REINFORCE trong các môi trường này. Về việc chuyển kiến thức sang mô hình actor-critic, chúng tôi đã tìm thấy rằng việc khởi tạo trọng số của actor bằng mô hình giám sát được đào tạo và việc tiền đào tạo critic đã đạt được hiệu suất tốt nhất. Chúng tôi đã tìm thấy nó khó khăn để khái quát hóa các phương pháp chiết xuất chính sách tinh vi sang các môi trường mới vì chúng giới thiệu nhiều siêu tham số mới đòi hỏi phải điều chỉnh để hoạt động.

Được hỗ trợ bởi những hiểu biết này, chúng tôi sau đó chuyển sang phát triển một cách tiếp cận cho nhiệm vụ tạo paraphrase. Chúng tôi trước tiên cần tạo một môi trường.

Môi trường cho phép chúng tôi dễ dàng kiểm tra tác động của việc sử dụng các metric đánh giá khác nhau làm hàm phần thưởng.

Chúng tôi sau đó định nghĩa tác nhân, cho nhiều lợi thế của nó, chúng tôi sử dụng kiến trúc actor-critic. Actor được sử dụng để chọn từ tiếp theo trong chuỗi và có trọng số được khởi tạo bằng mô hình giám sát. Critic cung cấp một ước tính về phần thưởng dự kiến mà một trạng thái có thể nhận được để giúp actor học.

Thiết Kế Hàm Phần Thưởng Đúng

Thành phần quan trọng nhất của việc thiết kế một hệ thống RL là hàm phần thưởng vì đây là những gì mà tác nhân RL đang cố gắng tối ưu hóa. Nếu hàm phần thưởng không chính xác, thì kết quả sẽ bị ảnh hưởng ngay cả khi mọi phần khác của hệ thống hoạt động!

Một ví dụ kinh điển về điều này là CoastRunners nơi các nhà nghiên cứu của OpenAI đặt hàm phần thưởng là tối đa hóa điểm số tổng thể thay vì giành chiến thắng trong cuộc đua. Kết quả của điều này là tác nhân đã khám phá ra một vòng lặp nơi nó có thể đạt được điểm số cao nhất mà không bao giờ hoàn thành cuộc đua.

https://www.youtube.com/watch?time_continue=2&v=tlOIHko8ySg&feature=emb_title

Được cho rằng việc đánh giá chất lượng của paraphrase là một vấn đề chưa được giải quyết, việc thiết kế một hàm phần thưởng tự động hóa mục tiêu này thậm chí còn khó hơn. Hầu hết các khía cạnh của ngôn ngữ không phân hủy tốt thành các metric tuyến tính và phụ thuộc vào nhiệm vụ (Novikova et al., 2017).

Tác nhân RL thường khám phá ra một chiến lược thú vị để tối đa hóa phần thưởng mà khai thác điểm yếu trong metric đánh giá thay vì tạo ra văn bản chất lượng cao. Điều này thường dẫn đến hiệu suất kém trên các metric mà tác nhân không tối ưu hóa trực tiếp.

Chúng tôi xem xét ba cách tiếp cận chính:

1. Metric Overlap từ

Các metric đánh giá NLP phổ biến xem xét tỷ lệ trùng lặp từ giữa paraphrase được tạo và câu đánh giá. Sự chồng chéo càng lớn, phần thưởng càng lớn. Thách thức với các cách tiếp cận cấp từ là tác nhân bao gồm quá nhiều từ kết nối như “một là trên của” và không có biện pháp về tính lưu loát. Điều này dẫn đến paraphrase chất lượng rất thấp.

2. Metric Tương Đồng và Lưu Loát Cấp Câu

Các thuộc tính chính của một paraphrase được tạo là nó phải lưu loát và tương đồng ngữ nghĩa với câu đầu vào. Do đó, chúng tôi cố gắng đánh giá riêng từng metric này rồi kết hợp chúng. Đối với sự tương đồng ngữ nghĩa, chúng tôi sử dụng sự tương đồng cosine giữa các nhúng câu từ các mô hình được đào tạo trước như BERT. Đối với tính lưu loát, chúng tôi sử dụng một điểm số dựa trên độ bối rối của một câu từ GPT-2. Sự tương đồng cosine và điểm số lưu loát càng lớn, phần thưởng càng lớn.

Chúng tôi đã thử nhiều sự kết hợp khác nhau của mô hình nhúng câu và mô hình lưu loát và mặc dù hiệu suất khá hợp lý, vấn đề chính mà tác nhân gặp phải là không đủ cân bằng giữa sự tương đồng ngữ nghĩa và tính lưu loát. Đối với hầu hết các cấu hình, tác nhân ưu tiên tính lưu loát, dẫn đến việc loại bỏ chi tiết và hầu hết các thực thể được đặt “ở giữa” một thứ gì đó hoặc được di chuyển “trên một bàn” hoặc “bên cạnh đường”.

Học tăng cường đa mục tiêu là một câu hỏi nghiên cứu mở và rất thách thức trong trường hợp này.

3. Sử Dụng Mô Hình Đối Thủ làm Hàm Phần Thưởng

Được cho rằng con người được coi là tiêu chuẩn vàng trong đánh giá, chúng tôi đào tạo một mô hình riêng gọi là discriminator để dự đoán liệu hai câu có phải là paraphrase của nhau hay không (tương tự như cách một người đánh giá). Mục tiêu của mô hình RL là sau đó thuyết phục mô hình này rằng câu được tạo là paraphrase của câu đầu vào. Discriminator tạo ra một điểm số về khả năng cao của hai câu là paraphrase của nhau, được sử dụng làm phần thưởng để đào tạo tác nhân.

Mỗi 5.000 lần đoán, discriminator được thông báo về paraphrase nào đến từ tập dữ liệu và paraphrase nào được tạo để nó có thể cải thiện các dự đoán trong tương lai. Quá trình này tiếp tục trong vài vòng với tác nhân cố gắng đánh lừa discriminator và discriminator cố gắng phân biệt giữa paraphrase được tạo và paraphrase đánh giá từ tập dữ liệu.

Sau một số vòng đào tạo, tác nhân tạo ra paraphrase vượt trội so với các mô hình giám sát và các hàm phần thưởng khác.

Kết Luận và Giới Hạn

Các cách tiếp cận đối thủ (bao gồm tự chơi cho các trò chơi) cung cấp một cách tiếp cận rất hứa hẹn để đào tạo các thuật toán RL vượt qua hiệu suất của con người trên một số nhiệm vụ mà không cần định nghĩa một hàm phần thưởng rõ ràng.

Mặc dù RL đã có thể vượt qua học có giám sát trong trường hợp này, nhưng số lượng chi phí thêm về mã, tính toán và phức tạp không đáng với lợi ích hiệu suất cho hầu hết các ứng dụng. RL tốt nhất nên dành cho các tình huống mà học có giám sát không thể được áp dụng dễ dàng và một hàm phần thưởng dễ dàng được định nghĩa (như các trò chơi Atari). Các cách tiếp cận và thuật toán trưởng thành hơn trong học có giám sát và tín hiệu lỗi mạnh hơn dẫn đến đào tạo nhanh hơn và ổn định hơn.

Một yếu tố khác cần xem xét là, giống như các cách tiếp cận mạng nơ-ron khác, tác nhân có thể thất bại một cách đáng kể trong các trường hợp mà đầu vào khác với những gì nó đã thấy trước đó, đòi hỏi một lớp kiểm tra hợp lý bổ sung cho các ứng dụng sản xuất.

Sự bùng nổ của sự quan tâm đến các cách tiếp cận RL và tiến bộ trong cơ sở hạ tầng tính toán trong những năm gần đây sẽ mở ra cơ hội lớn để áp dụng RL trong ngành công nghiệp, đặc biệt là trong NLP.