Nhận dạng và Thử thách Câu hỏi Sai trong NLP

Một số câu hỏi không thể trả lời vì chúng chứa thông tin không chính xác – giả định mà người nghe câu hỏi phải lọc và từ chối. Điều này giả định, tất nhiên, rằng người nghe có đủ thông tin chính xác để thách thức câu hỏi, chứ không phải sử dụng câu hỏi đó làm nguồn thông tin (sai).

Đây là một thách thức đối với các hệ thống Xử lý Ngôn ngữ Tự nhiên (NLP) như GPT-3, có xu hướng “hư cấu” thông tin để duy trì cuộc trò chuyện.

Hiện tại, hỏi GPT-3 ‘Khi nào Marie Curie phát minh ra Uranium?’ sẽ có thể nhận được câu trả lời ‘Marie Curie phát minh ra Uranium vào năm 1898’.

Nguồn: https://beta.openai.com/playground (Da Vinci instruct beta).

Trên thực tế, Uranium được phát hiện vào năm 1789 bởi nhà hóa học người Đức Martin Heinrich Klaproth, trong khi phát hiện của các nhà Curies vào năm 1898 là sự cô lập của radium.

Vấn đề của các hệ thống NLP bỏ qua các giả định không chính xác đã được chú ý trong một số trường hợp công khai trong năm nay, bao gồm cách mà kết quả tìm kiếm được hỗ trợ bởi AI của Google sẽ bỏ qua thông tin không chính xác trong câu hỏi ‘Khi nào Neil Armstrong đặt chân lên sao Hỏa?’ – một lỗi mà vẫn hiển thị tại thời điểm viết bài này, và cũng áp dụng cho Toy Story‘s Buzz Lightyear, người đã hạ cánh trên Mặt Trăng vào ngày 21 tháng 7 năm 1969.

Tom Hanks, một Toy Story khác, cũng được ghi nhận bởi Google với việc hạ cánh trên Mặt Trăng vào năm 1970, mặc dù nhân vật Apollo 13 của anh, astronaut Jim Lovell, nổi tiếng nhất với việc không đạt được điều này.

Xử lý Vấn đề Giả định trong Trao đổi NLP

Bây giờ, Google Research, cùng với các nhà nghiên cứu từ Đại học John Hopkins và Đại học Brown, đang điều tra các phương pháp học máy mới để các hệ thống NLP có thể thách thức các câu hỏi không chính xác trong tương lai.

Bài báo gần đây Bài báo Nhà ngôn ngữ học nào phát minh ra đèn sợi đốt? Xác minh giả định cho câu hỏi và trả lời phác thảo một nỗ lực chung để phát triển một hệ thống mới để xác định giả định và xem xét tính xác thực của chúng trước khi tiếp tục cuộc trò chuyện.

Hệ thống mới này hiệu quả hơn trong việc xử lý các câu hỏi trước khi trả lời, phá vỡ quá trình ‘xác thực’ của câu hỏi thành một quá trình ba bước.

Không tính! Ở bên trái, ‘đường chặn’ xảy ra ngay cả khi một hệ thống NLP tiên tiến đã có thể xác định rằng câu hỏi không có ý nghĩa. Ở bên phải, một sự phân tích của một thuật toán được đề xuất để giải quyết lỗi nguồn. Nguồn: https://arxiv.org/pdf/2101.00391.pdf

Mặc dù nó có vẻ như một quy trình xác minh đơn giản mà nên được tích hợp vào các hệ thống kiến thức từ đầu, nhưng hầu hết các quy trình đào tạo NLP học thông tin với một mức độ tin cậy quá cao cho dữ liệu nguồn, bao gồm cả diễn ngôn (như tin giả) có thể đã được xuất bản trên các kênh ‘tin cậy’ trước đây.

Do đó, một vấn đề quan trọng là xác định một nguồn thông tin đáng tin cậy trong một môi trường mà sự lan truyền của thông tin không chính xác qua mạng xã hội sẽ, theo mặc định, cấp cho nó quyền lực theo logic của việc học máy tổng quát. Điều này đã sử dụng số lượng hoặc lặp lại của dữ liệu như một đại diện cho độ chính xác, ít nhất cho đến khi hiện tượng tin giả trở thành một lĩnh vực quan trọng trong lĩnh vực này trong những năm gần đây.

Xác định Phương pháp Tốt nhất cho Câu hỏi Không thể Trả lời

Để xác định một phương pháp phù hợp cho việc giải quyết một câu hỏi chứa thông tin không chính xác, các nhà nghiên cứu đã chạy 100 câu hỏi như vậy qua bốn mô hình Q&A khác nhau và yêu cầu các đối tượng người dùng chọn giải pháp tốt nhất hoặc ít vấn đề nhất mà các mô hình đã tạo ra.

Bốn kết quả kiến trúc có thể cho ‘câu hỏi không tốt’ là: ‘Không thể trả lời’ – nơi một hệ thống Q&A đóng sách hiệu quả đóng cửa câu hỏi mà không cần thêm giải thích; ‘Giải thích dựa trên sự thất bại của giả định’ – nơi hệ thống không thể xác minh sự giả định không chính xác, hiệu quả là một phản hồi ‘không thể trả lời’, với một giải thích thêm; ‘Giải thích trích dẫn’ – nơi hệ thống trích dẫn một đoạn văn từ Wikipedia và thêm nó vào câu ‘Câu hỏi này không thể trả lời vì…’; và ‘Viết lại miền mở’ – nơi một hệ thống cạnh tranh tìm kiếm các nguồn bổ sung từ Wikipedia.

Ví dụ này về bốn câu trả lời có thể cho một câu hỏi ‘không thể trả lời’ minh họa sự phức tạp của việc cố gắng tìm một giải pháp cạnh tranh cho vấn đề này.

Trong quá trình thử nghiệm, năm người tham gia (được tuyển dụng trên một nền tảng tuyển dụng nội bộ của Google) đã thích các câu trả lời dựa trên giả định, điều này đã dẫn đến việc các nhà nghiên cứu phát triển một khuôn khổ mới để phân tích và xác minh câu hỏi.

Trong hệ thống mới, các kích hoạt ngôn ngữ được lấy từ câu hỏi bởi một bộ tạo dựa trên quy tắc phân tích câu thành các phát biểu事 thực.

Nếu nhiều giả định được rút ra từ câu hỏi, mỗi giả định sẽ được điều tra và sẽ đóng góp vào phản hồi cuối cùng nếu chúng giải quyết các giả định không chính xác từ câu hỏi ban đầu.

Theo thời gian, các nhà nghiên cứu đã chạy 100 câu hỏi như vậy qua bốn mô hình Q&A khác nhau và yêu cầu các đối tượng người dùng chọn giải pháp tốt nhất hoặc ít vấn đề nhất mà các mô hình đã tạo ra.

Các Tập Dữ liệu

Các giả định được tạo ra trong giai đoạn đầu tiên đã được sửa đổi thủ công để tạo ra một tập dữ liệu xác minh với ‘giả định vàng’. Các giả định không có trong câu hỏi ban đầu đã được loại bỏ.

Hai trong số các tác giả của bài báo đã chú thích thủ công 462 giả định về tính xác thực có/không dựa trên một trang Wikipedia liên quan đến từng câu hỏi. Các trường hợp không đồng ý đã được giải quyết trong thảo luận sau khi được cam kết vào tập dữ liệu.

Các nhà nghiên cứu đã sử dụng phân loại không có shot, một nhiệm vụ phân loại tiền đề/hypothesis yêu cầu việc phá vỡ các bài viết Wikipedia liên quan đến các câu hỏi. Vì quá trình này tạo ra nhiều cặp hơn so với câu hỏi có thể bao gồm hoặc mô hình hỗ trợ, các kết quả đã được lọc và gắn nhãn.

Các nhà nghiên cứu đã chạy 100 câu hỏi như vậy qua bốn mô hình Q&A khác nhau và yêu cầu các đối tượng người dùng chọn giải pháp tốt nhất hoặc ít vấn đề nhất mà các mô hình đã tạo ra.

Kết quả và Hình thành Phản hồi

Kết quả hiệu quả nhất được thu được bằng cách sử dụng một giải pháp phức tạp hơn, một giải pháp lai giữa quy tắc và NLI được tạo từ ALBERT QNLI với các câu từ Wikipedia và giả định.

Hiệu suất của các mô hình xác minh, nơi ‘câu từ Wikipedia’ sử dụng các câu từ các bài viết Wikipedia liên quan đến câu hỏi, và ‘giả định Wikipedia’ là các giả định được tạo ra từ các câu đó.

Sử dụng cách hình thành này, các nhà nghiên cứu đã phát triển một hệ thống mẫu nơi một sự thật phủ định từ Wikipedia được thêm vào ‘Câu hỏi này không thể trả lời vì…’ và các cụm từ tương tự. Mặc dù nó không phải là một giải pháp lý tưởng, nhưng các tác giả đề xuất rằng các phản hồi dựa trên tính không thể xác minh có thể giảm thiểu sự xuất hiện của các phản hồi sai.

Hệ thống này cuối cùng đã được thực hiện trong một Mô hình Xây dựng Mở rộng (ETC).

Ý nghĩa

Tùy thuộc vào hiệu suất cuối cùng của nó trong thế giới thực, có thể lập luận rằng toàn bộ cách tiếp cận này có thể dẫn đến việc thay thế ‘không thể xác minh’ cho ‘không thể trả lời’, trong các trường hợp mà hệ thống nghiên cứu không thể đánh giá một sự sửa đổi hữu ích cho một giả định không chính xác của câu hỏi. Hiệu quả, nó dường như đang xây dựng cơ sở hạ tầng cho các hệ thống xác minh tốt hơn trong tương lai.

Các nhà nghiên cứu đã thừa nhận rằng chi phí của các yêu cầu API dựa trên token là một yếu tố hạn chế khi tạo ra các phản hồi dài hơn mà hệ thống này sẽ tạo ra, và nó phải được giả định rằng sự chồng chéo của ‘nghiên cứu trực tiếp’ vào một câu hỏi có thể thêm độ trễ thậm chí đối với các hệ thống lớn như GPT-3, vì sự phản hồi của các hệ thống như vậy đã phụ thuộc vào việc tổng hợp kiến thức tại thời điểm đào tạo, chứ không phải các quy trình xác minh dựa trên mạng.

Ngoài ra, các nhà nghiên cứu lưu ý rằng hệ thống hiện tại có các hạn chế liên quan đến việc phân tích các khía cạnh ngữ nghĩa của văn bản:

Ví dụ, ai tin rằng estella là mẹ của ai có một sở hữu đính kèm dưới một động từ không thực tế tin , nhưng bộ tạo của chúng tôi sẽ tạo ra ‘estella có ‘mẹ.’

Tuy nhiên, nhóm nghiên cứu dự kiến sẽ xây dựng các hệ thống hỏi và trả lời mới và linh hoạt hơn sẽ được phát triển dựa trên nghiên cứu này:

Trong tương lai, chúng tôi dự định xây dựng trên công việc này bằng cách đề xuất các hệ thống hỏi và trả lời mà linh hoạt và hợp tác hơn. Ví dụ, các loại thất bại giả định khác nhau có thể được giải quyết bằng các chiến lược trả lời linh hoạt hơn – ví dụ, vi phạm giả định duy nhất có thể được xử lý tốt hơn bằng cách cung cấp tất cả các câu trả lời có thể, thay vì tuyên bố rằng giả định duy nhất đã bị vi phạm.