Các Mô Hình NLP Đấu Tranh Để Hiểu Các Cụm Tính Từ Đệ Quy

Những nhà nghiên cứu từ Mỹ và Trung Quốc đã phát hiện ra rằng không có mô hình Xử lý Ngôn ngữ Tự nhiên (NLP) hàng đầu nào dường như có khả năng, theo mặc định, phân tích các câu tiếng Anh có tính từ đệ quy (NPs) và ‘đấu tranh’ để xác định ý nghĩa trung tâm trong các ví dụ liên quan chặt chẽ như Phim mới yêu thích của tôi và Phim yêu thích của tôi (mỗi câu có một ý nghĩa khác nhau).

Trong một ví dụ tiêu đề từ bài báo, đây là một câu đố nhỏ mà trẻ em thường không thể giải quyết: quả bóng thứ hai là màu xanh lá cây, nhưng quả bóng thứ năm là ‘quả bóng xanh lá cây thứ hai’. Nguồn: https://arxiv.org/pdf/2112.08326.pdf

Những nhà nghiên cứu đã thiết lập một Thử thách Cụm Tính Từ Đệ Quy (RNPC) cho một số mô hình ngôn ngữ mở nguồn được cài đặt cục bộ: GPT-3* của OpenAI, BERT của Google và RoBERTa và BART của Facebook, và phát hiện ra rằng những mô hình này chỉ đạt được ‘hiệu suất may mắn’ (tức là không có bằng chứng về khả năng tự nhiên so với may mắn trong phản hồi).

‘Kết quả cho thấy các mô hình ngôn ngữ hiện đại (SOTA) được tinh chỉnh trên các tiêu chuẩn chuẩn của cùng một định dạng đều gặp khó khăn trong tập dữ liệu của chúng tôi, cho thấy kiến thức mục tiêu không có sẵn.’

Các ví dụ cặp trong thử thách RNPC mà các mô hình SOTA đã mắc lỗi.

Trong các ví dụ trên, các mô hình đã thất bại, chẳng hạn, trong việc phân biệt sự khác biệt ngữ nghĩa giữa động vật nguy hiểm đã chết (tức là một kẻ săn mồi không gây ra mối đe dọa vì nó đã chết) và động vật chết nguy hiểm (chẳng hạn như một con sóc chết, có thể chứa một loại virus có hại và là một mối đe dọa hiện tại).

(Ngoài ra, mặc dù bài báo không đề cập đến nó, ‘đã chết’ cũng thường được sử dụng như một trạng từ, không liên quan đến cả hai trường hợp)

Tuy nhiên, những nhà nghiên cứu cũng phát hiện ra rằng việc đào tạo bổ sung hoặc bổ sung bao gồm tài liệu RNPC có thể giải quyết vấn đề:

‘Các mô hình ngôn ngữ được đào tạo trước với hiệu suất SOTA trên các tiêu chuẩn NLU có kiến thức kém về kiến thức này, nhưng vẫn có thể học nó khi tiếp xúc với một lượng nhỏ dữ liệu từ RNPC.’

Những nhà nghiên cứu lập luận rằng khả năng của một mô hình ngôn ngữ trong việc điều hướng các cấu trúc đệ quy như vậy là rất quan trọng đối với các nhiệm vụ hạ lưu như phân tích ngôn ngữ, dịch và tạo một trường hợp đặc biệt cho tầm quan trọng của nó trong các quy trình phát hiện tác hại:

‘[Chúng tôi] xem xét kịch bản mà người dùng tương tác với một tác vụ định hướng như Siri hoặc Alexa, và tác nhân cần xác định xem hoạt động liên quan trong truy vấn của người dùng có thể gây hại [tức là đối với trẻ em]. Chúng tôi chọn nhiệm vụ này vì nhiều kết quả sai từ các cụm tính từ đệ quy.

‘Ví dụ, làm thế nào để tạo một quả bom tự chế rõ ràng là có hại trong khi làm thế nào để tạo một quả bom tắm tự chế là vô hại.’

Bài báo này có tiêu đề ‘Liệu “phim mới yêu thích của tôi” có phải là phim yêu thích của tôi không? Kiểm tra sự hiểu biết về các cụm tính từ đệ quy, và đến từ năm nhà nghiên cứu tại Đại học Pennsylvania và một tại Đại học Bắc Kinh.

Dữ Liệu và Phương Pháp

Mặc dù công việc trước đây đã nghiên cứu cấu trúc cú pháp của các cụm tính từ đệ quy và phân loại ngữ nghĩa của các bộ sửa đổi, không một trong những cách tiếp cận này là đủ, theo những nhà nghiên cứu, để giải quyết thách thức.

Do đó, dựa trên việc sử dụng các cụm tính từ đệ quy với hai bộ sửa đổi, những nhà nghiên cứu đã cố gắng thiết lập xem kiến thức tiên quyết có tồn tại trong các hệ thống NLP hiện đại (nó không tồn tại); liệu nó có thể được dạy cho chúng (nó có thể); những gì các hệ thống NLP có thể học từ các cụm tính từ đệ quy; và theo những cách nào kiến thức như vậy có thể mang lại lợi ích cho các ứng dụng hạ lưu.

Tập dữ liệu mà những nhà nghiên cứu đã sử dụng được tạo ra trong bốn giai đoạn. Đầu tiên là việc xây dựng một từ vựng bộ sửa đổi chứa 689 ví dụ được rút ra từ tài liệu trước đây và công việc mới.

Tiếp theo, những nhà nghiên cứu đã thu thập các cụm tính từ đệ quy từ tài liệu, các tập đoàn hiện có và những bổ sung của riêng họ. Các nguồn tài liệu bao gồm Penn Treebank và Tập đoàn Annotated Gigaword.

Sau đó, nhóm đã thuê các sinh viên đại học được sàng lọc trước để tạo ra các ví dụ cho ba nhiệm vụ mà các mô hình ngôn ngữ sẽ phải đối mặt, xác thực chúng sau đó thành 8.260 ví dụ hợp lệ.

Cuối cùng, nhiều sinh viên đại học được sàng lọc trước đã được thuê, lần này thông qua Amazon Mechanical Turk, để chú thích từng ví dụ như một Nhiệm vụ Trí tuệ Con người (HIT), quyết định tranh chấp trên cơ sở đa số. Điều này đã thu hẹp các ví dụ xuống 4.567 ví dụ, sau đó được lọc xuống 3.790 ví dụ cân bằng hơn.

Những nhà nghiên cứu đã điều chỉnh các tập dữ liệu hiện có để tạo thành ba phần của các giả thuyết kiểm tra của họ, bao gồm MNLI, SNLI, MPE và ADEPT, đào tạo tất cả các mô hình SOTA của riêng họ, ngoại trừ mô hình HuggingFace, nơi một điểm kiểm tra đã được sử dụng.

Kết Quả

Những nhà nghiên cứu đã phát hiện ra rằng tất cả các mô hình đều ‘đấu tranh’ trong các nhiệm vụ RNPC, so với độ chính xác đáng tin cậy 90%+ của con người, với các mô hình SOTA hoạt động ở mức ‘may mắn’ (tức là không có bằng chứng về khả năng tự nhiên so với may mắn trong phản hồi).

Kết quả từ các thử nghiệm của những nhà nghiên cứu. Ở đây, các mô hình ngôn ngữ được kiểm tra so với độ chính xác của chúng trên một tiêu chuẩn hiện có, với đường trung tâm đại diện cho hiệu suất của con người trong các nhiệm vụ.

Các dòng điều tra thứ cấp cho thấy rằng những khiếm khuyết này có thể được bù đắp tại giai đoạn đào tạo hoặc tinh chỉnh của một mô hình NLP bằng cách bao gồm kiến thức về các cụm tính từ đệ quy. Một khi việc đào tạo bổ sung này được thực hiện, các mô hình đã đạt được ‘hiệu suất mạnh mẽ không cần đào tạo trước trên một nhiệm vụ Phát hiện Tác hại [nhiệm vụ]’.

Những nhà nghiên cứu hứa sẽ phát hành mã cho công việc này tại https://github.com/veronica320/Recursive-NPs.

Ban đầu được xuất bản vào ngày 16 tháng 12 năm 2021 – 17 tháng 12 năm 2021, 6:55 sáng GMT+2: Đã sửa đổi liên kết bị hỏng.

* GPT-3 Ada, mô hình nhanh nhất nhưng không phải là tốt nhất trong loạt. Tuy nhiên, mô hình Davinci lớn hơn ‘trình diễn’ không có sẵn cho việc tinh chỉnh mà bao gồm giai đoạn sau của các thí nghiệm của những nhà nghiên cứu.

^† Sự chuyển đổi của tôi các trích dẫn nội dòng thành siêu liên kết.