Các Mô Hình Viết Tạo Dựa Trên Trí Tuệ Nhân Tạo ‘Sao Chép Và Dán’ Dữ Liệu Nguồn

Nhà soạn kịch và doanh nhân người Mỹ Wilson Mizner thường được trích dẫn nổi tiếng khi nói ‘Khi bạn đánh cắp từ một tác giả, đó là đạo văn; nếu bạn đánh cắp từ nhiều người, đó là nghiên cứu’.

Tương tự, giả định xung quanh thế hệ mới của các hệ thống viết sáng tạo dựa trên trí tuệ nhân tạo là rằng lượng dữ liệu khổng lồ được cung cấp cho chúng tại giai đoạn đào tạo đã dẫn đến một sự tóm tắt thực sự của các khái niệm và ý tưởng cấp cao; rằng những hệ thống này có trong tay sự khôn ngoan tinh luyện của hàng nghìn tác giả đóng góp, từ đó trí tuệ nhân tạo có thể tạo ra văn viết sáng tạo và nguyên bản; và những người sử dụng các hệ thống này có thể chắc chắn rằng họ không vô tình tham gia vào việc đạo văn gián tiếp.

Giả định này bị thách thức bởi một bài báo mới từ một tập đoàn nghiên cứu (bao gồm các bộ phận nghiên cứu trí tuệ nhân tạo của Facebook và Microsoft ), đã phát hiện ra rằng các mô hình ngôn ngữ sinh dựa trên học máy như loạt GPT ‘thỉnh thoảng sao chép cả đoạn văn dài’ vào đầu ra được cho là nguyên bản của chúng, mà không có trích dẫn.

Trong một số trường hợp, các tác giả lưu ý, GPT-2 sẽ sao chép hơn 1.000 từ từ tập dữ liệu đào tạo trong đầu ra của nó.

Bài báo này có tiêu đề Ngôn ngữ sinh tạo sử dụng RAVEN: Đánh giá tính mới của ngôn ngữ trong tạo văn bản, và là một sự hợp tác giữa Đại học Johns Hopkins, Microsoft Research, Đại học New York và Facebook AI Research.

RAVEN

Nghiên cứu sử dụng một phương pháp mới gọi là RAVEN (RAtingVErbalNovelty), một từ viết tắt đã được tạo ra một cách thú vị để phản ánh nhân vật phản diện trong một bài thơ kinh điển:

‘Từ viết tắt này ám chỉ “The Raven” của Edgar Allan Poe, trong đó người kể chuyện gặp một con quạ bí ẩn mà liên tục hét lên, “Nevermore!” Người kể chuyện không thể nói liệu con quạ chỉ đang lặp lại điều gì đó nó đã nghe một con người nói, hoặc liệu nó đang tạo ra những lời nói của riêng mình (có thể bằng cách kết hợp never và more)—sự mơ hồ cơ bản mà bài báo của chúng tôi giải quyết.’

Các phát hiện từ bài báo mới này đến trong bối cảnh sự tăng trưởng lớn của các hệ thống viết nội dung dựa trên trí tuệ nhân tạo nhằm thay thế các nhiệm vụ chỉnh sửa ‘đơn giản’, và thậm chí để viết nội dung dài. Một hệ thống như vậy đã nhận được 21 triệu đô la trong vòng tài trợ loạt A vào đầu tuần này.

Các nhà nghiên cứu lưu ý rằng ‘GPT-2 đôi khi sao chép các đoạn văn đào tạo dài hơn 1.000 từ.’ (nhấn mạnh của họ), và rằng các hệ thống ngôn ngữ sinh tạo lan truyền các lỗi ngôn ngữ trong dữ liệu nguồn.

Các mô hình ngôn ngữ được nghiên cứu dưới RAVEN bao gồm loạt GPT lên đến GPT-2 (các tác giả không có quyền truy cập vào GPT-3 tại thời điểm đó), một Transformer, Transformer-XL, và một LSTM.

Tính Mới

Bài báo lưu ý rằng GPT-2 tạo ra các từ như ‘Swissified’, và các dẫn xuất như ‘IKEA-ness’, tạo ra những từ mới (chúng không xuất hiện trong dữ liệu đào tạo của GPT-2) dựa trên các nguyên tắc ngôn ngữ được suy dẫn từ không gian chiều cao được thiết lập trong quá trình đào tạo.

Kết quả cũng cho thấy rằng ‘74% câu được tạo bởi Transformer-XL có cấu trúc cú pháp mà không có câu đào tạo nào có’, cho thấy, như các tác giả tuyên bố, ‘các mô hình ngôn ngữ thần kinh không chỉ đơn giản ghi nhớ; thay vào đó, chúng sử dụng các quá trình sản xuất cho phép chúng kết hợp các phần quen thuộc theo những cách mới.’

Vì vậy, về mặt kỹ thuật, sự khái quát hóa và tóm tắt nên tạo ra văn bản mới và sáng tạo.

Sao Chép Dữ Liệu Có Thể Là Vấn Đề

Bài báo cho rằng các trích dẫn dài và nguyên văn được tạo ra bởi các hệ thống NLG có thể được ‘nướng’ vào mô hình trí tuệ nhân tạo vì văn bản nguồn ban đầu được lặp lại nhiều lần trong các tập dữ liệu mà chưa được khử trùng lặp đầy đủ.

Mặc dù một dự án nghiên cứu khác đã phát hiện ra rằng việc sao chép hoàn toàn văn bản có thể xảy ra ngay cả khi văn bản nguồn chỉ xuất hiện một lần trong tập dữ liệu, các tác giả lưu ý rằng dự án này có kiến trúc khái niệm khác với loại hệ thống trí tuệ nhân tạo tạo nội dung thông thường.

Các tác giả cũng quan sát thấy rằng việc thay đổi thành phần giải mã trong các hệ thống tạo ngôn ngữ có thể tăng tính mới, nhưng họ phát hiện ra trong các thử nghiệm rằng điều này xảy ra với chi phí của chất lượng đầu ra.

Các vấn đề进一步 xuất hiện khi các tập dữ liệu cung cấp cho các thuật toán tạo nội dung trở nên lớn hơn. Ngoài việc làm trầm trọng thêm các vấn đề về chi phí và tính khả thi của việc tiền xử lý dữ liệu, cũng như đảm bảo chất lượng và khử trùng lặp dữ liệu, nhiều lỗi cơ bản vẫn còn trong dữ liệu nguồn, sau đó trở thành lan truyền trong đầu ra nội dung do trí tuệ nhân tạo tạo ra.

Các tác giả lưu ý*:

‘Sự tăng trưởng gần đây về kích thước tập dữ liệu đào tạo làm cho việc kiểm tra tính mới trở nên đặc biệt quan trọng vì quy mô của các tập dữ liệu đào tạo này có thể phá vỡ trực giác của chúng ta về những gì có thể xảy ra một cách tự nhiên. Ví dụ, một số công việc đáng chú ý trong ngôn ngữ sử dụng dựa trên giả định rằng các hình thức thì quá khứ thường của các động từ không thường (ví dụ, becomed, teached) không xuất hiện trong kinh nghiệm của người học, vì vậy nếu người học tạo ra những từ như vậy, chúng phải mới đối với người học.

‘Tuy nhiên, hóa ra là đối với tất cả 92 động từ không thường trong tiếng Anh, hình thức thường không chính xác xuất hiện trong tập dữ liệu đào tạo của GPT-2.’

Cần Có Sự Curation Dữ Liệu Hơn

Bài báo cho rằng cần phải chú ý hơn đến tính mới trong việc tạo ra các hệ thống ngôn ngữ sinh, với sự nhấn mạnh đặc biệt vào việc đảm bảo rằng phần ‘giữ lại’ của dữ liệu (phần dữ liệu được đặt sang một bên để kiểm tra xem thuật toán cuối cùng đã đánh giá phần chính của dữ liệu đào tạo như thế nào) là phù hợp với nhiệm vụ.

‘Trong học máy, việc đánh giá mô hình trên một tập dữ liệu kiểm tra được giữ lại là rất quan trọng. Do tính chất mở của tạo văn bản, văn bản được tạo ra bởi mô hình có thể được sao chép từ tập dữ liệu đào tạo, trong trường hợp đó nó không được giữ lại—vì vậy việc sử dụng dữ liệu đó để đánh giá mô hình (ví dụ, về sự mạch lạc hoặc ngữ pháp) là không hợp lệ.’

Các tác giả cũng cho rằng cần phải cẩn thận hơn trong việc sản xuất các mô hình ngôn ngữ do hiệu ứng Eliza, một hội chứng được xác định vào năm 1966, đã xác định “sự dễ bị tổn thương của con người khi đọc nhiều hơn sự hiểu biết được đảm bảo vào các chuỗi biểu tượng—đặc biệt là từ—được nối lại với nhau bởi máy tính”.

* Tôi đã chuyển đổi các trích dẫn nội tuyến thành liên kết