Ngôn ngữ được tạo bởi AI đang bắt đầu ô nhiễm văn học khoa học

Những nhà nghiên cứu từ Pháp và Nga đã công bố một nghiên cứu chỉ ra rằng việc sử dụng các bộ tạo văn bản xác suất AI như GPT-3 đang đưa ‘ngôn ngữ bị bóp méo’ vào các kênh xuất bản khoa học trước đây được coi là có uy tín.

Điều đáng lo ngại nhất là các bài báo được nghiên cứu cũng chứa nội dung khoa học không chính xác hoặc không thể tái tạo, được trình bày như kết quả của nghiên cứu khách quan và có hệ thống, cho thấy rằng các mô hình ngôn ngữ tạo sinh đang được sử dụng không chỉ để hỗ trợ kỹ năng tiếng Anh hạn chế của các tác giả, mà còn để thực hiện công việc khó khăn liên quan (và, không thể tránh khỏi, để làm việc đó một cách tồi tệ).

Báo cáo này, có tiêu đề Các cụm từ bị bóp méo: Một phong cách viết đáng ngờ xuất hiện trong khoa học, đã được biên soạn bởi các nhà nghiên cứu từ Bộ phận Khoa học Máy tính tại Đại học Toulouse và nhà nghiên cứu Yandex Alexander Magazinov, hiện đang tại Đại học Tel Aviv.

Nghiên cứu tập trung đặc biệt vào sự tăng trưởng của các ấn phẩm khoa học không có nghĩa được tạo bởi AI tại tạp chí Elsevier Microprocessors and Microsystems.

Bằng Một Tên Khác

Các mô hình ngôn ngữ tự hồi như GPT-3 được đào tạo trên lượng dữ liệu lớn và được thiết kế để paraphrase, tóm tắt, tổng hợp và diễn giải dữ liệu đó thành các mô hình ngôn ngữ tạo sinh gắn kết, có khả năng tái tạo các mẫu nói và viết tự nhiên, đồng thời giữ nguyên ý định ban đầu của dữ liệu đào tạo.

Kể từ khi các khuôn khổ như vậy thường bị trừng phạt tại giai đoạn đào tạo mô hình vì cung cấp ‘trực tiếp và không được hấp thụ’ regurgitation của dữ liệu ban đầu, chúng sẽ tìm kiếm các từ đồng nghĩa – ngay cả đối với các cụm từ đã được thiết lập.

Các bài báo khoa học có vẻ như được tạo bởi AI / hỗ trợ bởi AI được các nhà nghiên cứu phát hiện bao gồm một số lượng lớn các nỗ lực thất bại để tìm từ đồng nghĩa sáng tạo cho các cụm từ đã biết trong lĩnh vực học máy:

mạng nơ-ron sâu: ‘tổ chức nơ-ron sâu’
mạng nơ-ron nhân tạo: ‘‘(giả | nhân tạo) tổ chức nơ-ron’
mạng di động: ‘‘‘tổ chức đa năng’
tấn công mạng: ‘‘tổ chức (bạo động | tấn công)’
kết nối mạng: ‘liên kết tổ chức’
dữ liệu lớn: ‘‘(lớn | khổng lồ | vô cùng | khổng lồ) thông tin’
kho dữ liệu: ‘kho (phòng hàng | trung tâm phân phối)’
trí tuệ nhân tạo (AI): ‘(giả | nhân tạo) nhận thức’
tính toán hiệu suất cao: ‘tính toán ưu tú’
tính toán sương mù / mây: ‘tính toán mây’
đơn vị xử lý đồ họa (GPU): ‘đơn vị chuẩn bị thiết kế’
đơn vị xử lý trung tâm (CPU): ‘đơn vị chuẩn bị trung tâm’
động cơ công việc: ‘động cơ quy trình công việc’
nhận dạng khuôn mặt: ‘nhận dạng khuôn mặt’
nhận dạng giọng nói: ‘nhận dạng lời nói’
sai số trung bình квадрат: ‘sai số trung bình (lỗi | sai lầm)’
sai số tuyệt đối trung bình: ‘sai số (tuyệt đối | tối cao) (lỗi | sai lầm)’
tín hiệu và nhiễu: ‘(chuyển động | cờ | chỉ số | tín hiệu) và (tiếng ồn | náo động | tiếng động)’
tham số toàn cầu: ‘tham số toàn cầu’
truy cập ngẫu nhiên: ‘(bất thường | không đều) quyền truy cập’
rừng ngẫu nhiên: ‘(bất thường | không đều) (rừng | đất rừng | vùng đất màu mỡ)’
giá trị ngẫu nhiên: ‘(bất thường | không đều) giá trị’
thành phố kiến: ‘thành phố côn trùng (bang | tỉnh | khu vực | khu vực | định居)’
thành phố kiến: ‘thành phố côn trùng (bang | tỉnh | khu vực | khu vực | định cư)’
năng lượng còn lại: ‘năng lượng còn lại’
năng lượng động: ‘năng lượng động’
Naive Bayes: ‘(tin tưởng | ngây thơ | dễ tin) Bayes’
trợ lý kỹ thuật số cá nhân (PDA): ‘trợ lý máy tính hóa cá nhân’

Vào tháng 5 năm 2021, các nhà nghiên cứu đã truy vấn công cụ tìm kiếm học thuật Dimensions để tìm kiếm loại ngôn ngữ tự động bị bóp méo này, đồng thời loại bỏ các cụm từ hợp lệ như ‘thông tin khổng lồ’ (đây là một cụm từ hợp lệ và không phải là một từ đồng nghĩa thất bại cho ‘dữ liệu lớn’). Tại thời điểm này, họ quan sát thấy rằng Microprocessors and Microsystems có số lượng lớn nhất các trường hợp lạm dụng paraphrase.

Hiện tại, vẫn có thể tìm thấy (ảnh chụp lưu trữ, 15/07/2021) một số bài báo khoa học cho cụm từ ‘tổ chức nơ-ron sâu’ (tức là ‘mạng nơ-ron sâu’), và các cụm từ khác trong danh sách trên cho kết quả tương tự.

Kết quả tìm kiếm cho ‘tổ chức nơ-ron sâu’ (‘mạng nơ-ron sâu’) tại Dimensions. Nguồn: https://app.dimensions.ai/

Tạp chí Microprocessors được thành lập vào năm 1976 và được đổi tên thành Microprocessors and Microsystems hai năm sau đó.

Sự Tăng Trưởng Của Ngôn Ngữ Vô Nghĩa

Các nhà nghiên cứu đã nghiên cứu một giai đoạn từ tháng 2 năm 2018 đến tháng 6 năm 2021 và quan sát thấy sự tăng trưởng mạnh mẽ về số lượng bài báo trong hai năm qua, đặc biệt là trong 6-8 tháng qua:

Sự tương quan hay nguyên nhân? Sự tăng trưởng về số lượng bài báo trong tạp chí Microprocessors and Microsystems dường như trùng hợp với sự tăng trưởng của ‘ngôn ngữ vô nghĩa’ và từ đồng nghĩa trong các bài báo có vẻ như được tạo bởi AI. Nguồn: https://arxiv.org/pdf/2107.06751.pdf

Bộ dữ liệu cuối cùng được thu thập bởi các cộng tác viên chứa 1.078 bài báo đầy đủ được thu thập thông qua đăng ký Elsevier của Đại học Toulouse.

Giảm Kiểm Soát Biên Tập Đối Với Các Bài Báo Khoa Học Trung Quốc

Bài báo quan sát thấy rằng thời gian dành cho việc đánh giá biên tập của các bài báo được đánh dấu đã bị giảm đáng kể trong năm 2021, giảm xuống dưới 40 ngày; một sự giảm sáu lần trong thời gian tiêu chuẩn cho việc đánh giá của người cùng ngành, rõ ràng từ tháng 2 năm 2021.

Số lượng lớn nhất các bài báo được đánh dấu đến từ các tác giả có liên kết với Trung Quốc đại lục: trong số 404 bài báo được chấp nhận trong vòng dưới 30 ngày, 97,5% là liên quan đến Trung Quốc. Ngược lại, trong các trường hợp mà quá trình biên tập vượt quá 40 ngày (615 bài báo), các bài báo liên quan đến Trung Quốc chỉ chiếm 9,5% của danh mục đó – một sự mất cân bằng mười lần.

Báo cáo cho rằng sự xâm nhập của các bài báo được đánh dấu là do sự thiếu sót trong quá trình biên tập và sự thiếu hụt nguồn lực khi đối mặt với số lượng bài báo ngày càng tăng.

Các nhà nghiên cứu đưa ra giả thuyết rằng các mô hình ngôn ngữ tạo sinh kiểu GPT và các loại khuôn khổ tạo ngôn ngữ khác đã được sử dụng để tạo ra nhiều văn bản trong các bài báo được đánh dấu; tuy nhiên, cách mà một mô hình tạo sinh trừu tượng hóa nguồn của nó làm cho điều này khó được chứng minh, và bằng chứng chính nằm trong việc đánh giá logic của bài báo và sự nhất quán của nó.

Các nhà nghiên cứu cũng quan sát thấy rằng các mô hình ngôn ngữ tạo sinh mà họ tin là đang góp phần vào lũ lụt ngôn ngữ vô nghĩa này không chỉ có khả năng tạo ra các văn bản có vấn đề mà còn có khả năng nhận ra và đánh dấu chúng một cách hệ thống, giống như cách các nhà nghiên cứu đã thực hiện thủ công. Công việc mô tả một khuôn khổ như vậy, sử dụng GPT-2, và cung cấp một khuôn khổ cho các hệ thống tương lai để xác định các bài báo khoa học có vấn đề.

Sự cố của các bài báo ‘ô nhiễm’ cao hơn nhiều trong tạp chí Elsevier (72,1%) so với các tạp chí khác được nghiên cứu (13,6% tối đa).

Không Chỉ Là Ngôn Ngữ

Các nhà nghiên cứu nhấn mạnh rằng nhiều tạp chí trong câu hỏi không chỉ sử dụng ngôn ngữ sai mà còn chứa các tuyên bố khoa học không chính xác, cho thấy rằng các mô hình ngôn ngữ tạo sinh không chỉ được sử dụng để cải thiện kỹ năng ngôn ngữ hạn chế của các nhà khoa học đóng góp, mà còn có thể được sử dụng để tạo ra ít nhất một số định lý và dữ liệu cốt lõi trong bài báo.

Trong các trường hợp khác, các nhà nghiên cứu đưa ra giả thuyết về một ‘tái tổng hợp’ hoặc ‘quay lại’ của công việc trước đó được trừu tượng hóa (và vượt trội), để đáp ứng áp lực của văn hóa nghiên cứu học thuật ‘xuất bản hoặc bị loại bỏ’, và có thể để cải thiện xếp hạng quốc gia cho sự vượt trội toàn cầu trong nghiên cứu AI, thông qua khối lượng thuần túy.

Nội dung vô nghĩa trong một bài báo được gửi. Trong trường hợp này, các nhà nghiên cứu đã tìm thấy rằng văn bản đã được rút ra, một cách tùy tiện, từ một bài báo EDN, từ đó hình ảnh đi kèm cũng bị đánh cắp mà không được trích dẫn. Việc viết lại nội dung gốc là quá mức đến mức vô nghĩa.

Phân tích một số bài báo được gửi cho Elsevier, các nhà nghiên cứu đã tìm thấy các câu mà họ không thể suy ra bất kỳ ý nghĩa nào; các tham chiếu đến văn học không tồn tại; các tham chiếu đến các biến và định lý trong công thức mà không thực sự xuất hiện trong tài liệu hỗ trợ (gợi ý về sự trừu tượng hóa dựa trên ngôn ngữ, hoặc ‘ ảo giác‘ của dữ liệu thực tế); và việc tái sử dụng hình ảnh mà không có sự công nhận về nguồn gốc (mà các nhà nghiên cứu chỉ trích không từ góc độ bản quyền, mà từ góc độ thiếu nghiêm túc khoa học).

Thất Bại Trích Dẫn

Các trích dẫn được thiết kế để hỗ trợ các lập luận trong một bài báo khoa học được tìm thấy trong nhiều ví dụ được đánh dấu để ‘hoặc bị hỏng hoặc dẫn đến các ấn phẩm không liên quan’.

Ngoài ra, các tham chiếu đến ‘công việc liên quan’ thường bao gồm các tác giả mà các nhà nghiên cứu tin rằng đã được ‘ảo giác’ bởi một hệ thống kiểu GPT.

Chú Ý Lang Thang

Một điểm yếu khác của thậm chí các mô hình ngôn ngữ tiên tiến như GPT-3 là xu hướng mất tập trung trong một cuộc thảo luận dài. Các nhà nghiên cứu đã tìm thấy rằng các bài báo được đánh dấu thường đưa ra một chủ đề sớm trong bài báo mà không bao giờ được quay lại sau khi nó được đề cập trong các ghi chú sơ bộ hoặc ở nơi khác.

Họ cũng đưa ra giả thuyết rằng một số ví dụ tồi tệ nhất xảy ra thông qua nhiều chuyến đi của văn bản nguồn qua một loạt các công cụ dịch, mỗi công cụ dịch lại làm méo ý nghĩa.

Nguyên Nhân và Lý Do

Khi cố gắng xác định nguyên nhân đằng sau hiện tượng này, các tác giả của bài báo đề xuất một số khả năng: rằng nội dung từ nhà máy giấy đang được sử dụng làm tài liệu nguồn, giới thiệu sai sót ngay từ đầu của quá trình sẽ不可 tránh khỏi dẫn đến thêm sai sót; rằng các công cụ quay bài như Spinbot đang được sử dụng để che giấu đạo văn; và rằng áp lực quá lớn để xuất bản thường xuyên đang dẫn đến các nhà nghiên cứu thiếu nguồn lực sử dụng các hệ thống kiểu GPT-3 để либо bổ sung hoặc hoàn toàn tạo ra các bài báo học thuật mới.

Các nhà nghiên cứu kết thúc với một lời kêu gọi hành động để tăng cường giám sát và cải thiện tiêu chuẩn trong một lĩnh vực xuất bản học thuật đang chứng kiến sự tăng trưởng của ‘ngôn ngữ vô nghĩa’ và từ đồng nghĩa trong các bài báo có vẻ như được tạo bởi AI. Họ cũng kêu gọi Elsevier và các nhà xuất bản khác giới thiệu các thủ tục sàng lọc và xem xét nghiêm ngặt hơn, và chỉ trích rộng rãi các tiêu chuẩn và thực tiễn hiện tại trong lĩnh vực này, gợi ý rằng ‘lừa đảo với văn bản tổng hợp đe dọa đến tính toàn vẹn của văn học khoa học.”