Ngay cả Trí tuệ nhân tạo cơ bản cũng có thể viết tin tức giống như con người

Nghiên cứu mới cho thấy rằng thậm chí các mô hình trí tuệ nhân tạo địa phương nhỏ cũng có thể viết tin tức mà người đọc không thể phân biệt với báo chí thực sự, khớp với các hệ thống hàng đầu và khiến người đọc không thể xác định ai đã viết.

Theo một nghiên cứu hợp tác mới giữa Đức và Pháp, con người không thể phân biệt được liệu một bài báo tin tức được viết bởi trí tuệ nhân tạo hay con người – ngay cả khi nó được viết bởi các mô hình mã nguồn mở có thể được tải xuống và chạy trên máy tính để bàn cấp tiêu dùng tương đối trung bình.

Trong một dấu hiệu khác cho thấy trí tuệ nhân tạo nhỏ đang lên ngôi, một cuộc khảo sát 2.318 phán quyết thu thập từ 1.054 người tham gia trong một cổng nghiên cứu học thuật chuyên dụng đã tìm thấy rằng người đọc không thể xác định nguồn gốc của một bài báo ở mức cao hơn mức may mắn, ngay cả khi nó được tạo ra bởi các mô hình khiêm tốn với chỉ 7 tỷ tham số, bao gồm Mistral và Llama biến thể:

Điểm trung bình về nguồn và tính xác thực cho các LLM được thử nghiệm. 200 tỷ tham số của GPT-4o không vượt trội so với 7B tham số của các mô hình nhỏ hơn. Những mô hình được thử nghiệm cho nghiên cứu này bao gồm Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o và GPT-3.5. Nguồn

Các tác giả đang quay lại một chủ đề mà họ lần đầu tiên xem xét trong phát hành năm 2024 Blessing or curse? A survey on the Impact of Generative AI on Fake News. Những phát hiện này là kết quả mới được phát hành từ một dự án lớn hơn ban đầu được đông thời công bố vào tháng 1 và sử dụng khuôn khổ JudgeGPT trực tuyến của các tác giả.

Năng lực Featherweight

Được đặt tên Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, và đến từ ba nhà nghiên cứu trên khắp Đại học Khoa học Ứng dụng Frankfurt và đơn vị nghiên cứu IRISA tại Nantes, nghiên cứu mới này tạo ra một sự khác biệt quan trọng giữa ‘tin tức giả’ và ‘tin tức được viết bởi trí tuệ nhân tạo’ (vì tin tức giả có thể được viết bởi con người hoặc bởi trí tuệ nhân tạo và hai khía cạnh này không nhất thiết đồng nghĩa):

Tuy nhiên, có lẽ khía cạnh thú vị nhất là kết luận của bài báo rằng các mô hình nhỏ bao gồm Mistral 7B và Gemma 7B có thể, với chỉ 7 tỷ tham số, đối đầu với aplomb chống lại những mô hình như ChatGPT (4o) với 200 tỷ tham số:

‘Mô hình mở với chỉ 7B tham số tạo ra văn bản được đánh giá không khác với đầu ra của GPT-4o, cho thấy khả năng tạo văn bản không thể phân biệt với con người không còn bị giới hạn ở các mô hình tiên phong.’

Tuy nhiên, ‘tin tức được tạo ra bởi trí tuệ nhân tạo’ có thể đại diện cho nhiều loại hợp tác giữa con người và trí tuệ nhân tạo, từ kiểm tra chính tả đến việc chuyển toàn bộ nỗ lực:

Phương pháp

Đối với những người tham gia tham gia vào nền tảng JudgeGPT, mỗi mảnh tin được đánh giá bằng một khuôn khổ hai trục trong đó họ cung cấp ba xếp hạng độc lập trên các thanh trượt liên tục từ 0-100:

Giao diện người dùng của cổng JudgeGPT, nơi người đánh giá đánh giá tài liệu về thuộc tính nguồn; tính xác thực; và sự quen thuộc với chủ đề. Vui lòng tham khảo giấy nguồn để có độ phân giải tốt hơn.

Phán quyết về nguồn ghi lại liệu một đoạn văn có vẻ như được viết bởi máy hay con người; phán quyết về tính xác thực, liệu nó có được coi là giả mạo hay hợp pháp; và sự quen thuộc với chủ đề, làm thế nào tốt người đọc biết về chủ đề.

Thang đo liên tục được sử dụng thay vì thang đo Likert để ghi lại mức độ chắc chắn chính xác hơn và để hỗ trợ phân tích thống kê, bao gồm hệ số tương quan Pearson và phân cụm.

Văn bản được tạo ra bởi máy được tạo ra bởi khuôn khổ RogueGPT của các tác giả, kiến trúc feeder cho JudgeGPT. RogueGPT điều phối các đóng góp từ sáu Mô hình Ngôn ngữ Lớn (LLM): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; và Mistral 7B.

Khuyến nghị dựa trên nhân vật được sử dụng để tạo ra văn bản và các thế hệ trí tuệ nhân tạo được dựa trên các chủ đề tin tức thực và được kiểm tra bởi con người.

Nghịch lại, các mảnh văn được viết bởi con người được lấy mẫu từ ‘các cơ quan báo chí thành lập’ và ‘các cơ sở dữ liệu thông tin’ không xác định.

Các tác giả quan sát:

‘Tập hợp kích thích được cố ý nghiêng về các mảnh gốc máy (∼98%), với các mục gốc con người phục vụ như neo hiệu chuẩn.

‘Sự lựa chọn thiết kế này phản ánh sự tập trung của nghiên cứu vào sự thay đổi trong trí tuệ nhân tạo (trên các mô hình) chứ không phải so sánh con người-trí tuệ nhân tạo; người tham gia không được thông báo về tỷ lệ cơ bản và kết quả phát hiện gần như may mắn vẫn giữ khi được phân tích trên tập hợp con người gốc alone.’

Người tham gia đầu tiên đưa ra sự đồng ý thông báo và hoàn thành một bảng câu hỏi nhân khẩu học bao gồm tuổi tác, trình độ học vấn, định hướng chính trị và sự quen thuộc với trí tuệ nhân tạo, sau đó họ đánh giá chuỗi các mảnh tin.

Thử nghiệm

Các thử nghiệm được chia thành năm loại phát hiện: phân biệt văn bản được tạo ra bởi máy với văn bản được viết bởi con người; so sánh phát hiện trên các LLM khác nhau; kiểm tra ảnh hưởng của chuyên môn lĩnh vực so với định hướng chính trị đối với độ chính xác; xác định các chiến lược phản hồi khác nhau giữa người tham gia; và theo dõi cách độ chính xác thay đổi qua các đánh giá lặp đi lặp lại, do kiệt sức:

Tóm tắt năm phát hiện cốt lõi từ 2.318 phán quyết trên 1.054 người tham gia, cho thấy rằng phát hiện của con người về văn bản được viết bởi trí tuệ nhân tạo vẫn ở mức may mắn trên tất cả các mô hình, rằng độ chính xác được liên kết với chuyên môn lĩnh vực hơn là định hướng chính trị, rằng người tham gia được nhóm thành các hồ sơ niềm tin khác biệt và hiệu suất giảm sau khoảng 30 đánh giá, do kiệt sức nhận thức.

Thử nghiệm cho thấy không có sự khác biệt đáng kể trên mức may mắn trong điểm nguồn giữa các điều kiện, rõ ràng cho thấy người tham gia không thể phân biệt văn bản được tạo ra bởi máy với đầu ra của con người:

Phân phối điểm nguồn và tính xác thực cho các mảnh gốc máy và con người cho thấy sự chồng chéo đáng kể, không có sự tách biệt có ý nghĩa giữa hai điều kiện và thử nghiệm thống kê – cho thấy người tham gia không thể phân biệt đáng tin cậy văn bản được tạo ra bởi trí tuệ nhân tạo với nội dung được viết bởi con người.

Về mặt thứ hai, như thể hiện trong đồ thị ở đầu bài, sự thất bại trong việc phát hiện không thay đổi theo mô hình, vì đầu ra từ tất cả các LLM được nhóm xung quanh các phán quyết ở mức may mắn, với không có sự khác biệt đáng kể giữa chúng. Thậm chí các hệ thống mở nhỏ như Mistral 7B và Gemma 7B được đánh giá không khác với GPT-4o, cho thấy rằng văn bản không thể phân biệt với con người có thể không còn bị giới hạn ở các mô hình lớn nhất.

Về mặt thứ ba, độ chính xác được liên kết mạnh mẽ hơn với chuyên môn lĩnh vực than định hướng chính trị, vì sự quen thuộc với tin tức giả mạo tương quan với các phán quyết tốt hơn, trong khi quan điểm chính trị cho thấy không có tác động có ý nghĩa, cho thấy rằng các kỹ năng phân tích có học có thể quan trọng hơn ý thức hệ:

Kết quả cho dòng điều tra thứ ba cho thấy rằng định hướng chính trị không có tác động có ý nghĩa đối với thuộc tính nguồn hoặc điểm tính xác thực, với chỉ các xu hướng yếu, không đáng kể trên cả hai biện pháp. Đồng thời, sự quen thuộc tự báo cáo với tin tức giả mạo được liên kết với độ chính xác cao hơn trên cả hai trục. Điều này cho thấy rằng kỹ năng phân tích dựa trên kinh nghiệm là yếu tố dự đoán mạnh mẽ hơn về hiệu suất than ý thức hệ. Vui lòng tham khảo giấy nguồn để có độ phân giải tốt hơn.

Phát hiện thứ tư cho thấy người tham gia được nhóm thành hai phong cách phản hồi khác biệt được xác định là ‘Hoài nghi’ – những người phân bổ niềm tin thấp trên tất cả nội dung bất kể nguồn gốc – và ‘Người tin tưởng’ – những người duy trì mức niềm tin cơ bản cao hơn.

Cuối cùng, liên quan đến mục tiêu thứ năm, phân tích lăn của các phán quyết tuần tự cho thấy người tham gia ban đầu trở nên tốt hơn trong nhiệm vụ, với độ chính xác cải thiện trong khoảng 15-20 đánh giá đầu tiên khi họ thích nghi với định dạng:

Độ trung bình lăn của điểm nguồn và tính xác thực trên chuỗi đánh giá của người tham gia cho thấy một giai đoạn cải thiện ngắn ban đầu, khi người dùng dường như thích nghi với nhiệm vụ trong 15-20 mục đầu tiên, tiếp theo là sự suy giảm ổn định trong cả hai biện pháp sau khoảng 30 đánh giá. Vui lòng tham khảo giấy nguồn để có độ phân giải tốt hơn.

Tuy nhiên, hiệu ứng này chỉ là tạm thời, vì hiệu suất bắt đầu giảm sau khoảng 30 mục, với người tham gia ngày càng chuyển sang dán nhãn nội dung là giả – một sự thay đổi được giải thích là kiệt sức nhận thức, và cho thấy rõ ràng giới hạn về việc các phương pháp dựa trên phát hiện có thể vẫn hiệu quả trong thực tế.

Điều này có thể đại diện cho một số bằng chứng thực nghiệm cho việc chúng ta, kiệt sức trước viễn cảnh phân biệt tin tức giả từ thực, trí tuệ nhân tạo từ con người, có thể mặc định giả định rằng tin tức là trí tuệ nhân tạo và / hoặc giả (không nhất thiết là cùng một điều).

Các tác giả đề xuất rằng sự thất bại trong việc phán quyết của con người như được chứng minh trong kết quả cho thấy chúng ta có thể cần phải chuyển giao những vấn đề như vậy cho các công nghệ chứng minh nguồn gốc mật mã như C2PA do Adobe dẫn đầu. Các giải pháp có thể khác được đề cập bao gồm khuôn khổ OriginLens của các tác giả và một dự án khác có liên quan đến tác giả gọi là CRED-1.

Các tác giả kết luận:

‘Con người có thể phân biệt không? Nghiên cứu hai trục của chúng tôi về 2.318 phán quyết trên sáu gia đình LLM cung cấp một câu trả lời thực nghiệm rõ ràng: họ không thể.

‘Văn bản được tạo ra bởi máy không thể phân biệt với văn bản được viết bởi con người bất kể kích thước mô hình hay gia đình, chuyên môn lĩnh vực dự đoán độ chính xác của phát hiện mạnh mẽ hơn định hướng chính trị, người tham gia áp dụng các chiến lược tin cậy khác biệt và kiệt sức nhận thức giới hạn phát hiện bền vững.

‘Những phát hiện này hỗ trợ việc chuyển từ phát hiện cấp người dùng sang các biện pháp đối phó cấp hệ thống, bao gồm chứng minh nguồn nội dung, chỉ báo tin cậy thích ứng và các can thiệp chủng ngừa có giới hạn.’

Kết luận

Khía cạnh đáng lo ngại của bài báo này là mạng lưới dự án và bài báo ambient mà các tác giả – hoặc một số tác giả, tùy thuộc vào công việc – đã khởi xướng hoặc có tay trong; và chắc chắn sẽ rất thú vị nếu một người có thể nghiên cứu các mẫu văn bản được tạo ra bởi trí tuệ nhân tạo và con người mà tạo ra những kết quả này, để hiểu rõ hơn về loại đầu ra mà phương pháp tạo ra được mô tả:

Khôngetheless, điều thú vị là nghe rằng các mô hình mở, mã nguồn mở có thể so sánh với những gã khổng lồ được điều khiển bởi API như loạt ChatGPT – liệu nhiệm vụ đang thực hiện có thực sự không quá khó và một mô hình 200 tỷ tham số là quá mức cho những nhiệm vụ như vậy? Chúng tôi cần biết thêm một chút về các mẫu nguồn trí tuệ nhân tạo và con người được gửi để trả lời câu hỏi đó.

Theo trang web canirun.ai, Mistral 7B (được đặt gần như ngang bằng với ChatGPT-4o trong các thử nghiệm) ‘chạy tuyệt vời’ trên một NVIDIA RTX 3080 với 16GB VRAM và chạy ‘decent’ trên một 3060 với 6GB VRAM – không phải là những card đồ họa mới nhất và tuyệt vời nhất trong trò chơi*. Vì vậy, bất kỳ ai muốn tạo ra phương pháp luận của riêng họ cho việc gửi mẫu có thể rõ ràng tham gia vào những thí nghiệm này:

* Gemma 7B không được liệt kê trên trang web.

Được xuất bản lần đầu vào thứ Năm, ngày 9 tháng 4 năm 2026