Trí tuệ nhân tạo có thể giúp xác định ‘Pink Slime’ tin tức

Các nhà máy ý kiến định hướng, được thiết kế để ảnh hưởng đến quan điểm công chúng hơn là phục vụ công chúng, có thể khó phát hiện hơn nếu trí tuệ nhân tạo được sử dụng để làm cho chúng nghe có vẻ nguyên bản và hợp lý hơn. Vì vậy, cuộc đua đang diễn ra để dẫn đầu trong trò chơi “phát hiện Pink Slime”.

Sự cắt giảm tài trợ cho các tổ chức truyền thông địa phương truyền thống trong hai thập kỷ qua, cả do xu hướng truyền thông thay đổi và – gần đây – do chính sách của chính phủ Mỹ, đã để lại một khoảng trống trong báo cáo khu vực mà các tổ chức đảng phái đã nhanh chóng chiếm lấy, sử dụng trí tuệ nhân tạo để thúc đẩy chương trình nghị sự của họ.

Để đặt thuật ngữ ‘đảng phái’ vào ngữ cảnh (vì không có tổ chức tin tức nào không có khuynh hướng chính trị nào đó), chúng tôi đang nói về các công ty dầu mỏ điều hành các trang tin tức khu vực từ các địa điểm xa, không có tài nguyên địa phương thực sự, nhưng có nhiệm vụ bảo vệ danh tiếng công chúng của công ty; các trang tin tức thuần túy chính trị không có nguồn thu nhập nào, chuẩn bị trước các cuộc bầu cử; và toàn bộ mạng lưới các trang tin tức ủng hộ Đảng Cộng hòa cũng xuất hiện từ đâu đó, gần thời điểm bỏ phiếu.

Vào năm 2024, người ta ước tính rằng tin tức “Pink Slime” do trí tuệ nhân tạo thúc đẩy đã cuối cùng đã vượt qua các tổ chức tin tức thực sự; tại thời điểm đó, một cuộc khảo sát của Úc cho thấy 41% người tiêu dùng ưa thích các nguồn “Pink Slime” hơn các nguồn “thực sự”.

Loại vận động bầu cử ngầm này có thể được cho là đã phát triển từ một nghệ thuật tối tăm thành một mối đe dọa tồn tại đối với nền dân chủ (về các tổ chức chính trị) và niềm tin của công chúng vào các tiêu chuẩn hợp lý về công bằng trong báo cáo.

Vì vậy, các phương pháp phân biệt đặc điểm của các nhà xuất bản và phát thanh viên “Pink Slime” với các tổ chức truyền thông truyền thống sẽ rất hữu ích ít nhất trong việc hiểu ai là những người chơi và lực lượng thúc đẩy trong khí候 thông tin hiện tại.

Như nó đứng, các khuôn mẫu và mẫu của các tổ chức tin tức thực sự rất dễ bắt chước, và trí tuệ nhân tạo làm cho việc xuất bản có thể mở rộng hiện tại và thực tế, sử dụng nhiều thủ thuật được áp dụng bởi các nhà xuất bản và phát thanh viên “cổ” tiết kiệm ngân sách.

Tín hiệu và Nhiễu

Một nghiên cứu mới từ Mỹ giải quyết vấn đề này bằng cách điều tra việc sử dụng ngày càng nhiều các Mô hình Ngôn ngữ Lớn để làm cho các trang web “Pink Slime” nghe ít chung chung và dễ phát hiện hơn, và bằng cách tạo ra một khuôn khổ học tập được thiết kế để theo kịp các thay đổi tiến hóa trong đầu ra “Pink Slime” (PS).

Titled Exposing Pink Slime Journalism: Linguistic Signatures and Robust Detection Against LLM-Generated Threats, the new work comes từ năm nhà nghiên cứu tại Đại học Texas.

Công việc mới điều tra cách các bài viết tin tức địa phương được sản xuất hàng loạt khác với báo cáo hợp pháp, tập trung vào sự phụ thuộc của chúng vào các cấu trúc ngắn, lặp đi lặp lại và các cụm từ có sẵn với sự thay đổi tối thiểu; và các tác giả lưu ý rằng các bài viết PS có xu hướng tái sử dụng các mẫu giống hệt được thiết kế để thao túng quan điểm công chúng, với các lời kêu gọi cảm xúc ở trên cùng trong nội dung:

Từ bài báo mới – nhiều kênh xuất bản các bài viết gần như giống hệt với chỉ có chi tiết vị trí thay đổi, tiết lộ một chiến lược sao chép-dán để sản xuất nội dung模仿 tin tức địa phương hợp pháp. Nguồn

Các mô hình phát hiện truyền thống được đào tạo trên các đặc điểm này hoạt động tốt chống lại nội dung như vậy, nhưng thất bại khi các bài viết được viết lại bằng các rô-bốt trò chuyện trí tuệ nhân tạo để nghe có vẻ tự nhiên hoặc tinh vi hơn.

Các thử nghiệm của các tác giả chỉ ra rằng thậm chí các thay đổi phong cách nhỏ được giới thiệu bởi các mô hình ngôn ngữ lớn có thể giảm độ chính xác của phát hiện lên đến 40%. Để giảm thiểu điều này, họ đề xuất một khung khổ học tập liên tục mà dần dần đào tạo lại các mô hình phát hiện trên cả các bài viết gốc và các bài viết được viết lại bằng trí tuệ nhân tạo, để thích nghi với các mẫu ngôn ngữ thay đổi.

Phương pháp

Để thiết lập dữ liệu cho dự án, các tác giả sử dụng Bộ dữ liệu Pink Slime, có 7,9 triệu bài viết bao gồm 1.093 kênh trong giai đoạn 2021-2023, từ đó họ thu được 9.472 bài viết “Pink Slime” sau khi lọc. Họ cũng sử dụng Bộ dữ liệu LIAR, có chứa các tin tức giả được chú thích, cũng như Bộ sưu tập NELA-GT-2021, có chứa chỉ các bài viết của Mỹ*.

Để chuẩn bị các tập dữ liệu đào tạo và thử nghiệm, các tác giả đầu tiên sử dụng thuật toán t-SNE để giảm các đệm của bài viết xuống hai chiều. Họ sau đó áp dụng thuật toán DBSCAN để cô lập các cụm của các bài viết “Pink Slime” tương tự.

Mỗi cụm được coi là một nhóm của các câu chuyện liên quan, nhiều trong số đó vẫn theo cùng một mẫu, mặc dù có một nỗ lực có ý thức để giải quyết các bản sao.

Để ngăn chặn các bài viết tương tự xuất hiện trong cả tập đào tạo và tập thử nghiệm, các cụm toàn bộ được chọn ngẫu nhiên, với 80% được sử dụng để đào tạo và 20% để thử nghiệm. Bởi vì các bài viết tin tức hợp pháp không hình thành các cụm rõ ràng, một phân chia ngẫu nhiên được áp dụng thay thế.

Quá trình này được lặp lại ba lần, để đảm bảo tính nhất quán, và để giảm sự thiên vị của mẫu.

Đặc điểm của Pink Slime

Nhận xét về các đặc điểm khác biệt của PS so với tin tức thông thường, các nhà nghiên cứu khẳng định rằng các bài viết tin tức địa phương theo kiểu “Pink Slime” đáng kể ngắn hơn và đơn giản hơn so với báo cáo hợp pháp, trung bình ít hơn chín câu mỗi bài viết.

Một tỷ lệ cao hơn của các câu đơn giản và sự phụ thuộc nhiều hơn vào tính từ là các đặc điểm khác của “Pink Slime”, theo bài báo, và cho thấy một sự yêu thích ngôn ngữ lặp đi lặp lại, cảm xúc.

Độ phong phú từ vựng được đo bằng RTTR, và được tìm thấy là thấp hơn đáng kể trong các bài viết PS, cũng như có ít cụm từ danh từ duy nhất hơn.

Những mẫu này cho thấy một từ vựng hạn chế và phong cách công thức, trái ngược với tin tức địa phương hợp pháp, được đặc trưng bởi các mẫu câu phức tạp được xây dựng xung quanh các động từ phụ, đại từ và liên từ. Thay vào đó, các bài viết giả ưa thích các cấu trúc danh từ-động từ cơ bản, với việc sử dụng thường xuyên các trigrams dựa trên dấu câu, cho thấy một phong cách viết ít trang trọng, phân mảnh hơn.

Thử nghiệm

Để kiểm tra các mối liên hệ giữa các loại bài viết tin tức khác nhau, dựa trên các đặc điểm ngôn ngữ và cấu trúc, các stella_en_400M_v5 được tạo ra và giảm với PCA và t-SNE để trực quan hóa.

Khi được chiếu vào hai chiều, các bài viết tin tức giả địa phương hình thành các cụm nhỏ, dày đặc, mỗi cụm tương ứng với các chủ đề hẹp, chẳng hạn như thống kê tội phạm, cập nhật cổ phiếu hoặc quyên góp từ thiện:

Mẫu cụm từ một phép chiếu t-SNE cho thấy các bài viết “Pink Slime” hình thành các nhóm lặp đi lặp lại, chặt chẽ, trong khi tin tức hợp pháp hiển thị các phân bố rộng hơn, đa dạng hơn, phù hợp với sự đa dạng về chủ đề và phong cách.

Điều này cho thấy, ở một mức độ nào đó, trong hình ảnh trên, mẫu này cho thấy một định dạng cứng nhắc, dựa trên mẫu, với sự thay đổi tối thiểu giữa các bài viết.

Đáng chú ý, các bài viết được dán nhãn là “tin tức giả” khác với nội dung tin tức giả địa phương, cho thấy một phân bố hơn phù hợp với tin tức thực sự, cho thấy rằng các tin tức giả địa phương sản xuất hàng loạt có thể không chỉ ít trung thực, mà còn có thể khác biệt về mặt cơ học trong hình thức và thành phần.

Ngược lại, các tin tức địa phương hợp pháp hình thành ít cụm hơn và rộng hơn, phù hợp với ngôn ngữ và chủ đề đa dạng hơn, trong khi các bài viết tin tức quốc gia cho thấy sự phân tán thậm chí còn lớn hơn, phản ánh phạm vi chủ đề rộng hơn và sự nhất quán về phong cách lỏng lẻo hơn.

So sánh tính năng giữa tin tức địa phương hợp pháp và nội dung “Pink Slime”, cho thấy các bài viết PS ngắn hơn, sử dụng cấu trúc câu đơn giản hơn, chứa nhiều tính từ hơn, có độ phong phú từ vựng thấp hơn, ưa thích các trigram cơ bản, và có ít cụm từ danh từ duy nhất hơn.

Phát hiện

Các nhà nghiên cứu đã đánh giá hai phương pháp chính để phát hiện nội dung “Pink Slime”: phân loại, dựa trên các tính năng ngôn ngữ được tạo thủ công; và dựa trên transformer – fine-tuning.

Đối với phương pháp tạo thủ công, các đặc điểm cấu trúc hơn là đặc điểm ngữ nghĩa được nhấn mạnh, sử dụng số lượng câu; độ phong phú từ vựng; độ sâu cú pháp; xác suất đồng xuất hiện của phần tử cú pháp; xác suất đồng xuất hiện của thẻ phụ thuộc; khả năng đọc; và số lượng phần tử cú pháp.

Ba mô hình được thử nghiệm trên tập tính năng này: XGBoost; Random Forest; và Support Vector Machine (SVM) – với Random Forest cho thấy kết quả mạnh mẽ hơn một chút.

Cả XGBoost và Random Forest đều chỉ định tầm quan trọng dự đoán cao cho các tính năng như số lượng câu và số lượng cụm từ danh từ duy nhất. Các biện pháp khả năng đọc và độ phong phú từ vựng cũng ảnh hưởng mạnh mẽ đến phân loại, mặc dù các mô hình này đã cân nhắc chúng khác nhau, với XGBoost ưa thích Flesch và RTTR, trong khi Random Forest dựa vào CTTR:

Điểm số quan trọng tính năng dựa trên SHAP (SHapley Additive exPlanations) cho thấy cách mỗi tính năng đầu vào ảnh hưởng đến đầu ra của mô hình trên các mẫu. Trong trường hợp này, giá trị SHAP cho thấy rằng cả XGBoost và Random Forest đều dựa nhiều nhất vào số lượng câu và số lượng cụm từ danh từ duy nhất để phân biệt “Pink Slime” với tin tức thực sự, trong khi chỉ định trọng lượng khác nhau cho các biện pháp độ phong phú từ vựng và khả năng đọc.

Điều này cho thấy, như đã thấy trong các so sánh tính năng trước đó (trên), các bài viết “Pink Slime” ưa thích sự nhạy cảm hơn là chi tiết, với độ phong phú từ vựng thấp hơn, và với ít cụm từ danh từ duy nhất hơn – củng cố kết luận rằng loại nội dung này là có tính công thức và lặp đi lặp lại.

Mẫu trigram phần tử cú pháp xác nhận rằng tin tức địa phương hợp pháp có xu hướng sử dụng các hình thức phức tạp hơn, liên quan đến các động từ phụ, đại từ và liên từ, trong khi “Pink Slime” ưa thích các cấu trúc danh từ-động từ cơ bản, với việc sử dụng thường xuyên các trigram dựa trên dấu câu. Những mẫu này cho thấy một nền tảng đáng tin cậy để phân biệt nội dung tổng hợp với báo chí thực sự.

Một vòng thử nghiệm thứ hai liên quan đến việc tinh chỉnh các mô hình transformer trên toàn bộ văn bản bài viết, để bắt cả nội dung ngữ nghĩa và cấu trúc cú pháp.

BERT, XLNet, và Flan-T5 đã được thử nghiệm, với BERT đạt được điểm F1 cao nhất là 89,31% – mặc dù bài báo lưu ý rằng sự khác biệt về hiệu suất không có ý nghĩa thống kê. Không giống như các phân loại器 tạo thủ công, những mô hình này cập nhật tất cả trọng số trong quá trình đào tạo, cho phép chúng học các biểu diễn cụ thể cho nhiệm vụ trực tiếp từ dữ liệu.

Một phương pháp dựa trên đệm khác sử dụng một phân loại器 liên kết đầy đủ hoạt động tốt hơn so với các mô hình tạo thủ công, nhưng không đạt được độ chính xác của việc tinh chỉnh đầy đủ.

Những phương pháp này được hưởng lợi từ ngữ cảnh ngôn ngữ rộng hơn – có lợi, vì các bài viết “Pink Slime” thường tái sử dụng nội dung trên các kênh. Các tính năng tạo thủ công, ngược lại, dựa vào cú pháp bề mặt alone, hạn chế khả năng tổng quát hóa của chúng trên các nguồn.

Tăng cường Pink Slime với LLMs

Để kiểm tra xem các bài viết “Pink Slime” có thể được làm khó phát hiện hơn, các nhà nghiên cứu đã viết lại chúng bằng các mô hình ngôn ngữ lớn. Các lời nhắc được thiết kế để cải thiện phong cách viết bằng cách mở rộng nội dung, thêm phức tạp câu, giảm sử dụng quá mức tính từ, thực thi một giọng điệu trung lập, sử dụng từ vựng đa dạng hơn và tăng số lượng cụm từ danh từ duy nhất, với mục đích che giấu các đặc điểm bề mặt mà hầu hết các hệ thống phát hiện dựa vào.

Các mô hình được thử nghiệm là Gemma‑2B; Mistral‑7B; Llama‑1B; Llama‑3B; Llama‑8B; Qwen‑7B; GPT‑4o mini; và Claude‑3.5‑Haiku.

Hiệu suất phát hiện (F1) của một phân loại器 BERT tinh chỉnh khi các bài viết “Pink Slime” được viết lại bởi các LLM khác nhau. Các điểm số thấp hơn cho thấy sự che giấu thành công hơn.

Trong số những kết quả này, các tác giả nhận xét:

‘[Trong số] các mô hình mã nguồn mở, Qwen là mô hình hiệu quả nhất trong việc tránh phát hiện: khi được thử nghiệm chống lại một phân loại器 BERT tinh chỉnh trước (điểm F1 cơ sở: 89%), nó dẫn đến sự giảm 28,34% trong hiệu suất phát hiện.

‘Các mô hình mã nguồn đóng tỏ ra mạnh mẽ hơn đáng kể, với cả GPT-4o-mini và Claude-3.5-Haiku giảm điểm F1 trung bình 40%, làm nổi bật thách thức do sự che giấu LLM chất lượng cao đặt ra.’

Những kết quả này, các tác giả cho rằng, cho thấy làm thế nào dễ dàng LLM có thể ngụy trang nội dung “Pink Slime”, khiến nó trở nên khó khăn hơn nhiều cho các công cụ hiện tại để phát hiện**.

Kết luận

Ý kiến Dòng nghiên cứu này chứa một số vấn đề thú vị, không ít nhất là việc nhiều người (theo ít nhất một cuộc khảo sát được đề cập trước đó) hỗ trợ nội dung PS, biết nó là gì, điều này đưa ngữ cảnh miệt thị vào câu hỏi. Nó giống như mọi người biết rằng ‘Soylent Green là người’, nhưng họ vẫn tiếp tục ăn; hoặc có thể như vậy, từ một quan điểm tự do.

Điều này có thể thay đổi và thậm chí quay trở lại – nhưng hiện tại, nó dường như đang sâu sắc hơn.

Điều khác khiến tôi chú ý khi đọc bài báo là cách ngôn ngữ đơn giản và sự giảm thiểu của đầu ra “Pink Slime” được coi là một điểm yếu với một giải pháp công nghệ có thể, khi chủ nghĩa tối giản, chủ nghĩa cảm xúc và từ vựng hạn chế đều có thể là có chủ ý.

Nếu các nhóm lợi ích khác nhau đằng sau PS muốn mở rộng phạm vi của họ đến một khán giả trí thức hoặc tự do hơn (mặc dù điều này có thể không phù hợp với điểm mạnh của họ), dường như có khả năng họ sẽ thiết lập trại gần dân tộc mục tiêu hơn, chứ không phải thay đổi một phong cách ngôn ngữ và giọng điệu đã đạt được mục tiêu của họ trên các nền tảng hiện có.

* Do một số định dạng không may trong bài báo, nguồn bổ sung của các bài viết tin tức địa phương không có sự quy chiếu rõ ràng. Vui lòng tham khảo bài báo nguồn và đoán xem tham chiếu ‘Horne’ nào áp dụng.

** Ở đây, chúng tôi đề cập đến người đọc đến bài báo nguồn để biết chi tiết về các thí nghiệm phụ, bổ sung kết thúc phần kết quả của bài báo mới.

Được xuất bản lần đầu vào thứ Sáu, ngày 12 tháng 12 năm 2025