AI Dapat Membantu Mengidentifikasi ‘Pink Slime’ Berita

Agenda-driven opinion mills, yang dirancang lebih untuk mempengaruhi opini publik daripada melayani publik, mungkin lebih sulit untuk ditemukan jika AI digunakan untuk membuat mereka terdengar lebih asli dan rasional. Jadi, perlombaan sedang berlangsung untuk tetap memimpin dalam permainan ‘pink slime detection’.

Pengurangan dana untuk outlet media lokal tradisional selama dua puluh tahun terakhir, baik karena tren media yang berkembang dan – baru-baru ini – kebijakan pemerintah AS, telah meninggalkan kekosongan dalam pelaporan regional yang dengan senang hati diambil alih oleh organisasi partisan menggunakan AI untuk mendorong agenda mereka.

Untuk memahami istilah ‘partisan’ (karena tidak ada organisasi berita yang tanpa kecenderungan politik), kita berbicara tentang perusahaan minyak yang menjalankan situs berita regional dari lokasi jauh, tanpa sumber daya lokal yang nyata, tetapi dengan tujuan untuk membela reputasi publik perusahaan; situs berita yang dimotivasi politik tanpa aliran pendapatan yang mempersiapkan diri sebelum pemilihan; dan seluruh jaringan situs berita pro-Republik yang muncul dari tidak ada, dekat dengan waktu pemungutan suara.

Pada 2024, diperkirakan bahwa berita ‘pink slime’ yang didorong AI akhirnya melebihi outlet berita asli; pada saat itu, survei Australia menemukan bahwa 41% konsumen memilih sumber ‘pink slime’ daripada sumber ‘asli’.

Jenis kampanye pemilihan yang tersembunyi ini, dapat dikatakan, telah berkembang dari seni gelap menjadi ancaman eksistensial bagi demokrasi (dalam hal outlet yang dimotivasi politik) dan kepercayaan publik terhadap standar keadilan dalam pelaporan.

Oleh karena itu, metode untuk membedakan output karakteristik penerbit dan penyiar ‘pink slime’ dari organisasi media tradisional akan sangat membantu setidaknya dalam memahami siapa pemain dan kekuatan penggerak dalam iklim informasi saat ini.

Seperti yang berdiri, trope dan template organisasi berita asli sangat mudah untuk ditiru, dan AI membuat penerbitan yang dapat diskalakan menjadi kenyataan saat ini dan terjangkau, menggunakan banyak trik yang diadopsi oleh penerbit dan penyiar ‘media lama’ yang kekurangan anggaran.

Sinyal dan Kebisingan

Studi baru dari AS menangani masalah ini, dengan menyelidiki penggunaan Large Language Models yang semakin meningkat untuk membuat situs web ‘pink slime’ terdengar kurang generik dan mudah ditemukan, dan dengan membuat kerangka pembelajaran yang dirancang untuk tetap memimpin dalam perubahan yang berkembang dalam output ‘pink slime’ (PS).

Bertajuk Exposing Pink Slime Journalism: Linguistic Signatures and Robust Detection Against LLM-Generated Threats, karya baru ini berasal dari lima peneliti di Universitas Texas.

Karya baru ini menyelidiki bagaimana artikel berita lokal yang diproduksi massal berbeda dari pelaporan yang sah, dengan fokus pada ketergantungan mereka pada struktur yang singkat dan repetitif dan kalimat yang ditemplati dengan variasi minimal; dan penulis mencatat bahwa artikel PS cenderung menggunakan template yang identik yang dirancang untuk memanipulasi opini publik, dengan banding emosi yang paling atas dalam konten:

Dari karya baru – beberapa outlet menerbitkan artikel yang hampir identik dengan hanya detail lokasi yang berbeda, mengungkapkan strategi salin-tempel yang digunakan untuk memproduksi konten yang meniru berita lokal yang sah. Sumber

Model deteksi tradisional yang dilatih pada ciri-ciri ini berperforma baik melawan konten tersebut, tetapi gagal ketika artikel tersebut ditulis ulang menggunakan chatbot AI untuk terdengar lebih alami atau canggih.

Pengujian penulis sendiri menunjukkan bahwa bahkan perubahan gaya minor yang diperkenalkan oleh model bahasa besar dapat mengurangi akurasi deteksi hingga 40%. Untuk mengatasi hal ini, mereka mengusulkan kerangka pembelajaran kontinu yang melatih ulang model deteksi pada artikel asli dan artikel yang ditulis ulang oleh AI, untuk beradaptasi dengan pola linguistik yang bergeser.

Metode

Untuk membangun data untuk proyek ini, penulis menggunakan Pink Slime Dataset, yang menampilkan 7,9 juta artikel yang mencakup 1.093 outlet selama 2021-2023, dari mana mereka memperoleh 9.472 artikel ‘pink slime’ setelah penyaringan. Mereka juga menggunakan LIAR dataset, yang berisi berita palsu yang dianotasi, serta NELA-GT-2021 yang berisi artikel AS saja*.

Untuk mempersiapkan set pelatihan dan pengujian, penulis pertama kali menggunakan algoritma T-distributed Stochastic Neighbor Embedding (t-SNE) untuk mengurangi embeddings artikel ke dua dimensi. Mereka kemudian menerapkan algoritma pengelompokan data Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) untuk mengisolasi kelompok artikel ‘pink slime’ yang serupa.

Setiap kelompok dianggap sebagai sekelompok cerita yang terkait, banyak di antaranya masih mengikuti template yang sama, meskipun upaya untuk mengatasi duplikat.

Untuk mencegah artikel yang serupa muncul dalam set pelatihan dan pengujian, kelompok keseluruhan dipilih secara acak, dengan 80% digunakan untuk pelatihan dan 20% untuk pengujian. Karena artikel berita yang sah tidak membentuk kelompok yang jelas, pemisahan acak diterapkan sebagai gantinya.

Proses ini diulangi tiga kali, untuk memastikan konsistensi, dan untuk mengurangi bias sampling.

Karakteristik Pink Slime

Komentar tentang ciri-ciri khas PS dibandingkan dengan berita biasa, peneliti menyatakan bahwa artikel berita lokal PS secara signifikan lebih pendek dan lebih sederhana daripada pelaporan yang sah, dengan rata-rata kurang dari sembilan kalimat per artikel.

Proporsi kalimat sederhana yang lebih tinggi dan ketergantungan yang lebih besar pada kata sifat adalah ciri-ciri lain dari ‘pink slime’, menurut kertas tersebut, dan menunjukkan kecenderungan untuk menggunakan bahasa yang repetitif dan emosional.

Kekayaan leksikal diukur menggunakan Root-Type-Token Ratio (RTTR), dan ditemukan lebih rendah pada artikel PS, yang juga menampilkan lebih sedikit frasa kata benda unik.

Polanya ini menunjukkan kosakata yang terbatas dan gaya yang formulaik, berbeda dengan berita lokal yang sah, yang dicirikan oleh pola bagian kalimat yang kompleks yang dibangun di sekitar kata bantu, kata ganti, dan konjungsi. Sebaliknya, artikel palsu lebih suka struktur kalimat dasar, dengan penggunaan trigram tanda baca yang sering, menunjukkan gaya penulisan yang kurang formal dan lebih terfragmentasi.

Pengujian

Untuk memeriksa asosiasi antara jenis artikel berita yang berbeda, berdasarkan fitur linguistik dan struktural, embeddings dihasilkan menggunakan model stella_en_400M_v5 dengan 435 juta parameter, dan dikurangi dengan Principal Component Analysis (PCA), dan t-SNE untuk visualisasi.

Ketika diproyeksikan ke dalam dua dimensi, artikel berita lokal palsu membentuk kelompok yang kecil dan padat, masing-masing sesuai dengan topik yang fokus sempit seperti statistik kejahatan, pembaruan saham, atau sumbangan amal:

Polanya pengelompokan dari proyeksi t-SNE menunjukkan bahwa artikel ‘pink slime’ membentuk kelompok yang ketat dan repetitif, sementara berita yang sah menampilkan distribusi yang lebih luas dan beragam yang sesuai dengan keragaman topik dan gaya.

Sebagaimana yang dapat kita lihat, sebagian, dalam visualisasi di atas, pola ini menunjukkan format yang kaku dan berbasis template, dengan variasi minimal antara artikel.

Menariknya, artikel yang dilabeli sebagai ‘berita palsu’ menyimpang dari konten lokal palsu, menampilkan distribusi yang lebih sesuai dengan berita yang sah, menunjukkan bahwa konten lokal palsu yang diproduksi massal mungkin tidak hanya kurang benar, tetapi juga secara mekanis berbeda dalam bentuk dan komposisi.

Sebaliknya, berita lokal yang sah membentuk kelompok yang lebih sedikit dan lebih berjarak, sesuai dengan bahasa dan subjek yang lebih beragam, sementara artikel berita nasional menampilkan dispersi yang lebih besar, mencerminkan keragaman topik yang lebih luas dan konsistensi gaya yang lebih longgar.

Perbandingan fitur antara berita lokal yang sah dan konten ‘pink slime’, menunjukkan bahwa artikel PS lebih pendek, menggunakan struktur kalimat yang lebih sederhana, mengandung lebih banyak kata sifat, menampilkan kekayaan leksikal yang lebih rendah, lebih suka trigram tanda baca dasar, dan mengandung lebih sedikit frasa kata benda unik.

Deteksi

Peneliti mengevaluasi dua pendekatan utama untuk mendeteksi konten ‘pink slime’: klasifikasi, berdasarkan fitur linguistik yang dibuat; dan transformer-berbasis fine-tuning.

Untuk pendekatan yang dibuat, ciri-ciri struktural daripada semantik ditekankan, menggunakan hitungan kalimat; kekayaan leksikal; kedalaman sintaksis; probabilitas ko-kejadian kata bantu; probabilitas ko-kejadian tag ketergantungan; keterbacaan; dan hitungan kata bantu.

Tiga model diuji pada set fitur ini: XGBoost; Random Forest; dan Support Vector Machine (SVM) – dengan Random Forest menunjukkan hasil yang sedikit lebih kuat secara keseluruhan.

Baik XGBoost dan Random Forest mengassign penting prediktif yang tinggi pada fitur seperti hitungan kalimat dan jumlah frasa kata benda unik. Keterbacaan dan kekayaan leksikal juga mempengaruhi klasifikasi dengan kuat, meskipun model tersebut menimbangnya secara berbeda, dengan XGBoost memfavoritkan Flesch dan RTTR, sementara Random Forest condong pada CTTR:

Skor kepentingan fitur berdasarkan SHAP (SHapley Additive exPlanations) menyoroti bagaimana setiap fitur input mempengaruhi output model di seluruh sampel. Dalam kasus ini, nilai SHAP menunjukkan bahwa baik XGBoost dan Random Forest sangat bergantung pada hitungan kalimat dan frasa kata benda unik untuk membedakan ‘pink slime’ dari berita yang sah, sementara mengassign bobot yang berbeda pada ukuran kekayaan leksikal dan keterbacaan.

Sebagaimana yang terlihat dalam perbandingan fitur sebelumnya (di atas), artikel ‘pink slime’ lebih suka sensasionalisme daripada detail, dengan kekayaan leksikal yang lebih rendah, dan dengan frasa kata benda unik yang lebih sedikit – memperkuat kesimpulan bahwa jenis konten ini sangat berbasis template dan repetitif.

Polanya trigram tanda baca mengkonfirmasi bahwa berita lokal yang sah cenderung menggunakan bentuk yang lebih kompleks secara struktural, melibatkan kata bantu, kata ganti, dan konjungsi, sementara ‘pink slime’ lebih suka sintaksis minimal atau terfragmentasi. Pola-pola ini menunjukkan dasar yang dapat diandalkan untuk membedakan konten sintetis lokal dari jurnalisme yang sah.

Pendekatan kedua melibatkan fine-tuning model transformer pada teks artikel penuh, untuk menangkap baik konten semantik dan struktur sintaksis.

BERT, XLNet, dan Flan-T5 diuji, dengan BERT mencapai skor F1 tertinggi sebesar 89,31% – meskipun kertas tersebut mencatat bahwa perbedaan kinerja tidak signifikan secara statistik. Berbeda dengan klasifikasi yang dibuat, model-model ini memperbarui semua bobot selama pelatihan, memungkinkan mereka untuk mempelajari representasi tugas-spesifik langsung dari data.

Metode berbasis embedding tambahan menggunakan fully-connected downstream classifier menunjukkan kinerja yang lebih baik daripada model yang dibuat, tetapi tidak mencapai akurasi fine-tuning penuh.

Pendekatan-pendekatan ini mendapat manfaat dari konteks linguistik yang lebih luas – yang menguntungkan, mengingat bahwa artikel ‘pink slime’ sering mengulangi konten di seluruh outlet. Fitur yang dibuat, di sisi lain, bergantung pada sintaks permukaan saja, membatasi kemampuan mereka untuk umum di seluruh sumber.

Meningkatkan Pink Slime dengan LLMs

Untuk menguji apakah artikel ‘pink slime’ dapat dibuat lebih sulit untuk dideteksi, peneliti menulis ulang artikel tersebut menggunakan model bahasa besar. Prompt dirancang untuk meningkatkan gaya penulisan dengan memperluas konten, menambah kompleksitas kalimat, mengurangi penggunaan kata sifat yang berlebihan, menerapkan nada netral, menggunakan kosakata yang lebih beragam, dan meningkatkan jumlah frasa kata benda unik, dengan tujuan untuk menyembunyikan ciri-ciri permukaan yang paling banyak digunakan oleh sistem deteksi.

Model yang diuji adalah Gemma‑2B; Mistral‑7B; Llama‑1B; Llama‑3B; Llama‑8B; Qwen‑7B; GPT‑4o mini; dan Claude‑3.5‑Haiku.

Kinerja deteksi (F1) dari klasifikasi BERT yang difine-tuning ketika artikel ‘pink slime’ ditulis ulang oleh LLM yang berbeda. Skor yang lebih rendah menunjukkan penyembunyian yang lebih sukses.

Dari hasil ini, penulis mengomentari:

‘[Di antara] model open-source, Qwen adalah yang paling efektif dalam menghindari deteksi: ketika diuji melawan klasifikasi BERT yang difine-tuning sebelumnya (skor F1 baseline: 89%), itu menyebabkan penurunan 28,34% dalam kinerja deteksi.

‘Model closed-source jauh lebih kuat, dengan baik GPT-4o-mini dan Claude-3.5-Haiku mengurangi skor F1 rata-rata sebesar 40%, menyoroti tantangan yang diajukan oleh penyembunyian LLM yang berkualitas tinggi.’

Hasil ini, menurut penulis, menunjukkan betapa mudahnya LLM dapat menyembunyikan konten ‘pink slime’, membuatnya jauh lebih sulit bagi alat saat ini untuk mendeteksi**.

Kesimpulan

Opini Garis penelitian ini mengandung beberapa dilema menarik, tidak kurang dari yang paling penting adalah bahwa banyak orang (menurut setidaknya satu survei yang disebutkan sebelumnya) mendukung konten PS, mengetahui apa itu, sehingga membawa konteks pejoratif ke dalam pertanyaan. Ini seolah-olah orang tahu bahwa ‘Soylent Green adalah manusia’, tetapi mereka menggelengkan bahu dan terus makan; atau sehingga tampak, dari perspektif liberal.

Keacuhan publik terhadap berita algoritmik ini mungkin berkembang dan bahkan berbalik – tetapi untuk saat ini, tampaknya semakin dalam.

Hal lain yang membuatku terkesan saat membaca kertas tersebut adalah cara prose yang lebih sederhana dan reduksionisme dari output ‘pink slime’ dianggap sebagai kelemahan dengan solusi teknis yang mungkin, ketika minimalisme, emosionalisme, dan kosakata yang terbatas tampaknya semua sangat disengaja.

Jika berbagai kelompok kepentingan di balik PS ingin memperluas jangkauan mereka ke audiens yang lebih intelektual atau liberal (meskipun ini mungkin tidak memainkan kekuatan mereka), tampaknya lebih mungkin bahwa mereka akan mendirikan kamp di dekat demografi target mereka, daripada mengubah gaya bahasa dan nada yang sudah tampaknya mencapai tujuan mereka di platform yang ada.

* Karena beberapa formatting yang tidak beruntung dalam kertas, sumber tambahan artikel berita lokal tidak memiliki atribusi yang jelas. Silakan merujuk ke kertas sumber dan tebak mana dari referensi ‘Horne’ yang berlaku.

** Di sini kita merujuk pembaca ke kertas sumber untuk detail eksperimen sekunder, eksperimen tambahan yang menutup bagian hasil kertas baru.

Dipublikasikan pertama kali pada hari Jumat, 12 Desember 2025