Bahkan AI Dasar Sekarang Bisa Menulis Berita yang Mirip dengan Tulisan Manusia

Penelitian baru menunjukkan bahwa bahkan model AI lokal kecil dapat menulis berita yang tidak dapat dibedakan orang dari jurnalistik nyata, mencocokkan sistem teratas, dan meninggalkan pembaca tidak dapat mengetahui siapa yang menulis apa.

Menurut kolaborasi penelitian baru antara Jerman dan Perancis, manusia tidak dapat mengetahui apakah sebuah artikel berita ditulis oleh AI atau manusia – bahkan ketika itu ditulis oleh model sumber terbuka yang dapat diunduh dan dijalankan pada komputer desktop konsumen rata-rata.

Dalam indikasi lain bahwa AI kecil sedang naik daun, survei 2.318 penilaian yang dikumpulkan dari 1.054 peserta dalam portal studi akademis khusus menemukan bahwa pembaca manusia tidak dapat mengidentifikasi asal sebuah artikel pada tingkat yang lebih tinggi dari tingkat acak, bahkan ketika itu dihasilkan oleh model yang relatif sederhana dengan hanya tujuh miliar parameter, termasuk Mistral dan Llama varian:

Mean source and authenticity scores for LLMs tested. GPT-4o’s 200 billion parameters do not massively exceed the 7B parameters of smaller models. Those tested for the study were Gemma 7B, Phi-3 Mini, LLaMA-2 13B, Mistral 7B, GPT-4o, and GPT-3.5. Source

Para penulis kembali ke topik yang mereka teliti pertama kali dalam rilis Blessing or curse? A survey on the Impact of Generative AI on Fake News. Temuan-temuan itu sendiri adalah hasil baru dari proyek yang lebih besar yang pertama kali diumumkan pada Januari, dan menggunakan kerangka kerja partisipatif online JudgeGPT milik penulis.

Featherweight Power

Berjudul Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News, dan berasal dari tiga peneliti di Frankfurt University of Applied Sciences dan unit penelitian IRISA di Nantes, studi baru ini membuat perbedaan penting antara ‘berita palsu’ dan ‘berita yang ditulis AI’ (karena berita palsu dapat ditulis oleh orang, atau oleh AI, dan dua aspek tersebut tidak selalu sinonim).

Namun, mungkin aspek yang paling menarik adalah kesimpulan makalah bahwa model kecil termasuk Mistral 7B dan Gemma 7B dapat, dengan hanya tujuh miliar parameter, bersaing dengan aplomb melawan model ChatGPT (4o) dengan 200 miliar parameter:

‘Open-weight models dengan hanya 7B parameter menghasilkan teks yang dinilai tidak berbeda dari output GPT-4o, menunjukkan bahwa kemampuan untuk menghasilkan teks yang tidak dapat dibedakan manusia tidak lagi terbatas pada model frontier.’

Namun, ‘berita yang dihasilkan AI’ dapat mewakili banyak jenis kolaborasi manusia/AI, dari pengecekan ejaan hingga pengalihan upaya penuh, dan studi ini tidak menjelaskan secara eksplisit jenis konten AI yang dihasilkan untuk tes (meskipun itu menjelaskan metodologi untuk menghasilkannya – lihat di bawah).

Metode

Untuk peserta yang terlibat dengan platform JudgeGPT, setiap fragmen berita dinilai menggunakan kerangka kerja dual-axis di mana mereka memberikan tiga peringkat independen pada slider kontinu 0-100;

The JudgeGPT portal GUI, where raters assess material on source attribution; authenticity; and topic familiarity. Please refer to the source paper for better resolution.

Penilaian sumber menangkap apakah sebuah passage tampaknya ditulis mesin atau manusia; penilaian keaslian, apakah itu dianggap palsu atau sah; dan kenalan topik, seberapa baik pembaca mengenal subjek.

Skala kontinu digunakan bukan Skala Likert, untuk menangkap derajat kepastian lebih presisi, dan untuk mendukung analisis statistik, termasuk korelasi Pearson dan klastering.

Teks fragmen yang dihasilkan mesin dihasilkan oleh kerangka kerja RogueGPT milik penulis, arsitektur feeder untuk JudgeGPT. RogueGPT mengatur kontribusi dari enam Large Language Models (LLMs): ChatGPT-4; ChatGPT-3.5; ChatGPT-4o; LLaMA-2 13B; Gemma 7B; dan Mistral 7B.

Prompt berbasis persona digunakan untuk menghasilkan teks, dan generasi AI didasarkan pada topik berita nyata, dan diperiksa oleh manusia.

Sebaliknya, fragmen yang ditulis manusia diambil dari ‘sumber berita mapan’ dan ‘basis data informasi’ yang tidak ditentukan.

Para penulis mengamati:

‘Himpunan stimulus sengaja miring ke arah fragmen asal mesin (∼98%), dengan item asal manusia berfungsi sebagai jangkar kalibrasi.

‘Pilihan desain ini mencerminkan fokus studi pada variasi dalam-AI (di seluruh model) daripada perbandingan manusia-vs-AI; peserta tidak diberitahu tentang tingkat dasar, dan hasil deteksi hampir acak [hasil] tetap ketika dianalisis pada subset asal manusia saja.’

Peserta pertama-tama memberikan persetujuan informasi dan menyelesaikan kuesioner demografi yang mencakup usia, pendidikan, orientasi politik, dan familiaritas dengan AI, setelah itu mereka mengevaluasi urutan fragmen berita.

Setiap orang meninjau antara 5-87 item, dengan median 12, sementara urutan presentasi diacak, dan penugasan model seimbang di seluruh peserta, untuk mengurangi bias. Platform mencatat tiga peringkat slider bersama dengan waktu respons dan pengidentifikasi anonim, memungkinkan penilaian individu untuk dihubungkan dengan faktor latar belakang.

Para penulis mengambil kesempatan untuk menunjukkan bahwa sampel miring ke arah peserta terdidik Eropa, dengan 68% berpendidikan universitas, dan 74% berbasis di Eropa – bias yang ditunjukkan dalam makalah sebagai keterbatasan untuk generalisasi yang lebih luas.

Uji Coba

Uji coba dibagi menjadi lima jenis temuan: membedakan teks yang dihasilkan mesin dari teks yang ditulis manusia; membandingkan deteksi di seluruh LLM yang berbeda; memeriksa efek keahlian domain versus orientasi politik pada akurasi; mengidentifikasi strategi respons yang berbeda di antara peserta; dan melacak bagaimana akurasi berubah selama evaluasi berulang, karena kelelahan:

Ringkasan dari lima temuan inti dari 2.318 penilaian di seluruh 1.054 peserta, menunjukkan bahwa deteksi manusia teks yang ditulis AI tetap pada tingkat acak di seluruh model, bahwa akurasi terkait dengan keahlian domain daripada orientasi politik, bahwa peserta dikelompokkan ke dalam profil kepercayaan yang berbeda, dan bahwa kinerja menurun setelah sekitar 30 evaluasi, karena kelelahan kognitif.

Uji coba menunjukkan tidak ada perbedaan yang signifikan di atas tingkat acak dalam skor sumber antara kondisi, yang tampaknya menunjukkan bahwa peserta tidak dapat membedakan teks yang dihasilkan AI dari output manusia:

Distribusi skor sumber dan keaslian untuk fragmen asal mesin dan asal manusia menunjukkan tumpang tindih yang substansial, dengan tidak ada pemisahan yang berarti antara kedua kondisi, dan pengujian statistik – menunjukkan bahwa peserta tidak dapat membedakan teks yang dihasilkan AI dari konten yang ditulis manusia.

Untuk aspek kedua, seperti yang ditunjukkan pada grafik di awal artikel, kegagalan deteksi tidak bervariasi menurut model, karena output dari semua LLM terkumpul di sekitar penilaian tingkat acak, dengan tidak ada perbedaan yang signifikan di antara mereka. Bahkan sistem terbuka yang lebih kecil seperti Mistral 7B dan Gemma 7B dinilai tidak berbeda dari GPT-4o, menunjukkan bahwa teks yang tidak dapat dibedakan manusia mungkin tidak lagi terbatas pada model terbesar.

Untuk aspek ketiga, akurasi lebih kuat terkait dengan keahlian domain daripada orientasi politik, karena familiaritas dengan berita palsu berkorelasi dengan penilaian yang lebih baik, sementara pandangan politik menunjukkan tidak ada efek yang berarti, menunjukkan bahwa keterampilan analitis yang dipelajari mungkin lebih penting daripada ideologi:

Hasil untuk garis penyelidikan ketiga menunjukkan bahwa orientasi politik tidak memiliki efek yang berarti pada atribut sumber atau skor keaslian, dengan hanya tren lemah dan tidak signifikan di seluruh kedua ukuran. Pada saat yang sama, familiaritas diri dengan berita palsu konsisten terkait dengan akurasi yang lebih tinggi pada kedua sumbu, seperti yang tercermin dalam korelasi positif moderat dan kemiringan regresi ke atas. Penulis menyatakan bahwa ini menunjukkan bahwa keterampilan analitis berbasis pengalaman (daripada posisi ideologis) adalah prediktor yang lebih kuat dari kinerja dalam mengevaluasi berita yang dihasilkan AI dan berita yang ditulis manusia. Silakan merujuk ke makalah sumber untuk resolusi yang lebih baik.

Temuan keempat menunjukkan bahwa peserta dikelompokkan ke dalam dua gaya respons yang berbeda yang diidentifikasi sebagai ‘Skeptis’ – yang memberikan kepercayaan rendah di seluruh konten tanpa memandang asal – dan ‘Percaya’ – yang mempertahankan tingkat kepercayaan yang lebih tinggi.

Akhirnya, mengenai tujuan kelima, analisis bergulir dari penilaian berurutan menunjukkan bahwa peserta awalnya menjadi lebih baik dalam tugas, dengan akurasi yang meningkat selama sekitar 15-20 evaluasi pertama karena mereka beradaptasi dengan format:

Rata-rata bergulir dari skor atribut sumber dan keaslian di seluruh urutan evaluasi peserta menunjukkan fase perbaikan awal singkat, karena pengguna tampaknya beradaptasi dengan tugas selama 15–20 item pertama, diikuti oleh penurunan stabil dalam kedua ukuran setelah sekitar 30 evaluasi. Silakan merujuk ke makalah sumber untuk resolusi yang lebih baik.

Namun, efek ini berumur pendek, karena kinerja mulai menurun setelah sekitar 30 item, dengan peserta semakin sering menglabeli konten sebagai palsu – pergeseran yang diinterpretasikan sebagai kelelahan kognitif, dan menunjukkan batasan yang jelas tentang seberapa lama pendekatan berbasis deteksi dapat tetap efektif dalam prakteknya.

Hal ini mungkin merupakan bukti empiris bahwa, kelelahan oleh prospek membedakan berita palsu dari nyata, berita AI dari manusia, kita mungkin cenderung mengasumsikan berita itu AI dan/atau palsu (bukan hal yang sama), untuk berada di ‘sisi yang aman’. Mereka yang menganggap ini ‘malas’, dan menganggap bahwa orang harus melakukan penelitian mereka sendiri untuk memverifikasi sebuah cerita berita palsu, mungkin tertarik untuk mengetahui bahwa sebuah studi 2024 menunjukkan bahwa ini hanya membuat masalah lebih buruk.

Para penulis menyarankan bahwa kegagalan penilaian manusia yang terlihat dalam hasil menunjukkan bahwa kita mungkin perlu mengalihkan masalah tersebut ke teknologi provenance kriptografis seperti inisiatif C2PA yang dipimpin Adobe. Solusi lain yang mungkin disebutkan adalah kerangka kerja OriginLens milik penulis, dan proyek lain yang melibatkan penulis yang disebut CRED-1.

Para penulis menyimpulkan:

‘Apakah manusia bisa mengatakan? Studi dual-axis kami dari 2.318 penilaian di seluruh enam keluarga LLM memberikan jawaban empiris yang jelas: mereka tidak bisa.

‘Teks yang dihasilkan mesin tidak dapat dibedakan dari tulisan manusia terlepas dari ukuran model atau keluarga, keahlian domain memprediksi akurasi deteksi lebih kuat daripada orientasi politik, peserta mengadopsi strategi kepercayaan yang berbeda, dan kelelahan kognitif membatasi deteksi berkelanjutan.

‘Temuan-temuan ini mendukung pergeseran dari deteksi tingkat pengguna ke arah tindakan pencegahan tingkat sistem, termasuk provenance konten, indikator kepercayaan adaptif, dan intervensi inokulasi terbatas.’

Kesimpulan

Aspek yang mengkhawatirkan dari makalah ini adalah jaringan proyek dan makalah yang mendukung yang telah dimulai oleh penulis – atau beberapa penulis, tergantung pada pekerjaan – dan pasti akan sangat menguntungkan jika kita bisa mempelajari sampel teks AI dan manusia yang menghasilkan hasil ini, untuk memahami jenis output yang dihasilkan oleh metodologi generasi yang dijelaskan.

Namun, menarik untuk mendengar bahwa model sumber terbuka dapat dibandingkan dengan raksasa API seperti seri ChatGPT – apakah tugas yang ada sebenarnya tidak terlalu sulit, dan model 200 miliar parameter adalah kelebihan untuk tugas tersebut? Kami perlu tahu sedikit lebih banyak tentang sampel sumber AI dan manusia yang dikirim untuk menjawab pertanyaan itu.

Sementara itu, menurut situs canirun.ai, Mistral 7B (yang lebih atau kurang setara dengan ChatGPT-4o dalam tes) ‘runs great’ pada NVIDIA RTX 3080 dengan 16GB of VRAM, and runs ‘decent’ pada 3060 dengan 6GB of VRAM – hardly the latest or greatest graphics cards in play*. So anyone who wants to devise their own methodology for sample submission can apparently participate in these experiments too.

* Gemma 7B is not listed at the site.

First published Thursday, 9 April 2026