Penelitian Menunjukkan ChatGPT Memiliki Kredibilitas Tinggi sebagai Sumber Berita

Penelitian baru menunjukkan bahwa label fact-check ChatGPT mengalahkan likes, shares, dan bahkan merek berita tepercaya dalam membentuk apa yang orang percayai dan ingin bagikan secara online.

Sebuah studi baru yang melibatkan 1.000 orang telah menemukan bahwa ketika ChatGPT memberikan skor kredibilitas pada berita politik, hal itu sering mengubah apa yang orang percayai dan apakah mereka ingin membagikannya – tidak peduli apa pandangan politik awal mereka. Faktor pengaruh tradisional seperti likes atau shares tidak memiliki efek signifikan, tetapi penilaian AI secara kuat membentuk seberapa kredibel berita tersebut tampaknya:

Dari kertas baru, ilustrasi bagaimana orang mengevaluasi headline berita, berdasarkan tiga petunjuk yang berinteraksi: apakah cerita tersebut sesuai dengan identitas politik mereka; seberapa banyak engagement yang tampaknya dimiliki pada media sosial; dan sinyal kredibilitas yang diberikan oleh lembaga atau sistem AI. Pengaruh ini digabungkan untuk membentuk akurasi yang dirasakan dan kemungkinan berbagi konten. Sumber

Seberapa jauh ringkasan AI dianggap sebagai sumber berita yang kredibel mungkin merupakan salah satu topik paling penting dalam media selama beberapa tahun, tidak hanya karena ringkasan AI Google telah mengalihkan lalu lintas dari sebagian besar outlet media online utama pada 2025, dengan tidak ada kepastian di mana transfer kekuasaan ini mungkin menuju dalam jangka panjang atau bahkan menengah.

Para penulis karya baru menyatakan:

‘Temuan ini menyoroti potensi dan risiko umpan balik algoritmik dalam membentuk pemahaman publik. Sinyal yang dihasilkan AI dapat membantu mengurangi bias dan meningkatkan kemampuan untuk membedakan kredibilitas, tetapi pengaruhnya bervariasi tergantung pada identitas politik dan membawa risiko etis terkait ketergantungan yang berlebihan […]

‘…Pengaruh yang tidak seimbang dari ChatGPT menyoroti perdagangan yang kritis: sementara persuasif, umpan balik AI mungkin menggantikan pemikiran kritis jika tidak dirancang dengan hati-hati.’

Para penulis menyarankan bahwa penelitian masa depan harus fokus pada intervensi kredibilitas AI yang lebih baik dan lebih independen, dan mereka mengamati bahwa ini sangat penting dalam topik yang polarisasi.

Selain kemunculan ChatGPT sebagai ‘otoritas’, dan pengaruh yang tidak terduga dari sinyal berbagi (yang para penulis pikir mungkin dapat dikaitkan dengan kondisi tes yang sedikit steril), hasil lain yang menarik dari tes para peneliti terkait dengan demografi dan jenis kelamin:

‘Wanita dan peserta yang minoritas rasial (terutama pengguna Black dan Latine) merespons lebih positif terhadap umpan balik berbasis AI daripada label lembaga.’

Karya baru ini berjudul Sinyal Kredibilitas AI Mengalahkan Lembaga dan Engagement dalam Membentuk Persepsi Berita di Media Sosial, dan berasal dari tiga peneliti di Universitas Notre Dame.

Mari kita lihat lebih dekat metode dan kesimpulan kertas tersebut.

Metode

Empat hipotesis diuji: bahwa orang akan menilai headline sebagai lebih akurat ketika headline tersebut mencerminkan pandangan politik mereka; bahwa skor kredibilitas yang dihasilkan AI akan lebih berpengaruh daripada sinyal dari lembaga yang mapan; bahwa headline dengan engagement tinggi (yaitu, diukur melalui likes, shares, atau komentar) akan dianggap lebih kredibel; dan bahwa pengguna akan cenderung menerima penilaian AI tentang akurasi headline, bahkan ketika itu bertentangan dengan keyakinan mereka sendiri.

Partisipan dalam studi ini direkrut dari platform Prolific, dan harus fasih dalam bahasa Inggris, serta konsumen berita reguler; dan proses randomisasi memastikan bahwa partisipan mewakili berbagai sudut pandang rasial dan gender.

Dalam eksperimen*, partisipan dibagi menjadi empat kelompok, masing-masing menunjukkan jenis umpan balik yang berbeda di sebelah headline berita.

Dalam kelompok pertama (kondisi kontrol) tidak ada informasi tambahan yang diberikan tentang seberapa kredibel headline tersebut; dalam kelompok kedua, headline diberi label dengan peringkat bias dari GroundNews, layanan yang mengklasifikasikan sumber berita sebagai condong kiri, tengah, atau kanan.

Kelompok ketiga melihat label GroundNews yang sama, tetapi sengaja dibalik, menciptakan ketidakcocokan yang dimaksudkan untuk menguji apakah pengguna akan mendeteksi distorsi.

Kelompok terakhir menunjukkan penilaian kredibilitas yang ditulis oleh ChatGPT, menawarkan penjelasan singkat dan peringkat seperti ‘kemungkinan tidak akurat’:

Skema konseptual untuk eksperimen: setiap partisipan menunjukkan headline berita politik dengan kombinasi label kredibilitas dan sinyal engagement sosial yang berbeda. Respon dikumpulkan tentang seberapa akurat setiap headline tampaknya dan seberapa mungkin dibagikan, dengan urutan penuh diulangi selama 21 item.

Data dan Tes

Setiap partisipan menunjukkan urutan 21 headline berita politik. Untuk setiap headline, tingkat engagement sosial bervariasi; terkadang menunjukkan tidak ada likes atau shares, terkadang banyak. Sinyal engagement ini dirandomisasi untuk menghindari pola tetap.

Headline itu sendiri berasal dari berbagai perspektif politik, dan diberi label sebagai condong kiri, condong kanan, atau sentris.

Setelah setiap headline, partisipan diminta untuk menilai seberapa akurat mereka pikir itu, dan apakah mereka ingin membagikannya. Karena setiap partisipan telah menyatakan afiliasi politik mereka sendiri, memungkinkan untuk menganalisis apakah headline dari sisi spektrum politik yang sama dinilai lebih menguntungkan.

Partisipan menilai setiap headline dua kali: sekali untuk seberapa akurat itu tampaknya, dan sekali untuk seberapa mungkin dibagikan, dengan respon mereka diukur pada skala 0-10.

Para peneliti kemudian menggabungkan jawaban ini dengan data tambahan: informasi demografi dan penggunaan media dari setiap partisipan; tag politik untuk setiap headline; jenis sinyal kredibilitas yang ditunjukkan; dan tingkat engagement sosial yang ditugaskan.

Pengaruh Identitas Politik

Dalam tes pertama, yang menguji apakah orang menilai headline sebagai lebih akurat ketika posisi politik headline sesuai dengan pandangan mereka sendiri, hasilnya menunjukkan bahwa partisipan lebih cenderung mempercayai headline yang sesuai dengan pandangan politik mereka – tetapi bahwa ini tergantung pada kelompok.

Moderat menunjukkan bias terkuat terhadap sisi mereka sendiri, sementara liberal dan konservatif cenderung mempercayai headline sentris paling banyak; dan secara keseluruhan, headline netral dinilai lebih akurat daripada headline condong kiri atau kanan.

Ilustrasi bagaimana peringkat akurasi dan shareability berubah tergantung pada posisi politik headline dan afiliasi politik partisipan. Moderat paling mungkin menilai headline ‘ingroup’ sebagai akurat, sementara liberal dan konservatif memfavoritkan headline sentris. Perilaku berbagi mengikuti pola serupa, dengan bias ingroup terbatas di luar kelompok moderat.

Dalam hasil eksperimen pertama, efek ingroup yang modest ditemukan; tetapi hanya untuk moderat, yang lebih cenderung membagikan headline yang sesuai dengan pandangan politik mereka. Liberal dan konservatif tidak menunjukkan kecenderungan ini.

Analisis varians (ANOVA), metode yang digunakan untuk mendeteksi perbedaan antara kelompok, menunjukkan bahwa keselarasan mempengaruhi berbagi hanya ketika berinteraksi dengan identitas politik. Kredibilitas dan berbagi terkait, tetapi hanya moderat menunjukkan pola yang jelas di seluruh keduanya.

Kredibilitas Lembaga vs. AI

Tes berikutnya menguji apakah orang lebih mempercayai peringkat AI daripada sumber tradisional seperti situs web penilaian berita – terutama ketika peringkat tersebut mungkin tidak sesuai dengan pandangan politik mereka:

Peringkat kredibilitas dan shareability di seluruh sumber umpan balik: ketiga sinyal tersebut meningkatkan akurasi dibandingkan dengan kontrol, dengan GroundNews menghasilkan peringkat tertinggi. Namun, ChatGPT menghasilkan keuntungan terbesar dalam shareability, menunjukkan dampak persuasif yang lebih luas. Batang kesalahan menunjukkan interval kepercayaan 95%, dan asterisk menandai perbedaan pasangan yang signifikan.

Semua umpan balik meningkatkan akurasi yang dirasakan; tetapi GroundNews paling efektif ketika sesuai dengan pandangan politik pengguna.

ChatGPT meningkatkan peringkat akurasi di seluruh papan, menunjukkan bahwa itu dianggap lebih netral. Konservatif kurang terpengaruh oleh GroundNews, namun merespons ChatGPT dengan cara yang sama seperti kelompok lain:

Di sini kita dapat melihat efek umpan balik ChatGPT pada akurasi yang dirasakan. Hasilnya menunjukkan bahwa kepercayaan pada sinyal lembaga tergantung pada keselarasan, sementara kepercayaan pada sinyal algoritmik tidak. ChatGPT meningkatkan kredibilitas dan shareability di seluruh kelompok – terutama untuk konservatif.

Metriks Sosial Berdampak Sedikit

Analisis ketiga menguji apakah sinyal engagement sosial yang terlihat seperti likes, shares, dan komentar akan meningkatkan kredibilitas atau shareability dengan bertindak sebagai bukti sosial; tetapi tidak ada efek seperti itu yang diamati.

Tes menemukan bahwa tingkat engagement, seperti likes atau shares, tidak memiliki efek nyata pada seberapa akurat headline tampaknya, dan hanya memiliki efek lemah dan tidak dapat diandalkan pada seberapa shareable mereka merasa; tidak seperti sinyal algoritmik atau lembaga, sinyal sosial ini tidak tampaknya mempengaruhi penilaian dalam pengaturan ini, karena alasan yang disebutkan sebelumnya dalam artikel.

Umpan Balik AI Mempengaruhi Apa yang Dipercaya

Eksperimen keempat dan terakhir menguji apakah pengguna akan menyesuaikan penilaian kredibilitas dan berbagi mereka dalam menanggapi label yang dihasilkan AI: akurat; agak akurat; tidak diverifikasi; atau tidak akurat, semua yang ditugaskan oleh ChatGPT.

Partisipan merespons kuat terhadap label kredibilitas yang dihasilkan AI. Peringkat akurasi naik atau turun sejalan dengan umpan balik ChatGPT, dengan efek terbesar terlihat ketika headline diberi label akurat atau tidak akurat:

Umpan balik ChatGPT mempengaruhi peringkat akurasi dan shareability. Atas: Peringkat akurasi naik dengan label yang lebih positif, terutama ketika headline diberi label ‘Akurat’, dan turun ketika diberi label ‘Tidak Akurat’. Bawah: Shareability mengikuti pola serupa tetapi menunjukkan variasi yang lebih besar oleh kelompok: liberal merespons kuat terhadap sinyal negatif, sementara konservatif menunjukkan pergeseran yang lebih halus.

Identitas politik membentuk efek ini, dengan pengguna lebih mempercayai ChatGPT ketika umpan baliknya sesuai dengan pandangan mereka sendiri.

Perilaku berbagi mengikuti pola serupa: headline ingroup yang diberi label akurat paling sering dibagikan, terutama di bawah label ambigu seperti agak akurat.

Hasil ini, menurut kertas tersebut, menunjukkan bahwa umpan balik AI dapat menggeser perilaku pengguna; dan bahwa itu juga berisiko memperkuat pembagian partisan atau mencegah pemikiran kritis.

Siapa yang Paling Mempercayai AI?

Analisis lanjutan memeriksa bagaimana demografi pengguna membentuk reaksi terhadap label kredibilitas. Umpan balik ChatGPT meningkatkan peringkat akurasi secara keseluruhan, tetapi efeknya lebih lemah di antara pengguna yang sangat berpendidikan, dan konsumen media sosial yang sering, yang menunjukkan skeptisisme yang lebih besar.

Kelompok yang sama merespons negatif terhadap label GroundNews dan Reversed, menunjukkan, menurut kertas tersebut, bahwa penanda bias yang jelas dapat mengasingkan pengguna media yang lebih melek.

Sebaliknya, wanita dan partisipan yang minoritas rasial, terutama pengguna Black dan Latino, merespons lebih positif terhadap ChatGPT daripada sinyal lembaga:

Respon demografi terhadap jenis umpan balik, dengan setiap panel menunjukkan bagaimana kelompok tertentu merespons sinyal kredibilitas yang berbeda. Peringkat ChatGPT memiliki pengaruh terkuat dan paling konsisten terhadap akurasi, sementara efek pada berbagi kurang seragam, dengan variasi oleh ras, jenis kelamin, dan penggunaan media.

Perilaku berbagi mengikuti split ini: GroundNews mengurangi shareability paling tajam di antara pengguna media sosial dan pecinta berita, sementara efek ChatGPT lebih bervariasi, bahkan meningkatkan shareability di beberapa kelompok, dengan pemegang gelar sarjana sangat responsif terhadap semua jenis umpan balik.

Para penulis menyimpulkan:

‘Temuan ini memiliki implikasi langsung untuk desain intervensi kredibilitas dalam sistem sosioteknis. Pengguna semakin dipengaruhi oleh umpan balik algoritmik, yang dapat menggantikan sinyal lembaga dan memoderasi bias partisan – tetapi juga berisiko mempromosikan ketergantungan yang berlebihan.

‘Sinyal lembaga tetap efektif untuk beberapa pengguna, tetapi dampaknya berkurang dalam lingkungan yang polarisasi politik atau [rendah kepercayaan]. Sementara itu, metrik engagement seperti likes dan shares sebagian besar diabaikan, menunjukkan nilai persuasif yang berkurang ketika disajikan tanpa konteks sosial.

‘Untuk mendukung evaluasi berita yang adil dan terinformasi, intervensi yang didorong AI harus transparan, menjelaskan, dan dirancang untuk meningkatkan keagenan pengguna.

‘Karya masa depan harus mengeksaminasi mekanisme ini dalam pengaturan yang lebih valid secara ekologis, mengevaluasi kerangka kredibilitas AI alternatif, dan mengembangkan sistem yang adaptif yang mendorong keterlibatan kritis di seluruh audiens yang beragam secara politik.’

Kesimpulan

Mengingat kecenderungan semua sistem AI generatif saat ini untuk mengalami halusinasi dan memutarbalikkan kebenaran, mungkin ada kekhawatiran bahwa adopsi ChatGPT yang meluas (meskipun melambat sedikit) juga mewakili lompatan iman yang besar bahwa arsitektur sistem tersebut tidak dapat membenarkan atau mendukung.

Satu masalah dengan mempercayai representasi AI dari berita adalah kurangnya sistem efektif yang dapat mengkontekstualisasi sumber berita sebagai ‘afiliasi politik’, atau condong ke satu atau lain ujung spektrum politik.

Even di antara sumber-sumber keempat estat yang paling terpercaya, pilihan apa yang dan apa yang tidak diliput adalah sebuah pernyataan politik itu sendiri. Baik ChatGPT maupun sistem lainnya saat ini tidak dalam posisi untuk menavigasi lapisan-lapisan bias interpretatif ini, dan topik ini sendiri mengundang diskusi daripada kesimpulan yang solid.

Masalah lainnya adalah sistem seperti ini telah tiba di adegan pada salah satu periode paling polarisasi dan terpisah dalam sejarah manusia selama 80 tahun, dan pada saat masyarakat paling mau mendengarkan ‘suara alternatif’ – seperti genre teknologi baru yang dipromosikan sebagai filter esensial dari kebenaran dunia, bukan apa yang sebenarnya itu: prediktor probabilitas statistik, yang diberi makan oleh volume besar informasi partisan.

* Rincian yang para penulis telah buat tersedia online (lihat kertas sumber, bagian bawah P2, untuk URL). Namun, data ini memerlukan pendaftaran untuk dilihat, dan karena saya tidak melanjutkan masalah tersebut pada titik itu, saya tidak dapat mengonfirmasi bahwa itu dapat dilihat sepenuhnya tanpa pembayaran dan/atau jenis kredential tertentu.

Dipublikasikan pertama kali pada Rabu, 5 November 2025