Anthropic Menemukan bahwa Analis Mengikuti Agen AI dalam Studi Pengambilan Keputusan

Pada 27 Oktober 2026, Anthropic menerbitkan uji acak terkontrol yang menunjukkan bahwa 50 analis profesional pengguna Claude Code mengikuti preferensi yang diam-diam ditetapkan untuk agen mereka dalam 86% keputusan analitis terbuka yang memerlukan pertimbangan. Studi yang ditulis oleh Amaç Herdağdelen, Hailey Joren, dan Alex Tamkin ini mengkaji apakah para ahli benar-benar mengambil keputusan penting dalam pekerjaan yang dibantu AI, atau justru dalam praktiknya mengikuti agen mereka.

Koperasi Fiktif dan Undian Koin Rahasia

Para peneliti merekrut 61 profesional yang telah lulus tes pengetahuan tentang inferensi kausal, rutin menggunakan Python atau R, serta memiliki pengalaman langsung dalam analisis kausal observasional. Setiap peserta bertindak sebagai analis utama untuk Greenfields Farming Cooperative yang fiktif, yang harus memutuskan apakah akan memperluas atau menghentikan program konsultasi pertanian sukarela berbayar. Dewan koperasi hanya akan memperluas program jika program itu meningkatkan produktivitas pertanian sekitar 3–4%, tetapi tidak menentukan cara mengukur produktivitas.

Tugas tersebut mencakup empat keputusan analitis terbuka, masing-masing dengan dua pilihan yang sama-sama dapat dipertanggungjawabkan: apakah produktivitas diukur berdasarkan hasil panen per hektare atau per unit biaya operasional; metode perbandingan statistik yang akan digunakan; apakah dampak program diukur hanya pada pertanian yang terdaftar atau di seluruh anggota; serta apakah semua pertanian diberi bobot yang sama atau produsen yang lebih besar diberi bobot lebih tinggi. Pilihan-pilihan ini menjadi dasar rekomendasi akhir untuk melaksanakan, menghentikan, atau memperpanjang program. Setiap keputusan dapat mengubah estimasi peningkatan produktivitas sebesar beberapa poin persentase dibandingkan dengan ambang batas yang ditetapkan dewan.

Untuk setiap keputusan, hasil lemparan koin menentukan pilihan mana yang akan didukung oleh agen peserta. Kecenderungan ini disisipkan melalui perintah sistem tersembunyi yang menginstruksikan agen untuk menjadikan preferensi tersebut sebagai pandangannya sendiri, mengemukakannya saat keputusan terkait dibahas, dan menyampaikan argumen terkuat yang jujur berdasarkan data. Instruksi itu juga mengharuskan agen mengubah pandangan jika bukti secara meyakinkan menunjukkan hal sebaliknya, serta tidak pernah memelintir hasil atau menyembunyikan data. Peserta tidak diberi tahu bahwa kecenderungan tersebut ada. Dari 61 orang yang menyelesaikan tugas, 11 memilih untuk tidak menggunakan agen dan dikeluarkan dari analisis utama; di antara 50 peserta sisanya, 65% memiliki gelar master atau doktor, atau pengalaman kerja selama enam tahun atau lebih, dan 90% responden survei menilai kemampuan mereka dalam inferensi kausal berada pada tingkat mahir atau ahli. Peserta bekerja di ruang kerja VS Code berbasis peramban yang menjalankan Claude Code v2.1.220 dengan Claude Opus 4.8 pada tingkat upaya tinggi; median waktu pengerjaan tugas adalah 65 menit. Desain, hasil, estimator, dan pengecualian penelitian dicatat dalam rencana analisis prapenelitian, dan penelitian ini menjalani tinjauan etik internal dengan persetujuan peserta untuk pemantauan.

Tingkat Mengikuti Agen dan Kesenjangan Kepemilikan Keputusan

Dalam empat keputusan analitis tersebut, pilihan analis sesuai dengan kecenderungan agen sebanyak 86% dari waktu, dibandingkan dengan peluang dasar 50%; tingkat kesesuaian untuk setiap keputusan masing-masing adalah 92%, 82%, 81%, dan 90%. Makalah lengkap berjudul “Siapa yang Selaras dengan Siapa? Bagaimana Agen AI Membentuk Keputusan Penelitian Para Ahli” melaporkan estimasi gabungan tingkat perubahan pilihan sebesar 0,72, yang tercatat dalam penelitian, dengan interval kepercayaan 95% sebesar 0,60–0,83.

Dampaknya terhadap rekomendasi akhir lebih lemah dan tidak signifikan secara statistik menurut estimator utama yang telah ditetapkan: 54% merekomendasikan pelaksanaan program ketika agen cenderung mendukungnya, dibandingkan dengan 36% ketika agen cenderung mendukung penghentiannya; pergeseran kebijakan yang tercatat adalah 0,17. Para penulis mengaitkan pergeseran yang lebih kecil ini dengan fakta bahwa rekomendasi mengikuti hasil estimasi secara mekanis setelah estimasi dihitung. Namun, model eksploratif yang hanya menggunakan empat kecenderungan analitis tersebut memprediksi 82% rekomendasi, dibandingkan dengan tingkat dasar 61% untuk pilihan mayoritas. Artinya, hasil lemparan koin sebagian besar menentukan rekomendasi analis bahkan sebelum mereka mulai mengerjakan tugas.

Dalam 38 kasus ketika analis menyatakan preferensi sebelum agen menyampaikan preferensinya, mereka beralih dari pilihan semula dalam 60% kasus ketika agen tidak sependapat, dibandingkan dengan 6% ketika agen sependapat. Makalah tersebut melaporkan selisih tingkat peralihan yang telah ditetapkan sebesar 0,53, dengan interval kepercayaan 0,24–0,82, serta mencatat bahwa estimasi ini tidak presisi dan subkelompok tersebut terbentuk berdasarkan pilihan peserta sendiri.

Survei setelah tugas menunjukkan adanya kesenjangan antara pengaruh agen dan persepsi diri peserta. Sebanyak 52% menilai rekomendasi akhir lebih merupakan hasil pemikiran mereka sendiri daripada agen, dan tingkat keyakinan rata-rata adalah 71 bagi mereka yang mengikuti kecenderungan agen dalam keempat keputusan, dibandingkan dengan 73 bagi peserta lainnya. Saat menjelaskan setiap pilihan tanpa akses ke transkrip, 77% mengulang argumen agen dalam setidaknya satu jawaban, terkadang kata demi kata, sedangkan hanya 15% yang menyebut peran agen di bagian mana pun. Tak satu pun dari 10 karakteristik peserta yang diuji secara konsisten memprediksi kecenderungan untuk mengikuti agen; hanya usia yang menunjukkan hubungan nominal, tetapi hubungan itu tidak bertahan setelah koreksi untuk pengujian berganda. Enam dari 48 peserta menduga bahwa penelitian ini berkaitan dengan pengaruh AI terhadap pilihan mereka, tetapi tidak seorang pun mencurigai bahwa preferensi tersebut sengaja ditanamkan.

Kelompok Pembanding, Agen Bawaan, dan Keterbatasan

Dari 11 peserta yang bekerja tanpa agen, enam (55%) membuat kesalahan serius yang membatalkan hasil, dibandingkan dengan tiga dari 50 (6%) pengguna agen. Kelompok tanpa AI juga membutuhkan waktu median 90 menit, sedangkan kelompok pengguna agen membutuhkan 65 menit. Para penulis mengingatkan bahwa peserta memilih sendiri kelompoknya dan memiliki tingkat pengalaman yang berbeda, sehingga tidak dapat ditarik kesimpulan sebab-akibat. Dalam simulasi langsung terpisah tanpa kecenderungan yang sengaja disisipkan, Claude Opus 4.8 versi standar membuat lima pilihan yang sama dalam 91% dari 123 percobaan. Ketika seorang analis yang dikendalikan skrip menyatakan keputusan yang bertentangan dengan preferensi dasar model, agen standar merekomendasikan atau mendukung alternatif tersebut dalam 41% dari 150 pernyataan keputusan yang dinilai.

Para penulis menyebutkan empat keterbatasan: kecenderungan tersebut sengaja diperkuat; penelitian ini hanya menggunakan satu tugas, satu ranah, dan satu model yang versinya dikunci; estimasi merupakan rata-rata dari para analis, bukan ukuran pengaruh terhadap individu; dan yang dicatat hanya opsi yang dipilih, bukan seberapa kuat preferensinya.

Para penulis menyatakan bahwa jika tim peneliti yang berbeda mengandalkan model dengan asumsi awal yang sama, kesepakatan di antara mereka mungkin tidak lagi independen. Mereka juga menyebutkan bahwa ketergantungan tersebut menimbulkan risiko bagi penelitian keselamatan AI, yang menganggap persetujuan peninjau manusia sebagai pemeriksaan independen. Mereka mengusulkan tiga bidang penelitian mendatang: mengukur ketergantungan dalam situasi sehari-hari, merancang agen yang menyajikan kedua sisi atau terlebih dahulu menggali pandangan pakar, serta melakukan perubahan kelembagaan untuk menentukan secara sengaja keputusan mana yang memerlukan penilaian mandiri berdasarkan pemahaman seseorang.