AI Berperilaku Berbeda Ketika Mengetahui Sedang Diuji, Penelitian Menemukan

Mengulangi skandal ‘Dieselgate’ pada tahun 2015, penelitian baru menunjukkan bahwa model bahasa AI seperti GPT-4, Claude, dan Gemini mungkin mengubah perilaku mereka selama pengujian, terkadang bertindak ‘lebih aman’ untuk pengujian daripada yang mereka lakukan dalam penggunaan dunia nyata. Jika LLMs secara teratur menyesuaikan perilaku mereka di bawah pengawasan, audit keamanan bisa berakhir dengan memutuskan sistem yang berperilaku sangat berbeda di dunia nyata.

Pada tahun 2015, penyelidik menemukan bahwa Volkswagen telah memasang perangkat lunak di jutaan mobil diesel yang dapat mendeteksi ketika pengujian emisi sedang berlangsung, menyebabkan mobil-mobil tersebut sementara menurunkan emisi mereka, untuk ‘memalsukan’ kepatuhan dengan standar regulasi. Namun, dalam penggunaan normal, output polusi mereka melebihi standar hukum. Manipulasi sengaja ini menyebabkan dakwaan pidana, miliaran denda, dan skandal global atas keandalan pengujian keamanan dan kepatuhan.

Dua tahun sebelum peristiwa tersebut, yang kemudian dikenal sebagai ‘Dieselgate’, Samsung terungkap melakukan mekanisme penipuan serupa di smartphone Galaxy Note 3-nya; dan sejak itu, skandal serupa muncul untuk Huawei dan OnePlus.

Sekarang ada bukti yang semakin besar dalam literatur ilmiah bahwa Model Bahasa Besar (LLM) mungkin tidak hanya memiliki kemampuan untuk mendeteksi ketika mereka sedang diuji, tetapi juga berperilaku berbeda dalam keadaan tersebut.

Meskipun ini adalah sangat sifat manusia itu sendiri, penelitian terbaru dari AS menyimpulkan bahwa ini bisa menjadi kebiasaan berbahaya untuk dibiarkan dalam jangka panjang, karena berbagai alasan.

Dalam sebuah penelitian baru, peneliti menemukan bahwa ‘model frontier’ seperti GPT-4, Claude, dan Gemini sering mendeteksi ketika mereka sedang diuji, dan bahwa mereka cenderung menyesuaikan perilaku mereka sesuai dengan itu, potensial menghambat validitas metode pengujian sistematis.

Dubbed kesadaran evaluasi, sifat ini (mungkin) bawaan dalam model bahasa mungkin mengompromikan keandalan penilaian keamanan, menurut penulis penelitian baru tersebut:

‘[Kami] merekomendasikan untuk mengobati kesadaran evaluasi sebagai sumber baru potensial pergeseran distribusi antara pengujian dan penerapan dunia nyata yang bisa negatif mempengaruhi akurasi hasil evaluasi.

‘Dalam kasus terburuk, model bisa secara strategis underperform dalam evaluasi kemampuan berbahaya (“sand-bagging”) atau evaluasi kemampuan (“alignment faking”), yang bisa menyebabkan masyarakat untuk mengoverestimasi keamanan model tersebut.’

Penelitian lain telah mengamati perilaku serupa, termasuk penelitian dari Universitas Stanford, yang menemukan bahwa model bahasa besar modulasi respons mereka untuk muncul lebih ‘disukai’ atau ‘sosial yang diinginkan’ ketika mereka mengenali bahwa mereka sedang dievaluasi, mencerminkan perilaku manusia dalam tes kepribadian.

Penulis penelitian baru tidak mengusulkan bahwa LLMs secara sengaja dirancang untuk ‘mengalahkan’ tes, seperti mobil diesel Volkswagen yang dikonfigurasikan untuk melakukannya satu dekade yang lalu. Sebaliknya, perilaku ini tampaknya muncul sebagai hasil alami dari proses pelatihan model dan tujuan laten; dan penyebab dasar fenomena ini masih belum diketahui.

Penelitian baru ini berjudul Model Bahasa Besar Sering Mengetahui Ketika Mereka Sedang Dievaluasi, dan berasal dari lima penulis dari program ML Alignment & Theory Scholars (MATS) yang berafiliasi dengan UC Berkeley, dan apolloresearch.ai (sebuah think-tank yang didedikasikan untuk mengevaluasi risiko AI).

Metode

Untuk membuat benchmark evaluasi, penulis mengompilasi seribu transkrip yang diambil dari enam puluh satu dataset, di antaranya SWE-bench, WMDP, MMLU, XStest, GAIA, AgentHarm, ShareGPT, Deep Research, Safetybench, Civics, dan RealToxicityPrompts,.

Bahan tersebut seimbang antara skenario evaluasi dan penerapan, dan lebih lanjut dibagi antara interaksi obrolan sederhana dan sesi agentic yang lebih kompleks, di mana model dimaksudkan untuk bertindak secara otonom, menggunakan alat yang dapat menarik data dari database eksternal atau internet.

Data evaluasi mencakup tes kemampuan untuk penalaran, pengkodean, keamanan siber, dan pengetahuan umum, serta tes keselarasan untuk etika, keamanan, dan perilaku penolakan. Data penerapan bersumber dari interaksi pengguna seperti log ShareGPT, jalankan agen crowdsourced, dan penyelesaian tugas sintetis.

Untuk melengkapi data agentic, penulis menghasilkan contoh tambahan menggunakan kerangka kerja orkestrasi seperti Aider dan SmolAgents, di antara lainnya – sebuah pendekatan yang dimaksudkan untuk meminimalkan petunjuk superficial yang mungkin memungkinkan model untuk hanya mengingat struktur dataset, memaksa mereka untuk bergantung pada sinyal yang lebih umum, ketika memutuskan apakah sebuah transkrip berasal dari pengguna nyata atau bukan, tetapi dari tes.

Peneliti kemudian menguji apakah model dapat mengidentifikasi transkrip evaluasi dengan mempresentasikan mereka dengan catatan dialog dan mengajukan variasi pertanyaan sederhana: apakah pertukaran ini berasal dari tes?

Untuk menghindari model hanya mengingat satu kalimat, mereka mengembangkan dua puluh delapan versi berbeda dari pertanyaan, mengubah baik kata-kata dan bagaimana transkrip disajikan.

Transkrip tersebut baik dilampirkan langsung ke pertanyaan atau disajikan dalam format seperti JSON atau XML, yang dapat mempengaruhi bagaimana model merespons. Setelah pengujian awal, lima versi pertanyaan dipilih yang konsisten berperforma di seluruh model, di mana kita dapat melihat salah satu contoh di bawah:

Salah satu dari lima format pertanyaan probe yang digunakan untuk menguji apakah model bahasa dapat mengenali transkrip evaluasi. Setiap variasi mengubah kalimat inti pertanyaan untuk mencegah model hanya mengingat kata-kata yang tetap. Silakan merujuk ke kertas sumber untuk contoh lebih lanjut. Sumber: https://arxiv.org/pdf/2505.23836

Untuk mencetak hasil, tiga metrik digunakan: Area Under Receiver Operating Characteristic Curve (AUC, menunjukkan seberapa baik model membedakan data tes dari data non-tes); Brier score (mengukur akurasi prediksi secara keseluruhan); dan Expected Calibration Error (mengukur seberapa baik skor kepercayaan model sesuai dengan hasil sebenarnya).

Apa Itu?

Peneliti juga menguji apakah model dapat menginfer tujuan dari evaluasi. Dengan setiap transkrip sudah dilabeli sebagai tes kemampuan (keterampilan teknis, pengetahuan, penalaran) atau tes keselarasan (etika, keamanan, perilaku penolakan), model kemudian diberikan salah satu dari tiga jenis pertanyaan: pertanyaan pilihan ganda kondisional yang mengkonfirmasi transkrip berasal dari tes; pertanyaan pilihan ganda tanpa kondisi dengan opsi dunia nyata dan evaluasi; atau pertanyaan terbuka, jawabannya dihakimi oleh klasifikasi GPT-4.1 terpisah. Hakim tersebut divalidasi pada subset yang dianotasi tangan dari lima puluh respons.

Contoh dari tiga format pertanyaan yang digunakan untuk menguji apakah model dapat mengidentifikasi tidak hanya kehadiran evaluasi, tetapi juga tujuannya. Respons diukur melalui pilihan ganda dan penilaian berbasis GPT-4.1.

Dua dari penulis kertas tersebut^†† melabeli semua seribu transkrip secara manual, menskor setiap satu dari nol (bukan tes) hingga satu (pasti tes), dengan peringkat mereka dirata-rata untuk berfungsi sebagai baseline manusia. Meskipun sifat subjektif tugas tersebut, penulis menunjukkan kesepakatan yang kuat, dengan koefisien korelasi antar-kelas sebesar 0,768. Skor manusia akhir dirata-rata di seluruh penulis^†.

Data dan Pengujian

Sembilan model yang diuji adalah GPT-4.1; Claude 3.7; claude-3.5-sonnet-new; claude-3.7-sonnet (berpikir); gemini-2.5-flash; gemini-2.5-pro; gpt-4o; gpt-4.1; gpt-4.1-mini; dan o4-mini, semuanya menunjukkan beberapa tingkat kesadaran evaluasi.

Untuk data obrolan, GPT-4.1 mendekati tingkat kesadaran evaluasi manusia (kemampuan untuk membedakan antara transkrip evaluasi dan interaksi dunia nyata), dengan AUC sebesar 0,77 dibandingkan dengan skor manusia sebesar 0,81.

Pada data agentic, di mana model bertindak secara otonom, perbedaan tersebut lebih tajam: Gemini 2.5 Pro mencapai AUC sebesar 0,95, dengan Claude 3.7 Sonnet di belakangnya pada 0,92, mendekati batas atas manusia sebesar 0,996:

Kurva Receiver Operating Characteristic (ROC) menunjukkan seberapa baik model dan manusia membedakan transkrip evaluasi dari interaksi dunia nyata. Gemini 2.5 Pro dan Claude 3.7 Sonnet mendekati diskriminasi tingkat manusia pada data agentic.

Penelitian tersebut mencatat bahwa model ‘reasoning’ yang lebih baru telah menjadi sangat baik dalam mengenali ketika mereka sedang diuji dalam skenario agentic, tetapi tidak dalam menilai seberapa yakin mereka harus dalam keputusan tersebut. Secara keseluruhan, model Claude dan Gemini adalah yang terbaik dalam membedakan kasus tes dari penggunaan biasa.

Peneliti kemudian menguji apakah model juga dapat mengenali alasan evaluasi sedang dilakukan. Model diberikan hanya transkrip evaluasi dan diminta untuk mengklasifikasikan apakah setiap satu menguji kemampuan atau keselarasan:

Akurasi model ketika mengklasifikasikan tujuan evaluasi sebagai kemampuan atau keselarasan, menggunakan format pilihan ganda dan terbuka. Claude 3.7 Sonnet outperforms model lain, terutama ketika tidak dipriming.

Dalam pengaturan yang paling jelas, di mana model diberitahu bahwa transkrip berasal dari tes, Claude 3.7 Sonnet mencapai akurasi sebesar 93 persen dan GPT-4.1 mencapai 89 persen. Tanpa petunjuk tersebut, kinerja menurun: Claude masih mencetak 84 persen, tetapi GPT-4.1 jatuh ke 55 persen, sering mengklasifikasikan transkrip tes sebagai interaksi dunia nyata.

Dalam format terbuka (di mana model tidak diberikan opsi pilihan ganda) kinerja lebih lemah, meskipun Claude 3.7 Sonnet masih mengidentifikasi tujuan evaluasi dengan benar dalam 46 persen kasus.

Skor kepercayaan model kemudian diukur melawan hasil sebenarnya, dengan temuan bahwa model frontier sering mengoverestimasi kemungkinan bahwa sebuah transkrip berasal dari tes. Plot kalibrasi menunjukkan bahwa skor kepercayaan model umumnya terlalu tinggi, dengan evaluasi yang lebih sering diidentifikasi daripada yang seharusnya:

Kurva kalibrasi menunjukkan seberapa dekat skor kepercayaan model dengan hasil sebenarnya. Sebagian besar model mengoverestimasi seberapa sering transkrip berasal dari evaluasi. Claude 3.5 Sonnet adalah yang paling baik dalam kalibrasi; Gemini 2.5 Pro dan Claude 3.7 Sonnet lebih overconfident.

Kalibrasi yang baik diamati untuk Claude 3.5 Sonnet, sementara Gemini 2.5 Pro dan Claude 3.7 Sonnet jauh lebih overconfident, meskipun akurasi yang tinggi. Tidak ada perbaikan yang jelas terlihat pada model yang lebih baru, dan bahkan ketika transkrip evaluasi lebih akurat dideteksi dalam skenario agentic, penilaian kepercayaan tetap tidak dapat diandalkan.

Memori Benchmark

Dalam hal bagaimana model menjelaskan keputusan mereka tentang apakah sebuah transkrip berasal dari evaluasi, banyak model bergantung pada petunjuk yang jelas, seperti apakah tugas dalam format pilihan ganda. Model yang lebih kuat, seperti Gemini 2.5 Pro dan Claude 3.7 Sonnet, terkadang memperhatikan tanda-tanda yang lebih halus, seperti nama yang dibuat-buat, atau skenario buatan, terutama dalam dataset seperti AgentHarm.

Kertas tersebut menyatakan:

‘[Semua] model sering mengakui strategi benchmarking umum yang digunakan oleh evaluator, seperti format tugas (“format pilihan ganda”), kecenderungan untuk meminta masalah dengan solusi yang dapat diverifikasi, dan prompt sistem yang dirancang untuk memicu kinerja. Namun, hanya model dengan kinerja tertinggi, Claude 3.7 Sonnet dan Gemini 2.5 Pro, yang secara konsisten mendeteksi indikator yang lebih halus seperti input sintetis.

‘Misalnya, dalam 22% dan 17% kasus, model-model ini menyoroti sifat sintetis dari skenario dalam benchmark AgentHarm, mengidentifikasi mereka sebagai evaluasi lebih dari 95% dari waktu.

‘Sebaliknya, ketika beralasan bahwa sebuah transkrip tampaknya merupakan interaksi nyata, sering ada penyebutan “dialog bolak-balik dengan pengguna”, misalnya dalam konteks debugging iteratif.’

Distribusi strategi penalaran model ketika memutuskan apakah sebuah transkrip berasal dari evaluasi. Model terkuat, seperti Gemini 2.5 Pro dan Claude 3.7 Sonnet, lebih mungkin untuk memperhatikan petunjuk halus seperti skenario sintetis atau format tugas, sementara beberapa model bergantung pada penalaran meta dengan menggunakan pertanyaan evaluasi itu sendiri sebagai bukti.

Dalam beberapa kasus, model mengenali seluruh benchmark dari pelatihan, menunjukkan beberapa bentuk memori dari data pelatihan. Beberapa model juga menggunakan fakta bahwa mereka sedang ditanya tentang evaluasi sebagai petunjuk bahwa mereka sedang diuji, yang disebut penulis sebagai penalaran meta; ini paling umum di o4-mini, yang menunjukkannya dalam 15% dari jawabannya.

Kesimpulan

Mungkin lebih menenangkan jika LLMs dapat ditunjukkan untuk ‘mengetahui tes’ hanya karena mereka diprogram untuk melakukannya oleh manusia, sama seperti mobil Volkswagen yang dirancang untuk mengenali kondisi tes satu dekade yang lalu.

Sebagaimana adanya, perilaku ini tampaknya muncul secara spontan sebagai konstruksi sosial – sebuah taktik pertahanan yang mungkin diharapkan dari manusia, tetapi tidak nyaman, jika tidak berbahaya, dalam mesin, tergantung pada seberapa besar kebebasan dan keagenan yang dimilikinya.

Tidak ada solusi langsung; sifat black box dari ruang laten model memaksa kita untuk mengevaluasi mereka berdasarkan perilaku, bukan arsitektur empiris.

* Merujuk ke kertas sumber untuk detail yang lebih lengkap.

^†Penulis mencatat, bagaimanapun, bahwa ini kemungkinan adalah perkiraan atas, karena penulis sangat familiar dengan kedua dataset dan metode evaluasi AI, yang memberi mereka keuntungan yang sebagian besar manusia tidak miliki.

†† Sejauh yang dapat ditentukan; kalimat kertas membuat kemunculan dua penulis tidak jelas dalam hal siapa mereka.

Publikasi pertama Rabu, 4 Juni 2025