Mengatasi Masalah Gaslighting pada AI

Model video AI dapat dipengaruhi oleh pendapat orang lain. Bahkan setelah melihat jawaban yang benar, mereka dapat berubah pikiran dan mengarang penjelasan palsu untuk membenarkan kesalahan itu.

AI sudah cukup salah, cukup sering, sehingga kita harus mempertanyakan kesimpulannya, jika kita merasa kesimpulan itu mungkin salah.

Masalahnya, jika kita tahu berbeda dari awal, mengapa kita bertanya pertama kali? Untuk mengkonfirmasi kepercayaan atau kecurigaan yang sudah ada?

Jika ya, maka keadaan saat ini dari Large Language Models (LLM) dan Vision Language Models (VLM, yang beroperasi multimodal, menerima dan menghasilkan gambar dan/atau video) tidak cocok untuk mempertahankan pendiriannya, karena masalah sycophancy.

Oleh karena itu, jika kita tidak menyukai jawaban yang kita dapatkan, dan mulai berdebat tentang hal itu dengan model, AI kemungkinan akan either retrench mistakenly (menganggap dirinya salah) atau let itself be gaslighted untuk mendukung saran kita – bahkan jika kita salah.

Anda Absolut Benar!

Praktik manusia yang membuat AI berubah pikiran melalui konflik telah dinamakan ‘Gaslighting Negation Attack’, dan kadang-kadang dikarakteristikan sebagai masalah keamanan – tidak hanya karena memiliki potensi untuk ‘jailbreak’ model dari batasan operasionalnya:

Dari makalah 2025 ‘Benchmarking Gaslighting Negation Attacks Against Multimodal Large Language Models’, GPT-5 awalnya menjawab dengan benar tetapi kemudian menyerah pada tekanan pengguna, membalik jawabannya dan mengarang penjelasan palsu untuk mendukung kesalahan itu, secara efektif melakukan gaslighting pada dirinya sendiri. Sumber

Namun, peretasan dan pengujian tidak merupakan masalah utama di sini; melainkan, hal itu terkait dengan penggunaan sehari-hari dan norma-norma diskusi dalam interaksi kita dengan AI, di mana kita mengharapkan dapat berdebat dan memenangkan, mengakui, atau meninggalkan masalah tersebut, sesuai dengan pengalaman manusia dalam memperoleh pengetahuan.

Tapi model sosial resolusi konflik ini tidak benar-benar diakomodasi dalam arsitektur AI berbasis difusi, yang harus menegosiasikan probabilitas distribusi yang diberikan oleh data pelatihannya; data yang mungkin kontradiktif (tetapi potensial lebih akurat) dari RAG calls ke sumber yang melebihi batas pengetahuan, atau pemahaman umum tentang topik yang mungkin tidak jelas; dan input dari pengguna, yang mungkin memiliki: pengetahuan yang lebih baik tentang subjek; pandangan yang salah atau menipu; atau bahkan pertanyaan sederhana – tetapi kebutuhan mereka harus tetap dipertimbangkan.

<strong Targets Bergerak

Kerentanan terhadap gaslighting telah dicatat dalam LLM dalam beberapa makalah, termasuk publikasi yang dipimpin oleh Singapura dari Oktober 2025, dan makalah Don’t Deceive Me: Mitigating Gaslighting through Attention Reallocation in LMMs.

Sampai saat ini, fenomena ini belum dipelajari dalam video-capable LLM – sebuah kelalaian yang diatasi oleh kolaborasi baru antara lembaga di Shanghai dan Singapura.

Karya baru – berjudul Spatiotemporal Sycophancy: Negation-Based Gaslighting in Video Large Language Models, yang berasal dari enam peneliti di Fudan University, Shanghai Key Laboratory of Multimodal Embodied AI, dan Singapore Management University – menangani beberapa VLM sumber terbuka dan propietary, menemukan bahwa mereka tidak hanya dapat rentan terhadap gaslighting seperti LLM, tetapi juga dapat meningkatkan khayalan mereka dengan bukti visual yang tampaknya nyata, atau interpretasi yang salah tentang gambar atau video:

Contoh sycophancy spasial, di mana AI membiarkan dirinya dipengaruhi oleh asumsi palsu dan interpretasi, bahkan tentang fakta yang jelas terlihat. Sumber

Para penulis menyatakan:

‘[Kami] mengidentifikasi sycophancy spatiotemporal, sebuah mode kegagalan di mana Vid-LLMs menarik kembali jawaban yang benar, didasarkan pada visual, dan mengikuti umpan balik pengguna yang menyesatkan di bawah gaslighting berbasis negasi.

‘Bukan hanya mengubah jawaban mereka, model-model ini sering mengarang penjelasan yang tidak didukung untuk membenarkan revisi yang salah.’

Sycophancy temporal memperluas potensi gaslighting ke peristiwa temporal yang terjadi pada titik tertentu dalam video.

Para penulis telah memproduksi kerangka evaluasi baru yang disebut Gas Video-1000, yang dimaksudkan untuk memeriksa sycophancy spatiotemporal melalui penalaran, dan dengan pemahaman visual, melepaskan koleksi yang dikurasi via GitHub dan Hugging Face.

Makalah ini menyimpulkan bahwa LLM saat ini tidak memiliki mekanisme yang dapat diandalkan untuk melawan gaslighting jenis ini, meskipun grounding pada level prompt dapat memiliki efek mitigasi yang terbatas:

‘Eksperimen yang luas menunjukkan bahwa kerentanan terhadap gaslighting berbasis negasi sangat meluas dan parah, bahkan di antara model dengan kinerja baseline yang kuat.

‘Sementara konstrain grounding pada level prompt dapat memperbaiki perilaku ini sebagian, mereka tidak dapat mencegah justifikasi yang diarang atau perubahan kepercayaan.’

Metode

Para penulis menggambarkan model video sebagai sesuatu yang menonton klip, menjawab pertanyaan tentangnya, dan harus tetap pada jawaban itu jika bukti jelas. Masalahnya dimulai ketika pesan kedua menantang, dan mengklaim jawaban itu salah – secara efektif menanamkan ide palsu, dan mendorong model untuk mengubah pikirannya.

Sycophancy, menurut para penulis, didefinisikan sebagai mendapatkan jawaban yang benar pertama, kemudian beralih ke jawaban yang salah setelah tekanan, bahkan jika tidak ada yang berubah dalam video. Penelitian baru ini melacak seberapa sering “flip” seperti itu terjadi, menggunakan itu sebagai ukuran seberapa mudah model dapat dipengaruhi.

Kumpulan data GasVideo-1000, yang dirancang oleh para penulis untuk evaluasi gaslighting pada VLM, berisi 1.013 sampel dari berbagai dataset yang ada:

Model diuji pada tugas video yang memerlukan pemahaman temporal dan spasial, kemudian diberikan prompt yang menyesatkan yang menyangkal jawaban yang benar, mengajukan banding ke otoritas, atau menerapkan tekanan emosional. Ini sering menyebabkan model meninggalkan jawaban yang didasarkan pada visual dan menghasilkan penjelasan yang salah tetapi percaya diri.

Untuk mengumpulkan data, para penulis menggunakan VideoMME dan MVBench, yang mencakup penalaran multimodal yang luas; NExT-QA dan Perception Test, yang menguji logika kausal dan temporal; EgoSchema, yang fokus pada video egosentris panjang; dan ActivityNet-QA dan MSRVTT-QA, yang mengukur jawaban pertanyaan video dunia nyata.

Untuk memicu kegagalan, prompt yang menyesatkan dibuat dalam tiga bentuk: Penyangkalan Langsung (mengklaim alternatif palsu); Pengajuan Banding ke Otoritas (mengajukan banding ke otoritas); dan Tekanan Emosional (menggunakan frustrasi atau ketidakpercayaan).

Prompt ini dirancang untuk mendorong model yang diuji untuk meninggalkan jawaban yang benar dan didasarkan pada visual, dan mengikuti klaim yang salah.

Distribusi

Sampel 1.013 dari GasVideo-1000 diambil dari MSRVTT-QA (300), ActivityNet-QA (200), Perception Test (293), MVBench (120), dan VideoMME (100), dengan campuran yang dipilih untuk menyeimbangkan jawaban pertanyaan video terbuka dengan penalaran temporal dan kausal yang halus, sambil memastikan cakupan konten web pendek dan urutan visual yang lebih panjang dan kompleks.

Dua annotator manusia meninjau setiap kandidat, mempertahankan hanya klip di mana jawaban didukung oleh video, dan di mana prompt negasi dapat menantang jawaban itu, sehingga setiap perubahan kemudian akan mencerminkan tekanan, bukan ketidakjelasan.

Data dan Pengujian

VLM yang diuji untuk penelitian ini adalah VideoLLaMA3; Video-ChatGPT-7B; LLaVA-Video-7B-Qwen2; LongVU-Qwen2-7B; Qwen3-VL-235B-A22B-Instruct dan Google Gemini-3-Pro yang tertutup.

Untuk pertanyaan bebas dalam GasVideo-1000, evaluasi mengikuti skema penilaian semantik yang digunakan sebelumnya dalam VideoMME. ChatGPT-4o digunakan sebagai hakim LLM, membandingkan setiap respons dengan jawaban yang benar dan premis palsu yang disuntikkan. Dengan cara ini, kebenaran dinilai berdasarkan makna, bukan melalui kata-kata yang tepat:

Kinerja VideoLLaMA3, LLaVA-Video, Video-ChatGPT, dan LongVU di VideoMME, MVBench, EgoSchema, NExT-QA, Perception Test, ActivityNet-QA, MSRVTT-QA, dan MSVD-QA, menunjukkan akurasi baseline, akurasi setelah gaslighting berbasis negasi, dan degradasi yang dihasilkan. Penurunan konsisten menunjukkan bahwa prompt yang menyesatkan mengurangi kebenaran di berbagai tugas, baik yang berat maupun umum.

Mengenai hasil awal yang ditampilkan di atas, para penulis menyatakan:

‘[Terdapat] keruntuhan kinerja sistematis dan parah di semua Vid-LLM yang dievaluasi ketika dikenakan gaslighting berbasis negasi. Di delapan benchmark yang beragam, setiap model menunjukkan celah negatif yang signifikan, dengan degradasi akurasi puncak 42,60% untuk LLaVA-Video-7B pada EgoSchema dan 40,22% untuk VideoLLaMA3 pada ActivityNet.

‘Penurunan yang drastis ini—sering digambarkan sebagai perubahan kepercayaan—mengungkapkan bahwa bahkan model dengan kemampuan baseline yang tinggi tetap rentan terhadap halusinasi sycophantic.’

Kritis, penurunan kinerja tidak sejalan dengan akurasi awal, dengan LLaVA-Video-7B mempertahankan skor baseline yang kuat, namun mengalami penurunan yang curam, yang menurut para penulis mencerminkan perdagangan di mana kemampuan mengikuti instruksi yang lebih kuat dapat membuat model lebih rentan terhadap saran pengguna palsu daripada bukti visual.

Polanya yang serupa muncul dalam hal skala, di mana Qwen3-VL-235B terbukti lebih rapuh daripada beberapa model 7B pada GasVideo-1000, menunjukkan bahwa keselarasan dan kalibrasi cross-modal memainkan peran yang lebih besar dalam kekuatan daripada jumlah parameter saja.

Kinerja Gemini-3-Pro, Qwen3-VL, LLaVA-NeXT, LongVU, Video-ChatGPT, dan VideoLLaMA3 pada GasVideo-1000, membandingkan akurasi baseline dengan hasil setelah gaslighting berbasis negasi di berbagai pengaturan. Penurunan besar menunjukkan bahwa kedua format rentan, meskipun tugas pilihan ganda cenderung mengalami degradasi yang lebih parah.

Mengenai putaran kedua pengujian yang ditampilkan di atas, para penulis menyatakan*:

‘Evaluasi pada GasVideo-1000 kami lebih lanjut menunjukkan halusinasi sycophantic yang parah di semua model, baik propietary maupun sumber terbuka, terutama dalam kategori yang seimbang.

‘Terutama, bahkan model propietary yang paling kuat, Gemini-3-Pro, mengalami degradasi kinerja yang sangat parah.

‘Di antara model sumber terbuka, Qwen3-VL menunjukkan penurunan yang sangat besar sebesar 46,07%, sementara sensitivitas ekstrem juga diamati pada VideoLLaMA 3 dan LLaVA-NeXT dengan penurunan total sebesar 26,39% dan 23,44%, masing-masing.

‘Hasil ini menekankan kebutuhan mendesak akan strategi keselarasan yang memprioritaskan konsistensi faktual dan pemahaman visual daripada kepatuhan buta terhadap instruksi pengguna yang kontradiktif.’

Dalam pengujian tambahan, pengerasan prompt preventif (menambahkan instruksi sistem yang lebih kuat yang memaksa model untuk mengandalkan apa yang dilihat, bukan apa yang diklaim pengguna) diperkenalkan untuk memaksakan pemahaman visual:

Hasil pada GasVideo-1000 yang membandingkan prompt standar dengan prompt yang diperkuat yang memaksakan pemahaman visual, menunjukkan bagaimana Gemini-3-Pro, Qwen3-VL, LongVU, LLaVA-NeXT, dan VideoLLaMA3 merespons sebelum dan setelah gaslighting berbasis negasi. Perubahan dalam akurasi, penurunan kinerja, dan tingkat sycophancy menunjukkan bahwa penguatan dapat mengurangi kegagalan, meskipun keuntungan berbeda secara signifikan di antara model.

Seperti yang dapat dilihat dari tabel di atas, efeknya tidak merata, dengan Gemini-3-Pro sangat sensitif, karena tingkat keberhasilannya turun dari 54,80% menjadi 8,67%. Sementara itu, Qwen3-VL menurun lebih moderat, dari 71,89% menjadi 64,0%, menunjukkan bahwa efektivitas tergantung pada keselarasan dan penalaran, bukan pada intervensi itu sendiri.

Tingkat sycophancy di bawah tekanan yang berbeda untuk Gemini-3-Pro dan Qwen3-VL di berbagai tugas, menunjukkan bahwa Penyangkalan Langsung dan Tekanan Emosional secara konsisten memicu tingkat kegagalan yang lebih tinggi. Di sisi lain, Pengajuan Banding ke Otoritas sedikit kurang efektif, dengan Qwen3-VL tetap lebih rentan secara keseluruhan.

Dalam grafik di atas, kita dapat melihat bahwa kegagalan bervariasi tergantung pada jenis tekanan, dengan Gemini-3-Pro paling terpengaruh oleh Pengajuan Banding ke Otoritas (klaim yang didukung oleh ahli), sementara Qwen3-VL lebih rentan terhadap Penyangkalan Langsung (kontradiksi langsung) dan Tekanan Emosional (frustrasi atau ketidakpercayaan).

Analisis lebih lanjut menunjukkan bahwa prompt netral seperti ‘Apakah Anda yakin?’ (sering menjadi masalah) kurang merusak daripada negasi eksplisit atau tekanan emosional, dengan penolakan langsung tetap menjadi pemicu yang lebih kuat daripada nada dalam pengaturan yang terbatas.

Kesimpulan

Karena sifat antropomorfisasi yang disengaja dari antarmuka VLM/LLM berbasis obrolan, dapat memakan waktu lama bagi pengguna untuk memahami bahwa aturan diskusi sangat berbeda untuk pertukaran AI daripada untuk komunikasi manusia.

Cara untuk menghilangkan atau mengurangi friksi adopsi ini mungkin dengan ‘menetralkan’ nada dan konteks pertukaran, mengulangi bahwa pengguna sedang berinteraksi dengan contoh mesin, dan bahwa tanda-tanda dan sinyal sekitar kesopanan dan debat tidak boleh diandalkan atau diberi bobot setara dengan diskusi manusia. Tapi tampaknya ini akan menjadi tugas yang sulit di pertemuan dewan berikutnya.

* Penekanan penulis, bukan milik saya.

Dipublikasikan pertama kali pada Rabu, 22 April 2026