Mengurangi Hallusinasi Gambar AI dengan Mengekspresikan Mereka

Model visi gaya ChatGPT sering ‘mengalami halusinasi’ elemen yang tidak termasuk dalam gambar. Metode baru mengurangi kesalahan ini dengan menunjukkan model versi yang diperbesar dari halusinasi mereka sendiri, berdasarkan caption – dan kemudian meminta mereka untuk mencoba lagi. Pendekatan ini tidak melibatkan pelatihan ulang atau kebutuhan data tambahan, dan dapat diterapkan pada berbagai model dan jenis model.

Publikasi baru dari Cina menawarkan pandangan menarik tentang masalah ‘halusinasi’ yang sangat mengganggu dalam gambar dan video AI – elemen yang jelas tidak seharusnya ada dalam gambar, berdasarkan permintaan dan input pengguna.

Pada intinya, sistem ini mengambil gambar dan membiarkan model menjelaskannya, seperti biasa; kemudian caption itu diubah menjadi gambar baru menggunakan model teks-ke-gambar – dan objek atau detail tambahan dalam gambar kedua ini akan menjadi representasi langsung dari halusinasi awal model. Kemudian, dengan membandingkan gambar asli dan yang dihasilkan, sistem ini secara perlahan mengarahkan model menjauh dari kesalahan tersebut saat mencoba lagi:

Ilustrasi tentang bagaimana metode baru mengidentifikasi dan mengurangi halusinasi dalam caption gambar. Model reguler menjelaskan burung yang tidak ada dalam gambar asli, menyebabkan gambar yang direkonstruksi menambahkan mereka. Kesalahan ini ditandai dengan warna merah. Sebaliknya, metode yang diusulkan menghindari detail yang dibuat-buat sambil menjaga caption tetap spesifik dan lancar. Sumber: https://arxiv.org/pdf/2509.21997

Metode ini dimulai dengan menunjukkan model gambar nyata dan membiarkan mereka menjelaskannya, termasuk beberapa deskripsi yang menampilkan objek atau detail yang tidak benar-benar ada. Caption yang dihasilkan kemudian digunakan untuk menghasilkan gambar sintetis yang membuat kesalahan lebih mudah ditemukan. Dengan membandingkan gambar asli dan yang dihasilkan, sistem ini belajar pola internal dalam model yang cenderung menghasilkan konten yang dibuat-buat.

Ketika pola kesalahan ini diidentifikasi, mereka dapat disimpan dan digunakan kemudian. Ketika model diberi gambar baru, sistem akan menyesuaikan sinyal internal selama penjelasan, mengarahkan model menjauh dari pola yang diketahui yang menyebabkan halusinasi. Ini bekerja dalam satu langkah dan tidak memerlukan data tambahan, pelatihan ulang, atau generasi gambar baru pada saat pengujian.

Jaring yang Rumit

Dalam contoh yang ditunjukkan di atas, dari makalah, kita dapat melihat bahwa entanglement kemungkinan bertanggung jawab atas penambahan ‘burung’ ke dalam gambar input, meskipun gambar pertama tampaknya tidak mengandung burung.

Entanglement terjadi ketika model bersikeras untuk mengasosiasikan konsep tertentu dengan konsep lain, hanya karena kedua konsep tersebut cenderung muncul bersama dalam distribusi data asli yang digunakan untuk melatih model. Dalam kasus ini, model mungkin telah melihat banyak gambar pesawat+burung, menyebabkan asosiasi yang tidak berlaku untuk gambar tertentu, tetapi tetap mengganggu deskripsi yang dihasilkan.

Meskipun entanglement dapat dimitigasi dengan menghentikan pelatihan lebih awal (yang, pada umumnya, membuat model lebih fleksibel dan adaptif), ini juga mengurangi detail dan resolusi konsep yang dilatih, meninggalkan pelatih model dengan dilema abadi: buat model yang sangat fleksibel dan terpisah; atau buat model yang lebih kuat dan generatif, tetapi juga lebih mungkin menghasilkan ‘asosiasi’ halusinasi?

Jika kualitas penjelasan dan perhatian terhadap detail dalam kurasi data asli untuk model generatif telah lebih baik daripada logistik yang biasanya diizinkan, penjelasan untuk semua gambar sumber akan menjelaskan setiap objek dalam setiap gambar, sehingga model yang dilatih dapat mengalokasikan mereka entri yang terpisah dan terpisah dalam ruang laten mereka.

Sebagaimana adanya, praktik yang egois dari SEO penjelasan, dikombinasikan dengan fakta bahwa ad hoc hyperscale web-scraping tetap menjadi sumber terbaik untuk melatih model generatif yang sangat kuat, berarti bahwa penjelasan gambar cenderung jauh dari standar ini:

Ilustrasi tentang bagaimana penjelasan yang lemah membatasi kegunaan gambar LAION untuk melatih model seperti Stable Diffusion. Banyak label teks yang dangkal, samar, atau dioptimalkan untuk SEO daripada deskripsi yang akurat, membuatnya lebih sulit bagi model untuk mempelajari konsep visual yang halus seperti fitur wajah. (Sumber asli adalah https://rom1504.github.io/, sekarang tidak aktif).

Oleh karena itu, karena solusi dasar tidak mungkin pernah menjadi praktis, pengurangan halusinasi LLM/VLM oleh workaround dan kompromi sekarang telah menjadi sub-strand yang kuat dalam literatur.

Teknik Cina baru yang diperkenalkan minggu ini, menurut penulis, telah diuji melintasi berbagai arsitektur dalam kondisi yang beragam, dan dapat menunjukkan cara yang berguna untuk mengurangi ‘polusi halusinasi’.

Mereka mengatakan:

‘Eksperimen ekstensif di berbagai benchmark menunjukkan bahwa metode kami secara signifikan mengurangi halusinasi pada tingkat objek, atribut, dan relasi sambil mempertahankan recall dan kekayaan caption.

Makalah baru ini berjudul Mengungkap Halusinasi untuk Menekannya: VLMs Representasi Editing dengan Generative Anchors, dan berasal dari tiga peneliti di Universitas Sains dan Teknologi Cina, dan Universitas Nanjing.

Metode

Penulis telah merancang pipeline akhir-ke-akhir, ditunjukkan di bawah, yang dirancang untuk mengungkap dan menekan halusinasi dalam penjelasan gambar:

Ilustrasi dari pipeline penuh. Model visi-bahasa pertama kali menghasilkan penjelasan dari gambar input, yang mungkin berisi konten halusinasi. Penjelasan ini kemudian digunakan untuk menghasilkan gambar yang direkonstruksi melalui model teks-ke-gambar, membuat halusinasi lebih mudah ditemukan.

Dimulai dari gambar input nyata, model visi-bahasa menghasilkan penjelasan yang mungkin berisi objek atau hubungan yang dibuat-buat. Penjelasan ini kemudian dimasukkan ke dalam generator teks-ke-gambar untuk menghasilkan gambar yang direkonstruksi yang menunjukkan secara tepat apa yang dijelaskan oleh penjelasan. Membandingkan gambar yang direkonstruksi dengan gambar asli membuat konten palsu menjadi jelas dan dapat diukur, mengubah kesalahan halus dalam teks menjadi perbedaan yang terlihat yang dapat diarahkan dan dikurangi oleh sistem.

Untuk mengarahkan model menjauh dari ‘mengarang’ detail, sistem membandingkan dua versi dari gambar yang sama: gambar asli dan gambar yang direkonstruksi berdasarkan penjelasan. Setiap gambar diubah menjadi embedding yang kompak yang menangkap kontennya.

Gambar asli bertindak sebagai referensi yang dapat diandalkan, sementara gambar yang direkonstruksi menyoroti di mana halusinasi mungkin telah masuk. Dengan menyesuaikan representasi internal untuk mendekati gambar asli dan menjauh dari gambar yang direkonstruksi, model belajar untuk memperbaiki diri secara otomatis. Karena proses ini tidak bergantung pada aturan yang ditentukan atau data luar, proses ini tetap self-supervised.

Makalah tersebut menyatakan:

‘Halusinasi dalam MLLMs secara intrinsik sulit dideteksi karena mereka linguistik yang terbentuk dengan baik dan sering tidak dapat dibedakan dari deskripsi yang setia pada tingkat teks. Perbedaan terletak tidak pada kemungkinan bahasa tetapi pada kesalahan dengan bukti visual, yang model itu sendiri biasanya tidak peka.

‘Untuk mengatasi ini, kami memperkenalkan mekanisme pengungkapan halusinasi yang menggunakan rekonstruksi generatif untuk mengubah inkonsistensi implisit menjadi sinyal yang eksplisit dan dapat diamati.’

Diberikan gambar input dan penjelasannya, sistem menggunakan model teks-ke-gambar FLUX.1-dev untuk menghasilkan gambar dari penjelasan saja. Gambar yang direkonstruksi ini cenderung memperbesar makna penjelasan, membuat detail palsu lebih jelas. Kesalahan yang diperbesar ini kemudian berfungsi sebagai sinyal yang berguna yang membantu model mengenali dan memperbaiki kesalahan mereka sendiri.

Untuk menguji pendekatan mereka, penulis menyuntikkan halusinasi ke dalam penjelasan dan menggunakan model teks-ke-gambar untuk menghasilkan gambar yang direkonstruksi. Gambar-gambar ini kemudian dijelaskan kembali oleh LLaVA, dan kesamaan semantik antara penjelasan asli dan halusinasi dievaluasi:

Ilustrasi tentang bagaimana mekanisme amplifikasi halusinasi membuat kesalahan halus terlihat. Setiap titik menunjukkan kesamaan antara penjelasan gambar asli dan yang direkonstruksi untuk satu pasang gambar-penjelasan.

Kesamaan semantik turun tajam setelah rekonstruksi, menunjukkan bahwa proses ini membuat kesalahan halus lebih terdeteksi.

Data dan Pengujian

Mengvalidasi efektivitas metode baru ini melibatkan penggunaan tiga benchmark yang sesuai: Penilaian Halusinasi Caption dengan Relevansi Gambar (CHAIR); Penilaian MLLM benchmark (MME); dan Penilaian Probing Berbasis Pencampuran (POPE).

Dari makalah CHAIR: contoh objek halusinasi yang dihasilkan oleh dua sistem penjelasan terkemuka, TopDown dan NBT, di mana setiap model mengarang elemen visual yang tidak ada dalam gambar, seperti laptop, sink, atau papan selancar. Sumber: https://arxiv.org/pdf/1809.02156

Metriks standar seperti tingkat halusinasi atau recall dapat menyesatkan, karena model mungkin menghindari halusinasi dengan menghasilkan penjelasan yang singkat atau samar. Untuk mempertimbangkan tradeoff antara recall dan halusinasi, metriks gabungan yang disebut Halusinasi dan Recall (HAR@β) digunakan, yang menilai penjelasan berdasarkan akurasi dan kelengkapan, dan yang memungkinkan keseimbangan untuk disesuaikan tergantung pada apakah menghindari kesalahan atau memasukkan lebih banyak detail lebih penting.

POPE digunakan untuk menilai halusinasi objek yang sensitif konteks, dan MME untuk menilai halusinasi atribut, keduanya dirancang sebagai tugas penilaian Ya atau Tidak.

Eksperimen dilakukan di berbagai dataset yang beragam, menggunakan model Flux dan varian LLaVA-v1.5-7B. Dataset yang digunakan adalah Microsoft COCO; A-OKVQA; dan GQA.

Penyuntingan laten dilakukan untuk lapisan kedua model, sesuai dengan pekerjaan terkait sebelumnya, sementara hiperparameter dan suhu tetap konsisten di semua model.

Hasil awal pada CHAIR disajikan di bawah*:

Kinerja pada benchmark CHAIR untuk mitigasi halusinasi, dievaluasi menggunakan beberapa metriks.

Dari hasil ini, penulis mengomentari:

‘[Metode kami secara konsisten outperforms baseline lainnya pada CHAIR_S dan CHAIR_I, menunjukkan efektivitasnya yang unggul dalam menekan halusinasi. Sementara itu, meskipun hampir semua metode secara tidak terhindarkan mengurangi recall saat menekan halusinasi, mencerminkan tradeoff antara kesetiaan dan informativitas, pendekatan kami mencapai penurunan terkecil.

‘Ini menunjukkan bahwa metode kami menangkap berbagai objek yang sebenarnya. Dengan metriks HAR@β, metode kami mencapai skor tertinggi, menyoroti kemampuannya untuk mengurangi halusinasi sambil mempertahankan cakupan.’

Peneliti mengatribusikan hasil kuat ini pada setup dual-supervisi, di mana semantik yang bersih dari gambar asli diperkuat, pada saat yang sama sinyal menyesatkan dari gambar yang direkonstruksi ditekan. Karena penyesuaian hanya menargetkan arah yang terkait dengan halusinasi, representasi lainnya dibiarkan utuh, memungkinkan sistem untuk memperbaiki kesalahan tanpa mengorbankan detail atau informativitas.

Perbandingan kinerja pada benchmark POPE di bawah berbagai konfigurasi dan dataset.

Mengenai hasil pada POPE, yang ditunjukkan pada tabel hasil di atas, makalah tersebut menyatakan:

‘Dapat diamati bahwa metode kami secara konsisten mencapai kinerja terbaik di semua pengaturan. Secara khusus, metode kami dapat mencapai akurasi hingga +5,95% dan skor F1 hingga +6,85% rata-rata, outperforming pendekatan lainnya yang bebas pelatihan dengan margin yang besar.

‘Oleh karena itu, hasil ini menunjukkan bahwa metode kami menyediakan solusi yang handal dan umum di berbagai tingkat kesulitan.’

Dari putaran pengujian ketiga, perbandingan kinerja di MME.

Pengujian utama terakhir adalah pada MME, dengan hasil yang ditunjukkan di atas. Namun, di antara penghilangan lainnya, disebutkan Metode ‘OPERA’, yang tidak didefinisikan di mana pun dalam makalah utama atau lampiran. Meskipun demikian, penulis mengklaim kinerja kuat pada MME, tanpa definisi metode yang memadai, mungkin kita harus meninggalkan bagian hasil pada titik ini.

Ilustrasi dari benchmark MME menggunakan LLaVA-v1.5-7B, menunjukkan bagaimana model baseline menghasilkan jawaban halusinasi sementara metode yang diusulkan memberikan respons yang benar, dengan gambar yang direkonstruksi membuat halusinasi lebih jelas.

Kesimpulan

Meskipun makalah ini jelas terburu-buru, dan menderita kekurangan struktur, fokus, dan kejelasan yang telah meningkat dalam literatur selama 12 bulan terakhir (mungkin tidak terkait dengan penggunaan AI yang berkembang pesat dalam penelitian akademis), mekanisme sentral yang disajikan tetap brilian.

Metode akhir-ke-akhir ini tidak memerlukan pelatihan ulang, dan tampaknya dapat diterapkan pada berbagai arsitektur, akan sangat menarik untuk melihat lebih banyak kandidat pengujian; dan juga harus dipertimbangkan bahwa sistem intermediet seperti ini setidaknya akan memperkenalkan latensi, dan sejumlah kebutuhan daya tambahan – tidaklah masalah kecil dalam skala besar.

* Secara tidak konvensional, tubuh utama makalah ini menyajikan hasil dengan judul yang hanya dijelaskan dalam materi lampiran, dan tidak dalam makalah utama – kebiasaan buruk yang semakin umum dalam literatur, karena peneliti berusaha untuk membatasi tesis utama hingga 8-9 halaman, bahkan ketika materi tidak memungkinkan. Dalam hal ini, benchmark CHAIR, yang digunakan untuk menilai halusinasi objek dalam penjelasan, didasarkan pada subset 500-gambar MSCOCO dari pekerjaan sebelumnya. Dua bentuk digunakan: CHAIR_s, mengukur seberapa sering halusinasi muncul dalam penjelasan tertentu; dan CHAIR_I, mengukur berapa banyak objek yang disebutkan yang dihalusinasi. HAR@β , yang diperkenalkan dalam makalah utama, didefinisikan sebagai kombinasi gaya F_β dari penekanan halusinasi dan recall objek.

Pertama dipublikasikan pada hari Selasa, 30 September 2025