Menggunakan Hallusinasi AI untuk Menilai Realisme Gambar

Penelitian baru dari Rusia mengusulkan metode tidak konvensional untuk mendeteksi gambar yang dihasilkan AI yang tidak realistis – bukan dengan memperbaiki akurasi model bahasa-vision besar (LVLMs), tetapi dengan sengaja memanfaatkan kecenderungan mereka untuk mengalami halusinasi.

Pendekatan baru ini mengekstrak beberapa ‘fakta atom’ tentang gambar menggunakan LVLMs, kemudian menerapkan inferensi bahasa alami (NLI) untuk secara sistematis mengukur kontradiksi antara pernyataan-pernyataan ini – secara efektif mengubah kelemahan model menjadi alat diagnostik untuk mendeteksi gambar yang melanggar kesadaran umum.

Dua gambar dari dataset WHOOPS! bersama dengan pernyataan yang dihasilkan secara otomatis oleh model LVLM. Gambar kiri realistis, menghasilkan deskripsi yang konsisten, sedangkan gambar kanan yang tidak biasa menyebabkan model mengalami halusinasi, menghasilkan pernyataan yang kontradiktif atau salah. Sumber: https://arxiv.org/pdf/2503.15948

Diminta untuk menilai realisme gambar kedua, LVLM dapat melihat bahwa sesuatu salah, karena unta yang digambarkan memiliki tiga punuk, yang tidak diketahui di alam.

Namun, LVLM awalnya menggabungkan >2 punuk dengan >2 hewan, karena ini adalah satu-satunya cara Anda bisa melihat tiga punuk dalam satu ‘gambar unta’. Kemudian, model ini mengalami halusinasi sesuatu yang lebih tidak mungkin daripada tiga punuk (yaitu ‘dua kepala’) dan tidak pernah mendeskripsikan hal yang tampaknya memicu kecurigaannya – punuk tambahan yang tidak mungkin.

Para peneliti dari karya baru ini menemukan bahwa model LVLM dapat melakukan evaluasi ini secara asli, dan setara dengan (atau lebih baik dari) model yang telah difine-tune untuk tugas ini. Karena fine-tuning rumit, mahal, dan rapuh dalam hal aplikasi hilir, penemuan penggunaan asli untuk salah satu hambatan terbesar dalam revolusi AI saat ini adalah twist yang menyegarkan pada tren umum dalam literatur.

Penilaian Terbuka

Pentingnya pendekatan ini, menurut penulis, adalah bahwa itu dapat diterapkan dengan kerangka kerja sumber terbuka. Sementara model canggih dan berinvestasi tinggi seperti ChatGPT dapat (makalah ini mengakui) menawarkan hasil yang lebih baik dalam tugas ini, nilai argumen literatur untuk sebagian besar dari kita (dan terutama untuk komunitas hobi dan VFX) adalah kemungkinan untuk mengincorporasi dan mengembangkan terobosan baru dalam implementasi lokal; sebaliknya, semua yang ditujukan untuk sistem API komersial proprietary tunduk pada penarikan, kenaikan harga sewenang-wenang, dan kebijakan sensor yang lebih mungkin mencerminkan kepentingan perusahaan daripada kebutuhan dan tanggung jawab pengguna.

Makalah baru ini berjudul Jangan Lawan Halusinasi, Gunakanlah: Mengestimasi Realisme Gambar menggunakan NLI atas Fakta Atom, dan berasal dari lima peneliti dari Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology, dan perusahaan Rusia MTS AI dan AIRI. Karya ini memiliki halaman GitHub yang menyertainya.

Metode

Penulis menggunakan dataset WHOOPS! asal Israel/AS untuk proyek ini:

Contoh gambar mustahil dari dataset WHOOPS! Hal ini patut diperhatikan bagaimana gambar-gambar ini merakit elemen yang masuk akal, dan bahwa kemustahilan mereka harus dihitung berdasarkan konkatensi dari fasad yang tidak kompatibel ini. Sumber: https://whoops-benchmark.github.io/

Dataset ini terdiri dari 500 gambar sintetis dan lebih dari 10.874 anotasi, yang dirancang khusus untuk menguji kemampuan model AI dalam penalaran umum dan pemahaman komposisi. Ini dibuat dalam kolaborasi dengan desainer yang ditugaskan untuk menghasilkan gambar yang menantang melalui sistem teks-ke-gambar seperti Midjourney dan seri DALL-E – menghasilkan skenario yang sulit atau mustahil untuk ditangkap secara alami:

Contoh lebih lanjut dari dataset WHOOPS! Sumber: https://huggingface.co/datasets/nlphuji/whoops

Pendekatan baru ini bekerja dalam tiga tahap: pertama, LVLM (khususnya LLaVA-v1.6-mistral-7b) dipicu untuk menghasilkan beberapa pernyataan sederhana – disebut ‘fakta atom’ – yang menggambarkan gambar. Pernyataan ini dihasilkan menggunakan Diverse Beam Search, yang memastikan variabilitas dalam output.

Diverse Beam Search menghasilkan variasi yang lebih baik dari opsi keterangan dengan mengoptimalkan untuk tujuan yang ditingkatkan dengan keragaman. Sumber: https://arxiv.org/pdf/1610.02424

Berikutnya, setiap pernyataan yang dihasilkan dibandingkan secara sistematis dengan setiap pernyataan lainnya menggunakan model Inferensi Bahasa Alami, yang memberikan skor yang mencerminkan apakah pasangan pernyataan mengimplikasikan, kontradiktif, atau netral terhadap satu sama lain.

Kontradiksi menunjukkan halusinasi atau elemen tidak realistis dalam gambar:

Skema untuk pipa deteksi.

Akhirnya, metode ini menggabungkan skor NLI ini menjadi satu ‘skor realitas’ yang mengkuantifikasi koherensi keseluruhan dari pernyataan yang dihasilkan.

Peneliti menjelajahi metode agregasi yang berbeda, dengan pendekatan berbasis klaster yang berkinerja terbaik. Penulis menerapkan algoritma k-means clustering untuk memisahkan skor NLI individual menjadi dua klaster, dan centroid dari klaster dengan nilai yang lebih rendah dipilih sebagai metrik akhir.

Menggunakan dua klaster secara langsung selaras dengan sifat biner dari tugas klasifikasi, yaitu membedakan gambar realistis dari gambar tidak realistis. Logika ini mirip dengan hanya memilih skor terendah secara keseluruhan; namun, klaster memungkinkan metrik untuk mewakili kontradiksi rata-rata di seluruh fakta, bukan hanya mengandalkan satu outlier.

Data dan Pengujian

Peneliti menguji sistem mereka pada benchmark baseline WHOOPS!, menggunakan pembagian data yang berputar (yaitu, cross-validation). Model yang diuji adalah BLIP2 FlanT5-XL dan BLIP2 FlanT5-XXL dalam pembagian, dan BLIP2 FlanT5-XXL dalam format zero-shot (yaitu, tanpa pelatihan tambahan).

Untuk baseline pengikut instruksi, penulis memicu LVLMs dengan frasa ‘Apakah ini tidak biasa? Silakan jelaskan dengan kalimat singkat’, yang penelitian sebelumnya menemukan efektif untuk mendeteksi gambar tidak realistis.

Model yang dievaluasi adalah LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B, dan dua ukuran (7/13 miliar parameter) dari InstructBLIP.

Prosedur pengujian berfokus pada 102 pasang gambar realistis dan tidak realistis (‘aneh’). Setiap pasang terdiri dari satu gambar normal dan satu gambar yang melanggar kesadaran umum.

Tiga pengannotator manusia melabeli gambar-gambar, mencapai kesepakatan sebesar 92%, menunjukkan kesepakatan kuat antara manusia tentang apa yang merupakan ‘keanehan’. Akurasi metode penilaian diukur dengan kemampuan mereka untuk membedakan dengan benar antara gambar realistis dan tidak realistis.

Sistem ini dievaluasi menggunakan cross-validation tiga lipat, dengan mengacak data dengan benih tetap. Penulis menyesuaikan bobot untuk skor implikasi (pernyataan yang logis setuju) dan skor kontradiksi (pernyataan yang logis bertentangan) selama pelatihan, sementara skor ‘netral’ tetap di nol. Akurasi akhir dihitung sebagai rata-rata di seluruh pembagian pengujian.

Perbandingan model NLI yang berbeda dan metode agregasi pada subset lima fakta yang dihasilkan, diukur dengan akurasi.

Mengenai hasil awal yang ditunjukkan di atas, makalah tersebut menyatakan:

‘Metode [‘clust’] menonjol sebagai salah satu yang berkinerja terbaik. Ini menunjukkan bahwa agregasi semua skor kontradiksi sangat penting, bukan hanya fokus pada nilai ekstrem. Selain itu, model NLI terbesar (nli-deberta-v3-large) outperforms semua lainnya untuk semua metode agregasi, menunjukkan bahwa model ini menangkap esensi masalah lebih efektif.’

Penulis menemukan bahwa bobot optimal secara konsisten lebih memfavoritkan kontradiksi daripada implikasi, menunjukkan bahwa kontradiksi lebih informatif untuk membedakan gambar tidak realistis. Metode mereka outperforms semua metode zero-shot lain yang diuji, mendekati kinerja model BLIP2 yang difine-tune:

Kinerja berbagai pendekatan pada benchmark WHOOPS! Metode yang difine-tune (ft) muncul di atas, sementara metode zero-shot (zs) terdaftar di bawah. Ukuran model menunjukkan jumlah parameter, dan akurasi digunakan sebagai metrik evaluasi.

Mereka juga mencatat, agak tidak terduga, bahwa InstructBLIP berkinerja lebih baik daripada model LLaVA yang setara dengan prompt yang sama. Sementara mengakui akurasi superior GPT-4o, makalah tersebut menekankan preferensi penulis untuk mendemonstrasikan solusi sumber terbuka yang praktis, dan, tampaknya, dapat secara wajar mengklaim kebaruan dalam mengeksploitasi halusinasi sebagai alat diagnostik.

Kesimpulan

Namun, penulis mengakui utang proyek mereka kepada FaithScore pada tahun 2024, sebuah kolaborasi antara Universitas Texas di Dallas dan Universitas Johns Hopkins.

Ilustrasi tentang bagaimana FaithScore bekerja. Pertama, pernyataan deskriptif dalam jawaban yang dihasilkan LVLM diidentifikasi. Berikutnya, pernyataan ini dipecah menjadi fakta atom individual. Terakhir, fakta atom ini dibandingkan dengan gambar input untuk memverifikasi akurasi mereka. Teks yang digarisbawahi menyoroti konten deskriptif objektif, sementara teks biru menunjukkan pernyataan yang dihalusinasikan, memungkinkan FaithScore untuk memberikan ukuran yang dapat diinterpretasikan dari kebenaran faktual. Sumber: https://arxiv.org/pdf/2311.01477

FaithScore mengukur kesetiaan deskripsi yang dihasilkan LVLM dengan memverifikasi konsistensi melawan konten gambar, sementara metode makalah baru ini secara eksplisit mengeksploitasi halusinasi LVLM untuk mendeteksi gambar tidak realistis melalui kontradiksi dalam fakta yang dihasilkan menggunakan Inferensi Bahasa Alami.

Karya baru ini, tentu saja, bergantung pada keanehan model bahasa saat ini, dan pada kecenderungan mereka untuk mengalami halusinasi. Jika pengembangan model harus menghasilkan model yang tidak mengalami halusinasi, bahkan prinsip-prinsip umum karya baru ini tidak akan lagi dapat diterapkan. Namun, ini tetap merupakan prospek yang menantang.

Dipublikasikan pertama kali pada hari Selasa, 25 Maret 2025