Sistem Visi AI Sering Tidak ‘Melihat’ sama sekali

Sistem visi AI mungkin menjelaskan gambar dengan stereotip daripada apa yang mereka lihat sebenarnya. Jika label dihilangkan, penjelasan visual yang seharusnya runtuh.

Sejak platform AI frontier terus mengeluarkan uang dengan harapan akan ada horison acara AI, penghematan kecil dalam penyediaan dan layanan mereka sama dengan penghematan besar: misalnya, setiap kali LLM dapat memberikan jawaban dari matriks terlatihnya sendiri daripada membuat perjalanan RAG ke web untuk mendapatkan informasi saat ini yang akan memerlukan penyulingan dan penyempurnaan, jawaban tersebut lebih cepat, dan menyelamatkan biaya bagi penyedia.

Tentu saja, lebih mungkin untuk mengalami halusinasi, tanpa menghabiskan token dan energi ekstra untuk memahami dan memeriksa asumsinya.

Demikian pula, bahkan jika LLM mencapai web, seringkali akan mengutip URL yang samar, tidak tepat, atau bahkan tidak terkait, karena telah menghemat energi dengan hanya mengevaluasi metadata untuk halaman tersebut, bukan membaca isi halaman.

Begitu juga, jika Anda mengunggah PDF ke LLM dan ingin membahasnya, LLM mungkin akan menghapus isi PDF dari memori dan hanya menggunakan metadata yang jarang tentangnya untuk menjawab pertanyaan Anda, tanpa menyatakan bahwa Anda harus mengunggahnya lagi – menyebabkan kesalahan, asumsi yang salah, dan halusinasi lebih lanjut.

Uji Industri

Ini adalah ekonomi pragmatis, jika tidak sepenuhnya jujur, yang diberlakukan pada pengguna untuk alasan operasional. Di dunia upstream pengumpulan data dan pelatihan model, di mana jutaan – bahkan ratusan juta – gambar harus diproses en masse, dan tidak dapat dianotasi oleh manusia, tekanan untuk meminimalkan pengeluaran energi dan waktu sama intensnya.

Salah satu ‘jalan pintas’ adalah menggunakan model bahasa visi antara seperti Contrastive Language Image Pretraining (CLIP), yang memetakan gambar dan teks ke dalam ruang semantik bersama, sehingga konsep visual dapat dibandingkan menggunakan bahasa, bukan label eksplisit.

Apa artinya? Nah, bayangkan seorang anak belajar dari jutaan gambar yang memiliki keterangan sampai mereka mengembangkan pemahaman kasar tentang gambar dan kata-kata yang secara alami cocok bersama.

Masalahnya, seringkali keterangan tersebut ditulis oleh pemilik situs web dan entitas lain yang lebih tertarik dengan SEO yang baik daripada pelabelan yang baik, sehingga banyak ‘kebisingan’ atau pelabelan yang tidak akurat.

Meskipun demikian, skala di mana konsep dan kata terkait muncul dalam dataset besar biasanya berarti bahwa kata-kata inti akan terkait dengan gambar yang benar, karena jumlah ‘label tidak masuk akal’ yang lebih kecil akan dipaksa ke dalam ghetto outlier, dan tidak akan terkait dengan gambar. Jadi, ini lebih atau kurang berhasil, sebagian besar waktu.

Anotasi data dilakukan dengan cara ini karena murah dan fungsional minimal, bukan karena itu baik.

Off-Label

Dalam skenario yang bermasalah ini, sebuah makalah baru dari Carnegie Mellon menggambarkan secara dramatis bahwa banyak keterangan yang ditugaskan untuk gambar – misalnya oleh CLIP – hanya stereotip berdasarkan merujuk pada label teks gambar, bukan dengan secara aktif melihat gambar itu sendiri.

Dalam salah satu contoh yang menarik dari makalah tersebut, CLIP dipasangkan dengan deskriptor yang dihasilkan dari nama kelas ImageNet strawberry, lalu diuji pada ImageNet-Sketch, di mana setiap stroberi adalah gambar hitam-putih – namun deskriptor tersebut masih bersikeras bahwa buahnya ‘merah’ dan ‘matang’:

Deskriptor nama kelas gagal pada ImageNet-Sketch: prior bahasa mengatakan ‘merah’ dan ‘matang’, sementara atribut yang berbasis gambar sesuai dengan gambar hitam-putih. Sumber

Di sini, CLIP dipasangkan dengan deskriptor yang dihasilkan hanya dari nama kelas strawberry, melalui GPT-3 atau pengetahuan eksternal. Ini tidak pernah melihat gambar, sehingga default ke karakteristik kanon seperti merah dan berdaun. Ketika diterapkan pada ilustrasi monokromatik berbasis garis di ImageNet-Sketch, prosesnya gagal.

Sebaliknya, atribut yang berasal dari gambar itu sendiri memilih fitur yang tetap benar di bawah pergeseran, seperti berbintik atau berbentuk hati.

Demikianlah kita dapat melihat bahwa objek yang diidentifikasi sedang diiklankan bukan untuk apa adanya, tetapi, seolah-olah ‘dengan reputasi’; kata sifat ‘merah’ dan ‘berdaun’ akurat untuk subdomain strawberry, tetapi melebihi batas gambar (instance) yang bersangkutan.

Penulis makalah baru – berjudul Atribut Harus Datang dari Gambar, Bukan Nama Kelas: Seleksi Atribut yang Dikondisikan pada Distribusi untuk Model Bahasa-Visi – berpendapat bahwa ini adalah masalah yang persisten dan luas, dan menyarankan untuk memilih atribut langsung dari gambar itu sendiri, sehingga atribut tersebut mencerminkan apa yang benar-benar terlihat di bawah pergeseran distribusi, bukan mengandalkan prior nama kelas.

Para penulis menyatakan:

‘Sebuah rute populer untuk klasifikasi zero-shot yang dapat diinterpretasikan meminta model bahasa besar (LLM) untuk menjelaskan setiap nama kelas dan memicu CLIP dengan deskriptor yang dihasilkan. Kami menunjukkan bahwa deskriptor tersebut membawa sedikit bukti visual: menghilangkan nama kelas dari prompt runtuh akurasi ImageNet dari 59,5% menjadi 15,5%.

‘Diagnosisnya adalah bahwa deskriptor tersebut dikondisikan pada label bukan pada gambar, sehingga mereka menjelaskan konsep secara umum dan menyesatkan tepat ketika data bergeser; LLM bersikeras bahwa stroberi berwarna merah, tetapi setiap stroberi di ImageNet-Sketch adalah gambar hitam-putih.

‘Kami memilih atribut dari koleksi gambar target sebagai gantinya: kami memberi skor pada kumpulan atribut besar melawan gambar di ruang penyematan bersama CLIP dan menyimpan atribut dengan skor tertinggi per kelas.’

Obat yang mereka usulkan adalah bahwa model tetap sama, tetapi sebagai gantinya untuk mengandalkan deskriptor nama kelas, memeriksa kumpulan kandidat atribut melawan gambar, dan hanya menyimpan atribut yang benar-benar sesuai dengan apa yang terlihat.

Biaya ini secara argumentatif dapat diterima, karena tidak menyarankan untuk mengaktifkan kembali energi yang ‘curang’ yang menyebabkan masalah ini pada awalnya. Sebaliknya, menambahkan lulusan skor atas kandidat atribut per kelas, sehingga latensi meningkat sedikit – tetapi jauh lebih sedikit daripada pelatihan ulang atau pipeline RAG gaya penuh. Secara teori, biaya energi akan dapat diterima, dibandingkan dengan perbaikan dalam keselarasan.

Metode

Karena metodologi eksperimen penulis sangat rumit, dan karena sedikit wawasan yang berguna akan diperoleh dengan memeriksa mereka secara mendalam, kita akan, tidak biasa, hanya mempertimbangkan ringkasan singkat dari pendekatan mereka.

Mereka mengkarakterisasi masalah inti sebagai Konfondasi Nama Kelas: situasi di mana kinerja tampaknya berasal dari deskriptor yang bermakna, tetapi sebenarnya bergantung pada nama kelas itu sendiri, dengan deskriptor menambahkan sedikit – dan gagal segera setelah dukungan tersebut dihilangkan

Makalah tersebut kemudian berpendapat bahwa kegagalan ini tidak dapat dihindari, karena deskriptor yang dihasilkan dari nama kelas hanya dapat menjelaskan apa yang biasanya terlihat, bukan apa yang benar-benar ada dalam gambar tertentu. Seberapa cepat data menyimpang dari harapan tersebut, deskriptor menjadi tidak hanya tidak berguna tetapi juga menyesatkan, secara efektif memilih melawan jawaban yang benar.

Peneliti juga mempertimbangkan apakah CLIP mungkin hanya tidak baik dalam mendeteksi atribut tanpa bantuan label kelas, atau apakah deskriptor yang dihasilkan oleh GPT terlalu umum untuk berguna. Namun, eksperimen mereka kemudian akan menyangkal kedua penjelasan tersebut.

Untuk mengatasi masalah ini, model CLIP yang dibekukan digunakan untuk membandingkan gambar melawan kumpulan besar kandidat deskriptor yang diambil dari VAW, LSA dan output GPT-3, menyimpan hanya atribut yang paling sesuai dengan gambar, tanpa memerlukan pelatihan ulang atau pengawasan gambar-teks tambahan:

Gambaran sistem yang diusulkan: model CLIP yang dibekukan mengkodekan gambar dan kumpulan besar teks atribut kandidat, menggunakan kesamaan kosin untuk mengukur seberapa kuat setiap deskriptor cocok dengan konten visual. Atribut dengan skor tertinggi kemudian disimpan berdasarkan kelas, menghasilkan set prompt yang dapat diinterpretasikan sambil menjaga penyematan gambar dan teks tetap selama proses.

Data dan Pengujian

Eksperimen penulis menggunakan CLIP dengan ResNet-50 sebagai backbone dan mengevaluasi kinerja pada ImageNet bersama dengan empat varian pergeseran distribusi: ImageNetV2; ImageNet-Sketch; ImageNet-A; dan ImageNet-R.

Atribut dipilih menggunakan hanya gambar pelatihan ImageNet asli – memungkinkan dataset yang bergeser untuk berfungsi sebagai pengujian out-of-distribution apakah atribut yang berasal dari gambar tetap berguna ketika penampilan visual berubah:

Akurasi klasifikasi Top-1 di seluruh ImageNet dan empat benchmark pergeseran distribusi. Hasil menunjukkan bahwa kinerja tetap secara umum sama ketika nama kelas disertakan dalam prompt, tetapi runtuh ketika deskriptor dipaksa untuk berdiri sendiri, menunjukkan bahwa sebagian besar efektivitas yang tampak berasal dari label kelas itu sendiri. Sebaliknya, atribut yang dipilih langsung dari gambar tetap lebih informatif di seluruh dataset yang diuji.

Mengambil atribut dari kolam yang sama, tetapi mengkondisikannya pada gambar ImageNet, meningkatkan akurasi bebas nama kelas dari 15,5% menjadi 19,4%. Karena model, kolam atribut, dan protokol evaluasi tetap sama, keuntungan dapat dikaitkan sepenuhnya dengan seleksi yang dikondisikan pada gambar.

Hasil ini juga menunjukkan bahwa CLIP dapat mengidentifikasi atribut tanpa label kelas, dan bahwa kolam yang dihasilkan oleh GPT sudah berisi deskriptor yang berguna. Kegagalan utama tampaknya terletak pada generasi yang dikondisikan pada label, yang sering gagal mengungkapkan atribut yang paling relevan dengan gambar itu sendiri.

Meskipun penulis melanjutkan dengan serangkaian eksperimen tambahan yang luas, kita harus merujuk pembaca ke materi sumber untuk detail lebih lanjut dari ini, karena, alih-alih memperluas cakupan hasil, mereka hanya mengkonfirmasi hipotesis utama yang diuraikan sejauh ini – bahwa ketergantungan pada label dapat memotong potensi data gambar nyata dalam aplikasi visi komputer modern, dengan ketergantungan yang murah pada ‘reputasi’ sebagai bahaya bagi akurasi hasil.

Kesimpulan

Menarik untuk mempertimbangkan utang yang dimiliki oleh AI generatif modern kepada jutaan gambar yang dijelaskan yang ditelan ke dalam dataset besar seperti Common Crawl, di awal era hyperscale.

Setiap kali sistem pengenalan gambar atau pelabelan otomatis mencoba mengklasifikasikan atau melabeli ulang gambar lama atau baru, asal-usul pengetahuan tersebut berasal dari beberapa vendor yang menulis ‘Majalah 1970-an yang panas!’ di alt label dari beberapa daftar eBay pada tahun 2004, atau beberapa peristiwa serupa.

Meskipun banyak orang percaya bahwa era emas pengisian kata kunci telah disapu oleh algoritma PageRank yang lebih canggih dari Google hampir tiga dekade yang lalu, pendekatan ‘dinding teks, mari kita harap sesuatu menempel’ masih sangat hidup: hanya kemarin, memimpin HTML dari halaman rilis model Qwen-Image-3.0, adalah ledakan kegilaan pengisian kata kunci (mungkin masih ada!):

Kode HTML untuk rilis Qwen Image 3 adalah dinding teks kata kunci yang tidak sepenuhnya aman, setidaknya pada saat penulisan. Sumber

Apakah itu dihasilkan secara sistematis dari daftar target atau ditulis oleh spesialis SEO, ini adalah contoh utama asal-usul sistem AI generatif modern, dengan makna yang sering membawa muatan besar kepentingan diri yang kemudian perlu dihilangkan atau setidaknya diperhitungkan dengan cara tertentu, ketika istilah tersebut mengganggu atau menghambat sistem dan aplikasi rasional.

Dipublikasikan pertama kali pada hari Rabu, 22 Juli 2026