Membawa Analogi Visual ke AI

Model AI saat ini gagal mengenali kesamaan ‘relasional’ gambar, seperti bagaimana lapisan Bumi mirip dengan buah persik, menghilangkan aspek kunci tentang bagaimana manusia mempersepsi gambar.

Meskipun ada banyak model visi komputer yang dapat membandingkan gambar dan menemukan kesamaan antara mereka, generasi sistem komparatif saat ini memiliki kapasitas imajinatif yang sangat terbatas. Pertimbangkan beberapa lirik dalam lagu klasik 1960-an, Windmills of Your Mind:

Like a carousel that’s turning, running rings around the moon
Like a clock whose hands are sweeping past the minutes of its face
And the world is like an apple whirling silently in space

Perbandingan seperti ini mewakili domain alusi poetis yang bermakna bagi manusia dalam cara yang jauh melampaui ekspresi artistik; sebenarnya, ini terkait dengan bagaimana kita mengembangkan sistem persepsi kita; ketika kita menciptakan domain ‘objek’ kita, kita mengembangkan kapasitas untuk kesamaan visual, sehingga – misalnya – gambar potongan melintang yang menampilkan buah persik dan planet Bumi, atau rekursi fraktal seperti spiral kopi dan cabang galaksi, terdaftar sebagai analog bagi kita.

Dengan cara ini kita dapat menyimpulkan koneksi antara objek dan jenis objek yang tampaknya tidak terkait, dan menginferensikan sistem (seperti gravitasi, momentum, dan kohesi permukaan) yang dapat diterapkan pada berbagai domain dengan skala yang berbeda.

Melihat Hal-Hal

Bahkan generasi terbaru sistem perbandingan gambar AI, seperti Learned Perceptual Image Patch Similarity (LPIPS) dan DINO, yang diberitahu oleh umpan balik manusia, hanya melakukan perbandingan permukaan secara harfiah.

Kapasitas mereka untuk menemukan wajah di mana tidak ada – yaitu, pareidolia – tidak mewakili jenis mekanisme kesamaan visual yang dikembangkan manusia, tetapi terjadi karena algoritma pencarian wajah menggunakan fitur struktur wajah tingkat rendah yang kadang-kadang sesuai dengan objek acak:

Contoh positif palsu untuk pengenalan wajah di dataset ‘Faces with Things’. Sumber

Untuk menentukan apakah mesin dapat benar-benar mengembangkan kapasitas imajinatif kita untuk mengenali kesamaan visual di seluruh domain, peneliti di AS telah melakukan studi tentang Kesamaan Visual Relasional, mengkurasi dan melatih dataset baru yang dirancang untuk memaksa hubungan abstrak terbentuk antara objek yang berbeda yang dihubungkan oleh hubungan abstrak:

Sebagian besar model AI hanya mengenali kesamaan ketika gambar berbagi fitur permukaan seperti bentuk atau warna, sehingga mereka hanya menghubungkan Grup B (di atas) ke referensi. Manusia, di sisi lain, juga melihat Grup A sebagai serupa – tidak karena gambar terlihat sama, tetapi karena mereka mengikuti logika dasar yang sama, seperti menunjukkan transformasi seiring waktu. Pekerjaan baru ini berusaha untuk mereproduksi jenis kesamaan struktural atau relasional ini, dengan tujuan membawa persepsi mesin lebih dekat ke penalaran manusia. Sumber: https://arxiv.org/pdf/2512.07833

Sistem penandaan yang dikembangkan untuk dataset ini memfasilitasi anotasi abstrak yang tidak biasa, dirancang untuk memaksa sistem AI fokus pada karakteristik dasar daripada detail lokal khusus:

Keterangan ‘anonim’ yang diprediksi yang berkontribusi pada metrik ‘relsim’ penulis.

Sistem ini menggunakan metrik baru yang diusulkan, relsim, yang telah dihaluskandengan ke dalam model bahasa-visi (VLM).

Perbandingan antara gaya penandaan dataset biasa, yang fokus pada kesamaan atribut, sedangkan pendekatan relsim (baris bawah) menekankan kesamaan relasional.

Pendekatan baru ini mengambil metodologi dari ilmu kognitif, khususnya Teori Pemetaan Struktur Dedre Gentner (sebuah studi tentang analogi) dan definisi Amos Tversky tentang kesamaan relasional dan kesamaan atribut.

Dari situs web proyek terkait, contoh kesamaan relasional. Sumber

Penulis menyatakan:

‘[Manusia] memproses kesamaan atribut secara perseptual, tetapi kesamaan relasional memerlukan abstraksi konseptual, sering didukung oleh bahasa atau pengetahuan sebelumnya. Ini menunjukkan bahwa mengenali kesamaan relasional pertama-tama memerlukan memahami gambar, mengambil pengetahuan, dan mengabstraksi struktur dasarnya.’

Makalah baru ini berjudul Kesamaan Visual Relasional, dan disertai dengan situs web proyek (lihat video yang disematkan di akhir artikel ini).

Metode

Peneliti menggunakan salah satu dataset hiperskala paling terkenal sebagai titik awal untuk koleksi mereka sendiri – LAION-2B:

Metadata untuk entri dalam koleksi LAION-2B. Sumber

114.000 gambar yang kemungkinan mengandung struktur relasional elastis diekstrak dari LAION-2B, melibatkan penyaringan banyak gambar berkualitas rendah yang ada dalam dataset yang minim dikurasi.

Untuk membuat pipa untuk proses seleksi ini, penulis menggunakan Qwen2.5-VL-7B, memanfaatkan 1.300 contoh positif dan 11.000 contoh negatif yang diberi label oleh manusia:

Sistem relsim dilatih dalam tiga tahap: menyaring gambar dari LAION-2B untuk konten relasional; menetapkan setiap grup dengan keterangan ‘anonim’ bersama yang menangkap logika dasarnya; dan mempelajari untuk mencocokkan gambar dengan keterangan tersebut menggunakan kontrasif loss.

Makalah tersebut menyatakan:

‘Annotator diminta: “Apakah Anda dapat melihat pola relasional, logika, atau struktur dalam gambar ini yang dapat berguna untuk membuat atau menghubungkan dengan gambar lain?”. Model yang dihaluskan mencapai 93% kesepakatan dengan penilaian manusia, dan ketika diterapkan pada LAION-2B, itu menghasilkan N = 114k gambar yang diidentifikasi sebagai relasional menarik.’

Untuk menghasilkan label relasional, peneliti meminta model Qwen untuk menjelaskan logika bersama di balik set gambar tanpa menamai objek khusus. Abstraksi ini sulit diperoleh ketika model hanya melihat satu gambar, tetapi menjadi lebih mudah ketika beberapa contoh menunjukkan pola dasar.

Hasilnya adalah keterangan grup yang menggantikan istilah spesifik dengan placeholder seperti ‘{Subjek}’ atau ‘{Jenis Gerakan}’, membuatnya lebih umum.

Setelah verifikasi oleh manusia, setiap keterangan dipasangkan dengan semua gambar dalam grupnya. Lebih dari 500 grup seperti itu digunakan untuk melatih model, yang kemudian diterapkan pada 114.000 gambar yang disaring untuk menghasilkan set besar sampel yang dinotasi relasional secara abstrak.

Data dan Pengujian

Setelah ekstraksi fitur relasional dengan Qwen2.5-VL-7B, model dihaluskan pada data menggunakan LoRA, selama 15.000 langkah, melalui delapan A100 GPU*. Untuk sisi teks, keterangan relasional disematkan menggunakan all-MiniLM-L6-v2 dari Perpustakaan Sentence-Transformers.

Dataset 114.000 gambar yang diberi keterangan dibagi menjadi 100.000 untuk pelatihan dan 14.000 untuk evaluasi. Untuk menguji sistem, setup pengambilan digunakan: diberikan gambar kueri, model harus menemukan gambar lain dari kumpulan 28.000 item yang mengekspresikan ide relasional yang sama. Kumpulan pengambilan termasuk 14.000 gambar evaluasi dan 14.000 sampel tambahan dari LAION-2B, dengan 1.000 kueri dipilih secara acak dari set evaluasi untuk benchmarking.

Untuk mengevaluasi kualitas pengambilan, GPT-4o digunakan untuk menilai kesamaan relasional antara setiap kueri dan gambar yang diambil pada skala dari 0 hingga 10. Studi manusia terpisah juga dilakukan untuk mengukur preferensi pengguna (lihat di bawah).

Setiap partisipan ditunjukkan gambar kueri anonim dengan dua kandidat, satu diambil oleh metode yang diusulkan, dan yang lain oleh baseline. Partisipan diminta untuk menentukan gambar mana yang lebih serupa secara relasional dengan kueri, atau jika keduanya sama-sama dekat. Untuk setiap baseline, 300 triplet dibuat dan dinilai oleh setidaknya tiga orang masing-masing, menghasilkan sekitar 900 respons.

Pendekatan relsim dibandingkan dengan beberapa metode kesamaan gambar-ke-gambar yang mapan, termasuk LPIPS dan DINO yang disebutkan sebelumnya, serta dreamsim, dan CLIP-I. Selain baseline yang secara langsung menghitung skor kesamaan antara pasangan gambar, seperti LPIPS, DINO, dreamsim, dan CLIP-I, penulis juga menguji metode berbasis keterangan di mana Qwen digunakan untuk menghasilkan keterangan ‘anonim’ atau abstrak untuk setiap gambar.; ini kemudian berfungsi sebagai kueri pengambilan.

Dua varian pengambilan dievaluasi, dengan pengambilan teks-ke-gambar berbasis CLIP (CLIP-T) digunakan untuk pengambilan teks-ke-gambar, dan Qwen-T menggunakan pengambilan teks-ke-teks. Kedua baseline berbasis keterangan menggunakan model Qwen awal rather than versi yang dihaluskan pada logika relasional. Ini memungkinkan penulis untuk mengisolasi efek dari pelatihan berbasis grup, karena model yang dihaluskan telah terpapar pada set gambar, bukan contoh terisolasi.

Metri yang Ada dan Kesamaan Relasional

Penulis awalnya menguji apakah metri yang ada dapat menangkap kesamaan relasional:

Perbandingan kinerja pengambilan yang dinilai oleh GPT-4o, menunjukkan skor kesamaan relasional rata-rata untuk setiap metode. Metri kesamaan konvensional seperti LPIPS, DINO, dan CLIP-I mencetak skor lebih rendah. Baseline berbasis keterangan Qwen-T dan CLIP-T juga underperformed. Skor tertinggi dicapai oleh relsim (6,77, kolom biru paling kanan), menunjukkan bahwa pelatihan pada pola relasional berbasis grup meningkatkan keselarasan dengan penilaian GPT-4o.

Mengenai hasil ini, penulis menyatakan**:

‘[LPIPS], yang fokus murni pada kesamaan perseptual, mencapai skor terendah (4,56). [DINO] melakukan sedikit lebih baik (5,14), mungkin karena dilatih sepenuhnya dengan cara self-supervised pada data gambar. [CLIP-I] menghasilkan hasil terkuat di antara baseline (5,91), kemungkinan karena abstraksi kadang-kadang hadir dalam keterangan gambar.

‘Namun, CLIP-I masih underperformed relatif terhadap metode kami, karena mencapai skor yang lebih baik mungkin memerlukan kemampuan untuk mencapai abstraksi tingkat yang lebih tinggi, seperti yang ada dalam keterangan anonim.’

Dalam studi manusia, manusia secara konsisten lebih memilih metode relsim melawan semua baseline:

Skor kesamaan relasional yang diberikan oleh GPT-4o untuk setiap metode. Metri kesamaan standar seperti LPIPS, DINO, dan CLIP-I mencetak skor lebih rendah, dan varian berbasis keterangan Qwen-T dan CLIP-T hanya sedikit lebih baik. Bahkan versi yang dihaluskan dari DINO dan CLIP tidak menutup celah. Skor tertinggi, 6,77, dicapai oleh model relsim, dilatih dengan supervisi berbasis grup.

Penulis mencatat:

‘Ini sangat menggembirakan, karena menunjukkan tidak hanya bahwa model kami, relsim, dapat berhasil mengambil gambar yang serupa secara relasional, tetapi juga, lagi, mengkonfirmasikan bahwa manusia memang mempersepsi kesamaan relasional–bukan hanya kesamaan atribut!’

Untuk menjelajahi bagaimana kesamaan relasional dan kesamaan atribut mungkin saling melengkapi, peneliti menggunakan metode visualisasi gabungan. Sebuah gambar kueri tunggal (‘Seekor anjing memegang kamera’) dibandingkan dengan 3.000 gambar acak, dan kesamaan dihitung menggunakan model relasional dan atribut:

Visualisasi gabungan ruang kesamaan visual menggunakan sumbu relasional dan atribut. Sebuah gambar kueri tunggal, menggambarkan seekor anjing menggunakan kamera, dibandingkan dengan 3.000 gambar lain. Hasilnya diatur berdasarkan kesamaan relasional (vertikal) dan kesamaan atribut (horizontal). Wilayah kanan atas berisi gambar yang menyerupai kueri dalam logika dan penampilan, seperti anjing lain menggunakan alat. Wilayah kiri atas berisi kasus yang terkait secara semantik tetapi berbeda secara visual, seperti hewan lain melakukan aksi terkait kamera. Sebagian besar contoh lainnya berkelompok lebih rendah dalam ruang, mencerminkan kesamaan yang lebih lemah. Tata letak ini menunjukkan bagaimana model relasional dan atribut menyoroti aspek komplementer dari data visual. Silakan merujuk ke makalah sumber untuk resolusi yang lebih baik.

Hasilnya mengungkapkan klaster yang sesuai dengan jenis kesamaan yang berbeda: beberapa gambar menyerupai kueri dalam logika dan penampilan, seperti anjing lain dalam pose manusia; yang lainnya berbagi logika relasional tetapi tidak penampilan, seperti hewan lain yang meniru aksi manusia; sisanya tidak menunjukkan kesamaan.

Analisis ini menunjukkan bahwa kedua jenis kesamaan ini berperan berbeda dan menghasilkan struktur yang lebih kaya ketika digabungkan.

Kasus Penggunaan

Makalah ini juga menjelajahi beberapa kasus penggunaan yang mungkin untuk kesamaan relasional, termasuk pengambilan gambar relasional, yang memungkinkan pencarian gambar lebih selaras dengan cara kreatif manusia memandang dunia:

Pengambilan relasional mengembalikan gambar yang berbagi struktur konseptual yang lebih dalam dengan kueri, bukan hanya mencocokkan fitur permukaan. Misalnya, makanan yang dirancang untuk menyerupai wajah mengembalikan makanan antropomorfik lain; objek yang dipotong menghasilkan bentuk potongan lain; dan adegan interaksi orang dewasa-anak mengembalikan gambar dengan peran relasional yang serupa, bahkan jika spesies dan komposisi berbeda.

Contoh lainnya adalah generasi gambar analogis, yang akan memungkinkan sintesis kueri yang menggunakan struktur relasional daripada deskripsi langsung. Dalam perbandingan hasil yang diperoleh dari generasi model teks-ke-gambar saat ini, kita dapat melihat bahwa hasil dari pendekatan seperti itu kemungkinan akan lebih beragam:

Diberikan gambar input dan prompt relasional, model diminta untuk menghasilkan gambar baru yang mengekspresikan konsep dasar yang sama. Model proprietari menghasilkan analogi yang lebih setia, mempertahankan logika struktural di seluruh perubahan bentuk yang besar, dan model sumber terbuka cenderung bergeser ke pencocokan literal atau gaya, gagal memindahkan ide yang lebih dalam. Keluaran dibandingkan dengan analogi yang dikurasi oleh manusia, yang menggambarkan transformasi yang dimaksud.

Kesimpulan

Sistem AI generatif akan, tampaknya, ditingkatkan secara signifikan dengan kemampuan untuk mengintegrasikan representasi abstrak ke dalam konseptualisasi mereka. Seperti yang ada sekarang, meminta gambar konsep seperti ‘kemarahan’ atau ‘kebahagiaan’ cenderung mengembalikan gambar yang dirancang dari gambar paling populer atau paling banyak yang memiliki asosiasi tersebut dalam dataset; yang merupakan memori daripada abstraksi.

Prinsip ini tampaknya dapat diterapkan lebih baik jika dapat diterapkan pada penulisan generatif – terutama output analitis, spekulatif, atau fiksi.

Tekan untuk memutar. Sumber

* A100 dapat memiliki 40Gb atau 80GB VRAM; ini tidak ditentukan dalam makalah.

** Kutipan penulis yang redundan dan dikecualikan.

Dipublikasikan pertama kali pada hari Selasa, 16 Desember 2025