Bahkan Model Bahasa Canggih Struggle untuk Memahami Logika Temporal

Memprediksi keadaan masa depan adalah misi kritis dalam penelitian penglihatan komputer – tidak hanya dalam robotika, di mana situasi dunia nyata harus dipertimbangkan. Sistem pembelajaran mesin yang dipercaya dengan tugas kritis misi memerlukan pemahaman yang memadai tentang dunia fisik.

Namun, dalam beberapa kasus, pengetahuan yang tampaknya mengesankan tentang kenyataan temporal dapat menipu: sebuah makalah baru dari Uni Emirat Arab menemukan bahwa model bahasa besar multimodal (MLLMs) canggih, termasuk pemimpin sektor GPT-4o dan Google Gemini, gagal ketika datang untuk menafsirkan bagaimana waktu direpresentasikan dalam gambar.

Pasangan urutan contoh (lihat gambar di bawah), yang akan menjadi tantangan bagi manusia bahkan ketika ditempatkan dalam urutan yang salah, dapat membingungkan MLLM canggih ketika disajikan dalam konteks atau konfigurasi yang tidak terduga (seperti gambar kedua terlebih dahulu, digabungkan menjadi gambar tunggal, gambar urutan berganda yang mungkin atau tidak mungkin mewakili urutan temporal yang benar, dan sebagainya).

Contoh dari salah satu dataset yang dikompilasi untuk studi baru, yang menunjukkan peristiwa urutan dalam bentuk ‘sebelum dan sesudah’ gambar. Peneliti telah membuat data ini tersedia di https://huggingface.co/datasets/fazliimam/temporal-vqa/viewer

Para peneliti menugaskan model untuk melakukan tantangan penalaran temporal dasar, seperti menentukan urutan peristiwa atau memperkirakan celah waktu, dan menemukan bahwa tujuh MLLM yang diuji memiliki performa yang jauh di bawah akurasi manusia:

‘Secara keseluruhan, [hasil] menunjukkan bahwa semua MLLM saat ini, termasuk GPT-4o – model yang paling canggih dalam evaluasi kami – bergelut dengan benchmark yang diusulkan. Meskipun GPT-4o memiliki performa yang unggul relatif terhadap model lain, ia gagal untuk secara konsisten menunjukkan penalaran temporal yang akurat di berbagai pengaturan.

‘Skor akurasi yang konsisten sangat rendah untuk semua model, menunjukkan keterbatasan yang signifikan dalam kemampuan mereka untuk memahami dan menafsirkan urutan temporal dari input visual. Kekurangan ini jelas bahkan ketika model diberikan input gambar berganda atau prompt yang dioptimalkan, menunjukkan bahwa arsitektur dan metode pelatihan saat ini tidak memadai untuk pemahaman urutan temporal yang kuat.’

Sistem pembelajaran mesin dirancang untuk mengoptimalkan hasil yang paling akurat, tetapi juga yang paling efisien dan menyenangkan bagi orang. Karena mereka tidak menunjukkan penalaran mereka secara eksplisit, dapat menjadi sulit untuk mengetahui kapan mereka menipu, atau menggunakan ‘jalan pintas’.

Dalam kasus seperti itu, MLLM mungkin mencapai jawaban yang benar dengan metode yang salah. Fakta bahwa jawaban seperti itu dapat benar dapat menginspirasi kepercayaan palsu pada model, yang dapat menghasilkan hasil yang salah dengan metode yang sama dalam tugas yang kemudian disajikan kepadanya.

Lebih parah lagi, kesalahpahaman ini dapat menjadi lebih dalam jika manusia terkesan olehnya, dan memberikan umpan balik positif dalam percobaan dan sesi anotasi yang mungkin berkontribusi pada arah yang diambil data dan/atau model.

Dalam kasus ini, saran adalah bahwa MLLM ‘memalsukan’ pemahaman yang sebenarnya tentang kronologi dan fenomena temporal, dengan mengamati dan mengaitkan pada indikator sekunder (seperti cap waktu, misalnya, dalam data video, urutan gambar dalam tata letak, atau bahkan – potensial – nama file berurutan).

Hal ini lebih lanjut menunjukkan bahwa MLLM saat ini gagal memenuhi definisi yang sebenarnya tentang memiliki generalisasi konsep fenomena temporal – setidaknya, hingga tingkat yang manusia dapat.

Makalah baru ini berjudul Apakah Multimodal MLLM dapat melakukan Pemahaman dan Penalaran Temporal Visual? Jawabannya adalah Tidak!, dan berasal dari tiga peneliti di Universitas Kecerdasan Buatan Mohamed bin Zayed dan Alibaba International Digital Commerce.

Data dan Tes

Para peneliti mencatat bahwa benchmark dan studi sebelumnya, seperti MMMU dan TemporalBench, berkonsentrasi pada input gambar tunggal atau memformulasikan pertanyaan untuk MLLM yang mungkin terlalu mudah untuk dijawab, dan mungkin tidak mengungkapkan kecenderungan untuk perilaku jalan pintas.

Oleh karena itu, peneliti menawarkan dua pendekatan yang diperbarui: Pemahaman Urutan Temporal (TOU) dan Perkiraan Waktu (TLE). Pendekatan TOU menguji kemampuan model untuk menentukan urutan peristiwa yang benar dari pasangan bingkai video; metode TLE mengevaluasi kemampuan MLLM untuk memperkirakan perbedaan waktu antara dua gambar, mulai dari detik hingga tahun.

Dari makalah, dua tugas utama dari benchmark TemporalVQA: dalam Pemahaman Urutan Temporal, model menentukan gambar mana yang menunjukkan peristiwa yang terjadi pertama; dalam Perkiraan Waktu, model memperkirakan berapa lama waktu yang telah berlalu antara dua gambar, memilih dari opsi termasuk detik, menit, hari, atau tahun. Tugas-tugas ini bertujuan untuk menguji seberapa baik MLLM dapat bernalar tentang waktu dan urutan peristiwa visual. Sumber: https://arxiv.org/pdf/2501.10674

Peneliti mengumpulkan 360 pasang gambar untuk benchmark TOU, menggunakan video sumber terbuka dari Pixabay dan Pexels, sehingga dataset dapat dibuat tersedia melalui GUI.

Video tersebut mencakup berbagai subjek, dari orang-orang dalam kegiatan sehari-hari hingga konten non-manusia seperti hewan dan tanaman. Dari ini, pasangan bingkai dipilih untuk menggambarkan urutan peristiwa dengan variasi yang cukup untuk membuat bingkai awal ‘jelas’.

Logika temporal dari dua gambar ini tidak dapat dihindari, karena teh tidak mungkin disedot kembali ke atas spout.

Dengan cara ini, 360 pasang gambar diperoleh.

Untuk metode TLE, gambar bebas hak cipta dipilih dari Google dan Flickr, serta bingkai pilihan dari video bebas hak cipta di YouTube. Subjek dari video ini menampilkan adegan atau objek yang perubahan intervalnya berkisar dari detik hingga hari hingga musim – misalnya, buah yang matang, atau perubahan musim di lanskap.

Dengan demikian, 125 pasang gambar dikumpulkan untuk metode TLE.

Tidak semua MLLM yang diuji dapat memproses gambar berganda; oleh karena itu, tes berbeda untuk menampung kemampuan masing-masing model.

Banyak versi dari dataset yang dikumpulkan, di mana beberapa pasang digabungkan secara vertikal, dan lainnya secara horizontal. Variasi lain menukar urutan temporal yang benar dari pasangan.

Dua jenis prompt dikembangkan. Yang pertama mengikuti template:

Apakah peristiwa di gambar (kiri / atas / pertama) terjadi sebelum peristiwa di gambar (kanan / bawah / kedua)? Nyatakan benar atau salah dengan alasan.

Yang kedua mengikuti skema:

Antara dua gambar ini, gambar mana yang menunjukkan peristiwa yang terjadi pertama? Nyatakan (kiri atau kanan / atas atau bawah / pertama atau kedua) dengan alasan.

Untuk TLE, pertanyaan adalah pilihan ganda, meminta model untuk mengevaluasi waktu yang telah berlalu antara dua gambar yang disajikan, dengan detik, jam, menit, hari, bulan, dan tahun tersedia sebagai satuan waktu. Dalam konfigurasi ini, gambar terbaru disajikan di sebelah kanan.

Prompt yang digunakan di sini adalah:

Perkirakan waktu yang telah berlalu antara gambar pertama (kiri) dan gambar kedua (kanan).

Pilih salah satu opsi berikut:

1. 1. Kurang dari 15 detik
B. Antara 2 menit hingga 15 menit
C. Antara 1 jam hingga 12 jam
D. Antara 2 hari hingga 30 hari
E. Antara 4 bulan hingga 12 bulan
F. Lebih dari 3 tahun

MLLM yang diuji adalah ChatGPT-4o; Gemini1.5-Pro; LlaVa-NeXT; InternVL; Qwen-VL; Llama-3-vision; dan LLaVA-CoT.

Pemahaman Urutan Temporal: Hasil

Hasil Pemahaman Urutan Temporal di berbagai model dan tata letak input, menunjukkan akurasi dan konsistensi untuk berbagai pengaturan dan prompt.

Terhadap hasil yang ditunjukkan di atas, peneliti menemukan bahwa semua MLLM yang diuji, termasuk GPT-4o (yang menunjukkan performa terbaik secara keseluruhan), bergelut dengan benchmark TemporalVQA – dan bahkan GPT-4o gagal untuk secara konsisten menunjukkan penalaran temporal yang dapat diandalkan di berbagai konfigurasi.

Peneliti berpendapat bahwa skor akurasi yang konsisten rendah di seluruh MLLM menyoroti keterbatasan yang signifikan dalam kemampuan model untuk menafsirkan dan bernalar tentang urutan temporal dari data visual. Peneliti mencatat bahwa tantangan ini berlanjut bahkan dengan penggunaan input gambar berganda dan prompt yang dioptimalkan, menunjukkan keterbatasan fundamental dalam arsitektur model dan metode pelatihan saat ini.

Tes menunjukkan variasi yang signifikan dalam performa di seluruh strategi prompt. Sementara GPT-4o meningkat dengan prompt yang dioptimalkan (mencapai 4% dalam pengaturan gambar tunggal dan 65,3% dalam pengaturan gambar berganda), performa tetap di bawah tingkat yang dapat diterima.

Model seperti LLaVA-NeXT dan Qwen-VL lebih sensitif, dengan performa yang menurun ketika prompt alternatif digunakan, menunjukkan bahwa rekayasa prompt saja tidak dapat mengatasi keterbatasan fundamental MLLM dalam hal penalaran temporal.

Tes juga menunjukkan bahwa tata letak gambar (yaitu, vertikal vs. horizontal) secara signifikan mempengaruhi performa model. GPT-4o meningkatkan konsistensinya dengan pengaturan vertikal, naik dari 39,2% hingga 52,8%; namun, model lain, termasuk strain LLaVA, menunjukkan bias arah yang kuat, unggul dalam satu orientasi tetapi gagal dalam orientasi lain.

Makalah ini menunjukkan bahwa inkonsistensi ini menyarankan ketergantungan pada petunjuk spasial, bukan penalaran temporal yang sebenarnya, dengan MLLM yang tidak benar-benar menganalisis urutan peristiwa atau memahami kemajuan waktu. Sebaliknya, mereka tampaknya telah bergantung pada pola atau fitur visual yang terkait dengan tata letak gambar, seperti posisi atau perataan, untuk membuat keputusan.

Tes kualitatif menyoroti prediksi GPT-4o ketika dihadapkan pada urutan input yang berbeda. Dalam urutan pertama, pasangan gambar disajikan dalam urutan aslinya, sedangkan dalam urutan kedua, urutan dibalik. Klasifikasi yang benar ditandai dengan warna hijau, klasifikasi yang salah murni dengan warna merah, alasan yang halusinatif dengan warna oranye, dan alasan yang tidak logis atau ‘tidak valid’ dengan warna coklat, menunjukkan inkonsistensi model di berbagai konfigurasi input.

Perbandingan tes antara input gambar tunggal dan gambar berganda menunjukkan perbaikan terbatas, dengan GPT-4o yang sedikit lebih baik dalam input gambar berganda, naik dari 31,0% hingga 43,6% (dengan P1) dan 46,0% hingga 65,3% (dengan P2).

Model lain, seperti InternVL, menunjukkan akurasi yang stabil tetapi rendah, sedangkan Qwen-VL mengalami keuntungan kecil. Peneliti menyimpulkan bahwa hasil ini menunjukkan bahwa konteks visual tambahan tidak secara substansial meningkatkan kemampuan penalaran temporal, karena model bergelut untuk mengintegrasikan informasi temporal secara efektif.

Studi Manusia

Dalam sebuah studi manusia, tiga survei dilakukan untuk menilai seberapa dekat performa MLLM multimodal yang paling baik dengan estimasi manusia.

Manusia mencapai akurasi 90,3%, mengungguli GPT-4o dengan 25%. Dataset terbukti dapat diandalkan, dengan kesalahan manusia minimal dan kesepakatan yang konsisten tentang jawaban yang benar.

Hasil dari studi pengguna manusia untuk putaran tes pertama.

Perkiraan Waktu: Hasil

Hasil untuk TLE: perkiraan waktu mengevaluasi akurasi model dalam mengidentifikasi interval antara pasangan gambar, di seluruh skala dari detik hingga tahun. Tugas ini mengevaluasi kemampuan model untuk memilih skala waktu yang benar untuk celah temporal.

Dalam tes ini, MLLM hanya mencapai akurasi yang memadai dalam perkiraan waktu: GPT-4o mencapai akurasi 70%, tetapi model lain memiliki performa yang jauh lebih buruk (lihat tabel di atas), dan performa juga bervariasi secara signifikan di seluruh skala waktu yang berbeda.

Peneliti mengomentari:

‘Tugas perkiraan waktu menguji kemampuan MLLM untuk menginfer interval temporal antara pasangan gambar. [Semua] MLLM, termasuk pemain teratas seperti GPT-4o dan Gemini1.5-Pro, bergelut dengan tugas ini, mencapai akurasi moderat sebesar 60-70%. GPT-4o menunjukkan performa yang tidak konsisten, dengan performa yang kuat dalam Detik dan Tahun tetapi underperform dalam Jam.

‘Demikian pula, LLaVA-CoT menunjukkan performa yang luar biasa dalam interval waktu Detik dan Hari, tetapi menunjukkan performa yang sangat buruk dalam interval waktu lainnya.’

Studi Manusia

Dalam studi manusia untuk TLE, performa manusia rata-rata meningkatkan GPT-4o (model terbaik dalam kategori ini) sebesar 12,3%.

Peneliti mencatat bahwa beberapa tantangan sangat menantang, dan bahwa dalam satu kasus semua partisipan manusia kembali dengan jawaban yang salah, bersama dengan semua partisipan AI.

Peneliti menyimpulkan bahwa GPT-4o menunjukkan kemampuan penalaran yang ‘cukup kuat’, meskipun urutan gambar yang disajikan.

Kesimpulan

Jika MLLM akhirnya mengumpulkan dan menyerap cukup banyak ‘jalan pintas’ data untuk menutupi bahkan tantangan yang paling sulit dari jenis yang disajikan oleh peneliti dalam studi ini, apakah mereka dapat dikatakan telah mengembangkan kemampuan generalisasi gaya manusia dalam domain ini bisa menjadi titik yang tidak relevan.

Tidak juga diketahui secara pasti bagaimana kita memperoleh kemampuan kita sendiri dalam penalaran temporal – apakah kita juga ‘menipu’ sampai jumlah pengalaman yang dipelajari mengungkapkan pola yang berfungsi sebagai ‘insting’ dalam hal tes seperti ini?

* Dari sudut pandang bahwa model semakin dioptimalkan dengan fungsi kerugian yang telah disumbangkan oleh umpan balik manusia, dan dioptimalkan secara efektif oleh percobaan manusia dan triage selanjutnya.

Dipublikasikan pertama kali pada hari Senin, 27 Januari 2025