AI Jauh Lebih Buruk Daripada Manusia dalam Merakit Furnitur

ChatGPT dan Google Gemini masih belum dapat memahami video perakitan IKEA dengan andal, dengan banyak sistem AI lainnya yang membingungkan bagian, melewatkan koneksi, dan hampir tidak menggunakan video itu sendiri untuk memahami apa yang terjadi.

Meme budaya yang bertahan lama sekitar kesulitan merakit furnitur gaya IKEA membuat subjek ini menjadi target yang menarik untuk penelitian penglihatan komputer — tidak hanya karena urutan panjang tindakan, pelacakan objek, dan penalaran spasial yang terlibat akan cenderung mendorong sistem manipulasi robotik jauh melampaui bentuk sederhana dan lingkungan yang terkendali yang mereka biasakan.

Oleh karena itu, pekerjaan pada rutinitas perakitan robotik yang ditenagai AI untuk furnitur flat-pack telah menjadi cabang kecil tetapi terhormat dalam literatur, dengan keluaran seperti Lingkungan Perakitan Furnitur IKEA USC 2019, di antara dataset dan konteks penelitian pertama yang secara khusus ditujukan untuk perakitan furnitur:

Klik untuk memutar Contoh latihan perakitan robotik, dari situs proyek untuk inisiatif Lingkungan Perakitan Furnitur IKEA 2019. Sumber

Pada 2024, kolaborasi Stanford/J.P. Morgan Manual IKEA di Tempat Kerja adalah yang pertama untuk secara signifikan menyelidiki kemampuan AI untuk melakukan prosedur yang tampaknya biasa (meskipun sering frustrasi), berdasarkan dataset baru gambar dari manual instruksi, dan menggunakan video instruksional:

Metode dataset dan detail dari inisiatif IKEA Manuals at Work 2024.  Sumber

Para penulis makalah 2024 – yang menggunakan DGCNN, CNOS, SAM-6D, MegaPose, MiDaS, SAM2 Hiera-L, Cutie-base, dan GPT-4o – menyimpulkan bahwa tugas tersebut menghasilkan ‘tantangan signifikan dalam memahami video perakitan instruksional, termasuk mengekstrak segmentasi bagian dan pose, membangun rencana perakitan tingkat tinggi, dan mendeteksi langkah perakitan kunci dalam video’.

Mengilap, Mengilap

Harus jelas bahwa, meskipun mendapatkan AI untuk mengotomatisasi kita dari tugas yang sedikit disukai akan menyenangkan, itu tidak sepenuhnya menjadi bintang ilmiah, atau tinggi dalam daftar prioritas untuk sektor penelitian Penglihatan Komputer.

Rather, nilai tugas ini terletak pada kenyataan bahwa apa yang perlu dipelajari AI untuk menjadi mahir dalam hal ini akan mempersiapkan mereka untuk rutinitas yang jauh lebih serius yang sama atau bahkan lebih menantang, di bidang pertanian, industri, sektor jasa, dan bidang lainnya.

Dalam hal ini, proyek dan dataset LEGO-Puzzles mengeksaminasi bagaimana baik Model Bahasa Visi (VLMs) menangani penalaran spasial multi-langkah di berbagai arsitektur, karena tugas perakitan bergantung tidak hanya pada penggunaan objek yang benar bersama-sama pada saat yang tepat – proses yang dikenal sebagai mating – tetapi juga pada mengikuti instruksi yang mungkin jauh lebih abstrak daripada adegan visual yang tersedia untuk model pada langkah tertentu:

Pertanyaan menantang dari proyek LEGO-Puzzles. Sumber

Proyek terbaru untuk menangani tantangan perakitan furnitur memanfaatkan AI model yang lebih mutakhir dan lebih kuat, termasuk Google Gemini 2.5/3.1 dan OpenAI’s GPT-5 – tetapi masih gagal untuk mendapatkan kemenangan untuk AI dalam tugas tersebut, dengan hanya perbaikan yang modest dibandingkan dengan baseline kesempatan, dan kinerja ‘jauh di bawah tingkat manusia’.

Para penulis menyatakan:

‘Eksperimen kami menunjukkan bahwa LVLMs canggih mengalami kesulitan signifikan dengan penalaran spasio-temporal halus, menyoroti keterbatasan mereka dalam menggunakan informasi temporal dari video, kemampuan pelacakan terbatas, dan pemahaman interaksi spasial seperti kontak fisik.’

Masalah yang sedang ditangani dalam penelitian ini hanya terkait dengan robotika praktis pada tahap ini, meskipun tantangan tambahan pasti menanti ketika masalah teoretis akhirnya berkembang menjadi AI yang terwujud.

Makalah baru ini berjudul Flat-Pack Bench: Evaluating Pemahaman Spasio-Temporal pada Model Bahasa Visi Besar melalui Perakitan Furnitur, dan berasal dari delapan penulis di Cornell University, Cornell Tech, MBZUAI, dan UC Berkeley. Makalah ini disertai dengan situs proyek.

Metode

Para penulis karya baru ini menekankan kesulitan yang dihadapi asisten AI dalam memahami proses perakitan melalui pengamatan, misalnya, melalui video instruksional gaya YouTube yang banyak orang gunakan untuk mendapatkan manfaat dari pengetahuan komunitas:

Beberapa pertanyaan yang diajukan tugas perakitan flat-pack, bersama dengan empat keterampilan esensial yang diperlukan untuk menavigasi tantangan. Sumber

Mereka mengkurasi dataset yang disaring dari dataset sebelumnya yang disebutkan, yaitu IKEA-Manuals-at-Work (IMaW) dataset, yang menampilkan video in-the-wild dari orang-orang yang merakit furnitur IKEA. Benchmark yang direvisi memotong video asli untuk menghapus kartu instruksi teks saja, dengan varian key-frame dan video penuh yang terpisah, dan juga menambahkan prompt visual yang diannotasi secara manual dengan bagian furnitur yang dipisahkan, untuk mendukung tugas penalaran pilihan ganda.

Benchmark ini berputar di sekitar empat jenis pertanyaan: MATE, menentukan apakah dua bagian terhubung dalam perakitan akhir; TRACK, memerlukan model untuk memulihkan korespondensi yang benar antara ID bagian yang diacak-acak di seluruh bingkai yang dipisahkan menggunakan video itu sendiri; TOrd, mengevaluasi apakah model dapat menyimpulkan urutan koneksi yang benar; dan TLoc, menguji apakah model dapat mengidentifikasi peristiwa yang terjadi segera sebelum atau setelah keadaan yang ditunjukkan dalam prompt visual, memerlukan lokalasi temporal dan penalaran tentang peristiwa terdekat.

Contoh dari benchmark baru, menggambarkan empat jenis tugas inti yang dirancang untuk menguji penalaran spasio-temporal dalam video perakitan furnitur: Lokalisasi Temporal; Pengaturan Temporal; Pelacakan; dan Mating. Setiap tugas menggabungkan footage video perakitan dengan satu atau lebih prompt visual yang dilabeli dan pertanyaan penalaran pilihan ganda.

Templat yang ditunjukkan pada gambar skema di atas diperoleh dari empat model pertanyaan ini.

Para penulis juga mencatat bahwa mereka menambahkan anotasi perakitan bagian yang halus ke setiap video IMaW asli, yang menentukan bagian mana yang terhubung ke bagian lain – detail yang tidak ada dalam koleksi aslinya.

Penghindaran

Pertanyaan, makalah tersebut mencatat, perlu dikurasi secara manual, karena pertanyaan yang dihasilkan secara otomatis sering memberi AI kesempatan untuk mengabaikan video dan mengandalkan pemahaman yang telah dilatih sebelumnya – skenario yang pengguna LLM/VLM biasa akan mengenali, karena optimasi dan prioritas perusahaan lainnya sering menyebabkan model canggih mengabaikan informasi yang disampaikan, seperti PDF atau gambar, dan mengandalkan pemahaman mereka sendiri:

‘[Kami] menemukan bahwa pembuatan pertanyaan secara otomatis sering menghasilkan pertanyaan yang dapat dijawab dengan mengabaikan video dan mengeksploitasi jalan pintas. Sebagai contoh, pertanyaan mating yang dihasilkan secara otomatis tentang bagian yang sudah diposisikan untuk koneksi, atau termasuk opsi pengalih perhatian dengan bentuk atau warna yang sangat berbeda, memungkinkan eliminasi yang mudah. Untuk mengatasi ini, kami mengkurasi semua pertanyaan secara manual menggunakan templat tetap.

‘Pengannotasi diberikan video perakitan penuh, bingkai yang dilabeli untuk prompt visual, templat pertanyaan, dan pedoman rinci untuk menghindari jalan pintas berdasarkan petunjuk statis dari prompt visual.’

Benchmark yang selesai terdiri dari 602 pertanyaan pilihan ganda di 50 video perakitan furnitur yang bervariasi.

Data dan Pengujian

Model yang dievaluasi untuk putaran pengujian adalah ChatGPT dan varian Gemini yang disebutkan sebelumnya, serta Video-LLaVA;  LLaVA-NeXT-Vid; LLaVA-OneVision; LLaVA-Video; Qwen 2.5/Qwen 3-VL; InternVL3; ArrowRL; PerceptionLM; dan Video-Refer.

GenS digunakan untuk memilih bingkai yang relevan dengan pertanyaan dalam video panjang untuk model Gemini 2.5 Pro dasar, dan sebagian besar model diuji dalam konteks one-shot dengan greedy decoding (tidak didukung di GPT-5, bagaimanapun).

Tiga format prompt dirancang untuk benchmark: prompt mixed-media menyediakan prompt visual sebagai gambar terpisah di samping video perakitan; prompt collage memasukkan prompt visual langsung ke dalam setiap bingkai video sebagai bagian dari tata letak grid; dan prompt concat memasang prompt visual ke awal video.

Varian video yang dipotong dan key-frame diuji di semua format, untuk mengukur seberapa kuat struktur prompt dan kompresi temporal dapat mempengaruhi kinerja model.

Baselines kesempatan yang dipertimbangkan untuk pengujian juga termasuk ‘kesempatan frekuensi’, di mana opsi paling umum (bukan opsi yang benar-benar acak) dipilih.

Human Factor

Kinerja manusia dievaluasi menggunakan peserta yang berasal dari program ilmu komputer, mulai dari tingkat sarjana hingga doktor. Setiap peserta diberikan video perakitan, prompt visual yang terkait, dan pertanyaan pilihan ganda, serta instruksi tugas, sebelum memilih jawaban.

Tiga respons dikumpulkan per pertanyaan dan diselesaikan melalui pemungutan suara mayoritas, sementara studi sumber daya yang dikelola secara terpisah juga dilakukan pada subset acak dari benchmark.

Akurasi digunakan sebagai metrik untuk percobaan:

Hasil kinerja pada FLAT-PACK BENCH, membandingkan model multimodal milik perusahaan dan terbuka di seluruh tugas Temporal Ordering, Temporal Localization, Pelacakan, dan Mating, dengan kinerja manusia yang tetap jauh di depan semua sistem yang diuji meskipun ada perbaikan yang modest di antara model canggih yang lebih besar.

Sebagaimana terlihat dalam pengujian awal (gambar di atas), manusia mencetak >90% di semua kategori pertanyaan, dengan 80% kesepakatan, menunjukkan, makalah tersebut menyatakan, bahwa proposisi tersebut dirumuskan dengan baik dan tidak ambigu.

GPT-5 dan Gemini 2.5/3.1 Pro berjuang pada dataset, mencapai hanya perbaikan yang modest dibandingkan dengan baseline kesempatan, dan tetap jauh di bawah kinerja manusia. Menggunakan GenS untuk memilih bingkai yang relevan dengan pertanyaan tidak memperbaiki hasil Gemini 2.5 Pro, menyebabkan para penulis menyimpulkan bahwa model LVLM milik perusahaan berjuang dengan tugas pemahaman spasio-temporal yang diperlukan oleh benchmark.

Di antara sistem terbuka, hasil terkuat berasal dari keluarga InternVL3 dan Qwen, meskipun kinerja di seluruh kategori bervariasi tajam, dengan beberapa model yang hanya sedikit outperforming kesempatan; dan sistem khusus, termasuk PerceptionLM dan VideoRefer, juga berjuang pada tugas perakitan yang kompleks dari benchmark, dengan partisipan manusia yang tetap jauh di depan dalam setiap kategori model.

Peneliti juga menguji dua strategi prompt chain-of-thought melawan pengaturan prompt standar makalah. Zero-shot Chain-of-Thought meminta model untuk menjelaskan jawaban mereka langkah demi langkah, sementara Self-consistency with Chain-of-Thought menghasilkan lima kandidat respons sebelum memilih jawaban akhir melalui pemungutan suara mayoritas. Namun, tidak satu pun dari strategi ini memperbaiki hasil pada dataset Flat Pack Bench, dengan kedua pendekatan yang mencetak di bawah konfigurasi prompt standar benchmark.

Cheat Code

Untuk menguji apakah LVLMs benar-benar belajar dari video perakitan, atau hanya mengeksploitasi petunjuk visual statis, para peneliti menciptakan versi gambar-saja dari benchmark, yang menghilangkan video sepenuhnya, hanya menyisakan teks pertanyaan dan prompt visual.

Kinerja manusia runtuh lebih dari 50% dalam kondisi ini, menunjukkan bahwa tugas-tugas tersebut benar-benar memerlukan pemahaman temporal dari proses perakitan. Model, bagaimanapun, degradasi jauh kurang parah, dengan beberapa tugas yang tetap stabil atau bahkan meningkat tanpa input video.

Hal ini menunjukkan, makalah tersebut menyatakan, bahwa banyak LVLMs tidak menggunakan informasi temporal dalam video secara signifikan, tetapi sebaliknya mengandalkan jalan pintas berbasis gambar dan asumsi umum untuk menginfer jawaban yang masuk akal:

Kinerja LVLM pada versi gambar-saja dari Flat-Pack Bench, dibandingkan dengan pengaturan video-plus-gambar standar, dengan hasil tambahan setelah mengacak ID bagian untuk menguji apakah model mengeksploitasi jalan pintas label-urutan daripada pemahaman video temporal.

‘[Gambar di atas] menunjukkan kinerja LVLM pada versi gambar-saja ini, dan perubahan kinerja mereka dari evaluasi penuh, serta kinerja manusia.

‘Penurunan tajam dalam kinerja manusia (>50%) menunjukkan bahwa pertanyaan-pertanyaan tersebut memerlukan video untuk dijawab.

‘Kami juga mengamati bahwa kinerja model secara keseluruhan menurun tajam (8,80%), tetapi sebagian besar karena tugas TRACK. Akurasi pada tugas lain tetap sama atau meningkat, menunjukkan bahwa LVLM tidak menggunakan video secara efektif, sementara manusia menggunakan video untuk menjawab.’

Analisis yang lebih dalam dari makalah tersebut menunjukkan bahwa hambatan utama bukanlah sekadar penalaran temporal sederhana, tetapi kegagalan dalam penggunaan objek dan penalaran spasio-temporal: model sering berjuang untuk melacak bagian furnitur yang secara visual serupa di seluruh gerakan, perubahan kamera, dan perubahan adegan, bahkan ketika mereka tampaknya mengidentifikasi proses perakitan yang lebih luas dengan benar.

Eksperimen lebih lanjut melibatkan melepaskan AI yang dilengkapi dengan alat pada tugas tersebut, dan ‘berkinerja buruk’ menurut para penulis – meskipun mampu menjawab tambahan 11,48% pertanyaan yang salah oleh pendekatan lain.

Kesimpulan

Mempertahankan internalisasi konsep dan objek yang persisten adalah sentral untuk pengalaman manusia pertumbuhan dan perkembangan perseptual, dan dalam tugas individu, sering novel, untuk yang perkembangan telah mempersiapkan kita.

Penelitian Penglihatan Komputer sudah memiliki perjuangan berkelanjutan untuk memperoleh kembali dan mengenali kembali objek dan orang yang meninggalkan dan memasuki kembali bingkai. Masalah-masalah ini diperbesar secara signifikan dengan kebutuhan untuk secara terus-menerus mengubah visi dan sikap – seperti yang kemungkinan terjadi dalam video instruksional YouTube tentang perakitan furnitur flat-pack. Seseorang dapat membayangkan seberapa jauh perubahan POV yang lebih mengganggu dari video egosentris mungkin lebih lanjut membingungkan upaya AI dalam perakitan furnitur.

* Format asli penulis, diamendasi oleh saya jika perlu untuk mempertahankan dampak di bawah format-pengutipan/

Dipublikasikan pertama kali pada hari Senin, 25 Mei 2026. Direvisi pada hari Rabu, 27 Mei 2026, untuk memperbaiki atribusi tanggal ini (!).