Trí tuệ nhân tạo kém hơn con người đáng kể trong việc lắp ráp đồ nội thất

ChatGPT và Google Gemini vẫn không thể hiểu đáng tin cậy các video hướng dẫn lắp ráp IKEA, với nhiều hệ thống AI nổi bật khác nhầm lẫn các bộ phận, bỏ lỡ các kết nối và hầu như không sử dụng video để tìm hiểu những gì đang xảy ra.

Meme văn hóa lâu dài về sự khó khăn khi lắp ráp đồ nội thất kiểu IKEA làm cho chủ đề này trở thành một mục tiêu hấp dẫn cho nghiên cứu tầm nhìn máy tính — không chỉ vì các chuỗi hành động dài, theo dõi đối tượng và suy luận không gian liên quan sẽ đẩy các hệ thống thao túng robot vượt quá các hình dạng đơn giản và môi trường được kiểm soát mà chúng đã quen.

Do đó, công việc về các quy trình lắp ráp robot được hỗ trợ bởi AI cho đồ nội thất đóng gói bằng phẳng đã trở thành một nhánh nhỏ nhưng được tôn trọng trong tài liệu, với các tác phẩm như Môi trường lắp ráp đồ nội thất IKEA của USC vào năm 2019, trong số các tập dữ liệu và bối cảnh nghiên cứu đầu tiên nhằm trực tiếp vào lắp ráp đồ nội thất:

Click để phát Các ví dụ về thực hành lắp ráp robot, từ trang web dự án cho sáng kiến Môi trường lắp ráp đồ nội thất IKEA năm 2019. Nguồn

Vào năm 2024, sự hợp tác giữa Stanford và J.P. Morgan Hướng dẫn IKEA tại nơi làm việc là lần đầu tiên đáng kể kiểm tra khả năng của AI trong việc thực hiện quy trình này rõ ràng là tầm thường (mặc dù thường gây thất vọng) dựa trên một tập dữ liệu mới của hình ảnh từ các hướng dẫn sử dụng, và sử dụng các video hướng dẫn:

Phương pháp và chi tiết tập dữ liệu từ sáng kiến Hướng dẫn IKEA tại nơi làm việc năm 2024. Nguồn

Các tác giả của bài báo năm 2024 – những người đã tận dụng DGCNN, CNOS, SAM-6D, MegaPose, MiDaS, SAM2 Hiera-L, Cutie-base, và GPT-4o – kết luận rằng nhiệm vụ này tạo ra ‘thách thức đáng kể trong việc hiểu các video hướng dẫn lắp ráp, bao gồm việc trích xuất phân đoạn và tư thế của các bộ phận, xây dựng kế hoạch lắp ráp cấp cao và phát hiện các bước lắp ráp quan trọng trong video’.

Wax On, Wax Off

Phải rõ ràng rằng, trong khi việc tự động hóa AI cho một nhiệm vụ mà ít người yêu thích sẽ rất tốt, nhưng đó không phải là một mục tiêu khoa học, hoặc cao trong danh sách các ưu tiên cho lĩnh vực nghiên cứu tầm nhìn máy tính.

Rather, giá trị của nhiệm vụ này nằm ở thực tế rằng những gì AI cần học để trở nên thành thạo trong việc này sẽ giúp họ trở thành những hệ thống mạnh mẽ hơn cho các quy trình nghiêm túc hơn, khó khăn hơn trong nông nghiệp, công nghiệp, lĩnh vực dịch vụ và nhiều lĩnh vực khác.

Trong lĩnh vực này, Dự án LEGO-Puzzles và tập dữ liệu kiểm tra cách các mô hình ngôn ngữ tầm nhìn (VLMs) xử lý lý luận không gian đa bước trên nhiều kiến trúc, vì các nhiệm vụ lắp ráp phụ thuộc không chỉ vào việc ghép các đối tượng chính xác lại với nhau vào đúng thời điểm – một quá trình được gọi là mating – mà còn vào việc tuân theo các hướng dẫn có thể còn trừu tượng hơn so với cảnh trực quan thô mà mô hình có sẵn tại bất kỳ bước nào:

Các câu hỏi thách thức từ Dự án LEGO-Puzzles. Nguồn

Dự án mới nhất nhằm giải quyết thách thức lắp ráp đồ nội thất khai thác một loạt các mô hình AI hiện tại và mạnh mẽ hơn, bao gồm Google Gemini 2.5/3.1 và OpenAI’s GPT-5 – nhưng vẫn không thể đạt được chiến thắng cho AI trong nhiệm vụ, với chỉ những cải tiến khiêm tốn so với cơ hội cơ bản, và hiệu suất ‘dưới mức con người’.

Các tác giả tuyên bố:

‘Thử nghiệm của chúng tôi cho thấy rằng các mô hình LVLM hiện đại gặp khó khăn đáng kể với lý luận không gian-thời gian chi tiết, làm nổi bật những hạn chế của chúng trong việc tận dụng hiệu quả thông tin thời gian từ video, khả năng theo dõi hạn chế và hiểu về tương tác không gian như tiếp xúc vật lý.’

Các vấn đề được giải quyết trong dòng nghiên cứu này chỉ liên quan đến robotics thực tế ở giai đoạn này, mặc dù chắc chắn sẽ có những thách thức bổ sung khi các vấn đề lý thuyết cuối cùng phát triển thành AI được nhúng.

Bài báo mới có tiêu đề Flat-Pack Bench: Đánh giá hiểu biết không gian-thời gian trong các mô hình ngôn ngữ tầm nhìn lớn thông qua lắp ráp đồ nội thất, và đến từ tám tác giả trên Cornell University, Cornell Tech, MBZUAI và UC Berkeley. Bài báo đi kèm với một trang web dự án.

Phương pháp

Các tác giả của công việc mới nhấn mạnh sự khó khăn mà các trợ lý AI gặp phải trong việc hiểu quá trình lắp ráp thông qua quan sát, chẳng hạn như thông qua loại video hướng dẫn kiểu YouTube mà nhiều người thường dựa vào để tận dụng kiến thức của cộng đồng:

Một số câu hỏi mà nhiệm vụ lắp ráp đồ nội thất tạo ra, cùng với bốn kỹ năng thiết yếu cần thiết để vượt qua các thách thức. Nguồn

Họ đã tạo một tập dữ liệu được lọc từ tập dữ liệu trước đó được đề cập là IKEA-Manuals-at-Work (IMaW) tập dữ liệu, có các video ngoài trời về người lắp ráp đồ nội thất IKEA. Tiêu chuẩn sửa đổi cắt các video gốc để loại bỏ thẻ hướng dẫn chỉ có văn bản, với các biến thể video khung chính và video đầy đủ được cung cấp riêng biệt, và cũng thêm các gợi ý trực quan được chú thích thủ công với các bộ phận đồ nội thất được phân đoạn, để hỗ trợ các nhiệm vụ lý luận nhiều lựa chọn.

Benchmark xoay quanh bốn loại câu hỏi: MATE, xác định xem hai bộ phận có được kết nối trong lắp ráp cuối cùng hay không; TRACK, yêu cầu mô hình khôi phục sự tương ứng chính xác giữa các ID bộ phận bị xáo trộn trên các khung được phân đoạn bằng cách sử dụng video; TOrd, đánh giá xem mô hình có thể suy luận ra thứ tự kết nối chính xác hay không; và TLoc, kiểm tra xem mô hình có thể xác định các sự kiện xảy ra ngay trước hoặc sau trạng thái được hiển thị trong gợi ý trực quan, yêu cầu định vị và suy luận thời gian về các sự kiện lân cận.

Các ví dụ từ benchmark mới, minh họa bốn loại nhiệm vụ cốt lõi được thiết kế để kiểm tra lý luận không gian-thời gian trong các video lắp ráp đồ nội thất: Định vị thời gian; Thứ tự thời gian; Theo dõi; và Ghép nối. Mỗi nhiệm vụ kết hợp video lắp ráp với một hoặc nhiều gợi ý trực quan được dán nhãn phân đoạn và một câu hỏi lý luận nhiều lựa chọn.

Các mẫu được hiển thị trong hình ảnh sơ đồ trên được suy dẫn từ bốn mô hình câu hỏi này.

Các tác giả cũng lưu ý rằng họ đã thêm các chú thích lắp ráp bộ phận chi tiết vào mỗi video IMaW ban đầu, chỉ định các bộ phận nào kết nối với bộ phận nào khác – chi tiết không có trong bộ sưu tập ban đầu.

Tránh né

Các câu hỏi, bài báo lưu ý, cần phải được tạo thủ công, vì các câu hỏi được tạo tự động thường cho phép AI bỏ qua video và dựa vào hiểu biết đã được đào tạo của nó – một kịch bản mà bất kỳ người dùng thường xuyên nào của LLMs/VLMs đều có thể nhận ra, vì tối ưu hóa và các ưu tiên doanh nghiệp bí ẩn khác thường khiến các mô hình tiên tiến bỏ qua thông tin được gửi, chẳng hạn như tệp PDF hoặc hình ảnh, và dựa vào hiểu biết của chúng thay thế:

‘[Chúng tôi] phát hiện ra rằng tạo tự động thường tạo ra các câu hỏi có thể được trả lời bằng cách bỏ qua video và khai thác các捷径. Ví dụ, các câu hỏi mating tự động tạo về các bộ phận đã được đặt để kết nối, hoặc bao gồm các tùy chọn phân tâm với hình dạng hoặc màu sắc rõ ràng khác biệt, cho phép loại bỏ dễ dàng [loại bỏ]. Để giải quyết vấn đề này, chúng tôi đã tạo tất cả các câu hỏi thủ công bằng cách sử dụng các mẫu cố định.

‘Các người tạo chú thích được cung cấp video lắp ráp đầy đủ, các khung được dán nhãn phân đoạn cho các gợi ý trực quan, các mẫu câu hỏi và hướng dẫn chi tiết để tránh các捷径 dựa trên các gợi ý trực quan tĩnh.’

Benchmark hoàn chỉnh bao gồm 602 câu hỏi nhiều lựa chọn trên 50 video lắp ráp đồ nội thất đa dạng.

Dữ liệu và Kiểm tra

Các mô hình được đánh giá cho vòng kiểm tra bao gồm ChatGPT và các biến thể Gemini đã đề cập, cũng như Video-LLaVA; LLaVA-NeXT-Vid; LLaVA-OneVision; LLaVA-Video; Qwen 2.5/Qwen 3-VL; InternVL3; ArrowRL; PerceptionLM; và Video-Refer.

GenS được sử dụng để chọn các khung liên quan đến câu hỏi trong các video dài cho mô hình Gemini 2.5 Pro cơ bản, và hầu hết các mô hình đều được kiểm tra trong một lần dưới giải mã tham lam (không được hỗ trợ trong GPT-5, tuy nhiên).

Ba định dạng gợi ý được tạo cho benchmark: gợi ý truyền thông hỗn hợp cung cấp gợi ý trực quan dưới dạng hình ảnh riêng biệt bên cạnh video lắp ráp; gợi ý collage nhúng gợi ý trực quan trực tiếp vào mọi khung video dưới dạng bố cục lưới; và gợi ý concat thêm gợi ý trực quan vào đầu video.

Cả hai biến thể video cắt và khung chính được kiểm tra trên các định dạng này, để đo lường cách cấu trúc gợi ý và nén thời gian có thể ảnh hưởng đến hiệu suất của mô hình.

Các baseline cơ hội được xem xét cho các thử nghiệm cũng bao gồm ‘cơ hội tần suất’, nơi tùy chọn phổ biến nhất (thay vì tùy chọn thực sự ngẫu nhiên) được chọn.

Yếu tố con người

Hiệu suất của con người được đánh giá bằng cách sử dụng các tham gia từ các chương trình khoa học máy tính, từ cấp đại học đến cấp tiến sĩ. Mỗi tham gia được hiển thị video lắp ráp, gợi ý trực quan và câu hỏi nhiều lựa chọn liên quan, cũng như hướng dẫn nhiệm vụ, trước khi chọn câu trả lời.

Three phản hồi được thu thập cho mỗi câu hỏi và giải quyết thông qua bỏ phiếu đa số, trong khi một nghiên cứu được thực hiện bởi đám đông trên một tập con được lấy mẫu ngẫu nhiên của benchmark.

Độ chính xác được sử dụng làm thước đo cho các thử nghiệm:

Kết quả hiệu suất trên FLAT-PACK BENCH, so sánh các mô hình đa phương tiện độc quyền và mở trên các nhiệm vụ Thứ tự thời gian, Định vị thời gian, Theo dõi và Ghép nối, với hiệu suất con người vẫn còn vượt trội so với tất cả các hệ thống được kiểm tra, mặc dù có những cải tiến khiêm tốn trong số các mô hình tiền phong lớn hơn.

Trong các thử nghiệm ban đầu (hình ảnh trên), con người đạt điểm >90% trong tất cả các loại câu hỏi, với sự đồng thuận 80%, cho thấy, theo bài báo, rằng các đề xuất được đặt ra một cách rõ ràng và không mơ hồ.

GPT-5 và Gemini 2.5/3.1 Pro gặp khó khăn trên tập dữ liệu, chỉ đạt được những cải tiến khiêm tốn so với baseline cơ hội, và vẫn còn dưới mức hiệu suất con người. Sử dụng GenS để chọn các khung liên quan đến câu hỏi không cải thiện kết quả của Gemini 2.5 Pro, khiến các tác giả kết luận rằng các mô hình LVLM độc quyền gặp khó khăn với việc hiểu không gian-thời gian cần thiết cho benchmark:

Trong số các hệ thống mở, kết quả mạnh nhất đến từ các họ InternVL3 và Qwen, mặc dù hiệu suất trên toàn thể loại này thay đổi mạnh mẽ, với một số mô hình chỉ đạt hiệu suất vừa phải; và các hệ thống chuyên dụng, bao gồm PerceptionLM và VideoRefer, cũng gặp khó khăn trên các nhiệm vụ lắp ráp phức tạp của benchmark, với các tham gia con người vẫn còn vượt trội trong mọi loại mô hình.

Các nhà nghiên cứu cũng kiểm tra hai chiến lược gợi ý chuỗi suy nghĩ chống lại cấu hình gợi ý tiêu chuẩn của bài báo. Zero-shot Chain-of-Thought gợi ý yêu cầu mô hình giải thích các câu trả lời của chúng từng bước, trong khi Self-consistency with Chain-of-Thought tạo ra năm ứng viên phản hồi trước khi chọn một câu trả lời cuối cùng thông qua bỏ phiếu đa số. Tuy nhiên, không có phương pháp nào cải thiện kết quả trên tập dữ liệu Flat Pack Bench, với cả hai phương pháp đều đạt điểm dưới cấu hình gợi ý mặc định của benchmark.

Mã gian lận

Để kiểm tra xem các mô hình LVLM có thực sự học hỏi từ các video lắp ráp hay không, hoặc chỉ khai thác các gợi ý trực quan tĩnh, các nhà nghiên cứu đã tạo ra một phiên bản chỉ có hình ảnh của benchmark, loại bỏ video hoàn toàn, chỉ giữ lại văn bản câu hỏi và gợi ý trực quan.

Hiệu suất con người sụp đổ hơn 50% trong điều kiện này, cho thấy rằng các nhiệm vụ thực sự yêu cầu hiểu biết thời gian về quá trình lắp ráp. Tuy nhiên, các mô hình suy giảm ít nghiêm trọng hơn, với một số nhiệm vụ vẫn ổn định hoặc thậm chí cải thiện mà không có đầu vào video.

Điều này cho thấy, theo bài báo, rằng nhiều mô hình LVLM không sử dụng có nghĩa thông tin thời gian trong các video hoàn toàn, thay vào đó dựa vào các捷径 dựa trên hình ảnh và các giả định thông thường để suy ra các câu trả lời có thể:

Hiệu suất của mô hình LVLM trên phiên bản chỉ có hình ảnh của Flat-Pack Bench, so sánh với cấu hình video và hình ảnh tiêu chuẩn, với kết quả bổ sung sau khi xáo trộn các ID bộ phận để kiểm tra xem các mô hình có khai thác các捷径 theo thứ tự nhãn thay vì hiểu video thời gian.

‘[Hình ảnh trên] cho thấy hiệu suất của mô hình LVLM trên phiên bản chỉ có hình ảnh này, và sự thay đổi trong hiệu suất của chúng so với đánh giá đầy đủ, cùng với hiệu suất con người.

‘Sự sụp đổ mạnh mẽ trong hiệu suất con người (>50%) cho thấy rằng các câu hỏi thực sự yêu cầu video để trả lời.

‘Chúng tôi cũng quan sát thấy rằng hiệu suất tổng thể của mô hình giảm nghiêm trọng (8,80%), nhưng chủ yếu do nhiệm vụ TRACK. Độ chính xác trên các nhiệm vụ khác vẫn không thay đổi hoặc cải thiện, cho thấy rằng mô hình LVLM không sử dụng video một cách hiệu quả, trong khi con người sử dụng video để trả lời.’

Phân tích sâu hơn của bài báo cho thấy rằng chướng ngại vật chính không chỉ là trình tự thời gian đơn giản, mà là thất bại trong việc bắt đất đối tượng và lý luận không gian-thời gian: các mô hình thường gặp khó khăn trong việc theo dõi các bộ phận đồ nội thất tương tự về mặt trực quan trên các chuyển động, thay đổi camera và thay đổi cảnh, ngay cả khi chúng dường như xác định đúng quá trình lắp ráp rộng lớn hơn.

Kết luận

Giữ lại những nội hóa hóa bền bỉ về các khái niệm và đối tượng là trung tâm của cả trải nghiệm phát triển của con người và sự phát triển nhận thức, và trong các nhiệm vụ cá nhân, thường mới, mà sự phát triển đó đã chuẩn bị cho chúng tôi.

Nghiên cứu tầm nhìn máy tính đã phải đối mặt với sự khó khăn liên tục trong việc thu lại và nhận ra lại các đối tượng và người rời khỏi và quay lại khung hình. Những vấn đề này được khuếch đại đáng kể với nhu cầu thay đổi liên tục tầm nhìn và tư thế – như có thể xảy ra trong một video hướng dẫn trên YouTube về lắp ráp đồ nội thất bằng phẳng. Một người có thể tưởng tượng mức độ mà những thay đổi POV thậm chí còn khó chịu hơn của một video chủ quan có thể làm cho nỗ lực lắp ráp đồ nội thất của AI trở nên khó khăn.

* Các tác giả giữ nguyên định dạng ban đầu, được sửa đổi bởi tôi khi cần thiết để giữ lại tác động dưới định dạng trích dẫn/

Được xuất bản vào thứ hai, ngày 25 tháng 5 năm 2026. Đã sửa đổi vào thứ tư, ngày 27 tháng 5 năm 2026 để sửa đổi ngày công bố này (!).