Sztuczna inteligencja jest znacznie gorsza niż ludzie w montowaniu mebli

ChatGPT i Google Gemini nadal nie mogą niezawodnie zrozumieć filmów instruktażowych IKEA, a wiele innych prominentnych systemów AI myli części, pomija połączenia i ledwo korzysta z filmu, aby zrozumieć, co się dzieje.

Trwały kulturowy mem dotyczący trudności montowania mebli w stylu IKEA sprawia, że temat ten jest atrakcyjnym celem badań nad rozpoznawaniem obrazów — nie tylko dlatego, że długie sekwencje działań, śledzenie obiektów i rozumowanie przestrzenne wymagane w tym procesie będą tendencją do przekraczania uproszczonych kształtów i kontrolowanych środowisk, do których są one przyzwyczajone.

Prace nad AI-zasilanymi rutynami montażu mebli płaskich stały się małą, ale szanowaną gałęzią literatury, z wyjściami takimi jak środowisko montażu mebli IKEA z 2019 roku IKEA Furniture Assembly Environment, jednym z pierwszych zestawów danych i kontekstów badawczych specjalnie ukierunkowanych na montaż mebli:

Kliknij, aby odtworzyć Przykłady praktyki montażu, z projektu Środowisko montażu mebli IKEA.

W 2024 roku współpraca Stanford/J.P. Morgan Instrukcje IKEA w pracy była pierwszym, który znacznie zbadał możliwości AI w wykonaniu tego pozornie munduralnego (choć często frustrującego) procederu, opartego na nowym zestawie danych obrazów z instrukcji, oraz korzystając z filmów instruktażowych:

Metoda i szczegóły zestawu danych z inicjatywy Instrukcje IKEA w pracy. Źródło

Autorzy pracy z 2024 roku — którzy wykorzystali DGCNN, CNOS, SAM-6D, MegaPose, MiDaS, SAM2 Hiera-L, Cutie-base oraz GPT-4o — doszli do wniosku, że zadanie to stanowi ‘znaczne wyzwania w zakresie rozumienia filmów instruktażowych, w tym wyodrębniania segmentacji części i ich położenia, tworzenia planów montażu oraz wykrywania kluczowych kroków montażu w filmach’.

Wosk na, wosk off

Muszę przyznać, że choć byłoby miło, gdyby AI mogło nas wyeliminować z zadania, które niewielu ludzi lubi, nie jest to naukowy priorytet, ani nie jest wysoko na liście priorytetów sektora badań nad rozpoznawaniem obrazów.

Raczej wartość tego zadania leży w tym, że to, czego AI musi się nauczyć aby stać się biegłym w tym, ugruntuje je w znacznie poważniejszych rutynach, które są równie lub nawet bardziej wymagające, w rolnictwie, przemyśle, sektorze usług i innych dziedzinach.

W tym kontekście projekt LEGO-Puzzles i zestaw danych bada, jak dobrze modele języka i wizji (VLM) radzą sobie z wieloetapowym rozumowaniem przestrzennym w różnych architekturach, ponieważ zadania montażu zależą nie tylko od połączenia odpowiednich obiektów w odpowiednim momencie — proces znanym jako połączenie — ale także od postępowania zgodnie z instrukcjami, które mogą być znacznie bardziej abstrakcyjne niż surowa scena wizualna dostępna dla modelu w danym momencie:

Wyzwania z projektu LEGO-Puzzles. Źródło

Najnowszy projekt, który podejmuje wyzwanie montażu mebli, wykorzystuje bardziej aktualny i zdolny zestaw modeli AI, w tym Google Gemini 2.5/3.1 oraz OpenAI GPT-5 — ale nadal nie udaje się osiągnąć zwycięstwa AI w tym zadaniu, z tylko umiarkowanymi poprawami w stosunku do szansy, a wyniki znacznie poniżej poziomu ludzkiego.

Autorzy stwierdzają:

‘Nasze eksperymenty pokazują, że najnowsze modele LVLM znacznie mają trudności z drobnymi rozwiązaniami przestrzennymi i czasowymi, podkreślając ich ograniczenia w efektywnym wykorzystaniu informacji czasowych z filmów, ograniczonej zdolności śledzenia i zrozumienia interakcji przestrzennych, takich jak kontakt fizyczny’.

Problemy, które są rozwiązywane w tym nurcie badań, są tylko pozornie związane z robotyką praktyczną na tym etapie, choć dodatkowe wyzwania z pewnością czekają, gdy teoretyczne problemy ewoluują w kierunku ucieleśnionego AI.

Nowy artykuł pt. Flat-Pack Bench: Evaluating Spatio-Temporal Understanding in Large Vision-Language Models through Furniture Assembly pochodzi od ośmiu autorów z Cornell University, Cornell Tech, MBZUAI i UC Berkeley. Artykuł jest uzupełniony o stronę projektu.

Metoda

Autorzy nowej pracy podkreślają trudności, jakie AI ma z zrozumieniem procesu montażu przez obserwację, na przykład za pomocą filmu instruktażowego w stylu YouTube, do którego wiele osób sięga, aby skorzystać z wiedzy społeczności:

Niektóre z pytań, które zadaje zadanie montażu mebli, wraz z czterema niezbędnymi umiejętnościami niezbędnymi do pokonania wyzwań. Źródło

Stworzyli zestaw danych, który jest filtrowany z wcześniej wymienionego zestawu danych IKEA-Manuals-at-Work (IMaW) zestawu danych, który zawiera filmy z ludźmi montującymi meble IKEA. Zrewidowany benchmark obcina oryginalne filmy, aby usunąć karty instruktażowe, z oddzielnymi wariantami klatki kluczowej i pełnego filmu, oraz dodaje ręcznie adnotowane wizualne wskazówki z wydzielonymi częściami mebli, w celu wsparcia zadań rozumowania wielokrotnego wyboru.

Benchmark kręci się wokół czterech typów pytań: MATE, określający, czy dwie części są połączone w końcowym montażu; TRACK, wymagający od modeli odzyskania prawidłowej korespondencji między pomieszanymi identyfikatorami części w ramach wydzielonych klatek za pomocą filmu; TOrd, oceniający, czy modele mogą wywnioskować prawidłowy porządek zdarzeń połączenia; oraz TLoc, testujący, czy modele mogą określić zdarzenia występujące bezpośrednio przed lub po stanie pokazanym w wizualnej wskazówce, wymagającej lokalizacji czasowej i rozumowania o pobliskich zdarzeniach.

Przykłady z nowego benchmarku, ilustrujące cztery podstawowe typy zadań zaprojektowane do testowania rozumowania przestrzennego i czasowego w filmach montażu mebli: lokalizacja czasowa; porządek czasowy; śledzenie; oraz łączenie.

Szablony przedstawione na powyższym obrazie zostały pochodne z tych czterech modeli pytań.

Autorzy zauważają również, że dodali drobne adnotacje montażu części do każdego z oryginalnych filmów IMaW, określając, które części łączą się z innymi częściami — szczegóły brakujące w oryginalnym zbiorze.

Unikanie

Pytania, jak zauważa praca, musiały być ręcznie opracowane, ponieważ automatycznie generowane pytania często dają AI możliwość zignorowania filmu i odwołania się do własnego przeszkolonego zrozumienia — scenariusz, który każdy regularny użytkownik LLM/VLM jest prawdopodobnie rozpoznać, ponieważ optymalizacja i inne tajemnicze priorytety korporacyjne często powodują, że modele graniczne ignorują przesłane informacje, takie jak pliki PDF lub obrazy, i polegają na własnym zrozumieniu zamiast tego*:

‘[My] stwierdziliśmy, że auto-generowanie często wytwarzało pytania, które można było odpowiedzieć, ignorując film i wykorzystując skróty. Na przykład, auto-generowane połączenie pytań o części już ustawione do połączenia, lub zawierały opcje rozpraszające z wyraźnie odrębnymi kształtami lub kolorami, umożliwiając łatwe [wyeliminowanie]. Aby rozwiązać ten problem, opracowaliśmy wszystkie pytania ręcznie przy użyciu szablonów.

‘Adnotatorzy otrzymali pełny film montażu, ramy z wydzielonymi częściami mebli, szablony pytań i szczegółowe wytyczne dotyczące unikania skrótów opartych na wskazówkach statycznych z wizualnej wskazówki.’

Zakończony benchmark składa się z 602 pytań wielokrotnego wyboru w 50 różnych filmach montażu mebli.

Dane i testy

Modele oceniane w teście były wymienione powyżej ChatGPT i Gemini, a także Video-LLaVA; LLaVA-NeXT-Vid; LLaVA-OneVision; LLaVA-Video; Qwen 2.5/Qwen 3-VL; InternVL3; ArrowRL; PerceptionLM; oraz Video-Refer.

GenS został użyty do wyboru klatek istotnych dla pytań w długich filmach dla podstawowego modelu Gemini 2.5 Pro, a większość modeli została przetestowana w jednym strzale pod chciwe dekodowanie (nieobsługiwane w GPT-5).

Trzy formaty wskazówek zostały opracowane dla benchmarku: mixed-media wskazówka dostarczała wizualną wskazówkę jako oddzielny obraz obok filmu montażu; collage wskazówka osadzała wizualną wskazówkę bezpośrednio w każdej klatce filmu jako część siatki; oraz concat wskazówka wstępnie dołączała wizualne wskazówki do początku filmu.

Obydwa warianty filmu, obcięte i kluczowe, zostały przetestowane w tych formatach, w celu pomiaru, jak silnie struktura wskazówki i kompresja czasowa mogą wpłynąć na wyniki modelu.

Bazowe szanse uwzględnione w testach obejmowały również ‘częstotliwość szansy’, gdzie najczęstsza opcja (zamiast prawdziwie losowej opcji) jest wybrana.

Czynnik ludzki

Wyniki ludzkie zostały ocenione przy użyciu uczestników z programów informatycznych, od poziomu licencjata do doktoranckiego. Każdy uczestnik został pokazany film montażu, a także wizualna wskazówka i pytanie wielokrotnego wyboru, a także instrukcja zadania, przed wyborem odpowiedzi.

Trzy odpowiedzi zostały zebrane na każde pytanie i rozstrzygnięte przez głosowanie większości, a oddzielne badanie crowdsourcingowe zostało również przeprowadzone na losowo wybranej podzbiorze benchmarku.

Dokładność została użyta jako miara w teście:

Wyniki na FLAT-PACK BENCH, porównujące modele wielomodalne z Temporal Ordering (TOrd), Temporal Localization (TLoc), Tracking i Mating, z wynikami ludzkimi pozostającymi znacznie przed wszystkimi testowanymi systemami, pomimo umiarkowanych zysków wśród większych modeli granicznych.

Widoczne w początkowych testach (obraz powyżej), ludzie uzyskali >90% we wszystkich kategoriach pytań, z 80% jednomyślności, co, jak twierdzi praca, sugeruje, że propozycje są dobrze sformułowane i nieambivalentne.

GPT-5 i Gemini 2.5/3.1 Pro miały trudności z zestawem danych, osiągając tylko umiarkowane poprawy w stosunku do szansy, a ich wyniki pozostały znacznie poniżej poziomu ludzkiego. Użycie GenS do wyboru klatek istotnych dla pytań nie poprawiło wyników Gemini 2.5 Pro, co skłoniło autorów do wniosku, że modele LVLM własne mają trudności ze zrozumieniem przestrzennym i czasowym wymaganym przez benchmark.

Wśród systemów otwartych najmocniejsze wyniki uzyskały rodziny InternVL3 i Qwen, chociaż wyniki w tej kategorii różniły się znacznie, a kilka modeli ledwo przewyższało szansę; a specjalistyczne systemy, w tym PerceptionLM i VideoRefer, również miały trudności z zadaniami montażu w benchmarku, przy czym uczestnicy ludzcy pozostawali znacznie przed wszystkimi kategoriach modeli.

Badacze również przetestowali dwie strategie wskazówek chain-of-thought wobec standardowej konfiguracji wskazówek. Zero-shot Chain-of-Thought wskazówka prosiła modele o wyjaśnienie swoich odpowiedzi krok po kroku, podczas gdy Self-consistency with Chain-of-Thought generowała pięć kandydujących odpowiedzi, zanim wybrała ostateczną odpowiedź za pomocą głosowania większości. Jednak żadna z nich nie poprawiła wyników na FLAT-PACK BENCH, a obie podejścia uzyskały wyniki poniżej konfiguracji wskazówek domyślnych.

Szczęśliwy traf

Aby przetestować, czy LVLM naprawdę uczą się z filmów montażu, czy po prostu wykorzystują statyczne wskazówki wizualne, badacze stworzyli wersję obrazkową benchmarku, która pominęła film całkowicie, zachowując tylko tekst pytań i wizualne wskazówki.

Wyniki ludzkie spadły o ponad 50% w tych warunkach, co pokazało, że zadania wymagają naprawdę zrozumienia czasowego procesu montażu. Modele, jednak, pogorszyły się znacznie mniej, a niektóre zadania pozostały stabilne lub nawet poprawiły się bez wejścia wideo.

To wskazuje, jak sugeruje praca, że wiele LVLM nie używało w sposób znaczący informacji czasowych z filmów w ogóle, zamiast tego polegając na skrótach opartych na obrazach i założeniach zdroworozsądkowych, aby wywnioskować prawdopodobne odpowiedzi*:

Wyniki LVLM na wersji obrazkowej FLAT-PACK BENCH, porównane z konfiguracją wideo plus obraz, z dodatkowymi wynikami po losowym przetasowaniu identyfikatorów części, aby przetestować, czy modele wykorzystują skróty oparte na kolejności etykiet zamiast zrozumienia wideo.

‘[Obraz powyżej] pokazuje wyniki LVLM na tej wersji obrazkowej, oraz zmianę ich wyników z pełnej oceny, wraz z wynikami ludzkimi.

‘Ostry spadek wyników ludzkich (>50%) pokazuje, że pytania wymagają filmów, aby odpowiedzieć.

‘Stwierdzamy również, że ogólny wynik modelu spada znacznie (8,80%), ale głównie z powodu zadania TRACK. Dokładność w innych zadaniach pozostaje taka sama lub poprawia się, co wskazuje, że LVLM nie używa wideo efektywnie, podczas gdy ludzie używają wideo, aby odpowiedzieć.’

Głębsza analiza wskazuje, że główną przeszkodą nie jest prosta sekwencja czasowa, ale awarie w zakotwiczeniu obiektów i rozumowaniu przestrzennym: modele często miały trudności ze śledzeniem podobnych wizualnie części mebli przez ruch, zmiany kamery i zmiany sceny, nawet gdy wydawało się, że identyfikują proces montażu w sposób ogólny.

Dalsze eksperymenty obejmowały użycie agenty AI z narzędziami do zadania, a ten ‘wystąpił słabo’ według autorów — chociaż był w stanie poprawnie odpowiedzieć na dodatkowe 11,48% pytań, które zostały pominięte przez inne podejścia.

Wnioski

Utrzymywanie trwałych internalizacji pojęć i obiektów jest kluczowe zarówno dla ludzkiego doświadczenia wzrostu i rozwoju percepcyjnego, jak i dla indywidualnych, często nowych zadań, dla których ten rozwój przygotował nas.

Badania nad rozpoznawaniem obrazów mają już trwającą walkę z ponownym zdobyciem i ponownym rozpoznaniem obiektów i ludzi, którzy opuszczają i ponownie wkraczają w ramy. Problemy te są znacznie zwiększone przez potrzebę ciągłej zmiany widoku i postawy — co może się zdarzyć w filmie instruktażowym w stylu YouTube o montażu mebli płaskich. Można sobie wyobrazić, w jakim stopniu nawet bardziej szokujące zmiany POV egocentrycznego filmu mogą dalej dezorientować próby AI w montażu mebli.

* Oryginalne formatowanie autorów, zmienione przeze mnie w razie potrzeby, aby zachować wpływ pod formatowaniem cytatu/

Pierwotnie opublikowane w poniedziałek, 25 maja 2026 r. Zmienione w środę, 27 maja 2026 r., aby poprawić ten atrybut daty (!).