Inteligența Artificială este Semnificativ Mai Proastă Decât Oamenii la Asamblarea Mobilerului

ChatGPT și Google Gemini nu pot înțelege în mod fiabil videoclipurile de asamblare IKEA, iar multe alte sisteme AI proeminente confundă piesele, pierd conexiunile și abia folosesc videoclipul însuși pentru a înțelege ce se întâmplă.

Mema culturală durabilă despre dificultatea asamblării mobilierului IKEA face subiectul un țintă atractivă pentru cercetarea computer-vision — nu în ultimul rând pentru că lungile secvențe de acțiuni, urmărirea obiectelor și raționamentul spațial implicat vor tinde să împingă sistemele de manipulare robotică mult dincolo de formele simplificate și mediile controlate la care sunt obișnuite.

Prin urmare, lucrul la rutinele de asamblare robotică bazate pe inteligență artificială pentru mobilierul din pachete plat a devenit o ramură mică, dar respectabilă, în literatura de specialitate, cu ieșiri precum Mediul de asamblare a mobilierului IKEA din 2019, printre primele seturi de date și contexte de cercetare destinate în mod special asamblării mobilierului:

Apăsați pentru a reda Exemple de practică de asamblare robotică, de pe site-ul proiectului pentru inițiativa Mediul de asamblare a mobilierului IKEA din 2019. Sursă

În 2024, colaborarea Stanford/J.P. Morgan Manualele IKEA la lucru a fost primul care a examinat în mod semnificativ capacitatea inteligenței artificiale de a întreprinde această procedură aparent mundană (dar adesea frustrantă), pe baza unui set de date nou de imagini din manualele de instrucțiuni și utilizând videoclipuri instructive:

Metoda și detaliile setului de date din inițiativa Manualele IKEA la lucru din 2024.  Sursă

Autorii lucrării din 2024 — care au utilizat DGCNN, CNOS, SAM-6D, MegaPose, MiDaS, SAM2 Hiera-L, Cutie-base și GPT-4o — au concluzionat că sarcina a generat ‘provocări semnificative în înțelegerea videoclipurilor de asamblare instructive, inclusiv extragerea segmentărilor de piese și a pozițiilor, construirea planurilor de asamblare de nivel înalt și detectarea pașilor cheie de asamblare în videoclipuri’.

Wax On, Wax Off

Trebuie să fie evident că, deși obținerea automatizării unei sarcini pe care puțini o prețuiesc ar fi drăguț, nu este nici o stea polară științifică, nici foarte sus pe lista priorităților pentru sectorul cercetării Computer Vision.

Mai degrabă, valoarea sarcinii constă în faptul că ceea ce sistemele de inteligență artificială trebuie să învețe pentru a deveni competente în acest domeniu le-ar pregăti pentru rutine mult mai serioase care sunt la fel de provocatoare, în agricultură, industrie, sectorul serviciilor și sfere diverse.

În acest sens, proiectul și setul de date LEGO-Puzzles examinează modul în care Modelele de Viziune a Limbajului (VLM) gestionează raționamentul spațial multi-pașă across diverse arhitecturi, deoarece sarcinile de asamblare depind nu numai de asocierea obiectelor corecte la momentul potrivit — un proces cunoscut sub numele de mating —, ci și de urmărirea instrucțiunilor care pot fi mult mai abstracte decât scena vizuală brută disponibilă modelului la un anumit pas:

Întrebări provocatoare din proiectul LEGO-Puzzles. Sursă

Ultimul proiect care abordează provocarea asamblării mobilierului exploatează o recoltă mai recentă și mai capabilă de modele de inteligență artificială, inclusiv Google Gemini 2.5/3.1 și OpenAI’s GPT-5 — dar nu reușește să obțină o victorie pentru inteligența artificială în sarcină, cu doar îmbunătățiri modeste față de șansa de bază, și performanțe ‘mult sub nivelul uman’.

Autorii afirmă:

‘Experimentele noastre arată că modelele de vârf LVLM se confruntă semnificativ cu raționamentul spațio-temporal fin, subliniind limitele lor în utilizarea eficientă a informațiilor temporale din videoclipuri, abilitatea limitată de urmărire și înțelegerea interacțiunilor spațiale, cum ar fi contactul fizic.’

Problemele abordate în această direcție de cercetare sunt doar nominal legate de robotică practică la acest stadiu, deși provocări suplimentare sigur așteaptă atunci când problemele teoretice se vor transforma în inteligență artificială încorporată.

Noul articol se intitulează Banca de asamblare plată: Evaluarea înțelegerii spațio-temporale în Modelele de Viziune a Limbajului mari prin asamblarea mobilierului și provine de la opt autori de la Universitatea Cornell, Cornell Tech, MBZUAI și UC Berkeley. Articolul este însoțit de un site de proiect.

Metodă

Autorii noii lucrări subliniază dificultatea pe care asistenții de inteligență artificială o au în înțelegerea procesului de asamblare prin observație, de exemplu, prin intermediul unui videoclip instructiv de tip YouTube pe care mulți oameni îl folosesc pentru a beneficia de cunoștințele comunității:

Unele dintre întrebările care provoacă sarcina de asamblare a mobilierului plat, împreună cu cele patru abilități esențiale necesare pentru a traversa provocările. Sursă

Ei au curat un set de date filtrat din setul de date menționat anterior, IKEA-Manuals-at-Work (IMaW) set de date, care prezintă videoclipuri din viața reală a oamenilor care asamblează mobilier IKEA. Benchmark-ul revizuit taie videoclipurile originale pentru a elimina cardurile de instrucțiuni doar text, cu variante separate de cadre cheie și videoclipuri complete, și adaugă, de asemenea, prompturi vizuale manual annotate cu piese de mobilier segmentate, pentru a sprijini sarcini de raționament cu multiple alegeri.

Benchmark-ul se învârte în jurul a patru tipuri de întrebări: MATE, care determină dacă două piese sunt conectate în asamblarea finală; TRACK, care necesită ca modelele să recupereze corespondența corectă între ID-urile de piese împachetate de-a lungul cadrelor segmentate utilizând videoclipul însuși; TOrd, care evaluează dacă modelele pot infera ordinea corectă a evenimentelor de conectare; și TLoc, care testează dacă modelele pot identifica evenimentele care apar imediat înainte sau după starea afișată în promptul vizual, necesitând localizare temporală și raționament despre evenimente apropiate.

Exemple din noul benchmark, ilustrând cele patru tipuri de sarcini de bază concepute pentru a testa raționamentul spațio-temporal în videoclipurile de asamblare a mobilierului: Localizare Temporală; Ordinea Temporală; Urmărire; și Asociere. Fiecare sarcin combină imagini de asamblare cu unul sau mai multe prompturi vizuale etichetate și o întrebare de raționament cu multiple alegeri.

Șabloanele prezentate în imaginea de mai sus au fost derivate din aceste patru modele de întrebări.

Autorii notează, de asemenea, că au adăugat anotări fine de asamblare a pieselor la fiecare dintre videoclipurile IMaW originale, specificând care piese se conectează la alte piese — detalii lipsă în colecția originală.

Evitare

Întrebările, afirmă articolul, au trebuit să fie curate manual, deoarece întrebările generate automat adesea oferă inteligenței artificiale ocazia de a ignora videoclipul și de a se baza pe înțelegerea sa proprie — un scenariu pe care orice utilizator obișnuit de LLM/VLM îl va recunoaște, deoarece optimizarea și alte priorități corporative misterioase cauzează adesea modelele de frontieră să ignore informațiile furnizate, cum ar fi PDF-uri sau imagini, și să se bazeze pe înțelegerea sa proprie:

‘[Am] găsit că generarea automată a produs adesea întrebări care puteau fi răspunse ignorând videoclipul și exploatând scurtături. Pentru exemplu, întrebări automate asociere despre piese deja poziționate pentru conectare, sau incluse opțiuni de distractor cu forme sau culori distincte, permițând o eliminare ușoară. Pentru a aborda acest lucru, am curat toate întrebările manual, utilizând șabloane fixe.

‘Anotatorii au primit videoclipul de asamblare complet, cadrele segmentate pentru prompturi vizuale, șabloanele de întrebări și instrucțiunile detaliate pentru evitarea scurtăturilor bazate pe cue-uri statice din promptul vizual.’

Benchmark-ul final cuprinde 602 de întrebări cu multiple alegeri, distribuite pe 50 de videoclipuri de asamblare a mobilierului variate.

Date și Teste

Modelele evaluate pentru testele de probă au fost variantele menționate anterior ChatGPT și Gemini, precum și Video-LLaVA;  LLaVA-NeXT-Vid; LLaVA-OneVision; LLaVA-Video; Qwen 2.5/Qwen 3-VL; InternVL3; ArrowRL; PerceptionLM; și Video-Refer.

GenS a fost utilizat pentru a alege cadrele relevante pentru întrebări în videoclipuri lungi pentru modelul Gemini 2.5 Pro de bază, și majoritatea modelelor au fost testate într-un context one-shot sub decodare avidă (nespusă în GPT-5, însă).

Trei formate de prompturi au fost create pentru benchmark: promptul mixed-media a furnizat promptul vizual ca imagine separată lângă videoclipul de asamblare; promptul collage a încorporat promptul vizual direct în fiecare cadru de videoclip ca parte a unei lay-outuri de grid; și promptul concat a adăugat prompturile vizuale la începutul videoclipului.

Ambele variante de videoclipuri tăiate și cadre cheie au fost testate pe aceste formate, pentru a măsura cât de puternic structura promptului și compresia temporală ar putea afecta performanța modelului.

Bazele de șansă luate în considerare pentru testele de probă au inclus, de asemenea, ‘șansa de frecvență’, unde opțiunea cea mai frecventă (în loc de o opțiune cu adevărat aleatorie) este aleasă.

Factorul Uman

Performanța umană a fost evaluată utilizând participanți din programe de științe computaționale, de la nivel de licență la nivel de doctorat. Fiecare participant a fost prezentat cu un videoclip de asamblare, și promptul vizual și întrebarea cu multiple alegeri asociate, precum și instrucțiunile sarcinii, înainte de a alege un răspuns.

Trei răspunsuri au fost colectate pe întrebare și rezolvate prin vot majoritar, în timp ce un studiu crowdsourced separat a fost efectuat pe un subset aleatoriu din benchmark.

Acuratețea a fost utilizată ca metrică pentru încercări:

Rezultatele performanței pe FLAT-PACK BENCH, comparând modelele multimodale proprietare și deschise pe sarcinile de ordonare temporală (TOrd), localizare temporală (TLoc), urmărire și asociere, cu performanța umană rămânând mult înaintea tuturor sistemelor testate, în ciuda câștigurilor modeste printre modelele de frontieră mai mari.

În testele inițiale (imaginea de mai sus), oamenii au obținut peste 90% în toate categoriile de întrebări, cu o unanimitate de 80%, ceea ce sugerează, afirmă articolul, că propozițiile sunt bine formulate și neambigue.

GPT-5 și Gemini 2.5/3.1 Pro s-au confruntat cu dificultăți pe setul de date, obținând doar îmbunătățiri modeste față de baza de șansă și rămânând mult sub nivelul de performanță uman. Utilizarea GenS pentru a selecta cadrele relevante pentru întrebări nu a îmbunătățit rezultatele modelului Gemini 2.5 Pro, ceea ce a determinat autorii să concluzioneze că modelele de inteligență artificială proprietare se confruntă cu dificultăți în înțelegerea spațio-temporală necesară de benchmark.

Printre sistemele deschise, rezultatele cele mai puternice au provenit de la InternVL3 și Qwen, deși performanța în categoria respectivă a variat puternic, cu mai multe modele abia depășind șansa; și sistemele specializate, inclusiv PerceptionLM și VideoRefer, s-au confruntat și ele cu dificultăți pe benchmark-ul complex de asamblare, cu participanții umani rămânând semnificativ înaintea tuturor categoriilor de modele.

Cercetătorii au testat, de asemenea, două strategii de promptare de gândire în lanț împotriva configurației standard de promptare a articolului.  Promptarea Zero-shot Chain-of-Thought a cerut modelelor să explice răspunsurile lor pas cu pas, în timp ce Coerența cu Chain-of-Thought a generat cinci răspunsuri candidate înainte de a selecta un răspuns final prin vot majoritar. Cu toate acestea, niciuna dintre abordări nu a îmbunătățit rezultatele pe setul de date Flat Pack Bench, ambele abordări obținând scoruri sub configurația de promptare implicită a benchmark-ului.

Codul de Evidențiere

Pentru a testa dacă modelele de inteligență artificială învățau cu adevărat din videoclipurile de asamblare sau doar exploatau indicii vizuale statice, cercetătorii au creat o versiune a benchmark-ului care omitea complet videoclipul, păstrând doar textul întrebării și prompturile vizuale.

Performanța umană s-a prăbușit cu peste 50% în aceste condiții, demonstrând că sarcinile necesită cu adevărat înțelegerea temporală a procesului de asamblare. Modelele, însă, s-au deteriorat mult mai puțin, cu unele sarcini rămânând stabile sau chiar îmbunătățindu-se în absența inputului de videoclip.

Acest lucru indică, sugerează articolul, că multe modele de inteligență artificială nu foloseau în mod semnificativ informațiile temporale din videoclipuri deloc, ci se bazau pe scurtături bazate pe imagini și presupuneri de bun simț pentru a infera răspunsuri plauzibile*:

Performanța modelului de inteligență artificială pe versiunea doar cu imagini a Flat-Pack Bench, comparată cu configurația standard de videoclip și imagine, cu rezultate suplimentare după rearanjarea ID-urilor de piese pentru a testa dacă modelele exploatau scurtături de ordine de etichetă în loc de înțelegere temporală a videoclipului.

‘Imaginea de mai sus arată performanța modelului de inteligență artificială pe această versiune doar cu imagini, și schimbarea performanței sale față de evaluarea completă, împreună cu performanța umană.

‘Prăbușirea puternică a performanței umane (>50%) arată că întrebările necesită într-adevăr videoclipuri pentru a răspunde.

‘De asemenea, observăm că performanța generală a modelului scade sever (8.80%), dar în mare parte din cauza sarcinii TRACK. Acuratețea pentru alte sarcini rămâne aceeași sau se îmbunătățește, indicând că modelul de inteligență artificială nu utilizează videoclipul în mod eficient, în timp ce oamenii utilizează videoclipul pentru a răspunde.’

Analiza mai profundă a articolului sugerează că principala barieră nu este doar secvențierea temporală simplă, ci eșecurile în ancorarea obiectelor și raționamentul spațio-temporal: modelele adesea au dificultăți în a urmări piesele de mobilier vizual similare de-a lungul mișcării, schimbărilor de cameră și schimbărilor de scenă, chiar și atunci când par să identifice corect procesul de asamblare mai larg.

Concluzie

Păstrarea internalizărilor persistente ale conceptelor și obiectelor este centrală atât pentru experiența umană de creștere și dezvoltare perceptuală, cât și pentru sarcinile individuale, adesea noi, pentru care acea dezvoltare ne-a pregătit.

Cercetarea Computer Vision are deja o luptă în curs pentru a reînnoi și a reînregistra obiecte și oameni care părăsesc și reintră în cadru. Aceste probleme sunt semnificativ amplificate de nevoia de a altera constant viziunea și poziția — așa cum se întâmplă adesea într-un videoclip instructiv de tip YouTube despre asamblarea mobilierului plat. Se poate imagina amploarea în care schimbările de perspectivă și mai jarring ale unui videoclip egocentric ar putea confunda și mai mult încercările inteligenței artificiale de a asambla mobilier.

* Formatarea originală a autorilor, modificată de mine după cum a fost necesar pentru a păstra impactul sub formatarea citatelor/

Publicat luni, 25 mai 2026. Revizuit miercuri, 27 mai 2026, pentru a corecta această atribuire a datei (!).