L’IA è significativamente peggiore degli esseri umani nell’assemblaggio dei mobili

ChatGPT e Google Gemini non possono ancora comprendere in modo affidabile i video di assemblaggio IKEA, con molti altri sistemi AI prominenti che confondono le parti, perdono le connessioni e a malapena utilizzano il video stesso per capire cosa sta succedendo.

Il duraturo meme culturale intorno alla difficoltà di assemblare mobili in stile IKEA rende l’argomento un obiettivo attraente per la ricerca sulla visione computerizzata – non meno perché le lunghe sequenze di azioni, il tracciamento degli oggetti e il ragionamento spaziale coinvolti tenderanno a spingere i sistemi di manipolazione robotica ben oltre le forme semplificate e gli ambienti controllati a cui sono abituati.

Pertanto, il lavoro su routine di assemblaggio robotico alimentato da IA per mobili in scatola piatta è diventato un ramo piccolo ma rispettabile nella letteratura, con uscite come l’ambiente di assemblaggio di mobili IKEA dell’USC del 2019 , tra i primi set di dati e contesti di ricerca specificamente mirati all’assemblaggio di mobili:

Fare clic per riprodurre Esempi di pratica di assemblaggio robotico, dal sito del progetto per l’iniziativa IKEA Furniture Assembly Environment del 2019. Fonte

Nel 2024, la collaborazione Stanford/J.P. Morgan Istruzioni IKEA al lavoro è stata la prima a sondare in modo significativo la capacità dell’IA di intraprendere questa procedura apparentemente banale (sebbene spesso frustrante), basata su un nuovo set di dati di immagini da manuali di istruzioni e utilizzando video di istruzioni:

Metodo del set di dati e dettagli dall’iniziativa IKEA Manuals at Work del 2024. Fonte

Gli autori del documento del 2024 – che hanno sfruttato DGCNN, CNOS, SAM-6D, MegaPose, MiDaS, SAM2 Hiera-L, Cutie-base e GPT-4o – hanno concluso che il compito ha comportato ‘sfide significative nel fondare video di assemblaggio istruzionale, tra cui l’estrazione di segmentazioni di parti e pose, la costruzione di piani di assemblaggio di alto livello e la rilevazione di passaggi di assemblaggio chiave nei video’.

Wax On, Wax Off

Deve essere ovvio che, mentre ottenere che l’IA automati un compito che pochi amano sarebbe bello, non è affatto una stella polare scientifica, o in alto in una lista di priorità per il settore della ricerca sulla visione computerizzata.

Piuttosto, il valore del compito risiede nel fatto che ciò che i sistemi IA devono imparare per diventare proficienti in questo li preparerebbe per routine molto più serie che sono ugualmente o addirittura più impegnative, in agricoltura, industria, settore dei servizi e diverse altre sfere.

In questo senso, il progetto LEGO-Puzzles e il set di dati esaminano come i modelli di linguaggio e visione (VLM) gestiscano il ragionamento spaziale multi-step su una gamma di architetture, poiché i compiti di assemblaggio dipendono non solo dall’abbinare gli oggetti corretti insieme al momento giusto – un processo noto come accoppiamento – ma anche dal seguire istruzioni che possono essere molto più astratte della scena visiva grezza disponibile al modello in ogni passaggio:

Domande impegnative dal progetto LEGO-Puzzles. Fonte

Il progetto più recente che affronta la sfida dell’assemblaggio dei mobili sfrutta una gamma più recente e capace di modelli IA, tra cui Google Gemini 2.5/3.1 e OpenAI’s GPT-5 – ma non riesce ancora a ottenere una vittoria per l’IA nel compito, con solo modesti miglioramenti rispetto alla possibilità di base e prestazioni “ben al di sotto dei livelli umani”.

Gli autori affermano:

‘I nostri esperimenti rivelano che i modelli LVLM di stato dell’arte lottano notevolmente con il ragionamento spazio-temporale fine, evidenziando le loro limitazioni nell’effettivo sfruttamento delle informazioni temporali dai video, capacità di tracciamento limitata e comprensione di interazioni spaziali come il contatto fisico’.

I problemi affrontati in questo filone di ricerca sono solo nominalmente legati alla robotica pratica a questo stadio, sebbene sfide aggiuntive sicuramente attendono quando le questioni teoriche si evolveranno finalmente in IA incorporata.

Il nuovo documento si intitola Panchina piatta: valutazione della comprensione spazio-temporale in grandi modelli di linguaggio e visione attraverso l’assemblaggio di mobili e proviene da otto autori di Cornell University, Cornell Tech, MBZUAI e UC Berkeley. Il documento è accompagnato da un sito del progetto.

Metodo

Gli autori del nuovo lavoro sottolineano la difficoltà che gli assistenti IA hanno nel comprendere il processo di assemblaggio attraverso l’osservazione, ad esempio, tramite il tipo di video di istruzioni stile YouTube che molte persone si rivolgono per trarre vantaggio dalle conoscenze della comunità:

Alcune delle domande che il compito di assemblaggio di mobili in scatola piatta solleva, insieme alle quattro abilità essenziali necessarie per superare le sfide. Fonte

Curarono un set di dati filtrato dal set di dati precedentemente menzionato IKEA-Manuals-at-Work (IMaW) , che presenta video in-the-wild di persone che assemblano mobili IKEA. Il benchmark rivisto taglia i video originali per rimuovere le carte di istruzioni solo testo, con varianti di fotogrammi chiave e video completi fornite separatamente, e aggiunge inoltre promemoria visivi annotati manualmente con parti di mobili segmentate, per supportare compiti di ragionamento a scelta multipla.

Il benchmark ruota attorno a quattro tipi di domande: MATE, che determina se due parti sono connesse nell’assemblaggio finale; TRACK, che richiede ai modelli di recuperare la corrispondenza corretta tra ID di parti mischiate attraverso fotogrammi segmentati utilizzando il video stesso; TOrd, che valuta se i modelli possono inferire l’ordine corretto degli eventi di connessione; e TLoc, che testa se i modelli possono identificare gli eventi che si verificano immediatamente prima o dopo lo stato mostrato nel prompt visivo, richiedendo localizzazione temporale e ragionamento sugli eventi vicini.

Esempi dal nuovo benchmark, che illustrano i quattro tipi di compiti fondamentali progettati per testare il ragionamento spazio-temporale nei video di assemblaggio di mobili: localizzazione temporale; ordinamento temporale; tracciamento; e accoppiamento. Ogni compito combina footage di assemblaggio video con uno o più prompt visivi segmentati e una domanda di ragionamento a scelta multipla.

I modelli di domanda mostrati nell’immagine dello schema sopra sono stati derivati da questi quattro modelli di domanda.

Gli autori notano inoltre che hanno aggiunto annotazioni di assemblaggio di parti fine-grane a ciascun video IMaW originale, specificando quali parti si connettono a quali altre parti – dettagli mancanti nella raccolta originale.

Evasione

Le domande, afferma il documento, dovevano essere curate manualmente, poiché le domande auto-generate spesso danno all’IA la possibilità di ignorare il video e fare riferimento alla propria comprensione addestrata – uno scenario che qualsiasi utente regolare di LLM/VLM è probabile riconoscere, poiché l’ottimizzazione e altre priorità aziendali misteriose spesso causano ai modelli di frontiera di ignorare le informazioni inviate, come PDF o immagini, e di fare affidamento sulla propria comprensione invece*:

‘[Abbiamo] scoperto che l’auto-generazione produceva frequentemente domande che potevano essere risposte ignorando il video e sfruttando scorciatoie. Ad esempio, domande di accoppiamento auto-generate su parti già posizionate per la connessione, o opzioni di distrazione con forme o colori chiaramente distinti, consentendo un’eliminazione facile [delle opzioni]. Per affrontare questo, abbiamo curato tutte le domande manualmente utilizzando modelli fissi.

‘Gli annotatori hanno ricevuto il video di assemblaggio completo, fotogrammi segmentati per prompt visivi, i modelli di domanda e linee guida dettagliate per evitare scorciatoie basate su cue statiche dal prompt visivo.’

Il benchmark finito comprende 602 domande a scelta multipla su 50 video di assemblaggio di mobili vari.

Dati e test

I modelli valutati per il round di test includevano le già menzionate ChatGPT e varianti Gemini, nonché Video-LLaVA; LLaVA-NeXT-Vid; LLaVA-OneVision; LLaVA-Video; Qwen 2.5/Qwen 3-VL; InternVL3; ArrowRL; PerceptionLM; e Video-Refer.

GenS è stato utilizzato per scegliere fotogrammi pertinenti alle domande in video lunghi per il modello Gemini 2.5 Pro di base, e la maggior parte dei modelli è stata testata in un one-shot contesto sotto greedy decoding (non supportato in GPT-5, tuttavia).

Tre formati di prompt sono stati ideati per il benchmark: il prompt mixed-media ha fornito il prompt visivo come immagine separata accanto al video di assemblaggio; il prompt collage ha incorporato il prompt visivo direttamente in ogni fotogramma del video come parte di una griglia; e il prompt concat ha anteposto i prompt visivi all’inizio del video.

Entrambe le varianti di video tagliate e di fotogrammi chiave sono state testate attraverso questi formati, al fine di misurare quanto fortemente la struttura del prompt e la compressione temporale potrebbero influenzare le prestazioni del modello.

Le basi di casualità considerate per i test includevano anche la ‘casualità di frequenza’, dove l’opzione più comune (piuttosto che un’opzione veramente casuale) è scelta.

Factor umano

Le prestazioni umane sono state valutate utilizzando partecipanti provenienti da programmi di scienze informatiche, che vanno da undergraduate a livello di dottorato. Ogni partecipante è stato mostrato un video di assemblaggio, il prompt visivo e la domanda a scelta multipla associata, nonché le istruzioni del compito, prima di scegliere una risposta.

Tre risposte sono state raccolte per domanda e risolte attraverso votazione a maggioranza, mentre uno studio crowd-sourced separato è stato condotto su un subset casuale del benchmark.

Accuracy è stato utilizzato come metrica per i trial:

Risultati delle prestazioni su FLAT-PACK BENCH, confrontando modelli multimodali proprietari e aperti attraverso compiti di ordinamento temporale (TOrd), localizzazione temporale (TLoc), tracciamento e accoppiamento, con le prestazioni umane che rimangono ben al di sopra di tutti i sistemi testati nonostante modesti guadagni tra i modelli di frontiera più grandi.

Come si vede nei test iniziali (immagine sopra), gli esseri umani hanno segnato >90% in tutte le categorie di domande, con un’unanimità dell’80%, suggerendo, afferma il documento, che le proposizioni sono ben formulate e non ambigue.

GPT-5 e Gemini 2.5/3.1 Pro hanno lottato sul set di dati, ottenendo solo modesti miglioramenti rispetto alla base di casualità, e sono rimasti ben al di sotto delle prestazioni umane. L’uso di GenS per selezionare fotogrammi pertinenti alle domande non ha migliorato i risultati di Gemini 2.5 Pro, portando gli autori a concludere che i modelli LVLM proprietari lottano con il compito di comprensione spazio-temporale richiesto dal benchmark.

Tra i sistemi aperti, i risultati più forti sono provenuti dalle famiglie InternVL3 e Qwen, sebbene le prestazioni attraverso la categoria variassero notevolmente, con diversi modelli che hanno appena superato la casualità; e sistemi specializzati, tra cui PerceptionLM e VideoRefer, hanno anche lottato sul benchmark dei compiti di assemblaggio complessi, con i partecipanti umani che rimangono significativamente in testa in ogni categoria di modelli.

I ricercatori hanno anche testato due strategie di prompt di catena di pensiero contro l’impostazione di prompt standard del documento. Zero-shot Chain-of-Thought ha chiesto ai modelli di spiegare le loro risposte passo dopo passo, mentre Self-consistency with Chain-of-Thought ha generato cinque risposte candidate prima di selezionare una risposta finale attraverso votazione a maggioranza. Tuttavia, nessuno dei due ha migliorato i risultati sul set di dati Flat Pack Bench, con entrambi gli approcci che hanno segnato al di sotto della configurazione di prompt predefinita del benchmark.

Cheat Code

Per testare se i modelli LVLM stavano effettivamente imparando dai video di assemblaggio, o semplicemente sfruttando cue visivi statici, i ricercatori hanno creato una versione del benchmark che ometteva completamente il video, conservando solo il testo della domanda e i prompt visivi.

Le prestazioni umane sono collassate di oltre il 50% in queste condizioni, mostrando che i compiti richiedevano effettivamente una comprensione temporale del processo di assemblaggio. I modelli, tuttavia, si sono degradati molto meno gravemente, con alcuni compiti che sono rimasti stabili o addirittura migliorati senza input video.

Ciò indica, suggerisce il documento, che molti modelli LVLM non stavano utilizzando in modo significativo le informazioni temporali nei video affatto, ma si affidavano invece a scorciatoie basate su immagini e supposizioni di buon senso per inferire risposte plausibili*:

Prestazioni del modello LVLM sulla versione del benchmark senza video, confrontata con l’impostazione video più immagine standard, con risultati aggiuntivi dopo aver mischiato gli ID delle parti per testare se i modelli stavano sfruttando scorciatoie di etichetta dell’ordine invece della comprensione del video temporale.

‘[L’immagine sopra] mostra le prestazioni del modello LVLM su questa versione senza video, e il cambiamento nelle sue prestazioni rispetto alla valutazione completa, insieme alle prestazioni umane.

‘Il forte calo delle prestazioni umane (>50%) mostra che le domande richiedono effettivamente i video per essere risposte.

‘Osserviamo anche che le prestazioni generali del modello calano gravemente (8.80%), ma principalmente a causa del compito TRACK. L’accuratezza degli altri compiti rimane la stessa o migliora, indicando che il modello LVLM non utilizza il video in modo efficace, mentre gli esseri umani utilizzano il video per rispondere.’

L’analisi più approfondita del documento suggerisce che l’ostacolo principale non è solo la sequenza temporale semplice, ma fallimenti nel ragionamento spazio-temporale e nella fondazione degli oggetti: i modelli spesso lottavano per tenere traccia di parti di mobili visivamente simili attraverso il movimento, i cambiamenti della telecamera e i cambiamenti della scena, anche quando sembravano identificare correttamente il processo di assemblaggio più ampio.

Ulteriori esperimenti hanno coinvolto l’impiego di un’IA agente dotata di strumenti sul compito, e questo ‘ha eseguito male’ secondo gli autori – sebbene sia stato in grado di rispondere correttamente al 11,48% delle domande mancate dagli altri approcci.

Conclusione

Mantenere internalizzazioni persistenti di concetti e oggetti è centrale sia per l’esperienza umana di crescita e sviluppo percettivo, sia per compiti individuali, spesso nuovi, per i quali quel sviluppo ha preparato.

La ricerca sulla visione computerizzata già ha una lotta in corso per riacquisire e riconoscere oggetti e persone che lasciano e rientrano nel campo visivo. Questi problemi sono notevolmente amplificati con la necessità di alterare costantemente la visione e la posizione – come è probabile che accada in un video di istruzioni su YouTube sull’assemblaggio di mobili in scatola piatta. Si può immaginare l’entità in cui i cambi di POV ancora più sconvolgenti di un video egocentrico potrebbero ulteriormente confondere i tentativi dell’IA di assemblaggio di mobili.

* La formattazione originale degli autori, modificata da me come necessario per mantenere l’impatto sotto la formattazione delle citazioni/

Pubblicato per la prima volta lunedì 25 maggio 2026. Modificato mercoledì 27 maggio 2026 per correggere questo attributo di data (!).