زاوية Anderson
الحاسوبية الأقل كفاءة من البشر في تجميع الأثاث
أضف Unite.AI إلى مصادرك المفضلة على Google
لا تزال ChatGPT و Google Gemini غير قادرة على فهم فيديوهات تجميع الأثاث من IKEA بشكل موثوق، مع حدوث ارتباك في الأنظمة الحاسوبية الأخرى البارزة في الأجزاء وتحديد الاتصالات واستخدام الفيديو نفسه لتحديد ما يحدث.
الاستمرار في الاستعارة الثقافية حول صعوبة تجميع الأثاث من نوع IKEA يجعل الموضوع هدفًا جذابًا للبحوث في الرؤية الحاسوبية — لا سيما لأن التسلسلات الطويلة من الإجراءات وتعقب الكائنات والاستدلال المكاني المشاركة ستدفع نظم التلاعب الحاسوبي بعيدًا عن الأشكال المبسطة والبيئات المراقبة التي اعتادت عليها.
لذلك أصبحت العمل على الروتين الحاسوبي القوي لتجميع الأثاث المضغوط جزءًا صغيرًا ولكن محترمًا في الأدبيات، مع ظهور أعمال مثل بيئة تجميع الأثاث من IKEA في جامعة جنوب كاليفورنيا في عام 2019، من بين أول مجموعات بيانات وسياقات بحث مخصصة بشكل خاص لتجميع الأثاث:
انقر للعب أمثلة على ممارسة التجميع الحاسوبي، من موقع المشروع لمنصة تجميع الأثاث من IKEA في عام 2019. المصدر
في عام 2024، كانت تعاون ستانفورد / جيه بي مورغان دليل تجميع الأثاث من IKEA أول من قام بدراسة قدرة الحاسوبية على أداء هذا الإجراء المتوهم البسيط (على الرغم من أنه غالبًا ما يكون محبطًا) بناءً على مجموعة بيانات جديدة من الصور من كتيبات الإرشادات، و باستخدام مقاطع فيديو إرشادية:
طريقة عمل البيانات ومعلومات من مبادرة دليل تجميع الأثاث من IKEA. المصدر
المؤلفون في ورقة 2024 — التي استفادت من DGCNN و CNOS و SAM-6D و MegaPose و MiDaS و SAM2 Hiera-L و Cutie-base و GPT-4o — خلصت إلى أن المهمة تثير ‘تحديات كبيرة في توجيه مقاطع الفيديو الإرشادية، بما في ذلك استخراج تقاطعات الأجزاء ووضعها وبناء خطط تجميع عالية المستوى وتحديد خطوات التجميع الرئيسية في مقاطع الفيديو’.
اللمس واللمس
يجب أن يكون واضحًا أن الحصول على الحاسوبية لتحويلنا خارج مهمة لا تحظى بالتقدير من قبل البشر سيكون لطيفًا، لكنه ليس هدفًا علميًا أو عاليًا في قائمة الأولويات لقطاع أبحاث الرؤية الحاسوبية.
بدلاً من ذلك، تكمن قيمة المهمة في حقيقة أن ما يحتاج إليه النظم الحاسوبية لتحقيق الكفاءة في هذا سوف يؤسس لهم لمهام أكثر جديّة تعادلها أو تتجاوزها في الصعوبة، في الزراعة والصناعة وقطاع الخدمات والقطاعات الأخرى المتنوعة.
في هذا السياق، يبحث مشروع LEGO-Puzzles في كيفية تعامل نماذج اللغة والرؤية مع التفكير المكاني المتعدد الخطوات عبر مجموعة من الهياكل، منذ أن تعتمد مهام التجميع على المزيد من مجرد ربط الكائنات الصحيحة معًا في اللحظة الصحيحة — عملية تعرف باسم الزواج — ولكن أيضًا اتباع تعليمات قد تكون أكثر مجردة من المشهد البصري المتاح للنموذج في أي خطوة معينة:
أسئلة تحدي من مشروع LEGO-Puzzles. المصدر
المشروع الأخير الذي يعالج تحدي تجميع الأثاث يستفيد من مجموعة أكثر حداثة وقدرة على النماذج الحاسوبية، بما في ذلك Gemini 2.5 و 3.1 و GPT-5 — لكنه لا يزال يفشل في الحصول على فوز للحاسوبية في المهمة، مع تحسينات متواضعة فقط فوق فرصة القاعدة، وأداء ‘أقل بكثير من مستويات البشر’.
يصرح المؤلفون:
‘تظهر تجاربنا أن النماذج الحاسوبية المتقدمة تعاني بشكل كبير من التفكير المكاني الزمني الدقيق، مما يبرز حدودها في الاستفادة الفعالة من المعلومات الزمنية من مقاطع الفيديو، ومحدودية قدرة التتبع وفهم التفاعلات المكانية مثل الاتصال البدني.’
المشاكل التي يتم التعامل معها في هذا مجال البحث ليست على علاقة بالrobotics التطبيقية في هذه المرحلة، على الرغم من أن التحديات الإضافية تنتظر بالتأكيد عندما تتطور القضايا النظرية في النهاية إلى الذكاء الاصطناعي المادي.
الورقة الجديدة بعنوان Flat-Pack Bench: تقييم الفهم المكاني الزمني في نماذج اللغة والرؤية الكبيرة من خلال تجميع الأثاث، ويأتي من ثمانية مؤلفين عبر جامعة كورنيل، كورنيل تيك، MBZUAI، و جامعة كاليفورنيا، بيركلي. يرافق الورقة موقع مشروع.
الطريقة
يشدد مؤلفو العمل الجديد على صعوبة التي تواجهها المساعدين الحاسوبيين في فهم عملية التجميع من خلال الملاحظة، على سبيل المثال، من خلال نوع فيديو تعليمي على YouTube الذي يلجأ إليه العديد من الناس للاستفادة من المعرفة المجتمعية:
بعض الأسئلة التي تثيرها مهمة تجميع الأثاث، جنبًا إلى جنب مع المهارات الأساسية الأربع اللازمة للتغلب على التحديات. المصدر
قاموا بتصفية مجموعة بيانات من مجموعة IKEA-Manuals-at-Work (IMaW) المذكورة سابقًا، والتي تتميز بفيديوهات في البرية ل人们 يجمّعون أثاث IKEA. يقلل الإطار المرجعي المنقح الأصلي من مقاطع الفيديو لإزالة بطاقات التعليمات النصية، مع توفير متغيرات إطار رئيسي ومتغير فيديو كامل، بالإضافة إلى توفير تحفيزات بصرية تم توجيهها يدويًا مع أجزاء أثاث منفصلة، لدعم مهام التفكير المتعدد الخيارات.
يت围 الإطار المرجعي حول أربعة أنواع من الأسئلة: الزواج، لتحديد ما إذا كانت جزءان متصلتان في التجميع النهائي؛ التعقب، يتطلب من النماذج استعادة التوافق الصحيح بين هوية الجزء المخلوطة عبر إطارات منفصلة باستخدام الفيديو نفسه؛ ترتيب الوقت، لتقييم ما إذا كان النماذج قادرة على استنتاج ترتيب اتصال الأحداث الصحيح؛ و موقع الوقت، لاختبار ما إذا كان النماذج قادرة على تحديد الأحداث التي تحدث مباشرة قبل أو بعد الحالة المعروضة في التحفيز البصري، مما يتطلب تحديد موقع زمني وتفكير حول الأحداث القريبة.
أمثلة من الإطار المرجعي الجديد، توضح الأنواع الأربع الأساسية للمهام المصممة لاختبار التفكير المكاني الزمني في مقاطع فيديو تجميع الأثاث: تحديد الموقع الزمني؛ ترتيب زمني؛ التعقب؛ والزواج. كل مهمة تجمع بين مقاطع فيديو تجميع مع تحفيزات بصرية تم توجيهها و سؤال تفكير متعدد الخيارات.
تم اشتقاق القوالب الموضحة في صورة المخطط أعلاه من هذه نماذج الأسئلة الأربعة.
يلاحظ المؤلفون أيضًا أنه تم إضافة تعليقات تجميع الأجزاء المتفرقة إلى كل فيديو من فيديوهات IMaW الأصلية، مما يحدد أي أجزاء ترتبط بأي أجزاء أخرى — تفاصيل ناقصة في المجموعة الأصلية.
التحايل
تشير الورقة إلى أن الأسئلة تحتاج إلى صياغة يدوية، لأن الأسئلة التي يتم إنشاؤها تلقائيًا غالبًا ما تمنح الحاسوبية فرصة لتجاهل الفيديو والاستفادة من فهمها المخزّن — سيناريو يتعرف عليه أي مستخدم منتظم للنماذج اللغوية والرؤية، حيث قد تؤدي الأولويات الأخرى وال优 tiênات الأخرى إلى جعل النماذج الحاسوبية المتقدمة تتجاهل المعلومات المرسلة، مثل ملفات PDF أو الصور، وتنشئ استنتاجاتها الخاصة:
‘وجدنا أن التوليد التلقائي ينتج في كثير من الأحيان أسئلة يمكن الإجابة عليها من خلال تجاهل الفيديو واستغلال اختصارات. على سبيل المثال، أسئلة الزواج التلقائية حول الأجزاء الموجودة بالفعل في وضع الاتصال، أو خيارات تحويل الانتباه مع أشكال أو ألوان متميزة بوضوح، مما يسمح بالاستبعاد السهل. للتعامل مع هذا، قمنا بتصميم جميع الأسئلة يدويا باستخدام قوالب ثابتة.
‘تم تزويد المُحَصّنين بفيديو التجميع الكامل، وإطارات تم توجيهها بصورية، والقوالب الأسئلة، وإرشادات مفصلة لتجنب اختصارات تستند إلى إشارات ساكنة من التحفيز البصري.’
يتكون الإطار المرجعي النهائي من 602 سؤال متعدد الخيارات عبر 50 فيديو تجميع أثاث مختلف.
البيانات والاختبارات
النماذج التي تم تقييمها لجولة الاختبار كانت ChatGPT و Gemini و Video-LLaVA و LLaVA-NeXT-Vid و LLaVA-OneVision و LLaVA-Video و Qwen 2.5 و Qwen 3-VL و InternVL3 و ArrowRL و PerceptionLM و Video-Refer.
GenS تم استخدامها لاختيار إطارات ذات صلة بالسؤال في مقاطع الفيديو الطويلة لنموذج Gemini 2.5 Pro الأساسي، وتم اختبار معظم النماذج في سياق واحد تحت ترميز الجشع (غير مدعوم في GPT-5، ومع ذلك).
تم تصميم ثلاثة تنسيقات للتحفيز للتحقق من صحة الإطار المرجعي: التحفيز المختلط قدم التحفيز البصري كصورة منفصلة إلى جانب فيديو التجميع؛ التحفيز التركيبي غرس التحفيز البصري مباشرة في كل إطار فيديو كجزء من تخطيط الشبكة؛ والتحفيز المترافق أضاف التحفيزات البصرية إلى بداية الفيديو.
تم اختبار كلاً من متغيرات الفيديو المقطوعة ومتغير الإطارات الرئيسية عبر هذه التنسيقات، من أجل قياس مدى تأثير هيكل التحفيز والضغط الزمني على أداء النموذج.
كما شملت قواعد الفرصة التي تم النظر فيها في الاختبارات ‘فرصة التكرار’، حيث يتم اختيار الخيار الأكثر شيوعًا (بدلاً من خيار عشوائي حقيقي).
العامل البشري
تم تقييم الأداء البشري باستخدام المشاركين من برامج العلوم الحاسوبية، تتراوح من مستوى البكالوريوس إلى الدكتوراه. تم إعطاء كل مشارك فيديو تجميع، والتحفيز البصري المرتبط وسؤال متعدد الخيارات، بالإضافة إلى تعليمات المهمة، قبل اختيار إجابة.
تم جمع ثلاث استجابات لكل سؤال وحلها من خلال التصويت بالأغلبية، في حين تم إجراء دراسة جماعية منفصلة على عينة عشوائية من الإطار المرجعي.
الدقة تم استخدامها كالمعيار للجلسات:
| النموذج | الترتيب | المتوسط الصغير. | ترتيب الوقت | موقع الوقت | التعقب | الزواج |
|---|---|---|---|---|---|---|
| الأداء البشري | – | 94.18 | 93.54 | 93.20 | 93.77 | 97.70 |
| قواعد الفرصة | ||||||
| الفرصة العشوائية | – | 26.41 | 25.00 | 25.00 | 25.49 | 33.33 |
| فرصة التكرار | – | 26.74 | 27.74 | 30.10 | 26.46 | 36.78 |
| النماذج المملوكة | ||||||
| GPT-5 | 1 | 37.71 | 40.65 | 53.40 | 25.68 | 49.43 |
| Gemini 2.5 Pro | 2 | 33.72 | 40.65 | 44.66 | 23.35 | 39.08 |
| Gemini 3.1 Pro | 3 | 32.89 | 34.84 | 43.69 | 21.79 | 49.43 |
| Gemini 2.5 Flash | 4 | 31.06 | 31.61 | 41.75 | 23.35 | 40.23 |
| Gemini 2.5 Pro + GenS | 5 | 25.58 | 33.55 | 32.04 | 13.23 | 40.23 |
| النماذج المفتوحة | ||||||
| Video-LLaVA-7B | 26 | 23.75 | 21.29 | 35.92 | 10.89 | 51.72 |
| InternVL3-14B | 5 | 37.71 | 42.58 | 21.36 | 37.74 | 48.28 |
| InternVL3-38B | 12 | 36.05 | 42.58 | 37.86 | 25.68 | 52.87 |
| InternVL3-78B | 1 | 41.03 | 43.87 | 39.81 | 42.02 | 34.48 |
| Qwen2.5-VL-7B | 22 | 30.23 | 27.10 | 18.45 | 33.07 | 41.38 |
| Qwen2.5-VL-32B | 13 | 35.88 | 34.84 | 29.13 | 33.07 | 54.02 |
| Qwen2.5-VL-72B | 2 | 40.37 | 41.29 | 30.10 | 45.14 | 36.78 |
| Qwen3-VL-4B | 11 | 36.54 | 34.19 | 33.01 | 32.68 | 56.32 |
| Qwen3-VL-4B-Think | 9 | 37.21 | 31.61 | 25.24 | 37.74 | 59.77 |
| Qwen3-VL-8B | 15 | 33.72 | 36.13 | 30.10 | 33.85 | 33.33 |
| Qwen3-VL-8B-Think | 17 | 31.73 | 34.19 | 33.01 | 25.29 | 44.83 |
| Qwen3-VL-32B | 6 | 37.71 | 38.71 | 46.60 | 31.91 | 42.53 |
| Qwen3-VL-32B-Think | 3 | 40.03 | 38.71 | 22.33 | 45.53 | 47.13 |
| Qwen3-VL-30B-A3B | 10 | 36.71 | 30.32 | 22.33 | 42.02 | 49.43 |
| Qwen3-VL-235B-A22B | 8 | 37.21 | 37.42 | 25.24 | 39.69 | 43.68 |
| LLaVA-NeXT-Vid-7B | 25 | 25.08 | 33.55 | 24.27 | 16.73 | 35.63 |
| LLaVA-NeXT-Vid-34B | 21 | 30.40 | 30.32 | 24.27 | 32.68 | 31.03 |
| LlaVA-OneVision-7B | 16 | 32.89 | 26.45 | 30.10 | 34.24 | 43.68 |
| LlaVA-OneVision-72B | 4 | 38.37 | 35.48 | 25.24 | 38.91 | 57.47 |
| LLaVA-Video-7B | 19 | 30.73 | 30.97 | 24.27 | 25.68 | 52.87 |
| LLaVA-Video-72B | 7 | 37.54 | 36.77 | 27.18 | 35.80 | 56.32 |
| Perception-LM-1B | 24 | 27.74 | 28.39 | 26.21 | 25.29 | 35.63 |
| Perception-LM-3B | 18 | 31.40 | 28.39 | 32.04 | 29.96 | 40.23 |
| Perception-LM-8B | 14 | 35.38 | 26.45 | 26.21 | 44.75 | 34.48 |
| VideoRefer | 23 | 28.57 | 32.90 | 30.10 | 17.51 | 51.72 |
| ArrowRL-7B | 20 | 30.56 | 30.97 | 24.27 | 29.18 | 41.38 |
نتائج الأداء على FLAT-PACK BENCH، مقارنة بين النماذج الحاسوبية المملوكة والمفتوحة عبر مهام الترتيب الزمني، تحديد الموقع الزمني، التعقب، والزواج، مع بقاء الأداء البشري بعيدًا عن جميع الأنظمة التي تم اختبارها على الرغم من تحسينات متواضعة بين النماذج الحدودية الأكبر.
كما هو موضح في الاختبارات الأولية (الصورة أعلاه)، سجل البشر أكثر من 90% في جميع فئات الأسئلة، مع توافق 80%، مما يشير، كما تقول الورقة، إلى أن المقترحات محددة جيدًا وواضحة.
كافح GPT-5 و Gemini 2.5/3.1 Pro على مجموعة البيانات، وحققوا تحسينات متواضعة فقط فوق قاعدة الفرصة، و بقوا بعيدًا عن الأداء البشري. لم ي cải thiện استخدام GenS لاختيار إطارات ذات صلة بالسؤال نتائج Gemini 2.5 Pro، مما دفع المؤلفين إلى استنتاج أن النماذج الحاسوبية المملوكة تعاني من فهم المكاني الزمني المطلوب في الإطار المرجعي.
بين النماذج المفتوحة، جاءت أقوى النتائج من عائلة InternVL3 و Qwen، على الرغم من أن الأداء تباين بشكل حاد عبر الفئة، مع نماذج عديدة تتفوق بشكل ضعيف فقط على الفرصة؛ كما عانت النماذج المتخصصة، بما في ذلك PerceptionLM و VideoRefer، على الإطار المرجعي لمهام التجميع المعقدة، مع بقاء المشاركين البشرين بعيدًا بشكل كبير في كل فئة نموذجية.
كما قام الباحثون باختبار استراتيجيتين لتحفيز سلسلة الأفكار ضد إعداد التحفيز القياسي للورقة. سلسلة الأفكار من البداية طلبت من النماذج شرح إجاباتها خطوة بخطوة، في حين أن التوافق مع سلسلة الأفكار أنتجت خمس استجابات مرشحة قبل اختيار إجابة نهائية من خلال التصويت بالأغلبية. ومع ذلك، لم تحسن أي من هذه النهجين النتائج على مجموعة بيانات Flat Pack Bench، مع تحقيق كلا النهجين نتائج أقل من تكوين التحفيز الافتراضي.
كود الخداع
لتحديد ما إذا كانت النماذج الحاسوبية تعلمت فعلاً من مقاطع فيديو التجميع، أو إذا كانت تستغل اختصارات بصرية ساكنة، قام الباحثون بإنشاء نسخة من الإطار المرجعي ت省略 الفيديو تمامًا، مع الاحتفاظ فقط بنص السؤال والتحفيزات البصرية.
انهار الأداء البشري بنسبة تزيد عن 50% في هذه الظروف، مما يدل على أن المهام تتطلب فعلاً فهمًا زمنيًا لعملية التجميع. ومع ذلك، انخفض أداء النماذج بشكل أقل حدة، مع استقرار بعض المهام أو حتى تحسينها بدون مدخلات فيديو.
يشير هذا، كما تقترح الورقة، إلى أن العديد من النماذج الحاسوبية لا تستخدم المعلومات الزمنية في مقاطع الفيديو بشكل فعّال، بل تعتمد على اختصارات صورة وافتراضات معقولة لاستنتاج إجابات:
أداء النموذج الحاسوبي على نسخة الصورة فقط من Flat-Pack Bench، مقارنةً بالتكوين القياسي للفيديو والصورة، مع نتائج إضافية بعد خلط هوية الأجزاء لاختبار ما إذا كانت النماذج تستغل اختصارات ترتيب العلامات بدلاً من الفهم الزمني للفيديو.
‘الصور أعلاه تُظهر أداء النموذج الحاسوبي على هذه النسخة من الصورة فقط، وتغيير أدائه من التقييم الكامل، إلى جانب الأداء البشري.
‘الانخفاض الحاد في الأداء البشري (>50%) يُظهر أن الأسئلة تتطلب فيديوهات للإجابة.
‘نلاحظ أيضًا أن الأداء العام للنموذج ينخفض بشكل كبير (8.80%)، ولكن بشكل رئيسي بسبب مهمة التعقب. دقة المهام الأخرى لا تتغير أو تتحسن، مما يشير إلى أن النموذج الحاسوبي لا يستخدم الفيديو بشكل فعال، بينما يستخدم البشر الفيديو للإجابة.’
يشير تحليل الورقة الأعمق إلى أن العائق الرئيسي ليس التسلسل الزمني البسيط وحده، بل فشل في ربط الكائنات وتفكير مكاني زمني: عانت النماذج من صعوبة تتبع أجزاء الأثاث المتشابهة بصريًا عبر الحركة وتغييرات الكاميرا وتغييرات المشهد، حتى عندما بدت تحديد عملية التجميع بشكل صحيح.
أجريت تجارب إضافية تتضمن إطلاق وكيل حاسوبي ذي أدوات على المهمة، وأدّى بشكل سيئ وفقًا للمؤلفين — على الرغم من أنه كان قادرًا على الإجابة بشكل صحيح على 11.48% إضافية من الأسئلة التي فاتتها النهج الأخرى.
الخلاصة
الحفاظ على تمثيلات داخلية مستمرة للمفاهيم والأشياء هو مركزي لكل من تجربة النمو البشري وتطور الإدراك، وفي مهام فردية، غالبًا ما تكون جديدة، التي أعدّنا لها هذا التطور.
الرؤية الحاسوبية لديها بالفعل كفاح مستمر لإعادة اكتساب وتعرف الأشياء والأشخاص الذين يغادرون ويعودون إلى الإطار. هذه القضايا تتضاعف بشكل كبير مع الحاجة إلى تغيير الرؤية والstance باستمرار — كما هو محتمل في فيديو تعليمي على YouTube حول تجميع الأثاث المضغوط. يمكنك أن تتخيل مدى تعقيد التغييرات الجارحة في POV في فيديو إيجوسينتريك قد تزيد من ارتباك الحاسوبية في تجميع الأثاث.
* تنسيق المؤلفين الأصلي، معدل من قبلي حسب الضرورة للحفاظ على التأثير تحت تنسيق الاقتباس/
نشر لأول مرة يوم الإثنين، 25 مايو 2026. تم تعديله يوم الأربعاء، 27 مايو 2026، لتصحيح هذا الإسناد التاريخي (!).
