هل يمكن لنموذج العالم الإصطناعي حقًا فهم القوانين الفيزيائية؟

التطلع العظيم لنمذجة اللغة والرؤية الإصطناعية هو أن تصبح قادرة في يوم ما على الحصول على استقلالية وتنوع أكبر ، وتضم مبادئ القوانين الفيزيائية بنفس الطريقة التي نطور من خلالها فهمًا فطريًا لهذه المبادئ من خلال الخبرة المبكرة.

على سبيل المثال ، تميل ألعاب الكرة للأطفال إلى تطوير فهمًا لحركة الكينيتيك ، وتأثير الوزن و质امات السطح على المسار. وبالمثل ، تفاعلات السيناريوهات الشائعة مثل الحمامات ، والمشروبات المسكوبة ، والمحيط ، وبرك السباحة والجسيمات السائلة المختلفة الأخرى ستؤدي إلى تثبيت فهم مرن وقابل للتوسيع لطريقة سلوك السوائل تحت الجاذبية.

حتى افتراضات الظواهر الأقل شيوعًا – مثل الاحتراق والانفجارات وتوزيع الوزن المعماري تحت الضغط – يتم امتصاصها بشكل غير واعٍ من خلال التعرض لبرامج التلفزيون والأفلام ، أو مقاطع الفيديو على وسائل التواصل الاجتماعي.

عندما ندرس المبادئ وراء هذه الأنظمة ، على مستوى أكاديمي ، فإننا ببساطة “نعدل” نماذجنا العقلية الغير مدروسة (ولكن غير مدروسة) لهذه الأنظمة.

أسياد واحد

في الوقت الحالي ، معظم نماذج الذكاء الاصطناعي هي ، من خلال المقارنة ، أكثر “تخصصًا” ، وتم تعديل العديد منها أو تدريبه من الصفر على مجموعات بيانات الصور أو الفيديو التي هي محددة جدًا لاستخدامات معينة ، بدلاً من تصميمها لتطوير فهم عام للقوانين الحاكمة.

يمكن لبعضها تقديم مظهر فهم القوانين الفيزيائية ؛ ومع ذلك ، قد يكونون يكررون عينات من بيانات التدريب الخاصة بهم ، بدلاً من فهم حقًا أساسيات مجالات مثل فيزياء الحركة بطريقة يمكن أن تنتج عنها تمثيلات جديدة حقًا (ويمكن تبريرها علميًا) من محفزات المستخدم.

في هذه اللحظة الحاسمة في صناعة وتسويق أنظمة الذكاء الاصطناعي التوليدية ، يقع على عاتقنا ، وعلى عاتق مراقبة المستثمرين ، التمييز بين التسويق المبتكر لأنظمة الذكاء الاصطناعي الجديدة وواقع قيودها.

كان أحد أكثر الأوراق بحثًا في نوفمبر مثيرًا للاهتمام ، بقيادة Bytedance Research ، وتناول هذه القضية ، واستكشف الفجوة بين القدرات الواضحة والفعلية لنمذجة “الغرض العام” التوليدية مثل Sora.

خلصت الدراسة إلى أن نماذج الإخراج التوليدية من نماذج من هذا النوع أكثر احتمالًا لتقليدها العينات من بيانات التدريب الخاصة بها أكثر من إظهار فهم كامل للقيود الفيزيائية الكامنة التي تعمل في العالم الحقيقي.

ينصPaper على ما يلي:

‘يمكن أن يتحيز هذه النماذج بسهولة بواسطة “النماذج الخادعة” من مجموعة التدريب ، مما يؤدي إلى تعميمها بطريقة “قائمة على الحالة” في ظروف معينة. يصف هذا الظاهرة ، وهو أيضًا ملاحظ في نماذج اللغة الكبيرة ، نمط نموذج للاستشهاد بحالات التدريب المماثلة عند حل مهام جديدة.

‘على سبيل المثال ، افترض نموذج فيديو تم تدريبه على بيانات كرة عالية السرعة تتحرك في حركة خطية منتظمة. إذا تم إجراء تعزيز البيانات عن طريق قلب الفيديوهات أفقيًا ، مما يؤدي إلى إدخال حركة عكسية ، قد يولد النموذج سيناريو حيث ي đảo الكرة الاتجاه بعد الإطارات الأولية ، على الرغم من أن هذا السلوك ليس صحيحًا физيًا.’

سنتناول الورقة – التي تحمل عنوان تقييم نماذج العالم مع LLM لاتخاذ القرارات – قريبًا. ولكن أولاً ، دعونا نلقي نظرة على الخلفية لهذه القيود الواضحة.

تذكر الأشياء الماضية

بدون تعميم ، نموذج الذكاء الاصطناعي المُدرَّب هو أكثر من مجرد جدول بيانات مكلف للإشارات إلى أقسام من بيانات التدريب: ابحث عن مصطلح البحث المناسب ، ويمكنك استدعاء مثيل من تلك البيانات.

في هذا السيناريو ، يتصرف النموذج بشكل فعال كـ “محرك بحث عصبي” ، منذ أن لا يستطيع إنتاج تفسيرات مجردة أو “إبداعية” للخرج المطلوب ، بل يكرر بدلاً من ذلك بعض التغييرات الطفيفة على البيانات التي شاهدها خلال عملية التدريب.

هذا ما يُعرف باسم التذكر – مشكلة مثيرة للجدل تنشأ لأن نماذج الذكاء الاصطناعي المتحركة والمتفسرة تفتقر إلى التفاصيل ، بينما تفتقر النماذج المتفصلة إلى الأصالة والمرونة.

سعة نماذج التذكر لإعادة إنتاج بيانات التدريب هي عقبة محتملة قانونية ، في الحالات التي لم يكن فيها لمصنعي النموذج حقوق غير مقيدة لاستخدام تلك البيانات ؛ حيث يمكن إثبات الفوائد من تلك البيانات من خلال عدد متزايد من طرق الاستخراج.

بسبب التذكر ، يمكن أن تظل أثر البيانات غير المصرح بها ، متسلسلة ، من خلال أنظمة التدريب المتعددة ، مثل العلامة التجارية غير المقصودة وغير المقصودة – حتى في المشاريع التي يتأكد فيها ممارسو التعلم الآلي من استخدام “بيانات آمنة”.

نماذج العالم

然而 ، القضية الرئيسية لاستخدام التذكر هي أنها تميل إلى نقل وهم الذكاء ، أو يشير إلى أن نموذج الذكاء الاصطناعي قد عمم القوانين أو المجالات الأساسية ، في حين أنه في الواقع هو حجم البيانات المُتذكَر التي توفر هذا الوهم (أي أن النموذج لديه العديد من الأمثلة على البيانات للاختيار من بينها ، لذلك من الصعب على الإنسان أن يحدد ما إذا كان يكرر المحتوى المُتعلم أو ما إذا كان لديه فهم مجرد حقًا للمفاهيم المشاركة في التوليد).

تتمثل هذه القضية في نماذج العالم – فكرة أنظمة الذكاء الاصطناعي المتنوعة والمكلفة التي تدمج العديد من القوانين المعروفة ، وغنية بالاستكشاف.

تعد نماذج العالم ذات أهمية خاصة في مجال الصور والفيديو التوليدي. في عام 2023 ، بدأت RunwayML مبادرة بحثية لتطوير ودراسة جدوى هذه النماذج ؛ مؤخرًا ، قام DeepMind بتوظيف واحد من مؤسسي نموذج Sora التوليدي للفيديو ليعمل على نموذج من هذا القبيل ؛ والشركات الناشئة مثل Higgsfield تستثمر بكثافة في نماذج العالم لتحليل الصور والفيديو.

المجموعات الصعبة

واحدة من الوعد التطورات الجديدة في أنظمة الذكاء الاصطناعي التوليدية للفيديو هي احتمال أن تتعلم القوانين الفيزيائية الأساسية ، مثل الحركة والحركة الكينيماتيكية البشرية (مثل خصائص المشي) ، والديناميكا الهوائية ، وغيرها من الظواهر الفيزيائية المعروفة التي هي ، على الأقل ، مألوفة بصريًا للبشر.

إذا كان بإمكان الذكاء الاصطناعي التوليدي تحقيق هذا الحجر الزاوي ، فقد يصبح قادرًا على إنتاج تأثيرات بصرية حقيقية جدًا تظهر الانفجارات والفيضانات والأحداث التصادمية المثيرة للدهشة عبر أنواع متعددة من الكائنات.

من ناحية أخرى ، إذا كان نظام الذكاء الاصطناعي قد تم تدريبه فقط على آلاف (أو مئات الآلاف) من مقاطع الفيديو التي تصور هذه الأحداث ، فقد يكون قادرًا على إعادة إنتاج بيانات التدريب بثقة عندما تم تدريبه على نقطة بيانات مماثلة لاستعلام المستخدم ؛ ومع ذلك ، قد يفشل إذا كان الاستعلام يجمع بين العديد من المفاهيم التي ليست ممثلة في البيانات.

علاوة على ذلك ، لن تكون هذه القيود واضحة على الفور ، حتى تدفع النظام بالتحديات.

هذا يعني أن نظامًا توليديًا جديدًا قد يكون قادرًا على توليد محتوى فيديو فيروسي يبدو مثيرًا للإعجاب ، ولكنه يخلق انطباعًا خاطئًا عن قدرات النظام وعمق فهمه ، لأن المهمة التي يمثلها ليس تحديًا حقيقيًا للنظام.

على سبيل المثال ، قد يكون حدثًا شائعًا ومتنوعًا ، مثل هدم مبنى ، موجودًا في عدة مقاطع فيديو في مجموعة بيانات تستخدم لتدريب نموذج يُفترض أن يكون له بعض الفهم للفيزياء. لذلك ، قد يكون النموذج قادرًا على تعميم هذا المفهوم جيدًا ، وربما ينتج حتى خرجًا جديدًا حقًا داخل المعلمات المكتسبة من مقاطع الفيديو الغنية.

هذا هو مثال داخل التوزيع ، حيث تحتوي مجموعة البيانات على العديد من الأمثلة المفيدة للنظام لتعلم منها.

ومع ذلك ، إذا كنت تطلب مثالًا أكثر غرابة أو غامضًا ، مثل تدمير برج إيفل بواسطة غزاة فضائيين ، فإن النموذج سيُطلب منه دمج مجالات متعددة مثل “الخصائص المعدنية” و “خصائص الانفجارات” و “الجاذبية” و “مقاومة الرياح” و “مركبة فضائية غريبة”.

هذا هو مثال خارج التوزيع (OOD) ، الذي يجمع بين المفاهيم المتشابكة بحيث يفشل النظام في توليد مثال مقنع ، أو يلجأ إلى أقرب مثال دلالي تم تدريبه عليه – حتى لو أن هذا المثال لا يمتثل لاستعلام المستخدم.

ماعدا أن مجموعة بيانات المصدر تحتوي على تأثيرات بصرية CGI من هوليوود التي تصور نفس الحدث أو حدثًا مشابهًا ، فإن مثل هذا التمثيل سيحتاج بالتأكيد إلى أن يتحقق من فهم عام وقابل للتوسيع للقوانين الفيزيائية.

القيود الفيزيائية

تُشير الورقة الجديدة – وهي تعاون بين Bytedance و جامعة تسينغهوا و Technion – إلى أن نماذج مثل Sora لا تفهم حقًا القوانين الفيزيائية بشكل داخلي ، وأن زيادة حجم البيانات (النهج الشائع خلال الأشهر الثمانية عشر الماضية) يبدو أنه لا يحسن هذه القضية.

تستكشف الورقة ليس فقط حدود الاستدلال من القوانين الفيزيائية المحددة – مثل سلوك الكائنات في الحركة عند اصطدامها أو حجب مسارها – ولكن أيضًا قدرة النموذج على تعميم تركيبي – الحالات التي يتم فيها دمج تمثيلات مبدأين فيزيائيين مختلفين في خرج توليدي واحد.

لقد استخدم الباحثون مُكَوِّنَ تَخْزيني مُتَغَيِّر (VAE) و DiT لإنشاء عينات فيديو. في هذا الإعداد ، تعمل التمثيلات المضغوطة الملتوية التي ينتجها VAE جنبًا إلى جنب مع DiT’s نمذجة إزالة الضوضاء.

تم تدريب الفيديوهات على Stable Diffusion V1.5-VAE. تم ترك الخطة بشكل أساسي دون تغيير ، مع تحسينات معمارية فقط في نهاية العملية:

‘[نحافظ] على معظم التمثيلات الأصلية 2D ، وتطبيقات التطبيع المجموعة ، وآليات الانتباه على الأبعاد المكانية. ‘

‘لتحويل هذه الهيئة إلى مُكَوِّن تَخْزيني مُتَغَيِّر مكاني-زمني ، قمنا بتحويل الكتلة الأخيرة من الكتل 2D لتحويل لأسفل في المُكَوِّن و الكتل 2D لتحويل لأعلى في المُكَوِّن إلى 3D ، واستخدام طبقات 1D متعددة لتعزيز التمثيل الزمني.’

لتمكين نمذجة الفيديو ، تم تدريب VAE المعدل بشكل مشترك مع بيانات الصور HQ وبيانات الفيديو ، مع تعزيز مكون الشبكة العصبية التوليدية 2D الأصلي في هيكل SD1.5 ليكون 3D.

تم استخدام مجموعة بيانات الصور الأصلية Stable Diffusion ، LAION-Aesthetics ، مع تصفية إضافية ، بالإضافة إلى DataComp. بالنسبة لبيانات الفيديو ، تم تجميع جزء فرعي من Vimeo-90K و Panda-70m و HDVG.

تم تدريب البيانات لمدة مليون خطوة ، مع تطبيق تصفية الصور العشوائية وقلب أفقي عشوائي كعمليات تعزيز البيانات.

القلب

كما ذكرنا أعلاه ، يمكن أن يكون عملية تعزيز البيانات العشوائية القلب الأفقي عيبًا في تدريب نظام مصمم لإنتاج حركة حقيقية. هذا لأن خرج النموذج المُدرَّب قد يأخذ في الاعتبار كلا اتجاه الكائن ، ويمكن أن يسبب انعكاسات عشوائية أثناء محاولته التفاوض على هذه البيانات المتناقضة (انظر الفيديو المضمن أعلاه).

من ناحية أخرى ، إذا قمت بإيقاف القلب الأفقي إيقاف ، فإن النموذج أكثر احتمالًا لإنتاج خرج يمتثل لإتجاه واحد فقط تم تعلمه من بيانات التدريب.

لذلك ، لا توجد حل سهل للمشكلة ، باستثناء أن النظام يدمج حقًا جميع إمكانيات الحركة من الإصدار الأصلي والإصدار المقلوب – وهي ميزة يطورها الأطفال بسهولة ، ولكنها تحد أكثر وضوحًا ، على ما يبدو ، لنماذج الذكاء الاصطناعي.

الاختبارات

للمجموعة الأولى من التجارب ، صمم الباحثون محاكيًا ثنائيًا الأبعاد لإنشاء مقاطع فيديو لحركة الكائنات والتصادمات التي تتوافق مع قوانين الميكانيكا الكلاسيكية ، والتي قدمت مجموعة بيانات كبيرة ومراقبة خالية من الغموض في مقاطع الفيديو الحقيقية ، لتقييم النماذج. تم استخدام محرك ألعاب الفيزياء Box2D لإنشاء هذه المقاطع.

كان السيناريوهات الثلاثة الأساسية المذكورة أعلاه هي محور الاختبارات: الحركة الخطية المنتظمة والتصادم المرن المثالي والحركة البارابولية.

تم استخدام مجموعات بيانات بحجم متزايد (من 30,000 إلى ثلاثة ملايين فيديو) لتدريب نماذج بحجم ومجمعات مختلفة (DiT-S إلى DiT-L) ، مع استخدام الإطارات الثلاثة الأولى من كل فيديو للتعطية.

وجد الباحثون أن نتائج التوزيع الداخلي (ID) تتماشى جيدًا مع زيادة كمية البيانات ، بينما لم تتحسن توليدات OOD ، مما يشير إلى عيوب في التعميم.

يشير المؤلفون إلى ما يلي:

‘تُظهر هذه النتائج عدم khảية التوسع في أداء التفكير في السيناريوهات OOD.’

بعد ذلك ، قام الباحثون باختبار وتدريب أنظمة مصممة لتبدي مهارة في التعميم التركيبي – حيث يتم دمج تمثيلات مبدأين فيزيائيين مختلفين في خرج توليدي واحد.

لمرحلة هذه الاختبارات ، استخدم المؤلفون محاكي PHYRE ، وإنشاء بيئة ثنائية الأبعاد تُظهر كائنات متعددة ومختلفة الشكل في سقوط حر ، والتصادم مع بعضها البعض في تفاعلات معقدة متنوعة.

كانت معايير التقييم لهذه الاختبار الثانية مسافة الفيديو Fréchet (FVD) ؛ مؤشر التشابه الهيكلي (SSIM) ؛ نسبة الإشارة إلى الضوضاء القصوى (PSNR) ؛ مetrics التمييز المكتسب (LPIPS) ؛ ودراسة بشرية (مشار إليها باسم “غير طبيعي” في النتائج).

تم إنشاء ثلاث مجموعات بيانات للتدريب بحجم 100,000 فيديو و 0.6 مليون فيديو و 3-6 ملايين فيديو. تم استخدام نماذج DiT-B و DiT-XL بسبب زيادة تعقيد الفيديوهات ، مع استخدام الإطار الأول للتعطية.

تم تدريب النماذج لمدة مليون خطوة بدقة 256×256 ، مع 32 إطارًا لكل فيديو.

يشير نتيجة هذا الاختبار إلى أن زيادة حجم البيانات وحدها ليست نهجًا كافيًا:

ينصPaper على ما يلي:

‘تُظهر هذه النتائج أن كلا سعة النموذج وغطاء مساحة التركيب حاسمان في التعميم التركيبي. هذا الاكتشاف يفترض أن قوانين التوسع للتحليل التوليدي للفيديو يجب أن تركز على زيادة تنوع التركيب بدلاً من مجرد زيادة حجم البيانات.’

أخيرًا ، قام الباحثون بإجراء مزيد من الاختبارات لمحاولة تحديد ما إذا كان نموذج توليد الفيديو يمكنه حقًا امتصاص القوانين الفيزيائية ، أو ما إذا كان يكرر ببساطة بيانات التدريب في وقت الاستدلال.

هنا ، قاموا بفحص مفهوم “التعميم القائم على الحالة” ، حيث يكرر النماذج أمثلة التدريب عند مواجهة مواقف جديدة ، بالإضافة إلى دراسة أمثلة الحركة المنتظمة – على وجه الخصوص ، كيف يؤثر اتجاه الحركة في بيانات التدريب على تنبؤات النموذج المُدرَّب.

تم تجميع مجموعتين من بيانات التدريب ، واحدة ل الحركة المنتظمة وواحدة ل التصادم ، كل منهما يتكون من فيديوهات حركة منتظمة تظهر سرعات بين 2.5 و 4 وحدات ، مع استخدام الإطارات الثلاثة الأولى كتعطية. تم حذف القيم المضمرة مثل السرعة ، وتم إجراء الاختبار بعد التدريب على السيناريوهات المرئية والغير مرئية.

فيما يلي نتائج اختبار توليد الحركة المنتظمة:

ينص المؤلفون على ما يلي:

‘مع فجوة كبيرة في مجموعة التدريب ، ي傾向 النموذج إلى توليد فيديوهات حيث تكون السرعة عالية أو منخفضة لتشبه بيانات التدريب عندما تظهر الإطارات الأولية سرعات في النطاق المتوسط.’

للاختبارات التصادمية ، هناك متغيرات أكثر مشاركة ، ويتعين على النموذج تعلم دالة غير خطية ثنائية الأبعاد.

يشير المؤلفون إلى أن وجود “أمثلة خادعة” ، مثل الحركة العكسية (أي كرة ترتد عن سطح وتغير اتجاهها) ، يمكن أن يضلل النموذج ويجعله يولد تنبؤات غير صحيحة физيائيًا.

الخلاصة

إذا كان خوارزمية غير ذكاء اصطناعي (أي “مُحسَّن” ، طريقة إجرائية) تحتوي على قواعد رياضية لسلوك الظواهر الفيزيائية مثل السوائل أو الكائنات تحت الجاذبية أو تحت الضغط ، فهناك مجموعة من الثوابت غير المتغيرة المتاحة لتحقيق التمثيل الدقيق.

然而 ، تشير نتائج الورقة الجديدة إلى أن لا علاقة مكافئة أو فهم داخلي للقوانين الفيزيائية الكلاسيكية يُطوَّر خلال تدريب نماذج التوليد ، وأن زيادة كمية البيانات لا تحل المشكلة ، بل تخفيها – لأن هناك المزيد من مقاطع الفيديو المتاحة للنظام لمحاكاتها في وقت الاستدلال.