زاوية Anderson

استخدام الذكاء الاصطناعي لتلخيص مقاطع الفيديو التعليمية الطويلة

Martin Anderson
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةيستخدم IV-Sum الملخصات المنظمة من WikiHow كحقيقة أساسية لتدريب تلخيص الفيديو دون وضع…
عرض المزيد
  • يستخدم IV-Sum الملخصات المنظمة من WikiHow كحقيقة أساسية لتدريب تلخيص الفيديو دون وضع علامات يدوية.
  • يتجاهل النظام المحتوى الترويجي والمقاطع غير الأساسية لإنتاج ملخصات بجزء صغير من زمن التشغيل الأصلي.
  • تساعد الأهمية البينية بين الكلام والمرئيات IV-Sum في تحديد الخطوات الحاسمة عبر فيديوهات تعليمية متعددة.

إذا كنت من الذين يزيدون من سرعة مقطع فيديو تعليمي على يوتيوب من أجل الحصول على المعلومات التي تريدها؛ أو تقرأ نص مقطع الفيديو لاستخراج المعلومات الأساسية المخفية في أوقات التشغيل الطويلة والمليئة بالإعلانات؛ أو تنتظر أن يقوم WikiHow بإنشاء نسخة أقل إستهلاكاً للوقت من المعلومات في مقطع الفيديو التعليمي؛ عندئذ قد يكون مشروع جديد من جامعة كاليفورنيا بيركلي، وغوغل ريسيرتش، وجامعة براون من المثير لاهتمامك.

مصطلح TL;DW؟ تلخيص مقاطع الفيديو التعليمية مع صلة المهام والوضوح عبر الوسائط، تقدم الورقة الجديدة تفاصيل إنشاء نظام تلخيص مقاطع الفيديو بمساعدة الذكاء الاصطناعي يمكنه تحديد الخطوات المهمة من مقطع الفيديو وإلغاء كل ما يهمله، مما يؤدي إلى تلخيصات قصيرة تصل سريعا إلى النقطة.

استغلال ويكي هاو لمقاطع الفيديو الطويلة الحالية من أجل الحصول على نص ومعلومات فيديو يستخدمه مشروع IV-Sum لإنشاء ملخصات اصطناعية توفر البيانات المرجعية لتدريب النظام. مصدر: https://arxiv.org/pdf/2208.06773.pdf

استغلال ويكي هاو لمقاطع الفيديو الطويلة الحالية من أجل الحصول على نص ومعلومات فيديو يستخدمه مشروع IV-Sum لإنشاء ملخصات اصطناعية توفر البيانات المرجعية لتدريب النظام. مصدر: https://arxiv.org/pdf/2208.06773.pdf

التلخيصات الناتجة لها جزء صغير من وقت تشغيل مقطع الفيديو الأصلي، كما يتم تسجيل المعلومات متعددة الوسائط (أي النصية) أثناء العملية بحيث يمكن أن تتمكن الأنظمة المستقبلية من تلقاء نفسها من إنشاء منشورات على ويكي هاو التي يمكنها تلقاء نفسها تحليل مقطع فيديو تعليمي طويل إلى مقال قصير ومبحوث، كامل مع الصور، مما قد يوفر الوقت والضيق.

النظام الجديد يسمى IV-Sum (ملخص مقاطع الفيديو التعليمية)، ويستخدم خوارزمية التعرف على الرؤية الحاسوبية مفتوحة المصدر ResNet-50، من بين تقنيات أخرى، لتحديد الإطارات والقطاعات المهمة من مقطع فيديو طويل.

سير العمل التصوري لنظام IV-Sum.

سير العمل التصوري لنظام IV-Sum.

يتدرب النظام على ملخصات اصطناعية تم إنشاؤها من هيكل المحتوى لموقع ويكي هاو، حيث غالباً ما يستخدم الأشخاص مقاطع فيديو تعليمية شائعة لإنشاء شكل متعدد الوسائط مسطح، غالباً ما يستخدم مقاطع قصيرة وصور GIF متحركة من مقاطع الفيديو التعليمية الأصلية.

في مناقشة مشروع استخدام تلخيصات ويكي هاو كبيانات مرجعية للنظام، يقول المؤلفون:

‘تتكون كل مقال على موقع WikiHow Videos من مقطع فيديو تعليمي رئيسي يُظهر مهمة غالباً ما تشمل محتوى ترويجي، ومقاطع من المعلم يتحدث إلى الكاميرا بدون معلومات بصرية للمهمة، وخطوات لا تعتبر ضرورية لأداء المهمة. ‘

‘المشاهدون الذين يريدون نظرة عامة على المهمة يفضلون مقطع فيديو أقصر بدون كل المعلومات غير ذات الصلة. تحتوي مقالات ويكي هاو (على سبيل المثال، انظر كيفية صنع أرز السوشي) على ذلك بالضبط: نص يحتوي على جميع الخطوات المهمة في المقطع مع صور توضح الخطوات المختلفة في المهمة.’

البيانات الناتجة من عملية جمع البيانات من الويب هذه تسمى WikiHow Summaries. يتكون قاعدة البيانات من 2106 مقطع فيديو إدخال وملخصاتها. هذا هو حجم قاعدة بيانات أكبر مما هو متاح عادة لمشاريع تلخيص مقاطع الفيديو، والتي عادة ما تتطلب إسناد تسميات وإضافة شروح يدويًا بتكلفة مرتفعة وعمل كثيف – عملية جرت أتمتتها إلى حد كبير في العمل الجديد، بفضل نطاق تلخيص مقاطع الفيديو التعليمية (بدلاً من مقاطع الفيديو العامة).

يستخدم IV-Sum تمثيلات زمنية لشبكات عصبية التفافية ثلاثية الأبعاد، بدلاً من تمثيلات الإطار التي تتميز بالأعمال المماثلة السابقة، ودراسة إزالة المكونات المذكورة في الورقة تؤكد أن جميع مكونات هذا النهج ضرورية لوظيفة النظام.

تم اختبار IV-Sum بشكل إيجابي ضد إطارات قابلة للمقارنة، بما في ذلك CLIP-It (التي عمل بعض مؤلفي الورقة عليها).

يحصل IV-Sum على نتائج جيدة ضد الطرق المماثلة، ربما بسبب نطاق التطبيق المقيد أكثر، بالمقارنة مع معظم مبادرات تلخيص مقاطع الفيديو. تفاصيل المعايير وطرق التقييم أدناه في هذه المقالة.

يحصل IV-Sum على نتائج جيدة ضد الطرق المماثلة، ربما بسبب نطاق التطبيق المقيد أكثر، بالمقارنة مع معظم مبادرات تلخيص مقاطع الفيديو. تفاصيل المعايير وطرق التقييم أدناه في هذه المقالة.

الطريقة

المرحلة الأولى في عملية التلخيص تتضمن استخدام خوارزمية منخفضة الجهد ومدربة ضعيفاً لإنشاء ملخصات اصطناعية و درجات أهمية إطارية لمجموعة كبيرة من مقاطع الفيديو التعليمية المجموعة من الويب، مع وجود علامة مهمة واحدة فقط في كل مقطع.

بعد ذلك تُدرب شبكة لتلخيص الفيديوهات التعليمية على هذه البيانات. تتلقى الشبكة الكلام المنسوخ آليًا، مثل ترجمات يوتيوب التي ينشئها الذكاء الاصطناعي، والفيديو الأصلي كمدخلين. وتتكون من مُشفّر فيديو ونموذج ترانسفورمر لتقييم المقاطع (SST)، ويسترشد التدريب بدرجات الأهمية المخصصة في الملخصات الاصطناعية. يتم إنشاء الملخص النهائي عن طريق دمج القطاعات التي حققت درجة أهمية عالية.

من الورقة:

‘الفكرة الرئيسية وراء خط معالجة البيانات لدينا لإنشاء ملخص اصطناعي هي أنه إذا كان لدينا العديد من مقاطع الفيديو لمهمة، فإن الخطوات التي تعتبر حاسمة للمهمة من المحتمل أن تظهر عبر مقاطع فيديو متعددة (صلة المهمة). ‘

‘إضافة إلى ذلك، إذا كانت الخطوة مهمة، فمن النمط الشائع للمعلم التحدث عن هذه الخطوة قبل أو أثناء أو بعد أدائها. لذلك، فإن النص الفرعي لمقطع الفيديو الذي تم الحصول عليه باستخدام التعرف على الكلام التلقائي (ASR) سيشير على الأرجح إلى هذه الخطوات الرئيسية (وضوح عبر الوسائط).’

لإنشاء الملخص الاصطناعي، يتم تقسيم مقطع الفيديو أولاً إلى قطاعات بشكل موحد، وتم تجميع القطاعات بناءً على التشابه البصري في 'خطوات' (ألوان مختلفة في الصورة أعلاه). يتم بعد ذلك تعيين درجات أهمية للخطوات بناءً على 'صلة المهمة' و 'وضوح عبر الوسائط' (أي العلاقة بين نص ASR والصور). يتم اختيار الخطوات ذات الدرجات العالية لتمثيل مراحل في الملخص الاصطناعي.

لإنشاء الملخص الاصطناعي، يتم تقسيم مقطع الفيديو أولاً إلى قطاعات بشكل موحد، وتم تجميع القطاعات بناءً على التشابه البصري في ‘خطوات’ (ألوان مختلفة في الصورة أعلاه). يتم بعد ذلك تعيين درجات أهمية للخطوات بناءً على ‘صلة المهمة’ و ‘وضوح عبر الوسائط’ (أي العلاقة بين نص ASR والصور). يتم اختيار الخطوات ذات الدرجات العالية لتمثيل مراحل في الملخص الاصطناعي.

يستخدم النظام وضوح عبر الوسائط لمساعدة في تحديد صلة كل خطوة، من خلال مقارنة الكلام المفسر مع الصور والافعال في مقطع الفيديو. يتم ذلك من خلال استخدام نموذج فيديو-نص مسبق التدريب حيث يتم تدريب كل عنصر بشكل مشترك تحت خسارة MIL-NCE، باستخدام مُشفر فيديو ثلاثي الأبعاد تم تطويره من قبل ديب مايند وغيرهم.

يتم الحصول على درجة أهمية عامة من متوسط هذه مراحل صلة المهمة وتحليل عبر الوسائط.

البيانات

تم إنشاء مجموعة بيانات ملخصات اصطناعية أولية لهذه العملية، تتكون من معظم محتويات مجموعتي بيانات سابقة – COIN، وهي مجموعة تحتوي على 11000 مقطع فيديو تتعلق ب 180 مهمة؛ و Cross-Task، التي تحتوي على 4700 مقطع فيديو تعليمي، منهم 3675 استخدموا في البحث. تحتوي Cross-Task على 83 مهمة مختلفة.

أعلى، أمثلة من COIN؛ أسفل، من Cross-Task. مصادر، على التوالي: https://arxiv.org/pdf/1903.02874.pdf و https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

أعلى، أمثلة من COIN؛ أسفل، من Cross-Task. مصادر، على التوالي: https://arxiv.org/pdf/1903.02874.pdf و https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

باستخدام مقاطع الفيديو التي ظهرت في كلا المجموعتين فقط مرة واحدة، تمكن الباحثون من الحصول على 12160 مقطع فيديو تغطي 263 مهمة مختلفة، و 628.53 ساعة من المحتوى لمجموعتهم البيانية.

لملء مجموعة بيانات ويكي هاو، وتوفير البيانات المرجعية للنظام، قام المؤلفون بفحص مقاطع الفيديو التعليمية الطويلة على ويكي هاو، مع الصور ومقاطع الفيديو (أي GIFs) المرتبطة بكل خطوة. وبالتالي، كان من المفترض أن يخدم هيكل المحتوى المشتق من ويكي هاو كقالب لتحديد الخطوات في النظام الجديد.

تم استخدام الميزات المستخرجة بواسطة ResNet50 لمطابقة القطاعات المختارة من مقطع الفيديو في صور ويكي هاو، وأداء تحديد موقع الخطوات. تم استخدام الصورة الأكثر تشابهاً داخل نافذة فيديو مدتها 5 ثواني كنقطة مرجعية.

تم بعد ذلك لصق هذه المقاطع القصيرة معاً لتشكيل مقاطع فيديو ستكون البيانات المرجعية لتدريب النموذج.

تم تعيين علامات لكل إطار في مقطع الفيديو الإدخال، للإعلان عن ما إذا كانت تنتمي إلى الملخص الإدخال أو لا، مع كل مقطع فيديو تلقى من الباحثين علامة ثنائية على مستوى الإطار، ودرجة ملخص متوسطة تم الحصول عليها من درجات الأهمية لجميع الإطارات في القطاع.

في هذه المرحلة، أصبحت ‘الخطوات’ في كل مقطع فيديو تعليمي الآن مرتبطة بالبيانات النصية، ومُسمّاة.

التدريب والاختبارات والمقاييس

تم تقسيم مجموعة بيانات ويكي هاو النهائية إلى 1339 مقطع فيديو اختبار و 768 مقطع فيديو للتحقق – زيادة ملحوظة في حجم مجموعة البيانات غير الخام المخصصة لتحليل مقاطع الفيديو.

تم تدريب معالج الفيديو والنص في الشبكة الجديدة بشكل مشترك على شبكة S3D مع أوزان محملة من نموذج HowTo100M المسبق التدريب تحت خسارة MIL-NCE.

تم تدريب النموذج بمُحسّن Adam بمعدل تعلم 0.01 وبحجم دفعة 24، مع ربط البيانات الموازية ينتشر التدريب عبر ثمانية معالجات رسومات NVIDIA RTX 2080، لمجموع 24GB من VRAM الموزعة.

تم بعد ذلك مقارنة IV-Sum مع سيناريوهات مختلفة ل CLIP-It وفقاً لدراسات سابقة مثل هذه الأعمال، بما في ذلك دراسة على CLIP-It. المقاييس المستخدمة كانت قيم الدقة والاسترجاع و F-Score، عبر ثلاثة أسس غير خاضعة للإشراف (انظر الورقة للتفاصيل).

تظهر النتائج في الصورة السابقة، ولكن الباحثون يلاحظون أيضاً أن CLIP-It يفقد عدداً من الخطوات الممكنة في مراحل مختلفة من الاختبارات التي لا يفعلها IV-Sum. ويعزون ذلك إلى أن CLIP-It تم تدريبه وتطويره باستخدام مجموعات بيانات أصغر بكثير من قاعدة ويكي هاو الجديدة.

الآثار

القيمة الطويلة الأمد لهذا النوع من البحث (الذي يشاركه IV-Sum مع تحدي تحليل مقاطع الفيديو الأوسع) يمكن أن يكون جعل مقاطع الفيديو التعليمية أكثر إمكانية للفهرسة بواسطة محركات البحث التقليدية، وتمكين نوع المقاطع القصيرة مقتطفات في نتائج البحث لمقاطع الفيديو التي غالباً ما يستخرجها جوجل من مقال طويل.

من الواضح أن تطوير أي عملية مدعومة بالذكاء الاصطناعي تقلل من التزامنا بالانتباه الخطي والحصري لمحتوى مقاطع الفيديو يمكن أن يكون له عواقب على جاذبية الوسيط لجيل من المسوقين الذين ربما شعروا أن غموض محتوى مقاطع الفيديو كانت الطريقة الوحيدة التي يمكنهم من خلالها إشراكنا حصرياً.

مع صعوبة تحديد موقع ‘المحتوى القيم’، حظيت مقاطع الفيديو التي ينشرها المستخدمون بتسامح واسع، وإن كان على مضض، من مستهلكي الوسائط فيما يتعلق بمواقع الإعلانات، ومواقع الرعاية، والتعظيم الذاتي الذي غالباً ما يتم دمج قيمة مقطع الفيديو فيه. مشاريع مثل IV-Sum تفتح الأمل في تحديد الأجزاء المختلفة من الفيديو بدقة وفصلها عما يراه كثيرون عبئًا زائدًا: الإعلانات المدمجة في المحتوى والاستطرادات المرتجلة التي لا تتصل بالموضوع.

 

نشر لأول مرة في 16 أغسطس 2022. تم تحديثه في الساعة 2:52 مساءً في 16 أغسطس، تم إزالة الجملة المكررة.

كاتب في مجال تعلم الآلة، متخصص في توليد صور البشر. كان رئيسًا سابقًا لمحتوى البحث في Metaphysic.ai، حتى دمجه في Brahma.ai التابعة لـ DNEG.
الموقع الإلكتروني: martinanderson.ai
للتواصل: martin@martinanderson.ai