codec فيديو مصمم للتحليل الاصطناعي

على الرغم من أن فيلم الخيال العلمي The Circle (2017) هو تعليق أكثر على الآثار الأخلاقية للشبكات الاجتماعية منها على تفاصيل التحليلات الخارجية للفيديو، فإن الكاميرا الصغيرة “SeeChange” في مركز المؤامرة هي ما يدفع الفيلم حقًا إلى فئة الخيال العلمي.

جهاز الكاميرا / المراقبة ‘SeeChange’ من فيلم ‘The Circle’ (2017).

جهاز لاسلكي ومتجول بحجم كبير مثل الكرة، ليس عدم وجود ألواح شمسية أو عدم كفاءة سحب الطاقة من مصادر أخرى (مثل الأمواج الراديوية) هو ما يجعل SeeChange غير محتمل، ولكن حقيقة أن عليه ضغط الفيديو 24/7، على أي شحنة بخلة يمكنه الحفاظ عليها.

تشغيل أجهزة الاستشعار الرخيصة من هذا النوع هو مجال رئيسي للبحث في رؤية الكمبيوتر (CV) وتحليل الفيديو، خاصة في البيئات غير الحضرية حيث يجب على الاستشعار استخراج الأداء الأقصى من موارد الطاقة المحدودة (البطاريات، الطاقة الشمسية، إلخ.).

في الحالات التي يجب فيها على جهاز مثل هذا من نوع IoT / CV الحوافي إرسال محتوى الصورة إلى خادم مركزي (غالبًا عبر شبكات التغطية الخلوية التقليدية)، فإن الخيارات صعبة: إما أن ي chạy جهاز بعض الشبكات العصبية الخفيفة محليًا من أجل إرسال فقط مقاطع البيانات المُحسّنة ذات الصلة للخادم لتحليلها؛ أو أنه يجب إرسال فيديو “غبي” للموارد السحابية الموصولة لتقييمها.

على الرغم من أن التنشيط عبر الحركة من خلال أجهزة الرؤية الذكية القائمة على الأحداث (SVS) يمكن أن يقلل من هذا العبء، فإن هذا التنشيط أيضًا يكلف الطاقة.

التمسك بالسلطة

علاوة على ذلك، حتى مع التنشيط غير المتكرر (أي أن الأغنام تتجول أحيانًا إلى المشهد)، الجهاز لا يملك طاقة كافية لإرسال غيغابايت من الفيديو غير المضغوط؛ ولا يملك طاقة كافية لتشغيل الشفرات الشهيرة للفيديو مثل H.264 / 5، والتي تتوقع الأجهزة الموصولة أو غير بعيدة من الجلسة التالية للشحن.

خطوط أنابيب تحليل الفيديو لثلاث مهام حاسوبية شائعة. يجب تدريب هندسة ترميز الفيديو على المهمة المحددة، وعادةً للشبكة العصبية التي ستستقبل البيانات. مصدر: https://arxiv.org/pdf/2204.12534.pdf

على الرغم من أن الشفرة H.264 المنتشرة على نطاق واسع لها استهلاك طاقة أقل من خليفتها H.265، إلا أنها تتمتع ب كفاءة ضغط رديئة. خليفتها، H.265، تتمتع بكفاءة ضغط أفضل، ولكن استهلاك طاقة أعلى. في حين أن شفرة VP9 المفتوحة المصدر من جوجل تتفوق على كليهما في كل منطقة، إلا أنها تتطلب موارد حوسبة محلية أعلى، مما يعرض مشاكل إضافية إضافية في جهاز استشعار IoT رخيص.

فيما يتعلق بتحليل الدفق محليًا: بحلول الوقت الذي تقوم فيه بتشغيل حتى الشبكة العصبية المحلية الخفيفة من أجل تحديد الإطارات (أو مناطق الإطار) التي تستحق إرسالها إلى الخادم، غالبًا ما تكون قد أنفقت الطاقة التي كنت ستحفظها من خلال إرسال جميع الإطارات.

استخراج تمثيلات مقنعة للماشية بمستشعر غير متصل بالشبكة. هل ينفق قدرته المحدودة على التجزئة الدلالية المحلية مع شبكة عصبية خفيفة؛ من خلال إرسال معلومات محدودة إلى الخادم من أجل تعليمات إضافية (مما يؤدي إلى التأخير)؛ أو من خلال إرسال بيانات ‘غبية’ (مما يهدر الطاقة على النطاق الترددي)؟ مصدر: https://arxiv.org/pdf/1807.01972.pdf

من الواضح أن مشاريع رؤية الكمبيوتر “في البرية” تحتاج إلى شفرات ضغط فيديو مخصصة تحسنت لاحتياجات الشبكات العصبية المحددة عبر مهام محددة ومتنوعة مثل التجزئة الدلالية، وكشف النقاط الرئيسية (تحليل حركة الإنسان) والكشف عن الكائنات، من بين الاستخدامات النهائية الأخرى الممكنة.

إذا كنت تستطيع الحصول على التوازن المثالي بين كفاءة ضغط الفيديو وانتقال البيانات الأدنى، فأنت خطوة أقرب إلى SeeChange، والقدرة على نشر شبكات استشعار بأسعار معقولة في بيئات غير友ية.

AccMPEG

قد تكون الأبحاث الجديدة من جامعة شيكاغو قد قامت بخطوة أقرب إلى مثل هذا الشفرة، في شكل AccMPEG – إطار جديد لترميز الفيديو والبث يعمل عند تأخير منخفض، ودقة عالية للشبكات العصبية السحابية العميقة (DNNs)، والتي تتمتع بتطلبات حوسبة محلية منخفضة بشكل ملحوظ.

هندسة AccMPEG. مصدر: https://arxiv.org/pdf/2204.12534.pdf

النظام قادر على تحقيق الاقتصاد على الطرق السابقة من خلال تقييم مدى تأثير كل كتلة макرو 16x16px على دقة الشبكة العصبية السحابية. كانت الطرق السابقة، بدلاً من ذلك، تتطلب بشكل عام تقييم هذا النوع من الدقة بناءً على كل بكسل في الصورة أو أداء عمليات محلية مكلفة لتحديد المناطق التي قد تكون أكثر أهمية.

في AccMPEG، يتم تقدير هذه الدقة في وحدة مخصصة تسمى AccGrad، والتي تقيس الطرق التي يمكن أن تؤثر بها جودة الترميز للماكرو على استخدام الحالة النهائية، مثل الشبكة العصبية السحابية التي تحاول حساب الأشخاص أو أداء تقدير الهيكل على حركة الإنسان أو مهام رؤية الكمبيوتر الشائعة الأخرى.

عندما يصل إطار الفيديو إلى النظام، يقوم AccMPEG في البداية بمعالجته من خلال نموذج محدد للجودة الرخيصة، بعنوان AccModel. أي مناطق لا تُسهم بشكل muhtمل في الحسابات المفيدة للشبكة العصبية السحابية هي أساسًا حمولة، وينبغي أن يتم وضع علامة عليها للترميز بجودة أدنى، على عكس المناطق البارزة، التي يجب إرسالها بجودة أفضل.

يطرح هذا العملية ثلاث تحديات: هل يمكن إجراء العملية بسرعة كافية لتحقيق تأخير مقبول دون استخدام موارد الحوسبة المحلية التي تستهلك الطاقة؟ هل يمكن تحديد علاقة مثالية بين معدل الإطار والجودة؟ وهل يمكن تدريب نموذج بسرعة لشبكة عصبية سحابية فردية؟

لوجستيات التدريب

في المثالي، يجب أن يكون شفرة رؤية الكمبيوتر مضبوطًا مسبقًا على أنظمة موصولة إلى متطلبات شبكة عصبية محددة. ومع ذلك، يمكن استخلاص وحدة AccGrad مباشرة من شبكة عصبية عميقة مع تبعيات előzetes فقط، عند توفير عشرة أضعاف العبء القياسي.

يتم تدريب AccMPEG على وحدة AccGrad لمدة 15 دورة من ثلاث تبعيات لكل منها من خلال الشبكة العصبية السحابية النهائية، ويمكن إعادة تدريبه “حَيًّا” باستخدام حالته الحالية كنقطة بداية، على الأقل لمهام رؤية الكمبيوتر المماثلة.

يستخدم AccModel المُستخرج المسبق من MobileNet-SSD، الشائع في الأجهزة الحوافية الميسورة التكلفة. عند دوران 12 جيجافلوبس، يستخدم النموذج فقط ثلث نهج ResNet18. بالإضافة إلى تعديل الدفعة والتنشيط، تتكون الهيئة فقط من طبقات التجميع، وعبء الحوسبة متناسب مع حجم الإطار.

AccGrad يزيل الحاجة إلى استدلال الشبكة العصبية السحابية النهائية، مما يحسن لوجستيات النشر.

معدل الإطار

تعمل الهيئة بضبط أفضل عند 10 إطارات في الثانية، مما يجعلها مناسبة للأغراض مثل مراقبة الزراعة، ومراقبة تدهور المباني، وتحليل حركة المرور من فوق، واستدلال الهيكل الممثل في حركة الإنسان؛ ومع ذلك، فإن السيناريوهات التي تتحرك بسرعة، مثل حركة المرور من أسفل (السيارات أو الأشخاص)، والوضعيات الأخرى التي تتمتع بمعدلات إطار عالية، لا تتناسب مع هذا النهج.

جزء من اقتصادية الطريقة يكمن في الفرضية القائلة بأن الكتل Макرو المتجاورة من المحتمل أن تكون ذات قيمة مماثلة، حتى نقطة الكتلة Макро التي تنخفض عن دقة المقدرة. المناطق التي تم الحصول عليها من خلال هذا النهج أكثر تحديدًا، ويمكن حسابها بسرعة أكبر.

تحسين الأداء

قام الباحثون بتحليل النظام على لوحة Jetson Nano بقيمة 60 دولارًا مع وحدة معالجة رسومات Maxwell واحدة 128 نواة، ولوحات رخيصة أخرى. تم استخدام OpenVINO لتحويل بعض متطلبات الطاقة للشبكات العصبية المحلية المتناثرة إلى وحدات المعالجة المركزية.

تم تدريب AccModel في الأصل离ًا عن الخط على خادم مع 8 وحدات معالجة رسومات GeForce RTX 2080S. على الرغم من أن هذا هو مصفوفة قوية من القدرة الحاسوبية لعمارة النموذج الأولية، فإن إعادة التدريب الخفيفة التي يسمح بها النظام، وطريقة تعديل النموذج لبعض معايير التسامح عبر الشبكات العصبية السحابية المختلفة التي تهاجم مهام مماثلة، يعني أن AccMPEG يمكن أن يكون جزءًا من نظام يحتاج إلى رعاية أدنى في البرية.

نشر لأول مرة في 1 مايو 2022.