أجواء السبعينيات في أنظمة مراقبة الذكاء الاصطناعي الموفرة للطاقة

تُظهر الأبحاث الجديدة أن معظم تقنيات الذكاء الاصطناعي للفيديو لا تحتاج إلى اللون على الإطلاق، حيث يتم تشغيله فقط في اللحظات الرئيسية ويقلل من استخدام البيانات بأكثر من 90٪ مع خسارة طفيفة في الدقة.

تتطلب كاميرات البث عن بعد وأجهزة الفيديو الأخرى غير الموصولة بالكهرباء والتي تعمل بالبطارية إعدادات مراقبة مُحسَّنة بدقة، لأنها قد تعتمد على مصادر طاقة غير مستقرة - مثل الطاقة الشمسية - أو تتطلب إعادة شحن دورية، أو أشكال أخرى من التدخل البشري، في المواقف التي من الناحية المثالية، لا ينبغي أن يكون أحد موجودًا فيها.

بالتوازي مع هذا الخط البحثي، ازداد الاهتمام بالأجهزة القابلة للارتداء المزودة بكاميرات نمت أيضا (على الرغم من أن هذه الأجهزة كانت مقيدة بشدة بالفعل بحدود الطاقة والحوسبة)، لأن حافة AI يعد الآن بجعلها أكثر فائدة بشكل ملحوظ.

وبغض النظر عن هذه الاعتبارات، فإن الدافع طويل الأجل لتقليل تكاليف الذكاء الاصطناعي الطرفي والمراقبة (خاصة في الحالات التي لا يلزم فيها تمرير هذه الوفورات إلى العميل) يمثل حجة مقنعة للابتكار في أساليب الحفاظ على الطاقة لحالات الاستخدام "الطرفية".

تكلم بصوت عال

في مجال ال استشعار الفيديو المتدفقيجب على أجهزة مراقبة الحافة التي تعاني من نقص الموارد أن تستخدم أقل قدر ممكن من الطاقة، مع الاستمرار في إنفاق طاقة كافية لمراقبة الأحداث "المثيرة للاهتمام" - وعند هذه النقطة، سيكون من المفيد إنفاق المزيد من الموارد.

في الواقع، هذه حالة استخدام مماثلة للأضواء التي تعمل بالحركة، والتي توفر الإضاءة فقط عندما تحدد أجهزة الاستشعار منخفضة استهلاك الطاقة وجود شخص ما هناك لتقديرها.

بما أن مراقبة الصوت وضغطه أقل استهلاكًا للموارد بشكل ملحوظ من الفيديو، فقد حاولت العديد من المناهج في السنوات الأخيرة استخدام إشارات صوتية "لتنشيط" الانتباه في الأنظمة ذات الموارد المحدودة؛ أطر عمل مثل استمع إلى لوك و محفز الأنا:

في نظام Egotrigger، يقوم التحفيز الصوتي بتنشيط التقاط الصور بشكل انتقائي من إشارات التفاعل بين اليد والأشياء، مما يقلل من الإطارات الزائدة مع الحفاظ على أداء الذاكرة العرضية في أنظمة النظارات الذكية ذات الموارد المحدودة. مصدر

من الواضح أن الصوت ليس الوسيلة المثالية للبحث عن الأحداث المرئية، حيث أن العديد من هذه الأحداث المهمة قد لا يكون لها إشارة صوتية مصاحبة، أو قد تحدث خارج نطاق الميكروفونات الطرفية.

خفيف النوم

تقترح إحدى الدراسات الجديدة أن الأفضل هو بث فيديو يعمل بالتكامل مع الذكاء الاصطناعي لزيادة الموارد فور وقوع حدث مُراد رصده. وتُقدم المحاكاة أدناه* فكرة عامة عن هذا المفهوم، حيث يتم الحفاظ على المراقبة منخفضة الدقة عند أدنى مستوى إشارة ضروري لـ الكشف عن الأجسام أطر عمل للتشغيل، ولإخبار النظام بزيادة الدقة نتيجة لتفعيل حدث ما:

محاكاة للسلوك المرغوب - أن يعمل البث والتحليل بأقل مستوى من استهلاك الموارد افتراضيًا؛ وهو ما يكفي فقط لتحفيز استهلاك أعلى للموارد عند اكتشاف أحداث "مهمة" أو مطلوبة في البث الرمادي. قد يبدو أسلوب المراقبة بالأبيض والأسود "قديمًا" بعض الشيء، ولكنه قد يكون مؤشرًا على ما سيأتي. أنشأ المؤلف هذا الفيديو لأغراض توضيحية فقط فيما يتعلق بالأفكار الأساسية للورقة البحثية الجديدة. مصدر: 

يقترح العمل الجديد، وهو تعاون أكاديمي بين مؤسسات بريطانية مختلفة وشركة هواوي، نموذجاً يعتمد على الذكاء الاصطناعي ولا يتطلب تدريباً. تدرج رمادي دائمًا، لون عند الطلب مخطط لمراقبة الحافة - مصمم للعمل عند مستوى منخفض رمز الاستخدام عندما لا تحدث "أحداث رئيسية"، ولزيادة الاستهلاك فقط طوال مدة الحدث.

في مجال معايير فهم الفيديو المتدفق، النظام الجديد، المسمى مُحفز اللون، تمكن من تحقيق 91.6% من أداء خط الأساس للألوان الكاملة باستخدام 8.1% فقط من إطارات RGB في تلك المعايير:

عندما يرى النموذج فيديو باللون الرمادي فقط، فإنه يخلط بين التفاصيل الرئيسية ويعطي إجابات خاطئة؛ لكن تشغيل اللون في اللحظات المناسبة يزيل الغموض عن الصورة ويصحح الأخطاء الناجمة عن المهام التي تعتمد على اللون. مصدر

استخدم ورقة جديدة بعنوان اللون عند الحاجة: التشغيل عبر الإنترنت الموجه بتدرج الرمادي لاستشعار الفيديو المتدفق باستمرارويأتي هذا البحث من ثمانية باحثين من جامعة كوين ماري بلندن، وجامعة دورهام، وكلية إمبريال كوليدج لندن، ومختبر هواوي نوح آرك. كما يتضمن البحث أيضًا... صفحة المشروع المصاحبة.

الأسلوب

للحفاظ على البنية الزمنية في النظام الجديد، يُبقي ColorTrigger على مراقبة ثابتة منخفضة النطاق الترددي للصور الرمادية. ويقوم مُحفز سببي عبر الإنترنت بتحليل نافذة منزلقة (أي نطاق مرن من الإطارات زائد أو ناقص حول وقت معين، مثل استشعار حدث ما) للتدفق منخفض الدقة:

يؤدي التسجيل المستمر عالي الدقة بتقنية RGB إلى استنزاف سريع للطاقة، مما يتسبب في توقف التسجيل مبكرًا وتفويت لحظات مهمة. في المقابل، تحافظ تقنية ColorTrigger على تشغيل بث تدرج رمادي منخفض الطاقة طوال الوقت، ولا تُفعّل كاميرا RGB إلا في لحظات محددة، مما يُطيل مدة التسجيل مع الحفاظ على التقاط التفاصيل المرئية اللازمة للإجابة على الاستفسارات اللاحقة.  مصدر

بينما يكون النظام في وضع "الخمول" (أي أنه لم يحدد حدثًا محفزًا بعد)، يقوم موجه الرموز الديناميكي بتخصيص سعة محدودة لجهاز فك تشفير غير متماثل، ويبحث دائمًا عن التكرار، وعن الأحداث التي تشير إلى الحداثة، وعند هذه النقطة يعيد تدفق الرموز إعطاء الأولوية للسعة على الضغط:

مخطط نظام ColorTrigger. يراقب النظام تحليلًا باستخدام نافذة منزلقة للإطارات الحديثة للكشف عن التكرار والتغيير، ويُفعّل التقاط صور RGB عالية الدقة عند الحاجة فقط، ضمن ميزانية محددة مسبقًا. يقوم موجه الرموز الديناميكي بتخصيص عدد أقل من الرموز لمدخلات تدرج الرمادي وعدد أكبر لإطارات RGB المختارة، مما يحافظ على الترتيب الزمني لمعالجة نموذج اللغة متعدد الوسائط (MLLM) اللاحقة.

يحتاج النظام، إطارًا بإطار، إلى تحديد ما إذا كانت اللحظة الحالية تحتوي على معلومات جديدة تستحق تكلفة التقاط اللون. يسمح السجل القصير للإطارات الرمادية في النافذة المنزلقة لـ ColorTrigger بمقارنة الإطار الحالي بسجله السابق. فوري الماضي. يتم تحويل كل إطار إلى ملف مضغوط تمثيل الميزاتوتتم مقارنة هذه الميزات مع بعضها البعض لقياس مدى تشابه أو اختلاف إطاراتها المضيفة.

تُنظَّم عملية المقارنة هذه في هيكل يلخص كم تتداخل كل إطار مع الإطارات الأخرى، مما يسمح بتحديد ما إذا كان المشهد يتكرر أم يتغير. وتُخصص خطوة تحسين بسيطة درجة أهمية لكل إطار في النافذة، مع إعطاء الأولوية للجديد.

توازن الالوان

لمنع الإفراط في استخدام الألوان، يحدّ نظام "الرصيد" البسيط من عدد مرات استخدام الألوان بمرور الوقت. يتراكم الرصيد تدريجيًا، ويُستهلك عند طلب اللون، مما يضمن السماح بفترات من النشاط، مع الحفاظ على التحكم في الاستخدام الإجمالي. لا يُضاف اللون إلى الإطار إلا إذا كان مفيدًا، وإذا كان الرصيد كافيًا.

يتحكم موجه الرموز الديناميكي في مقدار التفاصيل التي تتلقاها كل إطار، بدلاً من معالجة كل إطار بجودته الكاملة. فعندما لا يتم رصد أي شيء مهم، يُحفظ الإطار الرمادي بدقة منخفضة ويُحوّل إلى مجموعة صغيرة مضغوطة من الرموز. وعند رصد لحظة مهمة، ينتقل النظام إلى الألوان ويعالج ذلك الإطار بدقة أعلى، مما يوفر تمثيلاً أغنى وأكثر تفصيلاً.

تُعالج كلا النوعين من الإطارات في النموذج نفسه، ولكن تُعالج الإطارات الرمادية بشكل أقل تعقيدًا، بينما تُعطى الإطارات الملونة المختارة اهتمامًا أكبر. ثم تُجمع المخرجات بترتيبها الأصلي وتُرسل إلى النموذج كتدفق مستمر.

نظراً لأن معظم الإطارات تظل خفيفة الوزن ولا يتم ترقية سوى عدد قليل منها، فإن النظام يوفر قدراً كبيراً من العمليات الحسابية مع الاستمرار في التقاط التفاصيل الرئيسية عندما تكون مهمة:

من الورقة البحثية، مثال آخر حيث يُطلب من النظام زيادة الموارد مؤقتًا من أجل تمييز لون ما.

البيانات والاختبارات

لاختبار النظام، قام الباحثون بتقييمه مقابل StreamingBench و مقعد OVO معايير الفيديو، مع تجنب معالجة مستقبل المحتوى (وهو خطر محتمل في الاختبارات غير المتصلة بالإنترنت).

استخدم مجمد تم استخدام نموذج اللغة الكبير متعدد الوسائط (MLLM) InternVL3.5-8B-Instruct, مع تنفيذ المحفز السببي عبر كليب فيت-بي/16.

اقتصر تدفق تدرج الرمادي على قناة الإضاءة في سيلاب مساحة اللون، وفقًا لـ عمل مسبق، مع تغيير حجم الإطارات الرمادية الناتجة إلى 224 × 224 بكسل قبل الترقيع (تقسيم الصورة إلى كتل صغيرة ذات حجم ثابت، بحيث يمكن معالجة كل كتلة كوحدة منفصلة بواسطة النموذج).

وعلى النقيض من ذلك، تمتعت إطارات RGB بمعدل بت أعلى، وتمت معالجتها بدقة 448 × 448 بكسل، مما أدى إلى إنتاج 256 رمزًا، على عكس 64 رمزًا تم إنتاجها لإطارات التدرج الرمادي.

تم استخدام أدوات التحسين الشائعة لاتخاذ قرارات النظام: CVXPY (مكتبة بايثون لإعداد مسائل التحسين)، و حل OSQP (خوارزمية سريعة تحسب متى يتم تشغيل اللون).

تمت معالجة الفيديو بمعدل إطار واحد في الثانية، مع حد أقصى يبلغ 128 إطارًا لكل مقطع، للحفاظ على انخفاض الحساب.

تم اختبار الأنظمة الاحتكارية الجوزاء 1.5 برو; جي بي تي-4o، و كلود 3.5 السوناتةتم اختبار نماذج التعلم الآلي متعددة المستويات (MLLMs) للفيديوهات مفتوحة المصدر. LLaVA-OneVision-7B; فيديو-LLaMA2-7B، و كوين 2.5-في ال-7 بي.

تم اختبار نماذج التسويق الشبكي متعددة المستويات (MLLMs) التي تعمل بتقنية البث المباشر. Flash-VStream-7B; VideoLLM-online-8B; ديسبيدر-7ب، و TimeChat-Online-7B.

InternVL-3.5-8B  و كوين 3-في ال-8 بي تم اختبارها في تكوينات مختلفة، موضحة بالتفصيل في جدول النتائج الأول أدناه، فيما يتعلق بـ StreamingBench:

أداء برنامج StreamingBench في مهام الفهم البصري الفوري، مقارنةً بين نماذج التعلم الآلي متعددة الطبقات (MLLMs) الاحتكارية والمفتوحة المصدر والمتدفقة، ضمن ميزانيات لونية مختلفة. تشير نسبة RGB (%) إلى نسبة الإطارات الملونة المحفوظة بعد التشغيل، حيث يُمثل 100% الألوان الكاملة، بينما يُمثل 0% إدخالًا بتدرج الرمادي فقط. تم تقييم ColorTrigger عند نقطتي تشغيل، حيث احتفظ بنسبة 8.1% و34.3% من الإطارات الملونة، وأظهر دقة إجمالية محسّنة مقارنةً بخط الأساس InternVL-3.5-8B بتدرج الرمادي، مع تقليل استخدام الألوان بشكل ملحوظ مقارنةً بإعداد الألوان الكاملة.

وهنا تعليق المؤلفين:

يحقق ColorTrigger أداءً تنافسيًا في المهمة الفرعية للفهم البصري في الوقت الحقيقي لـ StreamingBench.

"يحقق نموذجنا الذي يحتوي على 34.3% من إطارات RGB درجة 75.24، متفوقًا على النموذج الحديث عبر الإنترنت Dispider-7B وقريبًا من TimeChat-Online-7B، بينما يكون قابلاً للمقارنة مع النماذج الخاصة مثل Gemini 1.5 Pro (75.69) ويتجاوز GPT-4o (73.28) و Claude 3.5 Sonnet (72.44)."

سجل InternVL-3.5-8B درجة 77.20 باستخدام الألوان الكاملة، بينما وصل ColorTrigger إلى 75.24 باستخدام 65.7% أقل من إطارات RGB - وحتى مع 8.1% فقط من إطارات الألوان، فقد سجل 70.72، متفوقًا على خط الأساس الرمادي البالغ 62.08 بنسبة 8.64%، وظل منافسًا لنماذج البث الأخرى.

بعد ذلك، تم اختبار برنامج OVO-Bench:

تم تقييم أداء برنامج ColorTrigger على منصة OVO-Bench ضمن ثلاث فئات: الإدراك البصري في الوقت الحقيقي، والتتبع العكسي، والاستجابة النشطة الأمامية، وذلك بمقارنة أنظمة MLLM الاحتكارية، والمفتوحة المصدر، وأنظمة البث المباشر، ضمن ميزانيات ألوان مختلفة. تشير نسبة RGB (%) إلى نسبة الإطارات الملونة المحفوظة بعد التشغيل، حيث يمثل 100% الألوان الكاملة، بينما يمثل 0% إدخالًا بتدرج الرمادي فقط. تم تقييم ColorTrigger عند نقطتي تشغيل، حيث احتفظ بنسبة 7.1% و33.1% من الإطارات الملونة، وأظهر دقة إجمالية محسّنة مقارنةً بخط الأساس InternVL-3.5-8B بتدرج الرمادي، مع تقليل استخدام الألوان بشكل ملحوظ مقارنةً بإعداد الألوان الكاملة.

ومن هذه النتائج يقول المؤلفون:

يحقق نموذجنا، الذي يستخدم 33.1% من إطارات RGB، درجة إجمالية قدرها 52.5، متفوقًا بذلك على جميع نماذج MLLM مفتوحة المصدر المتاحة عبر الإنترنت تقريبًا. وبالمقارنة مع النموذج الأساسي InternVL-3.5-8B الذي يستخدم مدخلات RGB كاملة (57.7)، يحقق ColorTrigger درجة 52.5 مع تقليل استخدام إطارات RGB بنسبة 66.9%، وهو ما يمثل انخفاضًا طفيفًا في الأداء الإجمالي لا يتجاوز 5.2 نقطة.

"يصاحب هذا التدهور الطفيف مكاسب كبيرة في الكفاءة، مما يدل على فعالية استراتيجية التوجيه التكيفي لدينا."

بلغت دقة الإدراك البصري في الوقت الحقيقي 65.2، أي بزيادة قدرها 11.4 نقطة عن خط الأساس الذي يعتمد على تدرج الرمادي فقط والبالغ 53.8. وحتى عند الاقتصار على 7.1% فقط من إطارات RGB (انخفاض بنسبة 92.9%)، حافظ ColorTrigger على درجة إجمالية قدرها 50.4، محققًا تحسنًا بمقدار 2.5 نقطة مقارنةً بإعداد تدرج الرمادي.

وأخيرًا، أجرى الباحثون اختبارًا على مهمة فيديو غير متصلة بالإنترنت (مهمة تحليلية غير مصممة لاختبار زمن الاستجابة أو غيرها من الظروف البيئية "المباشرة"، باستخدام فيديو-MME معيار فهم الفيديوهات الطويلة:

مقارنة أداء الأنظمة التي تم اختبارها على معيار Video-MME.

في هذا الاختبار، حقق النموذج درجة إجمالية قدرها 66.1، مع استخدام 37.6% من إطارات RGB، متجاوزًا درجة خط الأساس InternVL-3.5-8B كاملة الألوان البالغة 65.6، على الرغم من استخدام 62.4% أقل من إطارات الألوان.

تعليق المؤلفين:

"هذا يوضح أن آلية التشغيل التكيفية لدينا لا تقلل فقط من التكلفة الحسابية، بل يمكنها أيضًا تحسين الأداء من خلال تركيز سعة RGB على اللحظات المهمة دلاليًا."

"ومن الجدير بالذكر أن ColorTrigger يتفوق على جميع نماذج التعلم متعدد اللغات عبر الإنترنت الحالية بما في ذلك TimeChat-Online-7B بنسبة 62.4 و Dispider-7B بنسبة 57.2، مما يؤكد فعالية الجمع بين سياق التدرج الرمادي المستمر واكتساب RGB الانتقائي لفهم الفيديو الطويل."

خاتمة

أستمتع دائماً برؤية ابتكارات من هذا النوع، لا سيما وأن الذكاء الاصطناعي متقدم للغاية حاجة متزايدة باستمرار لطالما تصدرت الطاقة (الكهربائية) عناوين الأخبار الكئيبة، ومن الجيد رؤية بحث يتناول هذه القضية بشكل غير مباشر على الأقل.

من المريح، وإن كان ساخرًا، أن نعلم أن وفورات الطاقة التي تُحقق في مثل هذه المساعي مدفوعة باعتبارات تجارية، إذ إنها أقل عرضة للتأثر بالقرارات السياسية قصيرة الأجل مقارنةً بالمخاوف النبيلة، وإن كانت أكثر عرضة للانتقاد، بشأن ترشيد استهلاك الطاقة والاحتباس الحراري. ولحسن الحظ، يتحقق الهدف نفسه، ولكن لأسباب مختلفة.

* لقد قمتُ بإنشائه، فقط لتلخيص فكرة البحث للقارئ.

نُشر لأول مرة يوم الخميس 26 مارس 2026