زاوية Anderson

codec فيديو لتنسيق الفيديو الذي يتم توليده بواسطة الذكاء الاصطناعي

mm
أضف Unite.AI إلى مصادرك المفضلة على Google
AI-generated image (GPT-2 + Photoshop): an industrial humanoid robot, heavily blurred, holds a vertical strip of 70mm film close to the camera, with the film frames in sharp focus showing a man and a woman standing and conversing. Every third frame is tinted green and the others appear monochrome.

مع اقتراب نهاية عصر الذكاء الاصطناعي غير المحدود، يعد النهج الاقتصادي الجديد لتنسيق الفيديو بواسطة الذكاء الاصطناعي وعدًا بميزانية ملحوظة في الوقت والرموز.

 

تكاليف الاستدلال بالذكاء الاصطناعي الحقيقية تجلب ملاحظة جديدة من الحكمة إلى سرعة ثورة الذكاء الاصطناعي الحالية، مع زيادة الاهتمام بالتخفيض من تكلفة تعلم الآلة. بالإضافة إلى إمكانية جلب الذكاء الاصطناعي إلى المنزل، وارتفاع الذكاء الاصطناعي الخاص، سيتعين على روتينات تعلم الآلة الجشعة للذاكرة العرضية والمتعطشة للموارد أن تتم تحسينها أيضًا.

يعد توليد الفيديو ربما الجاني الأكبر في هذا الصدد. إذا كنت قد أعادت ضغط فيلم أو صادرت واحدًا من حزمة تحرير الفيديو، فكرت بالفعل التكلفة التي تتحملها هذه المهمة غير الذكاء الاصطناعي على الأجهزة – تناول الذاكرة العرضية ودورات المعالج، وغالبًا ما تقوم بحظر الجهاز من أي استخدام آخر، trừفًا إذا تم اتخاذ إجراءات لتحديد تأثير خوارزمية الضغط على الكمبيوتر المضيف.

لذلك فمن المفترض أن نتخيل مدى تكرار إجراء “الجشع للطاقة” هذا في مراكز البيانات حول العالم. عند هذا المستوى من التشغيل، تصبح المكاسب الصغيرة فورية الأهمية في الحساب الإجمالي.

في الإطار

مع هذا في الاعتبار، تقدم دراسة بحثية جديدة من شنغهاي، بالتعاون مع JD.com ، codec فيديو يهدف ليس إلى عملية إخراج (عملية ضغط الإطارات الكبيرة والrawer إلى حجم ملف فيديو أصغر)، ولكن إلى عملية توليد الفيديو بواسطة الذكاء الاصطناعي نفسها.

يعمل codec الفيديو العادي عن طريق عدم تخزين كل إطار كصورة كاملة، ولكن عن طريق إنشاء عدد صغير من الصور الكاملة، تسمى إطارات I، ثم تخزين التغييرات بين الإطارات.

على سبيل المثال، إذا تحركت شخصًا قليلاً في فيديو، يسجل codec فقط الأجزاء من الإطار التي تسجل هذا التغيير، بدلاً من إعادة كتابة المشهد بأكمله. هذه هي إطارات P، التي يتم اشتقاقها من الإطارات السابقة، و إطارات B، التي يمكنها أيضًا توقع المعلومات في الإطارات المستقبلية:

تشريح codec الفيديو: الصف العلوي يظهر الإطارات بمرور الوقت ومُسمى I و P و B، مع إطارات I الكاملة المخزنة باللون الكامل وإطارات P و B المُظهرة باهتة لتحديد الإعادة; السهام تشير إلى ما إذا كانت الإطارات تستخدم الإطارات السابقة أو الإطارات المستقبلية أو كليهما; اللوحات السفلية تُظهر إطارًا كاملاً مخزناً (I-frame،左)، وإطارًا مبنيًا من إطار سابق (P-frame،ثانيًا من اليسار)، وإطارًا مبنيًا من الإطارات السابقة والمستقبلية (B-frame،يمين).

تشريح codec الفيديو: الصف العلوي يظهر الإطارات بمرور الوقت ومُسمى I و P و B، مع إطارات I الكاملة المخزنة باللون الكامل وإطارات P و B المُظهرة باهتة لتحديد الإعادة; السهام تشير إلى ما إذا كانت الإطارات تستخدم الإطارات السابقة أو الإطارات المستقبلية أو كليهما; اللوحات السفلية تُظهر إطارًا كاملاً مخزناً (I-frame،左)، وإطارًا مبنيًا من إطار سابق (P-frame،ثانيًا من اليسار)، وإطارًا مبنيًا من الإطارات السابقة والمستقبلية (B-frame،يمين).

هذا إعادة استخدام المعلومات القريبة هو السبب في أن ملفات الفيديو تظل صغيرة، معظم الإطارات تعمل ليس كصور جديدة، ولكن كتعليمات تصف كيف تغير الإطار السابق. لذلك تشكل إطارات I “الدهون الكاملة”، الصور غير المضغوطة أو المضغوطة بشكل ضعيف، مع الإطارات بينها تشكل فقط الفرق بين إطارات I (وبينها وبينها).

عندما يكون كل إطار صورة غير مضغوطة كاملة، فإن الفيلم يفتقر أساسًا إلى الضغط. حفظ فيلم بهذه الطريقة، كفيديو غير مضغوط، سيؤدي إلى فيلم يبلغ طوله ساعتين يحتاج إلى ما يقرب من تيرابايت من مساحة القرص. ومع ذلك، هذا هو كيفية عمل الذكاء الاصطناعي على الأفلام – من خلال تخصيص الموارد والرموز المتساوية لكل إطار، عند حساب كيفية صياغة الفيديو.

اقتصاد الحجم

العمل الجديد، AdaCodec: codec تنبؤي للفيديو، يبذل رموز بصرية كاملة حصرًا على إطارات المرجعية (I-frames)، مع جميع الإطارات بينها تمثيلها كـ “compact P-tokens” – نموذج واضح يأتي من الضغط التقليدي المستخدم بواسطة codecs الفيديو التقليدية.

بعد أن تمت هذه الضغط الداخلية، يمكن ضغط فيديو الذكاء الاصطناعي بشكل طبيعي، ونظرًا لنظرية جميع التوفيرات على جانب الخادم:

نظرة عامة على AdaCodec. اليسار، يتم تقسيم الفيديوهات إلى مجموعات صور متكيفة، مع إطارات I الكاملة محفوظة لأوقات صعبة التنبؤ وإطارات P المتوسطة تمثيلها باستخدام معلومات الحركة والباقي المضغوط. اليمين، النظام الناتج يتطابق مع أو يفوق Qwen3-VL-8B عبر أحد عشر معيارًا، ويحافظ على دقة فيديو أطول عبر ميزانيات الرموز، ويقلل من زمن الاستجابة أثناء معالجة عدد كبير من رموز الفيديو.

نظرة عامة على AdaCodec. اليسار، يتم تقسيم الفيديوهات إلى مجموعات صور متكيفة، مع إطارات I الكاملة محفوظة لأوقات صعبة التنبؤ وإطارات P المتوسطة تمثيلها باستخدام معلومات الحركة والباقي المضغوط. اليمين، النظام الناتج يتطابق مع أو يفوق Qwen3-VL-8B عبر أحد عشر معيارًا، ويحافظ على دقة فيديو أطول عبر ميزانيات الرموز، ويقلل من زمن الاستجابة أثناء معالجة عدد كبير من رموز الفيديو. المصدر

التوفيرات، وفقًا للنتائج المبلغ عنها من الاختبارات لـ AdaCodec، تستحق المتابعة؛ يذكر الورقة أن النظام تفوق على نموذج Qwen3-VL-8B غير المعدل عبر جميع المعايير الرئيسية، مع استخدام نفس كمية المعالجة؛ ويتطابق مع أو يفوق أداء ذلك النموذج بعد قطع رموز الفيديو بنسبة تقارب 86%.

يذكر المؤلفون*:

‘نستلهم الإلهام من الترميز التنبؤي، حيث يرسل النظام أخطاء من تنبؤ بدلاً من الإشارة الخام. هذا المبدأ له أساس بيولوجي: يُعتقد أن النظام البصري يشفر أخطاء التنبؤ، عدم تطابق الإدخال المتوقع والمُلاحظ، بدلاً من الإدخال نفسه.

‘تستخدم codecs الفيديو الحديثة نفس فكرة الترميز المتبقي في الهندسة: إطارات المرجعية تحمل المحتوى الكامل، بينما تحمل الإطارات التنبؤية حركة وإشارات باقي相对于 مرجعية.

‘هذه الأنظمة لها أهداف مختلفة، لكنها تشترك في نفس الهيكل الشرطي: عندما تكون العينات القريبة زائدة، يجب أن تحمل القناة ما يفشل التنبؤ في تفسيره.

‘然而، codecs القياسية تحسّن من تدفقات البت وتركيب الإعادة البشرية، وليس من الرموز البصرية التي يستهلكها نموذج اللغة الكبيرة.’

الدراسة الجديدة، التي كتبها 11 باحثًا من جامعة شنغهاي جiao تونغ، معهد شنغهاي للابتكار، و JD.com، تأتي مع صفحة مشروع، مع وعد بالإفراج عن شفرة المصدر.

الطريقة

كما ناقشنا، بدلاً من معاملة كل إطار كصورة جديدة تمامًا، يبحث النظام عما تغير بين إطار وآخر. على اليسار، في الصورة أدناه، نرى منطقة صغيرة من الإطار الحالي التي تتم مطابقتها مع المنطقة الأكثر تشابهًا في إطار سابق:

نظرة عامة على مخطط AdaCodec.

نظرة عامة على مخطط AdaCodec.

يصبح الفرق بين الموقعين متجه الحركة، بينما تصبح أي اختلافات بصرية متبقية باقي، مع استبدال هذه الوصفات المضغوطة الحاجة إلى تخزين صورة كاملة.

على اليمين، نرى المعلومات الناتجة التي يتم إدخالها إلى نموذج الذكاء الاصطناعي: إطارات المرجعية المهمة لا تزال معالجة كصور كاملة، لكن الإطارات بينها تمثيلها بواسطة رموز حركة وباقي صغيرة جدًا – على ما يبدو، مما يسمح للنموذج بالحفاظ على ما يكفي من المعلومات لفهم الفيديو، مع معالجة كمية أقل من البيانات البصرية.

تحدي واحد مثير للاهتمام هو تحديد الإطارات التي تستحق تخزينها بالكامل: عادة ما توضع إطارات المرجعية في فترات منتظمة بواسطة codecs الفيديو التقليدية، سواء كانت ضرورية أم لا. AdaCodec، بدلاً من ذلك، يحاول تحديد اللحظات التي تهم أكثر.

على سبيل المثال، ضع في اعتبارك مشهدًا يصور بشكل رئيسي محادثة ثابتة بين شخصين في شقة – وفجأة ي冲 في فريق SWAT من النافذة. على الفور، ستزيد مناظر الكاميرا وعدد القطع التحريرية وستحتاج إلى المزيد من البيانات مما ستوفره فترات إطارات المرجعية المنتظمة:

تسلسل من الإطارات يظهر غرفة فارغة، شخصين يتحدثان، مجموعة تدخل من النافذة، شخصين يتم إبعادهما، وغرفة فارغة مرة أخرى. الشريط من الإطارات المتوسطة أدناه يُظهر نفس الأحداث عبر زمن أطول، مع إطارات محددة مُhighlighted باللون الأزرق. هناك مقياس أفقي مُسمى

هذا هو المنطق وراء أساليب الضغط المتغير (معدل بت متغير)، والتي تحليل مصدر الفيديو لفترات “مزدحمة” وتنسب المزيد من البيانات حيث يُحتاج إليها – على حساب زمن وموارد كبيرين.

في AdaCodec، إذا كان بإمكان التنبؤ بإطار بدقة من الإطارات القريبة، يستمر النظام في استخدام رموز الحركة والباقي المضغوطة؛ إذا تغير المشهد بشكل كبير (مثل مثال SWAT أعلاه، أو شيء أقل دراماتيكية)، يتم إدراج إطار مرجعي كامل. هذا يسمح بمعظم ميزانية المعالجة لتكون منفقة على المعلومات البصرية المهمة بدلاً من توزيعها بالتساوي على جميع الفيديو.

البيانات والاختبارات

في الاختبارات، استخدم الباحثون Qwen3-VL-8B كنموذج أساسي وتقييم AdaCodec عبر أحد عشر معيارًا يغطي ثلاثة مجالات لفهم الفيديو: أداء الفيديو الطويل تم تقييمه مع MLVU، LongVideoBench، و LVBench؛ فهم زمني مع TempCompass، MotionBench، و TOMATO؛ و فهم فيديو عام مع Video-MME، MVBench، NExT-QA، PerceptionTest، و EgoSchema.

تم اختبار النماذج المفتوحة المصدر InternVL3.5-8B؛ Keye-VL-1.5-8B؛ GLM-4.1V-9B؛ MiniCPM-V-4.5-8B؛ Eagle2.5-8B؛ PLM-8B؛ LLaVA-Video-7B؛ VideoChat-Flash-7B؛ Molmo2-8B؛ و Molmo2-O-7B.

تم تضمين GPT-5 و Gemini و Claude في الجدول أدناه فقط كمرجع مقارن. CoPE-VideoLM-7B و ReMoRa-7B هما نماذج لغة فيديو سابقة تقلل من استخدام الرموز البصرية من خلال ضغط مستوحى من codec، مما يجعلهما المنافسين المباشرين الأكثر قربًا ل AdaCodec:

النتائج الرئيسية عبر أحد عشر معيارًا يغطي فهم الفيديو الطويل والزمني وفهم الفيديو العام. يشير الرقم الأعلى إلى أداء أفضل. LVB = LongVideoBench؛ V-MME = Video-MME. القيم المائلة والمدورة تشير إلى أعلى وثاني أعلى درجات بين النماذج المفتوحة المصدر. تم أخذ درجات النماذج المغلقة المصدر من التقارير الرسمية حيثما كان ذلك ممكنًا، مع نتائج مفقودة مصدرة من Molmo2 أو تقييمها من قبل المؤلفين.

النتائج الرئيسية عبر أحد عشر معيارًا يغطي فهم الفيديو الطويل والزمني وفهم الفيديو العام. يشير الرقم الأعلى إلى أداء أفضل. LVB = LongVideoBench؛ V-MME = Video-MME. القيم المائلة والمدورة تشير إلى أعلى وثاني أعلى درجات بين النماذج المفتوحة المصدر. تم أخذ درجات النماذج المغلقة المصدر من التقارير الرسمية حيثما كان ذلك ممكنًا، مع نتائج مفقودة مصدرة من Molmo2 أو تقييمها من قبل المؤلفين.

لضمان مقارنة عادلة، تم تخصيص نفس عدد الرموز البصرية ل AdaCodec ونظام Qwen3-VL-8B القياسي، مما يسمح للنتائج بالتعبير عن فعالية نهج الضغط.

في الإعداد الأكثر عدوانية، قام AdaCodec بتقليل استخدام الرموز البصرية بحوالي 86% بينما لا يزال يتطابق مع أو يفوق نظام القاعدة على مهام الفيديو الطويل والزمني وفهم الفيديو العام.

عندما تم استثمار الرموز المحفوظة في معالجة المزيد من إطارات الفيديو، تحسنت الأداء عبر جميع معايير الفيديو الطويل وجميع معايير الفهم الزمني، مع مكاسب تصل إلى +5.4 نقطة على LongVideoBench و +4.3 نقطة على TOMATO، مع إنتاج بعض أقوى النتائج المفتوحة المصدر في الدراسة.

الاستنتاج

على الرغم من أن مشاريع هذا النوع تهدف عادةً إلى مقدمي الخدمات على نطاق هائل، إلا أن هذا الجهد سيكون ذا اهتمام للمحترفين والشركات الصغيرة على حد سواء، كجزء من “الزهد العام” المحتمل حول توزيع الذكاء الاصطناعي المحلي والمنطقي.

في مجتمعات مثل r/stablediffusion، هذه أخبار قديمة جدًا، حيث يتم تعذيب كل إصدار مفتوح المصدر الرئيسي بشكل منتظم إلى إصدار محسّن بشكل كبير (GGUF، أوزان كمومة، إلخ.) قادرة على التشغيل، مع بعض الصبر، على بطاقات رسومات منخفضة النهاية.

إذا كان “المرحلة الأدائية” لهذه المرحلة الثالثة من صعود الذكاء الاصطناعي بالفعل انتهت، وافتراضًا أن الشركات ستتمرد من التكاليف الحقيقية للاستدلال،那么 مبادرات مثل AdaCodec قد تكون جزءًا من “التحسين الكبير” القادم.

 

هذا ليس نفس الشيء مثل تحويل الفيديو إلى صيغة/حجم ملف صديق للمستخدم؛ بل يتعلق بالتوليد الداخلي وتجميع الإطارات الذي يحدث داخل نموذج الذكاء الاصطناعي في وقت الاستدلال.

* تحويلي، في حدود المعقول، لمراجع المؤلفين المتضمنة في النص إلى روابط.

نُشر لأول مرة يوم الخميس، 4 يونيو 2026

كاتب في مجال التعلم الآلي، متخصص في مجال 合成 الصور البشرية. السابق رئيس محتوى البحث في Metaphysic.ai، حتى حلولها في Brahma.ai التابعة لشركة DNEG.
المنصة الشخصية: martinanderson.ai
التواصل: [email protected]