إصلاح مكالمات الفيديو الغامضة في الوقت الفعلي باستخدام وحدة المعالجة المركزية فقط

طريقة جديدة تُنشئ نموذجًا ذكياً لوجهك في ثوان، لتصحيح مكالمات الفيديو الغامضة في الوقت الفعلي — يعمل بالكامل على جهاز كمبيوتر محمول أساسي، دون الحاجة إلى أجهزة قوية، أو معالجة سحابية.

على الرغم من أن المستخدمين في البلدان التي تفتقر إلى الموارد هم الأكثر تأثراً بصور الفيديو ذات الجودة المنخفضة، إلا أن هذا المشكل يعتبر في كثير من الأحيان مشكلة “عالمية” أيضاً — على سبيل المثال، إذا كان أحد المشاركين في دردشة يستخدم نقطة وصول لاسلكية متأثرة، أو بعض العمليات أو الأشخاص في منزل المشارك يهيمنون على النطاق الترددي المتاح؛ أو حتى إذا كان الشخص يزور بلداً ذات اتصال سيئ.

منذ أن المشكلة شائعة، فقد تم تخصيص قدر معين من الاهتمام لها في الأدب البحثي، مع تقديم حلول مقترحة من خلال إزالة الكتلة، وتنقية الضوضاء، و超 الحلول، وطرق أخرى مختلفة. نظام VQFR من عام 2022 يستعد الصور الوجهية المتدهورة من خلال استبدال ميزات الصورة منخفضة الجودة بمثيلات أعلى جودة مستخرجة من كتاب تعلم؛ و GFP-GAN من عام 2021 يستخدم السابقة الوجهية التوليدية لتحسين الصور منخفضة الجودة؛ و RTFVE: تعزيز الفيديو الوجهي في الوقت الفعلي يستخدم صور مرجعية عالية الجودة لاستعادة الوجه:

انقر للعب، حسب الضرورة.من مشروع تعزيز الوجه في الوقت الفعلي لعام 2025، تحسين الوجه المسرع بواسطة وحدة معالجة الرسومات. المصدر

من وجهة نظر المستخدم الذي يفتقر إلى الموارد، فإن معظم هذه الحلول غير قابلة للتطبيق، لأنها تفرغ العمل إلى وحدة معالجة الرسومات التي قد لا تكون متاحة في إعداد المستخدم. ومع ذلك، فإن استخدام وحدة المعالجة المركزية لأداء مهام الرؤية الحاسوبية عادة ما يكون عملية غير متزامنة، مما يعني أنك ستحتاج إلى الانتظار حتى تنتهي وحدة المعالجة المركزية من المعالجة قبل أن تكون الإخراج متاحاً.

هذا غير مقبول لمشهد مكالمة الفيديو، الذي يعتبر جائعاً للموارد ولكن في كثير من الأحيان جائعاً للموارد أيضاً: نظام تحسين الوجه الديمقراطي الحقيقي سيتطلب تشغيل وحدة المعالجة المركزية بحد أدنى 24 إطارًا في الثانية عند دقة معقولة؛ وهذا الكثير المطلوب.

مواجهة الواقع

تلبية هذا السيناريو المتطلب، تقدم أبحاث جديدة من الولايات المتحدة، والتي تدعي أنها قادرة، وفقاً للمؤلفين، على تدريب نموذج في أقل من 100 ثانية من إطارات نادرة لوجه المشاهد، مع تشغيل النموذج النهائي كطبقة متوسطة بين المستخدم والمؤتمر، من خلال طبقات واجهة برمجة التطبيقات الرسمية في تطبيقات مؤتمرات الفيديو مثل Zoom:

انقر للعب حسب الضرورة.من صفحة المشروع لـ FSFVE، تحسينات عينة لوجوه سيناريو الويب كام، باستخدام نموذج خفيف الوزن (3.5 ميغا بايت) مدرب في أقل من دقيقتين.المصدر

ينص الوثيقة على ما يلي:

‘يمكن تدريب نموذج FSFVE إما قبل مكالمة فيديو، أو في بداية المكالمة. فقط بعض الصور عالية الجودة للموضوع مطلوبة؛ على سبيل المثال، 5 إلى 30 صورة مما يجعلها تعلم القليل.

‘يمكن الحصول على بضع ثوان من فيديو عالي الجودة للمستخدم قبل المكالمة، أو في بداية المكالمة؛ على سبيل المثال، 3 ثوان، مما يوفر 3 ∗ 24 = 72 إطارًا مع معدل إطار 24 إطارًا في الثانية (FPS).

ميزة واحدة ملحوظة في النظام الجديد هي مرونته فيما يتعلق بمن “يدفع” ثمن معالجة النموذج؛ إذا كان المشاهد نفسه لا يستطيع لأي سبب تقديم طاقة وحدة المعالجة المركزية لتدريب النموذج، يمكن تفريغه إلى المراسل، من خلال إرسال عدد صغير من الإطارات عالية الجودة، مع تدريب النموذج “عن بُعد” إلى المستخدم الذي يفتقر إلى الموارد.

بديلًا، يمكن تفريغ التدريب بشكل منهجي إلى خادم للتدريب. يلاحظ المؤلفون:

‘يمكن استخدام الخادم في الحالات التي تكون فيها أجهزة الإرسال والاستقبال بطيئة جدًا للتدريب (أو حتى إذا لم تكن كذلك، لتخفيف عبءهم).

‘في أي حال، يكون حجم النموذج صغيرًا نسبيًا (حوالي 3.5 ميغا بايت) كما هو الحال مع بعض الإطارات عالية الجودة، وبمجرد اكتمال التدريب، يمكن للنموذج تشغيله في الوقت الفعلي على وحدة معالجة مركزية نموذجية.

في الاختبارات، مع نماذج مدربة ضد خطوط أساسية وأعمال سابقة (بما في ذلك RTFVE المذكورة أعلاه، والتي تشكل أساس العمل الجديد)، FSFVE أظهر أداءً أفضل بشكل متسق من الفيديو المضغوط غير المحسّن، و ResNet المثبت على وحدة المعالجة المركزية، ونموذج RTFVE-0 المعدل، مع الحفاظ على تشغيله في الوقت الفعلي على وحدة المعالجة المركزية.

الورقة الجديدة بعنوان FSFVE: تعزيز الفيديو الوجهي المضغوط القليل، وتأتي مع عرض توضيحي و مستودع GitHub.

الطريقة

تم تدريب FSFVE على مجموعة بيانات FaceForensics++ المفتوحة ، التي تتكون من 363 فيديو 1080p لممثلين يتحدثون، والتي استخرج منها المؤلفون فئة “التحدث ضد الجدار”، كونها الأقرب في الشكل إلى مكالمة فيديو نموذجية:

انقر للعب، حسب الضرورة.أمثلة من مجموعة بيانات FaceForensics++. المصدر

تأتي هذه المجموعة الفرعية إلى 27 فيديو حول 972 إطارًا لكل منهما — معظمها مناظر أمامية، ولكن، بالضرورة، بعض مناظر جانبية أيضًا.

为了生成 فيديوهات منخفضة الجودة المصممة لمحاكاة مشاكل اتصال مكالمة الفيديو، قام المؤلفون بضغط مجموعة البيانات باستخدام ترميز الفيديو H264 و H265. تم تعيين مستويات الضغط إلى نطاق CRF يمتد من 36 إلى 40 و 44 (مع الأخذ في الاعتبار أن الصفر هو بدون فقدان و 51 هو كتلة متطرفة).

تم تقليم كل إطار إلى منطقة 256 × 256 حول الوجه باستخدام كاشف الوجه BlazeFace، بعد ذلك تم استخدام نقاط الوجه لتنظيم الوجه من خلال تحديد العينين وتطبيق تحويل متساوي الحجم (الذي يُدور ويكبر وينقل الوجه إلى وضع متسق)، بحيث تبقى العينان على مستوى واحد، وفي وضع تقريبي متسق عبر جميع الإطارات.

تم ذلك باستخدام مكتبة Face Recognition:

مثال على استخراج ملامح الوجه من صورة باستخدام مكتبة Face Recognition باللغة البرمجية بايثون. المصدر

نظرًا لأن النموذج مصمم لتعلمه من عدد قليل من الإطارات من مكالمة فيديو واحدة، فإن الإطارات المدربة تحتاج إلى التقاط أكبر قدر ممكن من تباين الوجه. لذلك تم استخدام كلاстерينج كي ميانز بدلاً من طرق الاختيار البسيطة (أي، عينة عشوائية أو فترات ثابتة).

تم تمرير كل إطار مقطوع ومحاذى عبر معزز الوجه RTFVE لгенерировать تمثيلًا رقميًا، وبعد ذلك تم تجميع الإطارات المماثلة في 30 مجموعة بواسطة كلاسترينج كي ميانز. تم تكرار عملية التجميع خمس مرات للحصول على أفضل تجميع، وتم تحديد الإطار الأقرب إلى مركز كل مجموعة للتدريب. هذه العملية أنتجت مجموعة متنوعة من 30 صورة لكل فيديو.

التدريب والاختبارات

تم تدريب النماذج لمدة 100 دورة، وهو عدد منخفض نسبيًا، مع الأخذ في الاعتبار عدد الإطارات الصغيرة جدًا المشاركة. ومع ذلك، كما يلاحظ المؤلفون، فإن نموذجًا مفرط التدريب هو في الواقع مرغوب فيه في هذا السيناريو، حتى لو كان لا يستطيع التقاط جميع الاحتمالات الممكنة، مثل التعبيرات الوجهية غير الشائعة، أو إخفاء أو إخفاء ملامح الوجه. الأولويات، بدلاً من ذلك، هي مرونة متوسطة في التعميم، وسرعة التدريب.

تم استخدام مُحسِّن RAdam بسرعة تعلم 10^-4.

للاختبارات الأولية، تم مقارنة النظام مع الفيديو المضغوط الأصلي؛ و ResNet خفيف الوزن تم تكوينه للاستدلال في الوقت الفعلي على وحدة المعالجة المركزية؛ وال RTFVE المذكور أعلاه — وهو النظام الوحيد الآخر لتحسين الوجه في الوقت الفعلي على وحدة المعالجة المركزية.

为了 ضمان مقارنة عادلة، تم تعديل RTFVE لإزالة اعتماده على صور مرجعية عالية الجودة خلال الاستدلال مع الحفاظ على سرعة وعدد معاملات مشابهين، مما أدى إلى إنتاج نسخة تسمى RTFVE-0. تم تدريب نماذج ResNet و RTFVE-0 باستخدام دالة الخسارة L1.为了 ضمان مقارنة عادلة، استخدم جميع النماذج نفس محسِّن RAdam وإعدادات التدريب، مع نموذج مثالي مدرب من 30 إطارًا لكل فيديو.

为了 تسريع التدريب، تم تقديم خسارة محددة للتردد لتعزيز التفاصيل الأكثر أهمية في الصورة أثناء التدريب، مع إعطاء وزن أكبر للمكونات الدورية المنخفضة التردد (معلومات الصورة بعد تحويلها إلى قيم تردد)، والتي لها أكبر تأثير على جودة الصورة المتصورة.

تم اشتقاق الت权ين من مصفوفة كمية JPEG، مما يجعل النموذج يركز على الهياكل الأكثر أهمية في الصورة أثناء التدريب.

الاختبارات الكمية

تم قياس دقة إعادة البناء الفنية و جودة الصورة المتصورة للاختبارات. تم قياس الانحراف بواسطة نسبة الإشارة إلى الضوضاء القصوى و مؤشر التشابه الهيكلي؛ و جودة الصورة المتصورة بواسطة تشابه الصورة المتصورة المكتسبة:

أداء FSFVE مقابل الفيديو المضغوط الأصلي، و ResNet المثبت على وحدة المعالجة المركزية، و RTFVE-0 المعدل عبر فيديوهات H.264 و H.265 عند ثلاثة مستويات ضغط، مع تحسين دقة إعادة البناء و مؤشر التشابه الهيكلي، و انخفاض جودة الصورة المتصورة.

FSFVE أظهر أداءً أفضل بشكل متسق من الفيديو المضغوط الأصلي، وكذلك من نماذج التحسين المبنية على وحدة المعالجة المركزية، عبر جميع مستويات الضغط.

مع فيديوهات H.264، زادت نسبة الإشارة إلى الضوضاء القصوى بنسبة 1.11 ديسيبل، و 1.37 ديسيبل، و 1.51 ديسيبل على القيمة الأساسية عند قيم CRF 36، و 40، و 44، مع تحسينات tương應ة في مؤشر التشابه الهيكلي و انخفاض جودة الصورة المتصورة عند المستويين الأعلى من الضغط (مؤشر على جودة صورة أفضل).

تم تسجيل مكاسب مماثلة مع فيديوهات H.265، مما يشير إلى أن النهج يظل فعالاً عبر ترميزي الفيديو الرئيسيين. كما هو موضح أدناه، أصبح التحسين أكثر وضوحًا مع زيادة الضغط، مما يشير إلى أن الطريقة تعمل بشكل جيد تحت الظروف المنخفضة للنطاق الترددي التي صممت لتحسينها:

نسبة الإشارة إلى الضوضاء القصوى مع زيادة معدل البت. يُظهر الفجوة المتزايدة عند معدلات بت أقل أن FSFVE يوفر أكبر مكاسب جودة تحت الظروف الأقصى للضغط وقيود النطاق الترددي.

النماذج المثبتة على وحدة المعالجة المركزية، ResNet و RTFVE-0، قدمت تحسينات متواضعة فقط على القيمة الأساسية، في حين أن FSFVE تجاوز كلاهما بأكثر من 1.1 ديسيبل، مع الحفاظ على أداء في الوقت الفعلي عند 30.24 إطارًا في الثانية، على الرغم من احتوائه على حوالي مليون معامل فقط.

كما هو موضح أدناه، تحسنت الأداء بشكل مستمر مع زيادة عدد الإطارات المدربة. حتى مع خمس صور فقط للتدريب، تحسنت FSFVE من نسبة الإشارة إلى الضوضاء القصوى بنسبة أكثر من 0.75 ديسيبل على القيمة الأساسية، في حين كانت عشرة إطارات كافية لتجاوز تحسين 1 ديسيبل — مما يشير إلى أن النهج يظل فعالًا مع بيانات تدريب محدودة:

تأثير حجم مجموعة التدريب على نسبة الإشارة إلى الضوضاء القصوى لإطارات فيديو H.264 غير المرئية عند CRF 44. حتى خمس صور للتدريب تحسنت الجودة على القيمة الأساسية، مع تحسين الأداء بشكل مستمر مع زيادة عدد الإطارات.

الاختبارات النوعية

في النتائج أدناه، للفаза النوعية من الاختبارات، نرى إطارات فيديو H.264 المضغوط بشدة عند CRF 44 مع الإخراج المقابل ل FSFVE:

مقارنة بين إطارات فيديو H.264 المضغوط بشدة عند CRF 44 مع الإخراج المقابل ل FSFVE. يُ断ر النتائج المحسنة أن FSFVE يقلل من تشوهات الضغط، ويعيد بناء الهياكل الوجهية، ويُنتج جلداً أكثر سلاسة وطبيعية مع الحفاظ على هويّة و تعبير الوجه.

يُصرّ المؤلفون على أن الصور المضغوطة تظهر تشوهات بارزة حول العينين والأنف والفم، إلى جانب جلد خشن غير طبيعي وتشوهات في ملامح الوجه، في حين أن النتائج المحسنة تقلل بشكل كبير من هذه العيوب:

‘في المثال الأول، تظهر العينان غير واضحتين مع اندماج الأسود من مكياج العين مع لون العين. هناك علامات واضحة على التأليف. يفتقر الحاجبان إلى التعريف والجلد يبدو مشوهًا. في المثال الثاني، الجلد مرقش بشدة مع تشوهات نقطية.

‘هناك تشوهات كتلة تحت الفم التي تغير شكل الذقن. هناك أيضًا خطوط رأسيّة.

‘نموذجنا قادر على علاج هذه التشوهات، مما ينتج عنه مخرج مرئي جذاب مع جلد أكثر وضوحًا ويعيد بعض التفاصيل الدقيقة التي فقدت في الضغط.

‘من المهم أن يظل الإخراج المحسن مخلصًا لهوية الفيديو.’

الاستنتاج

يبدو من المحتمل أن هذه الجهود المستمرة عبر الصناعة والأكاديمية لتعزيز جودة بيانات مكالمات الفيديو منخفضة الإشارة سوف تتعارض في النهاية مع الجهود المضادة لتحديد مقاطع الفيديو الكاذبة في مكالمات الفيديو.

منذ أن أنظمة الوسائط المتوسطة مثل FSFVE يمكن تطبيقها بشكل شرعي على تيارات الفيديو للمكالمات عبر واجهات برمجة التطبيقات الرسمية، فمن المحتمل أن تظل المحتوى غير المعالج متاحًا للاستخدام بواسطة إجراءات مكافحة مقاطع الفيديو الكاذبة، مع ظهورها — وتزايد أهميتها.

* يشار إليها في الورقة الجديدة باسم مجموعة بيانات ‘DeepFakeDetector’، على الرغم من أنها لا تظهر أنها معروفة بهذا الاسم، حتى داخل ورقة FaceForensics++ التي يرتبط بها المؤلفون.

نشر لأول مرة يوم الثلاثاء، 14 يوليو 2026