استخدام الذكاء الاصطناعي لمحاكاة حبيبات الفيلم

اجعل أمريكا حبيبية مرة أخرى: يمكن أداة جديدة تعمل بالذكاء الاصطناعي إزالة حبيبات الفيلم من اللقطات القديمة ، وضغط الفيديو بنسبة صغيرة من الحجم ، ثم إعادة وضع الحبيبات بحيث لا يلاحظ المشاهدون الفرق. يعمل مع معايير الفيديو الحالية ويقلل من عرض النطاق الترددي بنسبة تصل إلى 90 في المائة ، مع الحفاظ على المظهر القديم.

对于许多 منا الذين يشاهدون الأفلام أو البرامج التلفزيونية القديمة ، فإن “شعور” حبيبات الفيلم مريح ؛ حتى عندما لا ندرك ذلك بشكل واعي ، فإن الحبيبات تخبرنا بأن ما نشاهده تم إنتاجه باستخدام المواد الكيميائية ، وليس بالرمز البرمجي ، وتجعل التجربة متصلة بالعالم المادي: إلى اختيار الأسهم ، والتعرض ، وعمليات المعمل ، والعهود السابقة:

AV1 مصمم لدمج حبيبات فيلم اصطناعية ، كما هو موضح في هذه الأمثلة. مصدر: https://waveletbeam.com/index.php/av1-film-grain-synthesis

يشبه “عبادة الحبيبات” المتنافسة الرقمية لتوجهات رجعية مثل نهضة الفينيل ، ومن الصعب القول ما إذا كانت تستخدم من قبل مشغلي البث لجعل فيديوهات محسنة للغاية تبدو مثل “فيديو خام” غالي الثمن (لمشاهدين الذين ربطوا بشكل غير واع هذه الخصائص) ، أو لتحويل انخفاض جودة الإدراك التي ستتخذها العروض القديمة ذات الشاشة 4: 3 عند تقييد مقدمي البث إلى نسب عرض شاشة واسعة ؛ أو مجرد التملق لمظهر “نولان” الرجعي بشكل عام.

حبيبات معزولة

المشكلة هي أن الحبيبات هي أيضًا ضوضاء. الأنظمة الرقمية تكره الضوضاء ، وترميزات البث مثل AV1 تنتزعها لتحقيق economies في عرض النطاق الترددي ، ما لم يتم تكوين إعدادات الحبيبات بشكل صريح. ومن الممكن أيضًا أن مضخمات الذكاء الاصطناعي مثل سلسلة Topaz Gigapixel تعامل الحبيبات على أنها عيب يجب تصحيحه.

في مجال 합성 الصور القائمة على الانتشار ، من الصعب للغاية توليد الحبيبات ، لأنها تمثل تفاصيل край ، وبالتالي لن تظهر إلا في نماذج مفرطة التعلم ، لأن هيكل نموذج الانتشار الكامل (LDM) يتم设计ه لتفكيك الضوضاء (مثل الحبيبات) إلى صور واضحة ، بدلاً من معاملة حبيبات الحبيبات على أنها خصائص ضمنية في الوسائط.

لذلك يمكن أن يكون من الصعب إنشاء حبيبات مقنعة باستخدام التعلم الآلي. حتى لو كان يمكن القيام بذلك ، فإن تقديمها بشكل مباشر إلى فيديو محسّن سوف يؤدي إلى تضخم حجم الملف مرة أخرى.

نظرًا لهذه النظرية اللوجستية ، تقدم ترميزات الفيديو المتقدمة مثل ترميز الفيديو المتعدد (VVC) الحبيبات كنوع من خدمة “السيارة الجانبية”.

يضغط VVC الفيديو النقي الخالي من الحبيبات ويلغي الحبيبات. بدلاً من تبديد البيانات في محاولة للحفاظ على أنماط الحبيبات عالية التردد العشوائية ، يتحليل الحبيبات منفصلاً ويكود مجموعة صغيرة من المعلمات (مثل الحجم والتردد ووضع الخلط) التي تصف كيفية إعادة توليد حبيبات مماثلة أثناء التشغيل.

تخزين هذه المعلمات في FGC-SEI (معلومات إضافية لتعزيز الحبيبات) ، والتي تتنقل جنبًا إلى جنب مع التيار الرئيسي. بعد فك التشفير ، يستخدم وحدة合성 هذه الإرشادات لإعادة تطبيق حبيبات اصطناعية تقلد الأصل.

هذا يحافظ على “المظهر” للفيديو عالي معدل البت الغني بالحبيبات ، مع الحفاظ على معدل البت الفعلي منخفضًا ، لأن المُشفر لا يضطر إلى إنفاق الموارد للحفاظ على أنماط الحبيبات غير المتوقعة.

علاوة على ذلك ، كما هو الحال مع ملفات العناوين الفرعية المنفصلة ، فإن هذا المحتوى “الحبيبات” هو محتوى محدد للفيديو ؛ تطبيق مرشحات الحبيبات العشوائية في منصات مثل Photoshop أو After Effects ، أو في خطوط المعالجة الآلية ، لن يؤدي إلى حبيبات “مطابقة” ، ولكن إلى طبقة ضوضاء غير متعلقة:

اليسار: الصورة الأصلية. الوسط: مرشح الحبيبات Camera Raw تم تطبيقه بشكل موحد على جميع القنوات. اليمين: نفس مرشح الحبيبات تم تطبيقه على كل قناة على حدة. مصدر الصورة (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (من مقالتي السابقة)

يضيف مرشح “الحبيبات” في Photoshop ضوضاء عشوائية موحدة؛ لكن حبيبات الفيلم الحقيقي تأتي من بلورات الهاليد المختلفة الحجم. تطبيق المرشح على كل قناة على حدة (انظر الصورة أعلاه) يخلق المزيد من الفوضى ، وليس الواقعية. تعكس حبيبات الفيلم الحقيقي كيف يصيب الضوء طبقات من الهاليد في لحظة التعرض. لمحاكاة ذلك ، سيتطلب تقدير كيفية تفعيل مناطق مختلفة من الصورة كل طبقة من طبقات الهاليد ، وليس مجرد تقسيم التأثير عبر طبقات RGB.

FGA-NN

يدخل هذا البحث الجديد من فرنسا – وهو خروج قصير ومثير للاهتمام – ويقدم طريقة فائقة للتحليل وإعادة إنشاء الحبيبات:

مقارنة بين حبيبات الأصل والنتائج من طرق تحليل وتركيب مختلفة. مصدر: https://arxiv.org/pdf/2506.14350

النظام الجديد ، الذي يسمى FGA-NN ، لا يختلف عن الطريقة التقليدية لتركيب الحبيبات باستخدام تركيب الحبيبات القائم على الجاوس من خلال الطريقة القياسية المتوافقة مع VVC ، تركيب حبيبات الفيلم القابل للتكيف (VFGS). ما يغيره النظام هو التحليل ، باستخدام شبكة عصبية لتقييم معلمات التركيب بدقة أكبر

لذلك ، لا يزال الحبيبات النهائية يتم تركيبه باستخدام نفس نموذج الجاوس التقليدي – لكن الشبكة تغذي بيانات أفضل إلى مولد قائم على القواعد ، مما يؤدي إلى نموذج متقدم.

الورقة الجديدة بعنوان FGA-NN: شبكة عصبية لتحليل حبيبات الفيلم ، ويأتي من ثلاثة باحثين في InterDigital (IDCC ) R&D ، Cesson-Sévigné. على الرغم من أن الورقة ليست طويلة ، دعونا نلقي نظرة على بعض الجوانب الرئيسية للتطورات التي تقدمها الطريقة الجديدة.

الطريقة

للمرة الثانية: يتخذ نظام FGA-NN فيديو حبيبي كمدخل ويستخرج وصفًا مضغوطًا للحبيبات ، ويتوصل إلى معلمات في تنسيق FGC-SEI القياسي المستخدم في ترميزات حديثة متعددة. يتم نقل هذه المعلمات جنبًا إلى جنب مع الفيديو ، مما يسمح للمُشفر بإعادة بناء الحبيبات باستخدام VFGS ، بدلاً من ترميز الحبيبات بشكل مباشر.

مخطط لتحليل وإعادة تطبيق حبيبات الفيلم في توزيع الفيديو ، باستخدام FGA-NN لاستخراج المعلمات و VFGS للتركيب.

为了 تدريب الشبكة ، احتاج المؤلفون إلى أزواج من مقاطع الفيديو الحبيبية ومetadata FGC-SEI المقابلة. نظرًا لأن معظم مقاطع الفيديو الحبيبية تفتقر إلى هذا النوع من البيانات الوصفية ، قام الباحثون بإنشاء قاعدة بياناتهم الخاصة من خلال إنشاء معلمات FGC-SEI ، وتطبيق حبيبات اصطناعية على مقاطع فيديو نقيّة ، واستخدامها كأمثلة للتدريب.

تم إنشاء بيانات التدريب ل FGA-NN من خلال تطبيق حبيبات اصطناعية على لقطات نقيّة من مجموعات بيانات BVI-DVC و DIV2K. تم إنشاء معلمات FGC-SEI عشوائيًا واستخدامها مع أداة التركيب VFGS ، مما سمح لكل فيديو حبيبي بمقابلة بيانات وصفية معروفة.

تم استخدام نموذج التردد المدعوم من معايير الفيديو الحالية ، مع تقييد نطاقات المعلمات للحفاظ على المصداقية البصرية عبر قنوات لوما وكروما.

تم إنشاء بيانات التدريب للcollection الجديدة من خلال تطبيق حبيبات اصطناعية على لقطات نقيّة من مجموعات بيانات BVI-DVC و DIV2K. تم إنشاء معلمات FGC-SEI عشوائيًا واستخدامها مع أداة التركيب VFGS ، مما سمح لكل فيديو حبيبي بمقابلة بيانات وصفية معروفة.

نظرة عامة على نطاقات المعلمات FGC-SEI العشوائية المستخدمة لإنشاء حبيبات اصطناعية للتدريب ، والمطبقة على لقطات نقيّة من مجموعات بيانات BVI-DVC و DIV2K. تم تقييد المعلمات لضمان نتائج بصرية معقولة عبر قنوات لوما وكروما.

تم استخدام نموذج الترشيح الترددي ، وهو الطريقة الوحيدة المدعومة حاليًا في تطبيقات الترميز مثل نموذج اختبار VVC (VTM). تم تقييد نطاقات المعلمات للحفاظ على المصداقية البصرية عبر قنوات لوما وكروما.

تأثير الشبكة

تتميز FGA-NN بوجود نموذجين منسقين ، لوما وكروما ، يُصمم كل منهما لتوقعات معلمات محددة لإنشاء حبيبات فيلم واقعية.

对于 كل صورة مدخلة ، يقدر النظام مجموعة من فترات الكثافة ، وعوامل التماثل المرتبطة بكل فترة ، وترددات القطع الأفقية والرأسية ، وتعديل مقياس عام يسمى Log2Scale. لتحقيق ذلك ، يستخدم النموذج مستخلص ميزة مشترك يعالج الإدخال الحبيبي ويدفع إلى أفرع إخراج منفصلة ، كل منها مسؤول عن مهمة تنبؤ مختلفة:

هيكل نسخة لوما من FGA-NN. يستخلص Backbone المشترك ميزات من إطارات حبيبية ، يليها أفرع إخراج منفصلة مخصصة لمهام التنبؤ: حدود الفترات ، وعوامل التماثل ، وترددات القطع ، وتعديل Log2Scale. يستخدم نموذج كروما نفس الهيكل مع أبعاد مدخلة ومخرجات محورة.

تتم التنبؤ بحدود الفترات باستخدام الانحدار الخطي ، في حين يتم التعامل مع عوامل التماثل وترددات القطع وتعديل المقياس العالمي على أنها مشاكل تصنيف.

يتم تعديل الهيكل ليعكس تعقيد كل مهمة ، مع استخدام طبقات داخلية أكبر لتنبؤات أكثر دقة؛ بشكل خاص ، ي鏡ز نموذج كروما هيكل لوما ، ولكنه يعتبر سمات بيانات اللون.

التدريب والاختبارات

تم تدريب FGA-NN باستخدام أربعة دوال هدف ، كل منها مطابق لمهمة تنبؤ.对于 مخارج التصنيف ، تم استخدام خسارة التباين المتقاطع لتقليل الفجوة بين العلامات التنبؤية والقيم الحقيقية.

تم تطبيع حدود الفترات إلى نطاق 0-1 وتم تحسينها باستخدام خسارة مركبة: خسارة L1 متسارعة (expL1) التي تفرض عقوبات أكبر على الأخطاء الأكبر ، و عقوبة التجانس التي تثني على الانحدارات الهابطة. تم الجمع بين الخسائر الأربعة ، مع تخصيص أوزان عالية لعوامل القطع والتماثل ، في حين تم تخصيص أوزان 1 و 0.1 لحدود الفترات و Log2Scale.

تم إجراء التدريب تحت مُحسِّن Adam ، بمعدل تعلم 5e-4 ، على مدار 10,000 تكرار ، مع حجم 배치 64.

الtool الوحيد القابل للمقارنة مناسب للاختبارات كان FGA-CONVENT ، الذي ينتج أيضًا قيمًا في تنسيق FGC-SEI ، ويُستخدم لمعالجة الحبيبات. تم اختبار كلا النظامين على تسلسلات UHD من مجموعة تقييم موضوعية JVET ، باستخدام لقطات تحتوي على حبيبات فيلم حقيقية.

الخطوط العمودية المتقطعة تشير إلى حدود فترات الكثافة ، في حين يتم تسجيل مكسب Log2Scale في تسمية المحور.

في الصورة أعلاه ، نرى إطارات مقطوعة متطابقة تم إنشاؤها بواسطة VFGS باستخدام معلمات من كل طريقة ، مقارنة بالأصل. يتم رسم تقديرات لوما الخاصة بهم مقابل قيم حقيقية تم تحديدها يدويًا باستخدام VFGS ، والتي ترسم كثافة البكسل على المحور السيني (0-255) ، وعوامل التماثل على المحور السيني الأزرق (0-255) ، وترددات القطع على المحور السيني الأخضر (2-14).

يذكر المؤلفون:

‘يمكن ملاحظة أن FGA-NN يلتقط بدقة الاتجاه العام لنمط حبيبات الفيلم الحقيقي والكثافة ، مما يؤدي إلى توليد صور تتمتع بخصائص حبيبات فيلم شبيهة بصور الأصل.’

‘من ناحية أخرى ، يتنبأ FGA-CONVENT بعامل تماثل أقل ، مع تعويضه بعامل Log2Scale أقل نتيجة لتصميمه ، ويميل إلى توليد نمط حبيبات فيلم أكثر خشونة من المرجع ، مما يؤدي إلى مظهر متميز ولكنه متسق بصريًا.’

يلاحظون أن المقارنة المباشرة مع معلمات حبيبات الفيلم الحقيقية غير موثوقة ، لأن عوامل التماثل و Log2Scale يمكن أن يعوضوا بعضهما البعض ، وأنه غالبًا ما يكون للخطأ الصغير تأثير بصروري قليل.

اختبار الإيمان

تم اختبار إخلاص حبيبات الفيلم عبر أربعة سير عمل: FGA-NN مع VFGS؛ FGA-CONVENT مع VFGS؛ Style-FG؛ و 3R-INN. تم استخدام الاختبارات على كلا مجموعتي بيانات FGC-SEI و FilmGrainStyle740k ، ومقارنة الإخراج مع الأصل باستخدام معايير التشابه الإدراكي المكتسبة (LPIPS)؛ JSD-NSS؛ و انحراف Kullback-Leibler (KL).

نتائج الاختبار على مجموعة بيانات FilmGrainStyle740k. يتفوق Style-FG و 3R-INN على الآخرين بسبب تدريبهما على هذه المجموعة ، مع تقريب FGA-NN. يؤدي FGA-CONVENT أداءً أقل ، مما يعكس اعتماده على تحليل الإطارات المتعددة والمناطق المتجانسة – شروط لا تتوافق مع الإدخالات الصغيرة الغنية بالنسيج المستخدمة في هذه الحالة.

من بين هذه النتائج ، يذكر المؤلفون:

‘على مجموعة بيانات FilmGrainStyle740k ، يتحقق Style-FG و 3R-INN من أفضل النتائج ، نظرًا لتدريبهما على هذه المجموعة ، مع تقريب FGA-NN. يؤدي أداء FGA-CONVENT مع VFGS أداءً أقل على كلا مجموعتي الاختبار. ‘

‘هذا يعود إلى حقيقة أن التحليل يعتمد على مناطق متجانسة ويتعامل مع معلومات من إطارات متعددة في حالة تحليل حبيبات الفيلم الحقيقي ، في حين يتم تزويد التحليل في هذه التقييمات بإطار صغير الحجم (256×256 إلى أقصى حد 768×512) ، والذي غالبًا ما يحتوي على نسيج ملحوظ.’

‘هذا يضيف تحديًا إضافيًا للطريقة التقليدية ، مما يجعل من المستحيل تطبيق FGA-CONVENT على صور صغيرة مثل هذه.’

أخيرًا ، يلاحظ المؤلفون أن الطرق القائمة على التعلم مثل 3R-INN و Style-FG تنتج نتائج بصرية قوية على مجموعات بيانات منضبطة ، لكن تكلفة الحوسبة العالية تجعلها غير مناسبة للنشر على أجهزة المستخدمين النهائيين.

مقارنة بين إطارات منخفضة معدل البت تم تحسينها باستخدام سير عمل تحليل وتركيب مختلفة (الأعمدة الثالثة إلى الأخيرة).

من خلال المقارنة ، يُقترح أن النموذج المقترح في الورقة الجديدة ، الذي ي 结ب وحدة تحليل FGA-NN الخفيفة مع طريقة التركيب الكفء VFGS ، يُعتبر حلًا أكثر ملاءمة وتنفيذاً لإعادة إدخال حبيبات الفيلم في الفيديو المضغوط.

يُشيرون إلى أن فوائد FGA-NN يمكن أن تكون كبيرة ، على نطاق واسع:

‘[التشفير] مقاطع فيديو UHD بحبيبات فيلم في معدلات بت متوسطة إلى منخفضة باستخدام سير عمل تحليل وتركيب حبيبات الفيلم يسمح بتوفيرات في معدل البت تصل إلى 90 في المائة مقارنة بالتشفير عالي معدل البت.’

الخلاصة

يُعتبر هوس حبيبات الفيلم أحد أهم وأغرب المفاهيم في عصر ما بعد التماثل ، ومن المثير للاهتمام أن ما كان يُعتبر قصورًا في الوسائط قد أصبح رمزًا للواقعية والصدق في حد ذاته ، حتى بالنسبة لجيل جديد من المشاهدين ولد بعد انخفاض الفيلم.

يجب ملاحظة أن لا أحد من طرق إعادة إنشاء حبيبات الفيلم المتقدمة ، بما في ذلك هذا التطور الأخير ، يمكن أن يلتقط بدقة التأثير الحقيقي للطريقة التي يؤثر بها الضوء على طبقات الهاليد في عملية فوتوغرافية كيميائية حقيقية ، على مدى مجموعة من الظروف.

نُشر لأول مرة يوم الأربعاء ، 18 يونيو 2025