زاوية Anderson
استخدام الذكاء الاصطناعي لمحاكاة حبيبات الفيلم
اجعل أمريكا حبيبية مرة أخرى: أداة جديدة تعتمد على الذكاء الاصطناعي يمكنها إزالة حبيبات الفيلم من اللقطات القديمة وتضغط الفيديو بنسبة صغيرة من الحجم ، ثم تعيد الحبيبات بحيث لا يلاحظ المشاهدون الفرق. يعمل مع معايير الفيديو الحالية ويقلل من عرض النطاق الترددي بنسبة تصل إلى 90٪ ، مع الحفاظ على المظهر القديم.
للكثير منا الذين يشاهدون الأفلام أو البرامج التلفزيونية القديمة ، فإن “الشرارة” من حبيبات الفيلم مريحة ؛ حتى عندما لا ندركها بوضوح ، فإن الحبيبات تخبرنا بأن ما نشاهده تم إنتاجه باستخدام المواد الكيميائية ، وليس بالرمز ، وتربط الخبرة بالعالم المادي: إلى اختيار الأسهم ، والتعرض ، وعمليات المعمل ، والعهود السابقة:
<img class="size-full wp-image-219345" src="https://www.unite.ai/wp-content/uploads/2025/06/grain-styles-in-hollywood.jpg" alt="_approach هوليود إلى الحبيبات تغيرت جنبًا إلى جنب مع التغييرات في الثقافة وطرق الإنتاج. خلال الستينيات ، ساهمت الأسهم والعمليات التصويرية المتطورة في الهوية البصرية الفريدة للعقد. في وقت لاحق ، بدأ المخرجون العاملون بالتقنيات الرقمية في إعادة إدخال الحبيبات بشكل متعمد. في منتصف الثمانينيات ، اختار المخرج جيمس كاميرون ستوك كوداك خشن بشكل خاص ل电影 Aliens (1986 ، أسفل يمين الصورة أعلاه) ، على الأرجح لتعزيز الجو وإخفاء الأسلاك من عمل الفكس الصغير. مصدر: https://archive.is/3ZSjN (مقالتي الأخيرة حول هذا الموضوع)
نصوع التماثل يأتي من وقت كان فيه إنتاج الوسائط الترفيهية يكلف مالًا حقيقيًا ، وكان الوصول محدودًا ، وكان هناك على الأقل شعور مبهم بأن فقط الأكثر قدرة أو决امة يمكن أن يصل إلى هناك ، ويتصرف كاختصار للواقعية والمصداقية – وعندما قامت تقنيات الالتقاط عالية الدقة بإزالة ذلك ، الحنين إلى الماضي.
لم يغيّر كريستوفر نولان أبدًا. بينما قبلت معظم الصناعة الرقمية لسرعتها ومرونتها ، أصر المخرج المتميز على الفيلم الخلوي كأداة للانضباط والجمال.
دينيس فيلنوف ، الذي يعمل بشكل مربع في خطوط أنابيب رقمية ، لا يزال يفسر لقطاته من خلال عمليات كيميائية فوتوغرافية. من أجل أفلام دюн ، التي تم تصويرها رقميًا ، تم طباعة اللقطات على فيلم وتم مسحها مرة أخرى إلى الرقمي ، فقط من أجل الجو والتأثير.
حبيبات وهمية
يُعتبر محبّو جودة الفيلم والتلفزيون الحبيبات المرئية مع высокي الدقة ، حيث معدل البت (كمية البيانات التي يتم دفعها إلى كل إطار) عالية جدًا بحيث يتم الحفاظ على أصغر التفاصيل ، مثل حبيبات الهاليد.
ومع ذلك ، إذا قامت شبكات البث الفعلي بتقديم معدل بت مثل هذا ، فسيضع ذلك ضغطًا شديدًا على سعة الشبكة ، وسيسبب احتمالًا لتأخيرات وتمزق. لذلك ، تقوم منصات مثل نتفليكس بتخليق نسخ مُختزنة من محتوىها و sửة قدرات ترميز AV1 لإضافة الحبيبات إلى الفيلم أو الحلقة بطريقة ذكية ومُلائمة ، واحدًا تلو الآخر ، مما يوفر 30٪ من عرض النطاق الترددي في العملية.
مصطلح “حبيبات المعالجة” هو معادل نسبي نادر لموضة اتافستيك مثل نهضة الفينيل ، ومن الصعب القول ما إذا كان يتم استخدامه بواسطة بث الفيديو لجعل فيديو مُختزَن يبدو وكأنه فيديو “أصلي” غالي الثمن (لمشاهدين قاموا بربط تلك الخصائص بشكل غير واع) ، أو لتحويل انخفاض الجودة المتصورة التي ستخسرها العروض القديمة 4: 3 عند تقليمها لتنسيقات الشاشة الواسعة ؛ أو مجرد استرضاء المظهر الرجعي “نولان” بشكل عام.
حبيبات معزولة
المشكلة هي أن الحبيبات هي أيضًا ضوضاء. أنظمة رقمية تكره الضوضاء ، وترميزات البث مثل AV1 تمسحها بعيدًا لتوفير عرض النطاق الترددي ، trừف إعدادات الحبيبات تُكوّن بشكل صريح.
كما أن مُضخّات الذكاء الاصطناعي مثل سلسلة Topaz Gigapixel تعامل الحبيبات على أنها عيوب يجب تصحيحها.
في مجال تركيب الصور القائمة على الانتشار ، فإن الحبيبات تحديات للغاية لإنشائها ، لأنها تمثل تفاصيل شديدة ، وبالتالي لن تظهر عادة إلا في نماذج مفرطة التعلم ، لأن всей بنية نموذج الانتشار اللاتنتي (LDM) مصممة لتفكيك الضوضاء (مثل الحبيبات) إلى صور واضحة ، بدلاً من معاملة حبيبات الحبيبات على أنهاخصائص ضمنية في الوسائط.
لذلك يمكن أن يكون من الصعب إنشاء حبيبات مقنعة باستخدام التعلم الآلي. وحتى لو كان يمكن القيام بذلك ، فإن تقديمها مرة أخرى في فيديو مُختزَن سيُفضي إلى تضخم حجم ملف الفيديو مرة أخرى.
بسبب هذا الاعتبار اللوجستي الأخير ، تقدم ترميزات الفيديو المتقدمة مثل ترميز الفيديو المتعدد (VVC) الحبيبات كنوع من خدمة “سيارة جانبية”.
VVC يضغط الفيديو النقي ، ويلغي الحبيبات. بدلاً من تبديد البيانات في محاولة للحفاظ على أنماط الحبيبات العشوائية عالية التردد ، يتحليل الحبيبات منفصلاً ويكود مجموعة صغيرة من المعلمات (مثل الامplitude ، والتردد ، ووضع الخلط) التي تصف كيفية إعادة إنشاء حبيبات مماثلة أثناء التشغيل.
تخزين هذه المعلمات في FGC-SEI (معلومات إضافية لخصائص حبيبات الفيلم) ، والتي تُركب جنبًا إلى جنب مع التيار الرئيسي. بعد فك التشفير ، يستخدم وحدة التركيب هذه الإرشادات لإعادة تطبيق حبيبات اصطناعية تقلد الأصل.
هذا يحافظ على “المظهر” لفيلم عالي البت ، غني بالحبيبات ، مع الحفاظ على معدل البت الفعلي منخفضًا ، لأن المُشفر لا يُجبر على إنفاق الموارد للحفاظ على ضوضاء غير متوقعة.
إضافة إلى ذلك ، كما هو الحال مع ملفات العناوين الفرعية المنفصلة ، فإن هذا المحتوى “الحبيبات” محدد بالفيديو المعني ؛ تطبيق مرشحات حبيبات جeneric في منصات مثل Photoshop أو After Effects ، أو في خطوط معالجة تلقائية ، لن يؤدي إلى حبيبات “مُحسّنة” ، ولكن بالأحرى غطاءً من الضوضاء غير المرتبطة:
مرشح “الحبيبات” في Photoshop يضيف ضوضاء عشوائية موحدة ؛ لكن حبيبات الفيلم الحقيقية تأتي من بلورات الهاليد المختلفة الأحجام. تطبيق المرشح على كل قناة على حدة (انظر الصورة أعلاه) يخلق المزيد من الفوضى ، وليس الواقعية. حبيبات الفيلم الحقيقية تعكس كيفية تأثير الضوء على طبقات التماثل في لحظة التعرض. محاكاة ذلك سيتطلب تقدير كيفية تفعيل مناطق مختلفة من الصورة لكل طبقة هاليد ، وليس مجرد تقسيم التأثير عبر طبقات RGB.
FGA-NN
يأتي بحث جديد من فرنسا – خروج قصير ومثير للاهتمام يقدم طريقة متفوقة كمياً ونوعياً لتحليل وإعادة إنشاء الحبيبات:
النظام الجديد ، الذي يُسمى FGA-NN ، لا يبتعد عن استخدام التوليف القياسي القائم على نماذج الحبيبات الغاوسية من خلال الطريقة المعتمدة على VVC ، تركيب حبيبات الفيلم المتعدد (VFGS). ما يتغير في النظام هو التحليل ، باستخدام شبكة عصبية لتقدير معلمات التركيب بدقة أكبر
لذلك يتم تركيب الحبيبات النهائية باستخدام نفس نموذج الغاوس التقليدي – ولكن الشبكة تغذي بيانات التعريف الأفضل إلى مولد قائم على القواعد ، مما يؤدي إلى نموذج متقدم.
الورقة الجديدة الجديدة بعنوان FGA-NN: شبكة عصبية لتحليل حبيبات الفيلم ، ويأتي من ثلاثة باحثين في InterDigital R&D ، Cesson-Sévigné. على الرغم من أن الورقة ليست طويلة ، دعونا نلقي نظرة على بعض الجوانب الرئيسية للتطورات التي تقدمها الطريقة الجديدة.
الطريقة
لتلخيص: نظام FGA-NN يأخذ فيديو حبيبي كمدخل ويستخرج وصفًا مضغوطًا للحبيبات ، ويعيد معلمات في تنسيق FGC-SEI القياسي المستخدم في ترميزات حديثة متعددة. يتم نقل هذه المعلمات جنبًا إلى جنب مع الفيديو ، مما يسمح للمُفكك بإعادة بناء الحبيبات باستخدام VFGS ، بدلاً من ترميز الحبيبات مباشرة.
为了 تدريب الشبكة ، احتاج المؤلفون إلى أزواج من فيديوهات حبيبية ومعلومات التعريف المتوافقة. منذ أن لا تتوفر معظم لقطات الفيلم الحبيبي هذه المعلومات ، أنشأ الباحثون قاعدة بياناتهم الخاصة من خلال إنشاء معلمات FGC-SEI ، وتطبيق حبيبات اصطناعية على فيديوهات نظيفة ، واستخدامها كأمثلة للتدريب.
بيانات التدريب ل FGA-NN تم إنشاؤها عن طريق تطبيق حبيبات اصطناعية على لقطات نظيفة من مجموعات BVI-DVC و DIV2K. تم إنشاء معلمات FGC-SEI عشوائية واستخدامها مع أداة التركيب VFGS ، مما سمح لكل فيديو حبيبي بالاقتران مع معلومات تعريف معروفة.
تم استخدام نموذج التصفية الترددي ، وهو الطريقة الوحيدة للتركيب المدعومة حاليًا في تطبيقات الترميز مثل نموذج اختبار VVC (VTM). تم تقييد نطاقات المعلمات للحفاظ على نتائج بصرية قابلة للتصديق عبر قنوات اللوما والكروما.
تأثير الشبكة
يتميز FGA-NN بوجود نموذجين متناسقين ، أحدهما للوما والآخر للكروما ، كل منهما مصمم لتنبؤ بمعلمات محددة لإنشاء حبيبات فيلم واقعية.
对于 كل إدخال صورة ، يقدر النظام مجموعة من فترات الكثافة ، وعوامل التماثل المرتبطة بكل فترة ، وترددات القطع الأفقية والرأسية ، وتعديل مقياس عام يُعرف باسم معامل Log2Scale. Чтобы التعامل مع هذا ، يستخدم النموذج مُستخرَج ميزة مشترك يعالج الإدخال الحبيبي ويغذي أربعة فروع إخراج منفصلة ، كل منها مسؤول عن مهمة تنبؤ مختلفة:
تُتنبأ حدود الفترات باستخدام الانحدار ، في حين تُعالج عوامل التماثل ، وترددات القطع ، وتعديل المقياس العالمي على أنها مشاكل تصنيف.
الهيكل يتم تعديله ل反映 تعقيد كل مهمة ، مع استخدام طبقات داخلية أكبر لتنبؤات أكثر دقة ؛ على وجه الخصوص ، ي鏡ة النموذج الكروما هيكل اللوما ، ولكن يُعدّل ليتناسب مع خصائص بيانات اللون.
التدريب والاختبارات
تم تدريب FGA-NN باستخدام أربعة دوال هدف ، كل منها موازٍ لمهمة تنبؤه.对于 المخرجات التصنيفية ، تم استخدام خسارة クロス エントロピー لخفض الفجوة بين التصنيفات التنبؤية والقيم الحقيقية.
تم تطبيع حدود الفترات على نطاق من 0 إلى 1 وتم تحسينها باستخدام خسارة مركبة: خسارة L1 موسعة (expL1) التي تُعاقب الأخطاء الأكبر ، وغرامة التنازلاتية التي تمنع الاتجاهات الهابطة. تم الجمع بين جميع الخسائر ، مع تخصيص أوزان عالية لعوامل القطع وعوامل التماثل ، في حين تم تخصيص أوزان لحدود الفترات و Log2Scale بمقدار 1 و 0.1.
تم إجراء التدريب تحت مُحسّن Adam ، بمعدل تعلم 5e-4 ، عبر 10,000 تكرار ، مع حجم.batch من 64.
النظام الوحيد المقارن المناسب للاختبارات كان FGA-CONVENT ، الذي ينتج أيضًا قيمًا في تنسيق FGC-SEI ، ويُستخدم لعمليات الحبيبات. تم اختبار كلا النظامين على تسلسلات UHD من مجموعة تقييم موضوعية JVET ، باستخدام لقطات تحتوي على حبيبات فيلم حقيقية.
يُذكر المؤلفون:
‘يمكن ملاحظة أن FGA-NN يلتقط بدقة الاتجاه العام لنمط حبيبات الفيلم وامتداده ، مما يؤدي إلى صور مُحسّنة تتمتع بخصائص حبيبات فيلم شبيهة بخصائص الحبيبات الأصلية. ‘
‘من ناحية أخرى ، يتنبأ FGA-CONVENT بعامل تماثل أقل ، يتم تعويضه بواسطة معامل Log2Scale أقل نتيجة لتصميمه ، ويميل إلى توليد نمط حبيبات فيلم أكثر خشونة من المرجعية ، مما يؤدي إلى مظهر متميز ولكنه متماسك بصريًا.’
يُشيرون إلى أن المقارنة المباشرة مع معلمات حبيبات الأصل غير موثوقة ، لأن العوامل وعوامل Log2Scale يمكن أن تعوض بعضها البعض ، وأنه غالبًا ما يكون للخطأ الصغير تأثير مرئي قليل.
اختبار الإيمان
تم اختبار إخلاص حبيبات الفيلم عبر أربعة سلاسل عمل: FGA-NN مع VFGS ؛ FGA-CONVENT مع VFGS ؛ Style-FG ؛ و 3R-INN. تم استخدام اختبارات على مجموعتي FGC-SEI و FilmGrainStyle740k ، ومقارنة الإخراج مع الأصل باستخدام معايير التشابه المُتعلم (LPIPS) ؛ JSD-NSS ؛ و انحراف Kullback-Leibler (KL).
من هذه النتائج ، يذكر المؤلفون:
‘على مجموعة اختبار FilmGrainStyle740k ، يحقق Style-FG و 3R-INN أفضل النتائج ، لأن هذه الطرق تم تدريبها بشكل خاص على هذه المجموعة ، مع تقريب FGA-NN عن قرب. أداء FGA-CONVENT مع VFGS غير مثالي على كلا المجموعتين. ‘
‘هذا يعود إلى حقيقة أن التحليل يعتمد على مناطق متجانسة ويتعامل مع معلومات من إطارات متعددة في حالة تحليل حبيبات الفيلم ، في حين يتم توفير التحليل في هذه التقييمات بإطار صغير الحجم (256×256 إلى أقصى 768×512) ، والذي يحتوي غالبًا على نسيج كبير. ‘
‘هذا يُضيف صعوبة إلى التحدي لطريقة التحليل التقليدية ، مما يجعل من المستحيل تطبيق FGA-CONVENT على صور صغيرة مثل هذه.’
أخيرًا ، يُشير المؤلفون إلى أن الطرق القائمة على التعلم مثل 3R-INN و Style-FG تُنتج نتائج بصرية قوية على مجموعات بيانات منضبطة ، لكن تكلفة الحوسبة العالية تجعلها غير مناسبة للنشر على أجهزة المستخدمين النهائيين.
بالمقارنة ، تقترح الورقة الجديدة مُقاربة تجمع بين وحدة تحليل FGA-NN الخفيفة مع طريقة التركيب الكفيفة VFGS ، والتي يصفها المؤلفون بأنها حل أكثر ملاءمة ويمكن توزيعه لاستعادة حبيبات الفيلم في الفيديو المضغوط.
يُشيرون إلى أن فوائد FGA-NN قد تكون كبيرة ، على نطاق واسع:
‘[ترميز] فيديوهات UHD بحبيبات فيلم في معدلات بت متوسطة إلى منخفضة باستخدام سير عمل تحليل وتركيب حبيبات الفيلم يسمح بتوفيرات في معدل البت تصل إلى 90٪ مقارنةً بالترميز عالي البت.’
الاستنتاج
هوس حبيبات الفيلم هو واحد من أغرب وأكثر المفاهيم غموضًا في العصر بعد الرقمي ، ومن المثير للاهتمام ملاحظة أن ما كان يُعتبر في السابق محدودية للوسائط أصبح الآن رمزًا للواقعية والمصداقية في حد ذاته ، حتى لجيل جديد من المشاهدين ولدوا بعد انخفاض الفيلم.
يجب ملاحظة أن لا واحدة من طرق إعادة إنشاء الحبيبات المتقدمة ، بما في ذلك هذا التطور الجديد ، يمكنها التقاط بدقة التأثير الحقيقي لطريقة تأثير الضوء على طبقات الهاليد في لحظة التعرض.
نُشر لأول مرة يوم الأربعاء ، 18 يونيو 2025
