باحثو ديزني يقدمون طريقة جديدة لضغط الصور باستخدام الذكاء الاصطناعي – ولكنها قد تخلق تفاصيل وهمية

يقدم قسم الأبحاث في ديزني طريقة جديدة لضغط الصور، مستخدماً نموذج الاستقرار الاصطناعي المفتوح المصدر V1.2 لإنتاج صور أكثر واقعية عند معدلات بت أقل من الطرق التنافسية.

طريقة ضغط ديزني مقارنة بالمناهج السابقة. يزعم المؤلفون تحسين استعادة التفاصيل، مع تقديم نموذج لا يتطلب مئات الآلاف من الدولارات للتدريب، والذي يعمل أسرع من الطريقة التنافسية المكافئة. مصدر: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

المنهج الجديد (المعرف باسم “codec” على الرغم من زيادة تعقيداته مقارنة بالكودات التقليدية مثل JPEG و AV1) يمكنه العمل على أي نموذج انتشار.latent (LDM). في الاختبارات الكمية، يتفوق على الطرق السابقة من حيث الدقة والتفاصيل، ويتطلب تدريبًا و计算ًا أقل بكثير.

الفرق الرئيسي في العمل الجديد هو أن خطأ الكم (عملية مركزية في جميع أنواع ضغط الصور) مشابه ل الضوضاء (عملية مركزية في نماذج الانتشار).

لذلك، يمكن معاملة صورة كمية بشكل تقليدي كنسخة مشوشة من الصورة الأصلية، ويمكن استخدامها في عملية تنظيف الضوضاء في LDM بدلاً من الضوضاء العشوائية، من أجل إعادة بناء الصورة عند معدل بت مستهدف.

مقارنات إضافية لطريقة ديزني الجديدة (محددة باللون الأخضر)، بالمقارنة مع المناهج المنافسة.

يزعم المؤلفون:

‘نحن ننظر إلى إزالة خطأ الكم كمهام تنظيف الضوضاء، باستخدام الانتشار لاستعادة المعلومات المفقودة في الصورة المرسلة. تسمح لنا طريقةنا بتقديم أقل من 10٪ من عملية الانتشار الكاملة، ولا تتطلب أي تغييرات معمارية على نموذج الانتشار، مما يسمح باستخدام نماذج الأساس كقاعدة قوية دون أي تعديل إضافي للنظام.

‘تتفوق طريقة الكوداك الخاصة بنا على الطرق السابقة في معايير الواقعية الكمية، ونثبت أن إعادة بناءنا تفضلها المستخدمون النهائيون، حتى عندما تستخدم الطرق الأخرى ضعف معدل البت.’

ومع ذلك، كما هو الحال مع المشاريع الأخرى التي تسعى إلى استغلال قدرات ضغط نماذج الانتشار، قد تخلق طريقة ديزني تفاصيل وهمية. على العكس من ذلك، فإن الطرق الخاسرة مثل JPEG ستنتج مناطق واضحة مشوهة أو مخففة من التفاصيل، والتي يمكن للمشاهد العادي التعرف عليها كlimitations للضغط.

بدلاً من ذلك، قد تغير طريقة ديزني التفاصيل من السياق الذي لم يكن موجودًا في الصورة الأصلية، بسبب الطبيعة الخشنة لل التنкодر التبايني (VAE) المستخدمة في النماذج النموذجية المعتادة المعتمدة على بيانات الهيبرسكيل.

‘مثل المناهج التوليدية الأخرى، يمكن لطريقةنا التخلي عن بعض ميزات الصورة أثناء توليد معلومات مشابهة في جهة الاستقبال. ومع ذلك، في بعض الحالات، قد يؤدي ذلك إلى إعادة بناء غير دقيقة، مثل انحناء الخطوط المستقيمة أو تشويه حدود الأجسام الصغيرة.’

‘هذه مشاكل معروفة للنموذج الأساسي الذي نبني عليه، والتي يمكن أن تعزى إلى بعد الميزة المنخفض نسبيًا لVAE.’

في حين أن هذا له بعض الآثار على التمثيلات الفنية وصدق الصور العادية، قد يكون له تأثير أكثر حدة في الحالات التي تشكل فيها التفاصيل الصغيرة معلومات أساسية، مثل الأدلة في قضايا المحكمة، والبيانات لتحليل الوجه، ومسح ضوئي لتحليل الحروف، وغيرها من الحالات المحتملة، في حالة انتشار شفرة بهذه القدرة.

في هذه المرحلة المبكرة من تقدم الضغط القائم على الذكاء الاصطناعي، كل هذه السيناريوهات بعيدة في المستقبل. ومع ذلك، فإن تخزين الصور هو تحدي عالمي على مستوى الهيبرسكيل، ي影响 قضايا حول تخزين البيانات، والبث، واستهلاك الكهرباء، بالإضافة إلى القضايا الأخرى. لذلك، قد يقدم الضغط القائم على الذكاء الاصطناعي تسوية مغرية بين الدقة واللوجستيات. تظهر التاريخ أن أفضل الشفرات لا تفوز دائمًا بأوسع قاعدة مستخدمين، عندما تكون قضايا مثل الترخيص وسيطرة التنسيقات المملوكة على عوامل في التحديد.

لقد كانت ديزني تجرب تجارب مع التعلم الآلي كطريقة لضغط الصور لمدة طويلة. في عام 2020، كان أحد الباحثين في الورقة الجديدة مشاركًا في مشروع قائم على VAE لتحسين ضغط الفيديو.

تم تحديث ورقة ديزني الجديدة في بداية أكتوبر. اليوم، أصدرت الشركة فيديو يوتيوب مصاحب. يُطلق على المشروع ضغط الصور الخاسرة مع نماذج الانتشار الأساسية، ويأتي من أربعة باحثين في ETH Zürich (التابع لمشاريع ديزني القائمة على الذكاء الاصطناعي) وديزني للأبحاث. كما يقدم الباحثون ورقة إضافية.

المنهج

تستخدم الطريقة الجديدة VAE لترميز الصورة إلى تمثيلها المضغوط الlatent. في هذه المرحلة، تتكون الصورة الإدخال من ميزات مشتقة – تمثيلات متجهية منخفضة المستوى. ثم يتم كمية التضمين اللاتنتي مرة أخرى إلى تيار بت، ومن ثم إلى مساحة البكسل.

يتم استخدام الصورة المكممة كمقالب للضوضاء التي تزرع عادةً صورة قائمة على الانتشار، مع عدد متغير من خطوات تنظيف الضوضاء (حيث غالبًا ما يكون هناك تساوم بين زيادة خطوات تنظيف الضوضاء وزيادة الدقة، مقابل انخفاض الكفاءة وزيادة الكفاءة).

مخطط لطريقة ضغط ديزني الجديدة.

يمكن التحكم في معاملات الكمية وعدد خطوات تنظيف الضوضاء في النظام الجديد، من خلال تدريب شبكة عصبية تتنبأ بالمؤشرات ذات الصلة بهذه الجوانب من الترميز. يسمى هذا الإجراء الكمية التكيفية، وتستخدم نظام ديزني إطار Entroformer كنموذج لل熵 الذي يقوم بالعملية.

يقول المؤلفون:

‘بصورة直觉، تتعلم طريقةنا التخلي عن المعلومات (من خلال تحويل الكم) التي يمكن توليدها خلال عملية الانتشار. لأن الأخطاء التي تroduced خلال الكم مشابهة لإضافة [الضوضاء]، ويمكن استخدام نماذج الانتشار لإزالة ضوضاء الكم التي تroduced خلال الترميز.’

يتم استخدام الانتشار المستقر V2.1 كالنظام الأساسي للانتشار في النظام، تم اختياره لأن كافة الشفرة والأوزان الأساسية متاحة علنًا. ومع ذلك، يؤكد المؤلفون أن مخططهم قابل للتطبيق على عدد أكبر من النماذج.

مهمة توقعات الخطوة الزمنية حاسمة في اقتصادية العملية، حيث تقيم العدد الأمثل لخطوات تنظيف الضوضاء – وهو توازن بين الكفاءة والأداء.

توقعات الخطوة الزمنية، مع تحديد العدد الأمثل لخطوات تنظيف الضوضاء بمحاذاة حمراء. يرجى الرجوع إلى ملف PDF المصدر للحصول على دقة دقيقة.

يجب مراعاة مقدار الضوضاء في التضمين اللاتنتي عند إجراء تنبؤ بالعدد الأمثل لخطوات تنظيف الضوضاء.

البيانات والاختبارات

تم تدريب النموذج على مجموعة بيانات Vimeo-90k. تم تقطيع الصور بشكل عشوائي إلى 256x256px لكل دورة (أي كل استهلاك متكرر للبيانات المتنقية بواسطة بنية تدريب النموذج).

تم تحسين النموذج لمدة 300,000 خطوة عند معدل تعلم 1e-4. هذا هو الأكثر شيوعًا في مشاريع الرؤية الحاسوبية، وأيضًا الأقل والأكثر دقة بشكل عام، كتسوية بين تعميم مفاهيم وخصائص مجموعة البيانات، وقدرة على إعادة إنتاج التفاصيل الدقيقة.

يقول المؤلفون بشأن بعض الاعتبارات اللوجستية لنظام اقتصادي وفعال:

‘خلال التدريب، من المستحيل إعادة توجيه التدرج عبر عدة ممرات من نموذج الانتشار كما هو الحال في DDIM العينة. لذلك، نقوم فقط بiteration واحدة من عينة DDIM و نستخدمها مباشرة كبيانات مُنظفة بالكامل.’

تم استخدام مجموعات بيانات Kodak و CLIC2022 و COCO 30k لاختبار النظام. تم معالجة مجموعة البيانات وفقًا لمنهجية المقالة التي نشرت في عام 2023 من قسم جوجل ضغط الصور المتعددة الواقعية مع مولد مشروط.

تم استخدام مقاييس نسبة الإشارة إلى الضوضاء القصوى (PSNR) و مقاييس التشابه الإدراكية المكتسبة (LPIPS) و مؤشر التشابه الهيكلي المتعدد القياسات (MS-SSIM) و مسافة إنسيشن (FID).

تم اختبار الإطارات السابقة المنافسة بين الأنظمة القديمة التي تستخدم الشبكات التوليدية المعادية (GANs) والمناهج الحديثة القائمة على نماذج الانتشار. كانت الأنظمة GAN التي تم اختبارها ضغط الصور التوليدي عالي الدقة و ILLM (الذي يقدم بعض التحسينات على HiFiC).

كانت الأنظمة القائمة على الانتشار ضغط الصور الخاسرة مع نماذج الانتشار المشروط (CDC) و ضغط الصور عالي الدقة مع نماذج التوليد القائمة على النتيجة (HFD).

النتائج الكمية ضد الإطارات السابقة على مجموعات بيانات مختلفة.

对于 النتائج الكمية (الموضحة أعلاه)، يقول الباحثون:

‘تحدد طريقةنا حالة جديدة من واقعية الصور المُنشأة، وتتفوق على جميع الأسس في منحنيات FID-معدل البت. في بعض مقاييس التشويه (أي LPIPS و MS-SSIM)، نتفوق على جميع كوداكات الانتشار بينما نبقى منافسين مع كوداكات التوليد الأفضل أداء.’

‘كما هو متوقع، تعاني طريقةنا والمناهج التوليدية الأخرى عند قياسها ب PSNR لأننا نفضل إعادة بناء ممتعة إدراكياً بدلاً من تكرار دقيق للتفاصيل.’

对于 الدراسة المستخدمة، تم استخدام طريقة Elo لل選択 بين خيارين، في سياق بطولة حيث ستنتقل الصور المفضلة إلى الجولات اللاحقة. تم استخدام نظام مونت كارلو لتحليل جميع مقارنات الصور من نفس المستخدم، عبر 10,0000 تكرار، مع تقديم النتيجة الوسطى في النتائج.

تقديرات Elo للدراسة المستخدمة، مع بطولات Elo لكل مقارنة (على اليسار) وأيضًا لكل مشارك، مع قيم أعلى أفضل.

هنا يقول المؤلفون:

‘كما هو واضح من تقييمات Elo، تتفوق طريقةنا بشكل كبير على جميع الطرق الأخرى، حتى مقارنة ب CDC، الذي يستخدم في المتوسط ضعف معدل البت لطريقةنا. هذا يبقى صحيحًا بغض النظر عن استراتيجية بطولة Elo المستخدمة.’

في الورقة الأصلية، بالإضافة إلى الورقة الإضافية، يقدم المؤلفون مقارنات بصرية إضافية، واحدة منها موضحة في هذه المقالة. ومع ذلك، بسبب دقة الفرق بين العينات، ننصح القارئ بالرجوع إلى ملف PDF المصدر، حتى يتمكن من تقييم النتائج بشكل عادل.

تنتهي الورقة بذكر أن طريقةها المقترحة تعمل بمعدل ضعف سرعة المنافس CDC (3.49 مقابل 6.87 ثانية، على التوالي). كما أنها لاحظت أن ILLM يمكنه معالجة صورة في غضون 0.27 ثانية، ولكن هذا النظام يتطلب تدريبًا مرهقًا.

الاستنتاج

يصرح الباحثون في ETH وديزني بوضوح، في نهاية الورقة، عن إمكانية نظامهم لتوليد تفاصيل وهمية. ومع ذلك، لا تتطرق أي من العينات المقدمة في المواد إلى هذه القضية.

بكل عدالة، هذه المشكلة ليست محصورة في طريقة ديزني الجديدة، بل هي تأثير جانبي لا مفر منه لاستخدام نماذج الانتشار – وهي هيكل تفسيري ومبتكر – لضغط الصور.

من المثير للاهتمام أن باحثين آخرين من ETH Zurich قد أنتجوا قبل خمسة أيام فقط ورقة بعنوان هلوسات مشروطة لضغط الصور، التي تدرس إمكانية “مستوى مثالي من الهلوسة” في أنظمة الضغط القائمة على الذكاء الاصطناعي.

يقدم المؤلفون هناك حجة لمرغوبية الهلوسة عندما يكون المجال عامًا (ومبررًا) بما فيه الكفاية:

‘للمحتوى الشبيه بالنسيج، مثل العشب والنتوءات والجدران الحجرية، فإن توليد البكسل التي تتماشى بشكل واقعي مع نصيب معين من النسيج أكثر أهمية من إعادة بناء قيم البكسل الدقيقة؛ توليد أي عينة من توزيع النسيج بشكل عام كافٍ.’

لذلك، تقدم الورقة الثانية حجة لضغط يكون “مبتكرًا” وتمثيليًا، بدلاً من إعادة بناء دقيقة للسمات والخطوط الأساسية للصورة غير المضغوطة الأصلية.

من الطبيعي أن نتساءل ماذا سيفكر المجتمع الفوتوغرافي والإبداعي في هذا التعريف الجذري الجديد لـ “الضغط”.

* تحويلي لمراجع المؤلفين الداخلية إلى روابط.

نشر لأول مرة يوم الأربعاء، 30 أكتوبر 2024