استخدام الذكاء الاصطناعي لتحسين الصور الواقعية قبل التقاطها

بدلاً من استخدام GenAI لتصحيح الصور بعد التقاطها، قام الباحثون بتدريب نظام يخبرك كيف تتحرك، وتتخذ وضعية، وتصور اللقطة من قبل، باستخدام المعرفة المدروسة لما يجعل الصور تذكرها.

تصحيح الصور بعد الحادث كان يصبح أسهل مع مرور الوقت، حيث تقدم المصنعون والمنصات التكنولوجية بشكل متزايد تحريرًا داخل الكاميرا يسمح للمستخدمين بتغيير الصور بمجرد التقاطها. تشمل الأنظمة الشهيرة من هذا النوع تحرير المحادثة من جوجل، وتحرير التوليد من سامسونج، من بين آخرين.

然而، قد يعني اتجاه جديد يفضل “الصدق” على النتائج “المحسنة بالذكاء الاصطناعي” أن العديد من المستهلكين الذين يهدف إليهم هذه الأنظمة ي开始ون في النظر إلى الصور “المعدلة” على أنها سخام الذكاء الاصطناعي.

ربما هذا ما ألهم جوجل لإنشاء مدرب كاميرا مدرب بالذكاء الاصطناعي، مستلهمًا من جيميني، والذي يمكنه إعطاء تعليمات مباشرة لتحسين الصورة خلال عملية التقاطها:

يخبر مدرب الكاميرا من جوجل المستخدم كيفية إعادة توجيه الصورة، من بين نصائح أساسية أخرى. المصدر

كونه نظامًا مملوكًا، ومعظم المعلومات المتاحة عنه غير متوفرة على الإنترنت، يبدو أن مدرب الكاميرا يستخدم جيميني لمساعدة المستخدمين على تحسين الإطار (انظر الصورة أعلاه) أو إجراء تغييرات طفيفة في الوضع (مثل الاقتراب من بعضهم البعض أو النظر مباشرة إلى الكاميرا).

لذلك، كما يبدو، يدفع المنتج التكوين نحو المتوسط، على الأرجح بناءً على ملايين نقاط البيانات التي تم تحميلها والتي ساهمت في بيانات تدريب جيميني. في هذا السياق، قام المستخدمون الذين قاموا بتحميل المحتوى بإنشاء عينة الذكاء الاصطناعي من خلال رفض اللقطات غير مرضية ورفع تلك التي يعجبونها – وهي طريقة فعالة (ومجانية) لتحسين العينة!

ومع ذلك، فإن الصور التي تم “توسطها” من حيث التكوين لا تملك بالضرورة نفس القيم الجمالية أو التأثير على المشاهد مثل الصور التي تكون مذكورة.

ما وراء “تشيز!” وقاعدة الثلث

بهذا المعنى، وباتجاه نظام أكثر سهولة الوصول عبر المنصات، تقدم أبحاث جديدة من إيطاليا نظامًا شبيهًا بمدرب الكاميرا يعتمد على معرفة سابقة لما يجعل الصور تذكرها:

أمثلة متعددة من النصائح المقدمة من نظام الباحثين الجديد. المصدر

في الأمثلة أعلاه، نرى النصائح المقدمة من نظام الباحثين الجديد – الذي يُطلق عليه مدرب الذاكرة – وهو ما يصعب تخيله إذا كان مدرب الكاميرا سيكون قادرًا على تقديمه. في الحالة الأولى (الأيسر)، النصيحة لإزالة العباءة هي خاصة؛ في الصورة الثانية، من الصعب تخيل السياق الذي يمكن أن يستند إليه الذكاء الاصطناعي التكويني (أي صورة “فنية” لشابة مستلقية على الأرض مع عينيها مغلقتين).

الفهم الأساسي حول الذاكرة في التصوير الفوتوغرافي، المستخدم لتطوير النظام الإيطالي ثلاثي الأجزاء، مستمد من أعمال سابقة مختلفة، بما في ذلك الخروج ما يجعل كائنًا يذكر عام 2015، و الورقة ما يجعل صورة تذكر عام 2013.

من ورقة ما يجعل صورة تذكر، أمثلة ممثلة لصور جيدة ومتوسطة وسيئة من حيث الذاكرة. المصدر

أي شخص، مثل tôi، مع تاريخ ميلاد يونيكس سالب، سيشعر بالتقدير للقالب الخاص بـ “الصور الأقل تذكرًا” (الجزء العلوي الأيمن في الصورة أعلاه)، من الليالي الطويلة التي لعنت طفولتنا.

كما يقول المؤلفون*:

‘هذه الأعمال حددت عوامل داخلية رئيسية مثل وجود الأشخاص، المشهد الداخلي، أو التعبيرات العاطفية، بدلاً من الأشياء وال مناظر البانوراما، بالإضافة إلى العوامل الخارجية، بما في ذلك السياق و المشاهد.’

يتمحور المشروع حول “ملاحظات الذاكرة” (مذكرات التغذية)، والتي يتم التعبير عنها في تطبيق مدرب الذاكرة، ومرجع (مذكرات البنك) يستند إلى بي بي آر 10 كي.

من الورقة بي بي آر 10 كي: مجموعة بيانات التouchup للصور الشخصية مع قناع منطقة الإنسان وموافقة مستوى المجموعة، عينات متنوعة من مجموعة البيانات. الصف العلوي يظهر الصور الأصلية، والصف السفلي يظهر الإصدارات المعدلة من قبل الخبراء مع أقنعة المناطق البشرية المقابلة. تختلف الصور الأصلية بشكل كبير في نقطة العرض، الخلفية، الإضاءة، وإعدادات الكاميرا، في حين أن النتائج المعدلة تظهر جودة بصرية محسنة وتماسكًا أقوى داخل كل مجموعة. المصدر

يلاحظ الورقة أن الذاكرة قابلة للقياس في الصور، وليست مجرد سجل للتقديرات الذاتية، ويلاحظ المؤلفون أيضًا أن الخاصية تم تحديدها لكل من الصور (في أعمال مختلفة) والفيديوهات (في أعمال أخرى).

الورقة الجديدة بعنوان كيفية التقاط صورة تذكر، وهي من أربعة باحثين عبر جامعة ترينتو، جامعة بيزا، وFondazione Bruno Kessler. يشير صفحة المشروع إلى أن رمز GitHub وبيانات هوجينج فايس سيكونان متاحين الشهر المقبل (مارس 2026).

الطريقة

为了 curate مجموعة MemBench من مجموعة PPR10K الأصلية، قام الباحثون بتركيب الصور من نفس المشهد وتصنيف كل صورة حسب الذاكرة باستخدام معلم مدرب على CLIP ميزات. ثم قاموا بترتيب الصور داخل كل مشهد من الأقل تذكر إلى الأكثر تذكر وتركيبها وفقًا لذلك:

نظرة عامة على بناء MemBench وتقييمه. الصف العلوي يظهر خط أنابيب البيانات، من تجميع الصور حسب المشهد وتوقع الذاكرة، إلى تصنيف الصور وتوليد ملاحظات العمل الموجهة بالذاكرة. الصف السفلي يظهر التقييم، ويقيس جودة الملاحظات من خلال مكاسب الذاكرة القائمة على التحرير ودرجات الارتباك.

对于 كل زوج، تم توليد وصفات لغة طبيعية باستخدام نموذج InternVL3.5 لشرح الفروق المرئية بين الإصدار الأقل تذكر والإصدار الأكثر تذكر؛ وهذه الوصفات ستشكل إشارة التدريب لنظام ملاحظات الذاكرة.

على عكس المنطق الذي ي лежит في أساس مدرب الكاميرا من جوجل، سعى الباحثون إلى تفسيرات أكثر دقة:

‘على عكس تعديلات التصوير الحاسوبي التي تركز على التصحيحات بعد الحادث (مثل “جعل الصورة أكثر إضاءة”)، نحن نركز على الإجراءات الدلالية التي يمكن للمستخدم اتخاذها في الوقت الفعلي من أجل لقطة أفضل، مثل “تواجه بعضكما البعض”.’

تتكون مجموعة MemBench النهائية من حوالي 10,000 صورة تم تجميعها في 1,570 مشهدًا، بمتوسط 6.5 صورة لكل مشهد. يشير سحابة الكلمات التي أنشأها المؤلفون (انظر الصورة أدناه) إلى مجموعة واسعة من الفئات الدلالية في مجموعة البيانات:

سحابة كلمات لأكثر المصطلحات شيوعًا في MemBench.

كان متوسط درجة الذاكرة للصور الأصلية 0.63، بينما وصلت الصور الأكثر تذكرًا من نفس المشهد من 0.51 إلى 1.0، مع تداخل ملحوظ بين المجموعتين:

توزيع درجات الذاكرة للمقارنة بين الصور الأقل تذكر والأكثر تذكر في كل مشهد.

تراوحت الملاحظات من ملاحظات قصيرة تصل إلى 7 كلمات، إلى تعليمات أطول بشكل ملحوظ (على اليسار في الصورة أدناه). تم تقسيم كل نص إرشاد إلى أنواع إجراء صغيرة باستخدام GPT-5 Mini (على اليمين في الصورة أدناه):

توزيع طول الملاحظات المقاسة بالكلمات المحتوية، وتصنيف الإجراءات الفرعية الذرية مع عرض الحبال يُشير إلى تكرار التزامن عبر الفئات.

يشير المؤلفون إلى أن معظم الاقتراحات ركزت على كيفية وضع الموضوع، تليها تغييرات في المعنى أو المحتوى المشهد، مع ربط التوجيه غالبًا بالوضع، وتغييرات الإضاءة غالبًا ما ترتبط بالتغييرات الدلالية.

مكثف الفلکس

为了 تقييم ما إذا كانت الذاكرة قد زادت من خلال الملاحظات، تم محاكاة امتثال المستخدم من خلال استخدام نموذج FLUX.1 Kontext التوليدي كبديل للمصور:

الصور على اليسار هي حقيقية، من مجموعة البيانات، والصور على اليمين (في كل حالة) تم إنشاؤها بواسطة Flux، بناءً على الإرشاد (باللون الأصفر، أدناه). بهذه الطريقة، يمكن تقييم فعالية الإرشادات دون الحاجة إلى مشاركة بشرية واسعة النطاق. ستتغذى هذه المعرفة في نهاية المطاف إلى إطار MemCoach، وتمثل في الواقع تدفقًا يمكن أن يحسن نظامًا من هذا النوع بشكل متكرر (أي في النهاية مع أمثلة من العالم الحقيقي بدلاً من أمثلة Flux).

تم تمرير كل من الصور الأصلية والصور المعدلة من خلال معلم للذاكرة، مما يسمح بقياس كيف часто تحقق الصورة المعدلة درجة أعلى – يُطلق عليه نسبة التحسين – وكيف كان حجم الزيادة بالنسبة إلى الصورة الأصلية، يُطلق عليه الذاكرة النسبية.

تم قياس التشابه مع نصائح المرجع الموجهة بالذاكرة من خلال حساب الارتباك ضد الوصفات الحقيقية، وتم تطبيق تقسيم 80-20 على مستوى المشهد بحيث تم إجراء الاختبار فقط على المشاهد التي لم تُستخدم خلال التدريب.

حالة الفن

تم اختبار وعي الذاكرة الحالي لنمذج اللغة الكبيرة متعددة الوضع:

اختبارات تشير إلى أن نماذج متعددة الوضع الأساسية لا تلتقط الذاكرة. اليسار، ارتباط رتبة سبيرمان بين تنبؤات النموذج ودرجات LaMem الحقيقية، مع اتفاق بين المُحَكَمين من LaMem للمرجعية. اليمين، نسبة التحسين التي حققها الإرشاد بدون تدريب بالنسبة إلى خط الأساس للتحرير، مما يظهر مكاسب هامشية فقط.

لم يتم العثور على أي ارتباط ذي معنى مع الأحكام البشرية، و尽管 التدريب المسبق على نطاق واسع، يؤكد المؤلفون أن النماذج لم تتبع ما يتذكره الناس بشكل متسق.

أمثلة من مجموعة بيانات LaMem. الزاوية العلوية اليسرى، نرى أيضًا خريطة حرارة معروضة لهذه الصورة. المصدر

مدرب الذاكرة

يركز مدرب الذاكرة على تعليمات دلالية فورية يمكن تنفيذها قبل الضغط على الزناد – على سبيل المثال، تعديل الوضع، تغيير التفاعلات بين المواضيع، أو تعديل عناصر المشهد. تتراوح ملاحظات مدرب الذاكرة من 7 إلى 102 كلمة محتوية. يبدو أن الذاكرة مدفوعة أكثر bằng تكوين الموضوع وتلميحات السرد من التweakات التكوينية البسيطة:

نظرة عامة على خط أنابيب MemCoach، حيث يتم توجيه الإرشاد الموجه بالذاكرة من نموذج MLLM المعلم مع استجابات محايدة من الطالب لتكوين بيانات متضادة؛ يتم تحويل متوسط الفروق في التنشيط عبر الطبقات إلى متجه توجيه الذاكرة؛ ويتم حقن هذا المتجه في الاستدلال لتحويل تنشيطات الطالب نحو إنتاج ملاحظات محسنة وموجهة بالذاكرة دون تدريب إضافي.

الاختبارات

تم استخدام سبعة نماذج لغة كبيرة متعددة الوضع (MLLMs) في مرحلة الاختبار لنظام جديد:

تم استخدام InternVL3.5 كنموذج معلم وطالب، مع استخدام جزء تدريب MemBench لإنشاء أمثلة متضادة:

أداء MemCoach مقارنًا بنماذج MLLM الرائدة عبر معلمي الأوراكل، ونماذج متخصصة في الجماليات، وخطوط الأساس بدون تدريب، مما يظهر نسبة تحسين أعلى وذاكرة نسبية تنافسية مع ارتباك أقل، مما يشير إلى ملاحظات أكثر توجيهًا بالذاكرة.

في الجدول للاختبار الأول (الموضح أعلاه)، نرى أن MemCoach يبدو أنه يقدم نصائح ذاكرة أكثر فعالية من أي من نماذج المقارنة – ونموذج InternVL3.5 الموجه يزيد من الذاكرة أكثر، وبتحسين أكبر، مع تحقيق نسبة تحسين بنسبة 5٪ أكثر من GPT-5 Mini، وزيادة بنسبة 31.81٪ في الذاكرة النسبية أكثر من إصدارته غير الموجهة.

كما يتفوق على الأنظمة الموجهة بالجماليات، دون الحاجة إلى تدريب إضافي. يفترض المؤلفون أن ارتباكًا أقل يشير إلى أن ملاحظاته تتبع نفس الأنماط اللغوية التي تميل الأحكام البشرية للذاكرة إلى مكافأتها:

نتائج التعميم التي تظهر أن MemCoach يحسن من ملاحظات الذاكرة عبر عدة نماذج متعددة الوضع، مما يزيد من نسبة التحسين والذاكرة النسبية بشكل متسق، مع تقليل الارتباك لمعظم النماذج.

يشير اختبار آخر (انظر الجدول أعلاه) إلى أن إضافة MemCoach تعزز ملاحظات الذاكرة عبر كل هيكل متعدد الوضع تم اختباره، مع مكاسب متسقة في نسبة التحسين والذاكرة النسبية، مع أكبر القفزات التي تظهرها Qwen2.5VL وLLaVA-OV.

تم إجراء تقييم نوعي بعد ذلك، حيث تم تحليل أمثلة من ملاحظات MemCoach حيث تم فحص الصورة الأصلية، الإرشاد باللغة الطبيعية، والنتيجة المحسنة جنبًا إلى جنب:

أمثلة نوعية من ملاحظات الذاكرة التي تم توليدها بواسطة MemCoach. كل ثلاثية تظهر الصورة الأصلية، الإرشاد باللغة الطبيعية، والصورة المعدلة الناتجة، مع الذاكرة النسبية (RM) التي تشير إلى التغيير المقاس. تتراوح الإرشادات من تعديلات الوضع والانظر إلى تدخلات دلالية مثل إزالة الكائنات، مما يظهر كل من المكاسب الناجحة وحالات تقليل الذاكرة عند إزالة العناصر غير العادية.

من بين هذه النتائج، يقول المؤلفون:

‘تسلط الأمثلة الضوء على مجموعة متنوعة من الاقتراحات التي يقدمها النموذج، تتراوح من تعديلات تكوين دقيقة، مثل تغيير اتجاه النظر أو الوضع أو وضع اليد، إلى تدخلات دلالية تتضمن إزالة الكائنات أو تغيير تعبير الوجه.’

‘الملاحظات قابلة للفهم ويمكن تنفيذها، وتعبر عنها تعليمات نصية موجزة (غالبًا ما تتضمن أفعال “أحضر” و “قف” و “أزل”) يمكن تنفيذها مباشرة، مما يفيد في كيفية التقاط صورة تذكرها.’

الختام

سيكون من المثير للاهتمام مقارنة منهجية نهج جوجل المغلق مع مشروع MemBench – ليس أقلها لمعرفة المعايير المركزية والمراجع والقواعد البيانية التي استخدمها جوجل لتحديد معايير الجمال للنظام.

الجانب السلبي لأنظمة من هذا النوع، مفتوحة أو مغلقة المصدر، هو أنها معرضة لفرض معايير موحدة في النهاية ستنتهي إلى أن تصبح ميمات وكلشات – نوع من المكافئ البصري لمناقشات شرطة العلامة الذكاء الاصطناعي، حيث أصبحت الإجراء “الصحيح” ملعونًا إلى حد ما في الاستخدام غير الرسمي.

* تحويلي لمراجع المؤلفين إلى روابط، إذا لم تكن الرابط موجودة في مكان آخر في المقالة.

^† يشير الورقة هنا، كما في العديد من الأماكن الأخرى، إلى “مادة إضافية” التي لم أتمكن من العثور عليها، إما من الورقة أو قائمة Arxiv الأساسية أو موقع المشروع.

نُشر لأول مرة يوم الخميس، 26 فبراير 2026