Використання штучного інтелекту для покращення реальних фотографій до їхнього зроблення

Натомість використовувати GenAI для виправлення фотографій після їхнього зроблення, дослідники створили систему, яка вказує, як рухатися, позувати і кадрувати знімок до його зроблення, використовуючи знання про те, що робить фотографії пам’ятними.

Виправлення фотографій після їхнього зроблення стало легшим завдяки тому, що виробники та технічні платформи все частіше пропонують редактировання в камері, яке дозволяє користувачам змінювати зображення одразу після їхнього зроблення. Популярні системи цього типу включають конверсаційне редактировання Google та генеративне редактировання Samsung, серед інших.

Однак, нова тенденція, яка віддає перевагу “автентичності” над результатами, покращеними за допомогою штучного інтелекту, може означати, що багато споживачів, на яких ці системи орієнтовані, починають вважати “змінені” фотографії “штучним брудом”.

Можливо, це спонукало Google створити тренований штучним інтелектом “камерний тренер”, який базується на Gemini та здатний давати прямою інструкцію щодо покращення фотографії під час її зроблення:

Камерний тренер Google вказує користувачу, як пере кадрувати фотографію, серед інших базових порад. Джерело

Будучи пропрієтарною системою, і з практично нульовою інформацією про неї в інтернеті, Камерний тренер видається використовує Gemini для допомоги користувачам покращити кадрування (див. зображення вище) або зробити незначні зміни в позі (наприклад, рухатися ближче один до одного або дивитися прямо в камеру).

Таким чином, система, мабуть, штовхає композицію до медіани, мабуть, на основі мільйонів завантажених даних, які, ймовірно, внесли свій внесок у тренування даних Gemini. У цьому сенсі користувачі, які завантажили дані, створили калібровку штучного інтелекту, відхиляючи незадовільні знімки та завантажуючи ті, які їм подобаються – ефективну (і безкоштовну) форму кураторства даних!

Однак фотографії, які є “вирівняними” щодо композиції, не обов’язково володіють тими ж естетичними цінностями або впливом на глядача, як фотографії, які є пам’ятними.

Поза “Сир!” і правилом третини

З цією метою, і для створення системи, яка була б більш доступною на різних платформах, нове дослідження з Італії пропонує систему типу Камерного тренера, яка базується на попередніх знаннях про те, що робить фотографії пам’ятними:

Розрізноманітні приклади порад від нової системи авторів. Джерело

У прикладах вище ми бачимо поради, дані новою системою авторів – названою MemCoach – які важко уявити, щоб їх дав Камерний тренер, який базується на композиції. У першому (лівому) випадку порада видалити головний убір особливо підозріла; у другому зображенні важко уявити, яку звичайну контекстуальну інформацію композиційно-орієнтований штучний інтелект міг би витягнути з загальної ситуації (тобто “художнє” зображення молодої жінки, яка лежить на підлозі з закритими очима).

Основне розуміння про пам’ятність у фотографії, яке було використане для розробки тричастинної італійської системи, було взято з різних попередніх робіт, включаючи роботу 2015 року виходу Що робить об’єкт пам’ятним?, та роботу 2013 року статтю Що робить фотографію пам’ятною?.

З роботи 2013 року Що робить фотографію пам’ятною?, представницькі приклади добрих, середніх і поганих фотографій щодо пам’ятності. Джерело

Хтось, як і я, з негативною датою народження Unix, ймовірно, впізнає шаблон для “найменш пам’ятних зображень” (верхній правий у зображенні вище), з нескінченних слайд-шоу, які проклинали наше дитинство. Як заявляють автори*:

‘Ці роботи визначили ключові внутрішні фактори, такі як присутність людей, інтер’єрні сцени, або емоційні вирази, а не об’єкти та панорамні види, а також зовнішні, включаючи контекст і спостерігача. ‘

Проект центрується на “зворотному зв’язку пам’ятності” (MemFeed), який виражається у застосунку MemCoach, та бенчмарку (названому MemBench) на основі PPR10K набору даних.

З паперу PPR10K: A Large-Scale Portrait Photo Retouching Dataset with Human-Region Mask and Group-Level Consistency, різноманітні зразки з набору даних. Оригінальні фотографії сильно різняться за точкою зору, фоном, освітленням та налаштуваннями камери, тоді як результати редагування демонструють покращену візуальну якість та сильнішу узгодженість всередині кожної групи. Джерело

Папера спостерігає, що пам’ятність кількісно вимірювана у фотографіях, а не реєстром суб’єктивних суджень, і автори далі зазначають, що ця властивість була визначена як для фотографій (у різних працях) так і для відео (у різних інших).

Нова праця називається Як зробити пам’ятну фотографію? Надання користувачам дієвих порад, і походять від чотирьох дослідників з Університету Тренто, Університету Пізи та Фондації Бруно Кесслера. Супровідна сторінка проекту свідчить, що код GitHub та дані Hugging Face будуть доступні наступного місяця (березень 2026).

Метод

Для створення набору даних MemBench з джерельного набору даних портретних фотографій PPR10K дослідники згрупували фотографії з однієї сцени та оцінили кожне зображення за пам’ятністю за допомогою тренованого передбачувача на основі CLIP функцій. Потім вони ранжували фотографії всередині кожної сцени від менш пам’ятних до більш пам’ятних та спарували їх відповідно:

Огляд конструкції MemBench та оцінки. Верхній ряд зображує потік даних, від групування зображень за сценами та передбачення пам’ятності до ранжування фотографій та генерації пам’ятності-орієнтованих дій; нижній ряд ілюструє оцінку, вимірюючи якість зворотного зв’язку через редагування-орієнтовані прибутки пам’ятності та оцінку перплексії.

Для кожної пари були згенеровані природно-мовні описи за допомогою моделі InternVL3.5 для пояснення видимих відмінностей між менш пам’ятним варіантом та більш пам’ятним варіантом; ці описи складали тренувальний сигнал для системи зворотного зв’язку пам’ятності.

На відміну від логіки, яка лежить в основі Камерного тренера Google, дослідники шукали більш тонке тлумачення^†:

‘На відміну від комп’ютерних фотографічних коригувань, які зосереджені на постфактумних корекціях (наприклад, “зробити зображення яскравішим”), ми зосереджуємося на семантичних діях, які користувач може виконати на льоту для кращого знімка, наприклад “Оберніться один до одного”.’

Остаточна колекція MemBench складається з близько 10 000 зображень, згрупованих у 1 570 сцен, у середньому 6,5 зображень на сцену. Хмарка слів, згенерована авторами (див. зображення нижче), свідчить про широкий спектр семантичних категорій у наборі даних:

Хмарка слів найчастіших термінів у MemBench.

Джерельні фотографії мали середній бал пам’ятності 0,63, тоді як найбільш пам’ятні знімки з тієї ж сцени варіювалися від 0,51 до 1,0, з помітним перекриттям між двома групами:

Розподіл балів пам’ятності, порівнюючи найменш пам’ятні та найбільш пам’ятні зображення всередині кожної сцени.

Сам зворотний зв’язок варіювався від коротких семислівних нотаток до довших інструкцій (ліворуч на зображенні нижче). Кожна порада була розбита на малі типи дій за допомогою GPT-5 Mini (праворуч на зображенні нижче):

Розподіл довжини зворотного зв’язку, виміряної в словах змісту, та категоризація атомарних піддій з шириною акорду, вказуючою на частоту співвідношення між категоріями.

Автори зазначають, що більшість порад зосереджувалися на тому, як позувало суб’єкт, за яким слідували зміни змісту або сценарію, а кадрування часто пов’язувалося з позуванням, а налаштування освітлення часто пов’язувалося з семантичними змінами.

Флукс-капаситор

Для оцінки того, чи збільшується пам’ятність завдяки зворотному зв’язку, була симульована відповідь користувача за допомогою генеративної моделі FLUX.1 Kontext як заміни фотографа. За допомогою джерельного зображення та текстового зворотного зв’язку була згенерована редагована версія Flux, яка симулювала запропоновані зміни:

Зображення ліворуч справжні, з набору даних, а зображення праворуч (у кожному випадку) створені Flux на основі запиту (жовтого кольору нижче). Таким чином, ефективність запитів могла бути оцінена без участі людини. Ці знання будуть повернуті до рамок MemCoach, і насправді представляють робочий процес, який міг би покращити систему цього типу (тобто в кінцевому підсумку з реальними, а не Flux-прикладами).

Обидва оригінальні та редаговані зображення були потім передані через передбачувач пам’ятності, що дозволило виміряти, як часто редагована версія досягала вищого балу – названого Коефіцієнт покращення – і наскільки великим був цей прибуток порівняно з вихідним зображенням, названим Відносна пам’ятність.

Крім того, було виміряно подібність до пам’ятності-орієнтованих порад шляхом розрахунку перплексії проти ґрунт-трутових описів, а також було застосовано розрізнення 80-20 розрізнення на рівні сцени, так що тестування проводилось лише на сценах, які не були використані під час тренування.

Стан справи

Була перевірена пам’ятність сучасних багатомодальних великомасштабних мовних моделей. Зображення з набору даних LaMem були показані кільком провідним моделям, яким було запитано, чи є зображення пам’ятним. Потім оцінка впевненості моделі була порівняна з балами, призначеними людськими оглядачами в оригінальному дослідженні:

Тести, які свідчать про те, що базові багатомодальні моделі не відстежують пам’ятність. Ліворуч, рангова кореляція Спірмена між передбаченнями моделі та ґрунт-трутовими балами LaMem, з міжанотаторською угодою з LaMem для порівняння. Праворуч, коефіцієнт покращення, досягнутий за допомогою нульового зворотного зв’язку порівняно з редагуванням-базовим порівнянням, показуючи лише маргінальні прибутки.

Була знайдена майже жодна кореляція з людськими судженнями, і, незважаючи на великомасштабне попереднє тренування, автори стверджують, що моделі не відстежували те, що люди постійно пам’ятають.

Приклади з набору даних LaMem. Верхній лівий, ми також бачимо теплову карту, зображену для цього зображення. Джерело

MemCoach

MemCoach зосереджується на семантичних, на льоту інструкціях, які можуть бути виконані до натискання затвора – наприклад, регулювання пози, зміни взаємодій між суб’єктами або зміни елементів сцени. Зворотний зв’язок, наданий MemCoach, варіюється від 7 до 102 слів змісту. Пам’ятність, як стверджує папера, видається керується більш суб’єктною конфігурацією та нарративними сигналами, ніж простими композиційними коригуваннями:

Огляд трубопроводу MemCoach, у якому пам’ятності-орієнтоване керівництво від вчителя MLLM поєднується з нейтральними реакціями студента для формування контрастних даних; середні розбіжності активності між шарами використовуються для отримання вектора керування пам’ятністю; і цей вектор вводиться під час висновку для зміщення активності студента до генерації покращеного, пам’ятності-орієнтованого зворотного зв’язку, без додаткового тренування.

Тести

У фазі тестування нової системи було використано сім багатомодальних великомасштабних мовних моделей (MLLMs): Qwen2.5V.L; InternVL3_5-8B; Idefics3-8B; і LLaVA-OneVision-1.5. Крім того, було включено GPT-5 Mini як представник закритих, пропрієтарних моделей, а також естетически-орієнтовані моделі Q-Instruct і AesExpert. MLLMs працювали як нульові зворотні зв’язки та вчителі-оракули.

InternVL3.5 було використано як вчителя та студента моделей, з використанням тренувального розрізнення MemBench для створення контрастних прикладів:

Виступ MemCoach порівняно з сучасними MLLMs через вчителів-оракулів, естетически-орієнтованих моделей та нульових зворотних зв’язків, показуючи вищий коефіцієнт покращення та конкурентну відносну пам’ятність разом з найнижчою перплексією, вказуючи на більш послідовний та пам’ятності-орієнтований зворотний зв’язок.

У таблиці першого тесту (показаному вище) ми бачимо, що MemCoach видається забезпечує більш ефективний пам’ятності-орієнтований зворотний зв’язок, ніж будь-яка з порівняльних моделей – і керований InternVL3.5 модель підвищує пам’ятність частіше та у більших розмірах, з 5% коефіцієнтом покращення над GPT-5 Mini та 31,81% стрибком у відносній пам’ятності над її некерованою версією.

Він також перевершує естетически-орієнтовані системи, незважаючи на відсутність додаткового тренування. Нижча перплексія, стверджує папера, свідчить про те, що його зворотний зв’язок слідує тим же лінгвістичним шаблонам, яких людські судження про пам’ятність схильні винагороджувати:

Результати узагальнення, які показують, що MemCoach покращує пам’ятності-орієнтований зворотний зв’язок через багатомодальні основи, послідовно підвищуючи коефіцієнт покращення та відносну пам’ятність, а також знижуючи перплексію для більшості моделей.

Додатковий тест (див. таблицю вище) свідчить про те, що додавання MemCoach підвищує пам’ятності-орієнтований зворотний зв’язок через багатомодальні основи, з послідовними прибутками у коефіцієнті покращення та відносній пам’ятності, а також найбільшим стрибком для Qwen2.5VL та LLaVA-OV.

Потім було проведено якісну оцінку, аналізуючи приклади зворотного зв’язку MemCoach, у яких джерельне зображення, природно-мовна інструкція та уявлений покращений результат були розглянуті поруч:

Якісні приклади пам’ятності-орієнтованого зворотного зв’язку, згенерованого MemCoach. Кожна трійка показує джерельне зображення, природно-мовну інструкцію та редаговане зображення, з відносною пам’ятністю (RM), вказуючою на виміряну зміну. Керівництво варіюється від регулювання пози та напрямку погляду до семантичних втручань, таких як видалення об’єктів, ілюструючи як успішні прибутки, так і випадки, коли видалення незвичайних елементів знижує пам’ятність.

З цих результатів автори стверджують:

‘Приклади підкреслюють різноманітність пропозицій, які пропонує модель, від дрібних композиційних коригувань, таких як зміна напрямку погляду, пози чи положення рук, до семантичних втручань, що включають видалення об’єктів чи зміну виразу обличчя. ‘

‘Зворотний зв’язок природно інтерпретується та дієво виражається у вигляді лаконічних текстових інструкцій (більшість з яких включають дієслова “Принеси”, “Стій”, “Видали”), які можуть бути безпосередньо реалізовані, ефективно формулюючи, як зробити пам’ятну фотографію.’

Висновок

Було б дуже цікаво порівняти методологію закритого підходу Google з проектом MemBench – не в останню чергу, щоб дізнатися, які центральні стандарти, посилання та бази даних Google використовували для визначення естетичних стандартів системи.

Негативний аспект систем цього типу, відкритих або закритих джерел, полягає в тому, що вони ризикують впровадити уніфіковані стандарти, які призначені стати мемами та кліше – певного роду візуальним еквівалентом дебатів про тире в AI, у яких “правильна” процедура стала дещо проклятою у неформальному використанні.

* Моя конвертація посилань авторів у гіперпосилання, якщо посилання не представлено в іншому місці статті.

^† Папера посилається тут, як і в кількох інших місцях, на “додатковий матеріал”, який я не можу знайти, ані в папері, ані в основному списку Arxiv, ані на сайті проекту.

Перша публікація четверга, 26 лютого 2026 року