Použití AI pro zlepšení skutečných fotografií před jejich pořízením

Místo použití GenAI pro opravu fotografií po té, co je vyfotíte, vědci vyvinuli systém, který vám řekne, jak se pohybovat, pózovat a komponovat snímek předem, pomocí znalostí o tom, co dělá fotografie pamětihodnými.

Oprava fotografií po jejich pořízení se stává stále snadnější, protože výrobci a technologické platformy nabízejí stále více funkcí pro editaci fotografií přímo v kameře. Mezi tyto systémy patří například konverzační editace od Googlu a generativní editace od Samsungu.

Existuje však nový trend, který upřednostňuje “autenticitu” před výsledky vylepšenými pomocí AI, a to může znamenat, že mnoho spotřebitelů, na které jsou tyto systémy zaměřeny, začne považovat “upravené” fotografie za AI odpad.

Možná to je důvod, proč Google vytvořil AI-vycvičeného “foto trenéra” založeného na Gemini, který je schopen poskytnout přímé instrukce pro zlepšení fotografie během procesu focení:

Google’s Camera Coach tells the user how to reframe a photo, among other basic pieces of advice. Source

Jelikož je to proprietární systém a prakticky neexistuje žádná informace o něm online, Camera Coach parece využívat Gemini k pomoci uživatelům zlepšit kompozici (viz obrázek výše) nebo provést malé změny v póze (jako například přiblížení se nebo pohled přímo do kamery).

Je možné, že produkt tlačí kompozici směrem k mediánu, pravděpodobně založené na milionech nahraných datových bodů, které pravděpodobně přispěly k tréninkovým datům Gemini. V tomto smyslu uživatelé, kteří nahráli obsah, vytvořili kalibraci AI tím, že odmítli neuspokojivé snímky a nahráli ty, které se jim líbily – efektivní (a zdarma) forma kurace dat!

To však říká, že fotografie, které jsou vyhlazené z hlediska kompozice, nemusí nutně mít stejné estetické hodnoty nebo dopad na diváka jako fotografie, které jsou pamětihodné.

Mimo “Cheese!” a pravidlo třetiny

S cílem vytvořit systém, který je přístupný napříč platformami, nová výzkum z Itálie nabízí Coach-style systém založený na předchozích znalostech o tom, co dělá fotografie pamětihodnými:

Far-ranging examples of advice from the authors’ new system. Source

V příkladech výše vidíme rady poskytnuté autory nového systému – nazvaného MemCoach – které je těžké si představit, že by je mohl poskytnout kompozičně zaměřený AI jako Camera Coach. V prvním (nejlevějším) případě je rada odstranit pokrývku hlavy zvláště podezřelá; ve druhém obrázku je těžké si představit, jaký konvenční kontext by mohl kompoziční AI vyvodit z obecné situace (tj. “umělecký” obrázek mladé ženy ležící na podlaze s uzavřenýma očima).

Core understanding o pamětihodnosti ve fotografii, použitý pro vývoj tříčástového italského systému, je odvozen z různých předchozích prací, včetně výstupu Co dělá objekt pamětihodným? z roku 2015 a práce Co dělá fotografii pamětihodnou? z roku 2013.

From the 2013 paper What makes a photograph memorable?, representative examples of good, medium and bad photos, in terms of memorability. Source

Kdokoli, jako já, s negativním datumem narození Unix, pravděpodobně rozpozná šablonu pro “nejméně pamětihodné obrázky” (nahoře vpravo na obrázku výše), z nekonečných slide nocí, které prokletí našeho dětství. Jak autoři uvádějí*:

‘Tyto práce identifikovaly klíčové intrinsické faktory, jako je přítomnost lidí, interiérové scény nebo emocionální výrazy, spíše než objekty a panoramatické pohledy, jakož i extrinsické faktory, včetně kontextu a pozorovatele. ‘

Projekt se zaměřuje na ‘pamětihodnou zpětnou vazbu’ (MemFeed), která je vyjádřena v aplikaci MemCoach a benchmarku (nazvaném MemBench) založeném na PPR10K datasetu.

From the paper PPR10K: A Large-Scale Portrait Photo Retouching Dataset with Human-Region Mask and Group-Level Consistency, diverse samples from the dataset. Top row shows the original images, bottom row shows expert-retouched versions along with corresponding human-region masks. The original photos vary widely in viewpoint, background, lighting and camera settings, whereas the retouched results display improved visual quality and stronger consistency within each group. Source

Práce pozoruje, že pamětihodnost je kvantifikovatelná ve fotografiích, spíše než registrování subjektivních soudů, a autoři dále uvádějí, že tato vlastnost byla identifikována jak pro fotografie (v různých pracích) tak pro videa (v různých jiných).

Nová práce se jmenuje How to Take a Memorable Picture? Empowering Users with Actionable Feedback a pochází od čtyř výzkumníků z University of Trento, University of Pisa a Fondazione Bruno Kessler. Přidružená projektová stránka naznačuje, že kód GitHubu a data hostovaná na Hugging Face budou k dispozici příští měsíc (březen 2026).

Metoda

Pro kuraci MemBench datasetu z původního PPR10K portrétového datasetu, výzkumníci seskupili fotografie ze stejné scény a ohodnotili každou fotografii podle pamětihodnosti pomocí trénovaného prediktoru založeného na CLIP funkcích. Poté seřadili fotografie v každé scéně od nejméně pamětihodných po nejvíce pamětihodné a spárovali je podle toho:

Overview of MemBench construction and evaluation. Top row depicts the data pipeline, from grouping images by scene and predicting memorability, to ranking photos and generating memorability-aware action feedback. Bottom row illustrates evaluation, measuring feedback quality through editing-based memorability gains and perplexity scoring.

Pro každou пару, byly vygenerovány přirozené jazykové popisy pomocí modelu InternVL3.5, aby se vysvětily viditelné rozdíly mezi méně pamětihodnou verzí a více pamětihodnou verzí; a tyto popisy by tvořily tréninkový signál pro systém pamětihodné zpětné vazby.

Na rozdíl od logiky, která stojí za Google’s Camera Coach, výzkumníci hledali jemnější sadu interpretací^†:

‘Na rozdíl od komputačních fotografických úprav, které se zaměřují na post-hoc korekce (například “zjasněte obrázek”), se zaměřujeme na semantické akce, které uživatel může provést na místě pro lepší snímek, například “Čelte si”.’

Konečná MemBench sbírka se skládá z přibližně 10 000 obrázků seskupených do 1 570 scén, průměrně 6,5 obrázků na scéně. Slovní mrak, který autoři vygenerovali (viz obrázek níže), naznačuje širokou škálu semantických kategorií v datasetu:

A word cloud of the most frequent terms in MemBench.

Zdrojové fotografie měly průměrný pamětihodnostní skór 0,63, zatímco nejvíce pamětihodné snímky ze stejné scény se pohybovaly od 0,51 do 1,0, s výrazným překrytím mezi oběma skupinami:

Memorability score distributions comparing the least and most memorable images within each scene.

Zpětná vazba se pohybovala od krátkých sedmi-slovních poznámek až po výrazně delší instrukce (vlevo na obrázku níže). Každá rada byla poté rozdělena na malé akční typy pomocí GPT-5 Mini (vpravo na obrázku níže):

Feedback length distribution measured in content words, and categorization of atomic sub-actions with chord widths indicating co-occurrence frequency across categories.

Autoři uvádějí, že většina návrhů se zaměřila na to, jak byl předmět pózován, následované změnami v významu nebo scéně, a rámování bylo často spojeno s pózováním, zatímco úpravy osvětlení byly často spojeny se semantickými změnami.

Flux Capacitor

Pro vyhodnocení, zda byla pamětihodnost zvýšena pomocí zpětné vazby, byla simulována uživatelská compliance pomocí generativního modelu FLUX.1 Kontext jako proxy pro fotografa. Daný zdroj obrázku a textové zpětné vazby, byl vygenerován editovaný verze Flux, který simuloval navrhované změny:

The images on the left are real, from the dataset, and the images on the right (in each case) are created by Flux, based on the prompt (in yellow, below). In this way, the effectiveness of prompts could be evaluated without extensive human involvement. This knowledge would feed back finally into the MemCoach framework, and in fact represents a workflow that could iteratively improve a system of this kind (i.e., ultimately with real-world rather than Flux examples).

Oba původní a editované obrázky byly poté předány do pamětihodnostního prediktoru, což umožnilo měření, jak často editovaná verze dosáhla vyššího skóre – nazvaného Improvement Ratio – a jak velký byl zisk ve srovnání se zahajovacím obrázkem, nazvaný Relative Memorability.

Podobnost s pamětihodností zaměřenou referenční radou byla také měřena pomocí výpočtu perplexity proti ground-truth popiskům, a 80–20 split byl aplikován na úrovni scény, aby se testování provádělo pouze na scénách, které nebyly použity během tréninku.

Stav umění

Pamětihodnostní povědomí současných multimodálních velkých jazykových modelů bylo testováno. Obrázky z LaMem datasetu byly ukázány několika vedoucím modelům, které byly požádány, zda je obrázek pamětihodný. Modelova odhady byly poté srovnány se skóre, které jim přiřadili lidské pozorovatelé v původní studii:

Tests indicating that baseline multimodal models do not capture memorability. Left, Spearman rank correlation between model predictions and LaMem ground-truth scores, with inter-annotator agreement from LaMem shown for reference. Right, improvement ratio achieved by zero-shot feedback relative to the editing baseline, showing only marginal gains.

Téměř žádná významná korelace s lidskými soudy nebyla nalezena, a navzdory rozsáhlému předtréninku, autoři tvrdí, že modely nesledovaly, co si lidé obvykle pamatují.

Examples from the LaMem dataset. Upper-left, we also see a heat map depicted for that image. Source

MemCoach

MemCoach se zaměřuje na semantické, na-místě instrukce, které lze provést před stisknutím spouště. Například úpravou pózy, změnou interakcí mezi subjekty nebo modifikací scénických prvků. Zpětná vazba poskytnutá MemCoach se pohybuje od 7 do 102 obsahových slov. Pamětihodnost, jak tvrdí práce, parece být více řízena konfigurací subjektu a narativními signály než prostými kompozičními úpravami:

Overview of the MemCoach pipeline, in which memorability-aware guidance from a teacher MLLM is paired with neutral student responses to form contrasting data; activation differences across layers are averaged to derive a memorability steering vector; and that vector is injected at inference to shift student activations toward producing improved, memorability-oriented feedback, without additional training.

Testy

Bylo použito sedm Multimodálních velkých jazykových modelů (MLLMs) ve fázi testování pro nový systém: Qwen2.5V.L; InternVL3_5-8B; Idefics3-8B; a LLaVA-OneVision-1.5. Kromě toho byl zahrnut GPT-5 Mini jako zástupce proprietárních, uzavřených modelů, spolu s esteticky specializovanými Q-Instruct a AesExpert modely. MLLMs fungovaly různě jako zero-shot a učitelé nebo orákula.

InternVL3.5 byl použit pro obě učitele a studenty modely, s MemBench tréninkovým rozdělením, aby se vytvořily kontrastní příklady:

MemCoach performance compared with state-of-the-art MLLMs across teacher oracles, aesthetics-specialized models, and zero-shot baselines, showing higher Improvement Ratio and competitive Relative Memorability together with the lowest perplexity, indicating more consistent and memorability-oriented feedback.

V tabulce pro první test (zobrazený výše) vidíme, že MemCoach parece poskytovat účinnější pamětihodnostní rady než kterékoli ze srovnávacích modelů – a řízený InternVL3.5 model zvyšuje pamětihodnost častěji a o větší míru, s 5% Improvement Ratio ziskem nad GPT-5 Mini a 31,81% skokem v Relative Memorability nad jeho neřízenou verzí.

Také předčí esteticky zaměřené systémy, a to bez dalšího tréninku. Nižší perplexita, jak tvrdí práce, dále naznačuje, že jeho zpětná vazba následuje stejné lingvistické vzorce, které lidské pamětihodnostní soudy tendují k odměňování:

Generalization results showing that MemCoach improves memorability-oriented feedback across multiple multimodal backbones, consistently raising Improvement Ratio and Relative Memorability while also reducing perplexity for most models.

Další test (viz tabulka výše) ukazuje, že přidání MemCoach zvýšilo pamětihodnostní zpětnou vazbu napříč všemi testovanými multimodálními základy, s konzistentními zisky v Improvement Ratio a největšími skoky se objevujícími u Qwen2.5VL a LLaVA-OV.

Kvalitativní hodnocení bylo poté provedeno, analyzující příklady MemCoach zpětné vazby, ve kterých byl zdrojový obrázek, přirozený jazykový návrh a představený vylepšený výsledek prozkoumány vedle sebe:

Qualitative examples of memorability-oriented feedback generated by MemCoach. Each triplet shows the source image, the natural-language instruction, and the resulting edited image, with Relative Memorability (RM) indicating the measured change. The guidance ranges from pose and gaze adjustments to semantic interventions such as object removal, illustrating both successful gains and cases where removing unusual elements reduces memorability.

Z těchto výsledků autoři uvádějí:

‘Příklady zdůrazňují rozmanitost návrhů, které model navrhuje, sahající od jemných kompozičních úprav, jako je změna směru pohledu, pózy nebo polohy ruky, až po semantické zásahy, jako je odstranění objektu nebo změna výrazu obličeje. ‘

‘Zpětná vazba je přirozeně interpretovatelná a proveditelná, vyjádřená v stručných textových instrukcích (většinou zahrnujících verby “Přineste”, “Stůjte”, “Odstraňte”), které lze přímo provést, efektivně verbalizují, jak pořídit pamětihodnou fotografii.’

Závěr

Bylo by velmi zajímavé srovnat metodologii Google’s uzavřeného přístupu s MemBench projektem – alespoň aby se vědělo, jaké centrální standardy, referenční materiály a databáze Google použil pro definici estetických standardů systému.

Negativní aspekt systémů tohoto druhu, otevřených nebo uzavřených zdrojů, je, že v měřítku ohrožují vynucení uniformních standardů, které jsou určeny k tomu, aby skončily jako memy a klišé – určitý druh vizuálního ekvivalentu AI em-dash debat, kde “správný” postup se stal nějak prokletý v neformálním použití.

* Můj převod autorů inline citací na hypertextové odkazy, pokud odkaz není uveden jinde v článku.

^† Práce odkazuje zde, stejně jako na několika dalších místech, na ‘doplňkové materiály’, které nemohu nalézt, ani z práce, ani z hlavní Arxiv položky, ani ze stránky projektu.

Poprvé zveřejněno ve čtvrtek, 26. února 2026