Brug af AI til at forbedre virkelige fotos, før de tages

I stedet for at bruge GenAI til at rette billeder efter du har taget dem, har forskere trænet et system, der fortæller dig, hvordan du skal bevæge dig, posere og ramme billedet på forhånd, ved hjælp af studeret viden om, hvad der gør billeder memorabele.

At rette billeder efterfaktisk har været blevet lettere i lang tid, da producenter og teknologiplatforme i stigende grad tilbyder redigering i kameraet, der giver brugerne mulighed for at ændre billeder, så snart de er taget. Populære systemer af denne type inkluderer Google’s konversationsredigering, og Samsung’s generative redigering, blandt andre.

Men en ny trend, der favoriserer ‘autenticitet’ over AI-forbedrede resultater, kan betyde, at mange af de forbrugere, disse systemer er rettet mod, begynder at betragte ‘ændrede’ billeder som AI-slop.

Måske er det dette, der har inspireret Google til at skabe en AI-trænet ‘kameracoach’ informeret af Gemini, der kan give direkte instruktioner til at forbedre et billede under processen med at tage det:

Google’s Camera Coach fortæller brugeren, hvordan han skal reframme et billede, samt andre grundlæggende råd. Kilde

Da det er et proprietært system, og med næsten ingen information tilgængelig online omkring det, synes Camera Coach at udnytte Gemini til at hjælpe brugere med at forbedre ramningen (se billedet ovenfor) eller til at lave mindre ændringer i holdning (såsom at bevæge sig tættere sammen eller se direkte ind i kameraet).

Så langt som nogen kan se, skubber produktet kompositionen mod medianen, formodentlig baseret på millioner af uploaded datapunkter, der sandsynligvis har bidraget til Geminis træningsdata. På denne måde har de uploadede brugere skabt AI’ens kalibrering ved at afvise utilfredsstillende billeder og uploade dem, de kan lide – en effektiv (og gratis) form for dataset-kurering!

Det sagde, billeder, der er gennemsnitlige i komposition, har ikke nødvendigvis de samme æstetiske værdier eller seer-impact som billeder, der er memorabele.

Ud over ‘Cheese!’ og tredjedelsreglen

I denne forbindelse, og med henblik på et system, der er mere tilgængeligt på tværs af platforme, tilbyder ny forskning fra Italien et Coach-lignende system, der er baseret på forhåndsviden om hvad der gør billeder memorabele:

Fjernende eksempler på råd fra forfatternes nye system. Kilde

I eksemplerne ovenfor ser vi råd givet af forfatternes nye system – kaldet MemCoach – som det er svært at forestille sig, at en kompositionscentreret AI som Camera Coach kunne give. I det første (venstre) tilfælde er rådet om at fjerne hovedbeklædningen særligt specifikt; i det andet billede er det svært at forestille sig, hvilken konventionel kontekst en kompositionsbaseret AI kunne trække fra den generelle situation (dvs. et ‘kunstnerisk’ billede af en ung kvinde, der ligger på gulvet med lukkede øjne).

Kerneforståelsen om memorabilitet i fotografi, der er brugt til at udvikle det tre-delte italienske system, er draget fra forskellige tidligere værker, herunder 2015-udgivelsen Hvad gør et objekt memorabelt?, og 2013-papiret Hvad gør et fotografi memorabelt?.

Fra 2013-papiret What makes a photograph memorable?, repræsentative eksempler på gode, middelmådige og dårlige billeder, i forhold til memorabilitet. Kilde

Enhver, som jeg, med en negativ Unix-fødselsdato, vil sandsynligvis genkende skabelonen for ‘mindst memorabele billeder’ (øverst til højre i billedet ovenfor), fra de endeløse slide-nætter, der forbandt vores barndom. Som forfatterne siger*:

‘Disse værker identificerede nøgleintrinske faktorer såsom tilstedeværelse af mennesker, indendørs scener eller emotionelle udtryk, snarere end objekter og panoramabilleder, samt ekstrinske faktorer, herunder kontekst og observatoren. ‘

Projektet centerer sig om ‘memorabilitetsfeedback’ (MemFeed), der udtrykkes i MemCoach-tutor-applikationen, og en benchmark (med titlen MemBench) baseret på PPR10K-datasettet.

Fra papiret PPR10K: A Large-Scale Portrait Photo Retouching Dataset with Human-Region Mask and Group-Level Consistency, diverse eksempler fra datasettet. Øverste række viser de originale billeder, nederste række viser expert-retouched versioner samt tilhørende human-region masks. De originale billeder varierer meget i synsvinkel, baggrund, belysning og kamera-indstillinger, mens de retouched resultater viser forbedret visuel kvalitet og stærkere konsistens inden for hver gruppe. Kilde

Papiret observerer, at memorabilitet er kvantificerbar i billeder, snarere end en registrering af subjektive domme, og forfatterne bemærker yderligere, at egenskaben er blevet identificeret både for billeder (i forskellige værker) og videoer (i forskellige andre).

Det nye papir er titlen Hvordan tager man et memorabelt billede? Empower brugere med handlebare feedback, og kommer fra fire forskere på University of Trento, University of Pisa og Fondazione Bruno Kessler. Projektets side antyder, at GitHub-kode og Hugging Face-vært data vil være tilgængelige næste måned (marts 2026).

Metode

For at kurere MemBench-datasettet fra kilde-PPR10K-portrætdatasettet, grupperede forskerne billeder fra samme scene og scorede hvert billede for memorabilitet ved hjælp af en trænet predictor baseret på CLIP funktioner. De rangerede derefter billederne inden for hver scene fra mindst til mest memorabelt og parrede dem derefter:

Oversigt over MemBench-konstruktion og evaluering. Øverste række viser data-pipelines, fra gruppering af billeder efter scene og forudsigelse af memorabilitet, til rangering af billeder og generering af memorabilitetsbevidst handling-feedback. Nederste række illustrerer evaluering, hvor feedback-kvaliteten måles gennem redigering-baseret memorabilitetsgevinst og perplexity-scoring.

For hvert par blev naturlige sprogbeskrivelser genereret med InternVL3.5-modellen for at forklare de synlige forskelle mellem den mindst memorabele version og den mest memorabele version; og disse beskrivelser ville udgøre træningssignalet for memorabilitetsfeedback-systemet.

I modsætning til den type logik, der ligger til grund for Google’s Camera Coach, søger forskerne en mere subtil fortolkning^†:

‘I modsætning til computergenererede fotografi-justeringer, der fokuserer på efterfølgende korrektioner (f.eks. “gør billedet lysere”), fokuserer vi på semantiske handlinger, som en bruger kan udføre på-the-fly for et bedre skud, f.eks. “Vend ansigterne mod hinanden”.’

Den endelige MemBench-samling består af omkring 10.000 billeder, grupperet i 1.570 scener, med en gennemsnit på 6,5 billeder per scene. Word-clouden, som forfatterne har genereret (se billedet nedenfor), antyder en bred vifte af semantiske kategorier i datasettet:

En word-cloud over de mest hyppige termer i MemBench.

Kildebilleder havde en gennemsnitlig memorabilitets-score på 0,63, mens de mest memorabe billeder fra samme scene strakte sig fra 0,51 op til 1,0, med en nævneværdig overlap mellem de to grupper:

Memorabilitets-score distributions, der sammenligner de mindst og mest memorabe billeder inden for hver scene.

Feedback selv omfattede korte syv-ord-noter til bemærkelsesværdigt længere instruktioner (venstre, i billedet nedenfor). Hver råd blev derefter opdelt i små handlingstyper ved hjælp af GPT-5 Mini (højre, i billedet nedenfor):

Feedback-længdefordeling målt i indholdord, og kategorisering af atomare underhandlinger med akkordbredder, der indikerer samtidighedsfrekvens på tværs af kategorier.

Forfatterne bemærker, at de fleste forslag fokuserede på, hvordan motivet var poseret, efterfulgt af ændringer i betydning eller sceneindhold, og ofte var ramning forbundet med posering, og lysjusteringer ofte knyttet til semantiske ændringer.

Flux Capacitor

For at evaluere, om memorabilitet blev øget af feedback, simuleredes brugerens overholdelse ved hjælp af FLUX.1 Kontext-generativ model som proxy for fotografen. Givet et kildebillede og en tekstbaseret feedback, genereredes en redigeret version af Flux, der simulerede de foreslåede ændringer:

Billederne til venstre er ægte, fra datasettet, og billederne til højre (i hvert tilfælde) er skabt af Flux, baseret på prompten (i gul, nedenfor). På denne måde kunne effektiviteten af prompterne vurderes uden omfattende menneskelig involvering. Denne viden ville til sidst føre tilbage til MemCoach-rammen, og faktisk repræsenterer en arbejdsgang, der kunne iterativt forbedre et system af denne type (dvs. til sidst med rigtige verdenseksempler i stedet for Flux-eksempler).

Both the original and edited images were then passed through a memorability predictor, enabling measurement of how often the edited version achieved a higher score – termed the Improvement Ratio – and how large the gain was relative to the starting image, termed Relative Memorability.

Lighed med memorabilitetsfokuseret reference-råd blev også målt ved at beregne perplexity mod grundsandssbeskrivelserne, og en 80–20 split blev anvendt på sceneniveau, så testen kun blev udført på scener, der ikke var blevet brugt under træning.

State of the Art

Memorabilitetsbevidstheden hos nuværende multimodale store sprogmodeller blev testet. Billeder fra LaMem-datasettet blev vist til flere førende modeller, der blev bedt om at sige, om billedet var memorabelt. Modellens tillidsvurdering blev derefter sammenlignet med scorene, der var tildelt af menneskelige seere i den oprindelige studie:

Tests, der indikerer, at baseline multimodale modeller ikke fanger memorabilitet. Venstre, Spearman-rangkorrelation mellem modelforudsigelser og LaMem-grundsandsscores, med inter-annotator-enighed fra LaMem vist som reference. Højre, forbedringsratio opnået af zero-shot feedback i forhold til redigering-baslinjen, viser kun marginale gevinst.

Kun en meget lille korrelation med menneskelige domme blev fundet, og på trods af stor skala-forudtræning, hævder forfatterne, at modellerne ikke sporedde, hvad mennesker konsekvent husker.

Eksempler fra LaMem-datasettet. Øverste venstre, ser vi også en varme-kort afbildet for dette billede. Kilde

MemCoach

MemCoach fokuserer på semantiske, på-the-fly-instruktioner, der kan udføres, før lukket er trykket – f.eks. til at justere pose, ændre interaktioner mellem motiv eller ændre scene-elementer. Feedback fra MemCoach varierer fra 7-102 indholdord. Memorabilitet, som papiret påstår, synes at være drevet mere af motivkonfiguration og narrative koder end af simple kompositionelle justeringer:

Oversigt over MemCoach-pipeline, hvor memorabilitetsbevidst vejledning fra en lærer-MLLM er parret med neutrale elevsvar for at danne kontrasterende data; aktiveringsforskelle på tværs af lagene er gennemsnitligt beregnet for at udlede en memorabilitets-styringsvektor; og denne vektor er injiceret under slutningen for at skubbe elevaktiveringer mod at producere forbedret, memorabilitets-orienteret feedback, uden yderligere træning.

Tests

Syv Multimodale Store Sprogmodeller (MLLM’er) blev brugt i testfasen for det nye system: Qwen2.5V.L; InternVL3_5-8B; Idefics3-8B; og LLaVA-OneVision-1.5. Derudover var GPT-5 Mini inkluderet som repræsentant for proprietære, lukkede modeller, samt æstetik-specialiserede Q-Instruct og AesExpert-modeller. MLLM’erne fungerede forskelligt som zero-shot og lærer-orakler.

InternVL3.5 blev brugt til både lærer- og elevmodeller, med MemBench-træningssplit brugt til at skabe kontrasterende eksempler:

MemCoach-ydelse sammenlignet med state-of-the-art MLLM’er på tværs af lærer-orakler, æstetik-specialiserede modeller og zero-shot-baslinjer, viser en højere Forbedringsratio og konkurrencedygtig Relativ Memorabilitet samt den laveste perplexity, hvilket indikerer mere konsekvent og memorabilitets-orienteret feedback.

I tabellen for den første test (vist ovenfor) ser vi, at MemCoach synes at levere mere effektivt memorabilitets-råd end nogen af de sammenligningsmodeller – og den styrede InternVL3.5-model øger memorabilitet oftere og med en større mængde, med en 5% Forbedringsratio-gevinst over GPT-5 Mini og en 31,81% spring i Relativ Memorabilitet over dens ustyret version.

Det udgør også bedre end æstetik-fokuserede systemer, uden at kræve yderligere træning. Lavere perplexity, som papiret påstår, antyder yderligere, at dens feedback følger de samme sproglige mønstre, som menneskelige memorabilitetsdomme tenderer at belønne:

Generaliseringsresultater, der viser, at MemCoach forbedrer memorabilitets-orienteret feedback på tværs af flere multimodale baggrunde, konsekvent øger Forbedringsratio og Relativ Memorabilitet, samt reducerer perplexity for de fleste modeller.

En yderligere test (se tabel ovenfor) indikerer, at tilføjelse af MemCoach forbedrede memorabilitets-orienteret feedback på tværs af hver eneste testet multimodal baggrund, med konsekvente gevinst i Forbedringsratio og den største spring for Qwen2.5VL og LLaVA-OV.

En kvalitativ evaluering blev derefter udført, hvor eksempler på MemCoach-feedback blev analyseret, hvor kildebilledet, den naturlige sprog-foreslåelse og det forestillede forbedrede resultat blev undersøgt side om side:

Kvalitative eksempler på memorabilitets-orienteret feedback genereret af MemCoach. Hver triplet viser kildebilledet, den naturlige sprog-instruktion og det resulterende redigerede billede, med Relativ Memorabilitet (RM) som indikerer den målte ændring. Vejledningen strækker sig fra pose- og blikjusteringer til semantiske interventioner såsom fjernelse af objekter, hvilket illustrerer både succesfulde gevinst og tilfælde, hvor fjernelse af usædvanlige elementer reducerer memorabilitet.

Af disse resultater siger forfatterne:

‘Eksemplerne fremhæver variationen i forslag, som modellen foreslår, der strækker sig fra fine-grænsekompositionelle justeringer, såsom ændring af blikretning, pose eller håndposition, til semantiske interventioner, der involverer fjernelse af objekter eller ansigtsudtryksændring.

‘Feedback er naturligt fortolkelig og handlebart, udtrykt i korte tekst-instruktioner (for det meste involverende verber “Bring”, “Stå”, “Fjern”) der kan implementeres direkte, hvilket effektivt verbaliserer, hvordan man tager et memorabelt billede.’

Konklusion

Det ville være meget interessant at sammenligne metodologien bag Google’s lukkede tilgang med MemBench-projektet – ikke mindst for at vide, hvilke centrale standarder, referencer og databaser Google brugte til at definere systemets æstetiske standarder.

Den negative side af systemer af denne type, åbne eller lukkede kilder, er, at de på større skala risikerer at tvinge enhedlige standarder, der er bestemt til at ende som memes og klichéer – en slags visuel ekvivalent til AI-streger-debatter, hvor den ‘korrekte’ procedure er blevet noget forbandet i daglig brug.

* Min konvertering af forfatternes inline-citationer til hyperlinks, hvis linket ikke er præsenteret andre steder i artiklen.

^† Papiret henviser her, som i flere andre steder, til ‘supplerende materiale’, som jeg ikke kan finde, hverken fra papiret, den centrale Arxiv-listing eller projektets side.

Først udgivet torsdag, 26. februar 2026