Mit KI verbessern, bevor Fotos gemacht werden

Statt GenAI zu verwenden, um Fotos nach dem Shooting zu korrigieren, haben Forscher ein System trainiert, das Ihnen sagt, wie Sie sich bewegen, posieren und den Schuss vorher einstellen sollen, unter Verwendung von studiertem Wissen darüber, was Fotos unvergesslich macht.

Das Korrigieren von Fotos nachträglich ist bereits seit geraumer Zeit einfacher geworden, da Hersteller und Technologieplattformen zunehmend eine Kamera-Editierung anbieten, die es Benutzern ermöglicht, Bilder sofort nach dem Aufnehmen zu ändern. Beliebte Systeme dieser Art umfassen Google’s konversationale Editierung und Samsung’s generative Editierung, unter anderen.

Ein neu entstehender Trend, der “Authentizität” über AI-“verbesserte” Ergebnisse bevorzugt, könnte jedoch bedeuten, dass viele der Konsumenten, auf die sich solche Systeme richten, “veränderte” Fotos als AI-Slop ansehen.

Vielleicht ist dies der Grund, warum Google einen AI-gestützten “Kamera-Coach” entwickelt hat, der von Gemini informiert ist und in der Lage ist, direkte Anweisungen zu geben, um ein Foto während des Prozesses des Machens zu verbessern:

Google’s Camera Coach sagt dem Benutzer, wie er ein Foto neu einstellen kann, unter anderem auch grundlegende Ratschläge. Quelle

Als proprietäres System und mit praktisch keiner Informationen online verfügbar, scheint Camera Coach Gemini zu nutzen, um Benutzern zu helfen, die Komposition zu verbessern (siehe Bild oben) oder kleine Änderungen in der Haltung vorzunehmen (wie z.B. näher zusammenzustehen oder direkt in die Kamera zu schauen).

So wie es scheint, verschiebt das Produkt die Komposition in Richtung Median, vermutlich basierend auf Millionen von hochgeladenen Datenpunkten, die wahrscheinlich zu Geminis Trainingsdaten beigetragen haben. In diesem Sinne haben die hochladenden Benutzer die Kalibrierung des AI-Systems durch Ablehnen unzureichender Aufnahmen und Hochladen derjenigen, die sie mögen, erstellt – eine effektive (und kostenlose) Form der Datensatz-Kuration!

Das sagte, Fotos, die ausgemittelt sind, was die Komposition betrifft, besitzen nicht unbedingt dieselben ästhetischen Werte oder die gleiche Wirkung auf den Betrachter wie Fotos, die unvergesslich sind.

Jenseits von “Cheese!” und der Regel der Drittel

In diesem Zusammenhang und für ein System, das auf mehreren Plattformen verfügbar ist, bietet eine neue Forschung aus Italien ein Coach-System, das auf vorherigem Wissen darüber basiert, was Fotos unvergesslich macht:

Weitreichende Beispiele für Ratschläge aus dem neuen System. Quelle

In den obigen Beispielen sehen wir Ratschläge, die von dem neuen System des Autors gegeben werden – genannt MemCoach –, die es schwer vorzustellen ist, dass ein kompositionszentrierter AI wie Camera Coach sie liefern könnte. Im ersten (links) Fall ist der Rat, den Kopfschmuck zu entfernen, besonders spezifisch; im zweiten Bild ist es schwer vorzustellen, was ein konventioneller Kontext für ein solches Szenario (d.h. ein “künstlerisches” Bild einer jungen Frau, die auf dem Boden liegt und die Augen geschlossen hat) sein könnte.

Das Kernverständnis über Unvergesslichkeit in der Fotografie, das zur Entwicklung des dreiteiligen italienischen Systems verwendet wurde, stammt aus verschiedenen vorherigen Arbeiten, einschließlich der 2015er Veröffentlichung Was macht ein Objekt unvergesslich? und der 2013er Veröffentlichung Was macht ein Foto unvergesslich?.

Aus der 2013er Veröffentlichung Was macht ein Foto unvergesslich?, repräsentative Beispiele für gute, mittlere und schlechte Fotos in Bezug auf Unvergesslichkeit. Quelle

Jeder, wie ich, mit einem negativen Unix-Geburtsdatum, wird wahrscheinlich das Template für “am wenigsten unvergessliche Bilder” (oben rechts im Bild) erkennen, aus den endlosen Dia-Abenden, die unsere Kindheit verfluchten. Wie die Autoren angeben*:

‘Diese Arbeiten identifizierten Schlüsselfaktoren wie die Anwesenheit von Menschen, Innenräume oder emotionale Ausdrücke, anstatt Objekte und Panorama-Ansichten, sowie extrinsische Faktoren, einschließlich Kontext und Beobachter.’

Das Projekt konzentriert sich auf “Unvergesslichkeits-Feedback” (MemFeed), das im MemCoach-Tutor-Programm zum Ausdruck kommt, und einer Benchmark (mit dem Titel MemBench) basierend auf dem PPR10K-Datensatz.

Aus der Veröffentlichung PPR10K: Ein großes Portrait-Foto-Retuschierungs-Datensatz mit Human-Region-Masken und Gruppen-Level-Konsistenz, diverse Beispiele aus dem Datensatz. Die obere Zeile zeigt die ursprünglichen Bilder, die untere Zeile zeigt retuschierte Versionen zusammen mit entsprechenden Human-Region-Masken. Die ursprünglichen Fotos variieren stark in Bezug auf Blickwinkel, Hintergrund, Beleuchtung und Kamera-Einstellungen, während die retuschierten Ergebnisse eine verbesserte visuelle Qualität und eine stärkere Konsistenz innerhalb jeder Gruppe zeigen. Quelle

Die Veröffentlichung bemerkt, dass Unvergesslichkeit in Fotos quantifizierbar ist, anstatt ein Register subjektiver Urteile, und die Autoren bemerken weiter, dass diese Eigenschaft sowohl für Fotos (in verschiedenen Arbeiten) als auch für Videos (in verschiedenen anderen) identifiziert wurde.

Die neue Veröffentlichung trägt den Titel Wie macht man ein unvergessliches Bild? Benutzer mit handlungsfähigem Feedback befähigen und stammt von vier Forschern aus der Universität Trento, der Universität Pisa und der Fondazione Bruno Kessler. Die begleitende Projektseite legt nahe, dass GitHub-Code und Hugging-Face-gehostete Daten nächsten Monat (März 2026) verfügbar sein werden.

Methode

Um den MemBench-Datensatz aus dem Quell-PPR10K-Porträt-Datensatz zu kuratieren, gruppieren die Forscher Fotos aus dem gleichen Szenario und bewerten jedes Bild nach Unvergesslichkeit mithilfe eines trainierten Prädiktors, der auf CLIP Funktionen basiert. Sie ordnen dann die Fotos innerhalb jedes Szenarios von weniger zu mehr unvergesslich und paaren sie entsprechend:

Überblick über die Konstruktion und Bewertung von MemBench. Die obere Zeile zeigt die Daten-Pipeline, von der Gruppierung von Bildern nach Szenario und der Vorhersage von Unvergesslichkeit bis hin zur Rangordnung von Bildern und der Generierung von unvergesslichkeitsorientiertem Feedback. Die untere Zeile zeigt die Bewertung, bei der die Qualität des Feedbacks durch editierbasierte Unvergesslichkeitsgewinne und Perplexitätsbewertung gemessen wird.

Für jedes Paar werden natürliche Sprachbeschreibungen mit dem InternVL3.5-Modell generiert, um die sichtbaren Unterschiede zwischen der weniger unvergesslichen Version und der unvergesslicheren Version zu erklären; und diese Beschreibungen würden das Trainingsignal für das Unvergesslichkeits-Feedback-System bilden.

Im Gegensatz zur Art von Logik, die Google’s Camera Coach zugrunde liegt, suchten die Forscher nach einer subtileren Interpretation^†:

‘Im Gegensatz zu computergestützten Fotografie-Anpassungen, die sich auf nachträgliche Korrekturen konzentrieren (z.B. “Machen Sie das Bild heller”), konzentrieren wir uns auf semantische Aktionen, die ein Benutzer auf-the-fly für einen besseren Schuss ausführen kann, z.B. “Blicken Sie sich an”.’

Die endgültige MemBench-Sammlung umfasst etwa 10.000 Bilder, die in 1.570 Szenarien gruppiert sind, mit durchschnittlich 6,5 Bildern pro Szene. Die Wortwolke, die die Autoren generiert haben (siehe Bild unten), legt nahe, dass es im Datensatz eine breite Palette semantischer Kategorien gibt:

Eine Wortwolke der häufigsten Begriffe in MemBench.

Quellbilder hatten durchschnittlich einen Unvergesslichkeits-Score von 0,63, während die unvergesslichsten Aufnahmen aus dem gleichen Szenario von 0,51 bis 1,0 reichten, mit deutlicher Überlappung zwischen den beiden Gruppen:

Unvergesslichkeits-Score-Verteilungen, die die weniger und die unvergesslichsten Bilder innerhalb jedes Szenarios vergleichen.

Das Feedback selbst reichte von kurzen sieben-Wort-Notizen bis hin zu deutlich längeren Anweisungen (links im Bild unten). Jeder Rat wurde dann in kleine Aktionstypen unterteilt, indem GPT-5-Mini verwendet wurde (rechts im Bild unten):

Feedback-Längenverteilung, gemessen in Inhaltswörtern, und Kategorisierung von atomaren Unteraktionen mit Akkordbreiten, die die Häufigkeit des gemeinsamen Auftretens über Kategorien hinweg anzeigen.

Die Autoren bemerken, dass die meisten Vorschläge sich auf die Pose des Subjekts konzentrierten, gefolgt von Änderungen der Bedeutung oder des Szenarioinhalts, wobei die Einrahmung oft mit der Pose verknüpft war und Lichtanpassungen häufig mit semantischen Änderungen verbunden waren.

Flux Capacitor

Um zu bewerten, ob die Unvergesslichkeit durch das Feedback erhöht wurde, wurde die Benutzerkonformität durch die Verwendung des FLUX.1-Kontext-Modells simuliert, als Proxy für den Fotografen. Gegeben ein Quellbild und ein Stück textuelles Feedback, wurde eine bearbeitete Version durch Flux generiert, die die vorgeschlagenen Änderungen simuliert:

Die Bilder auf der linken Seite sind real, aus dem Datensatz, und die Bilder auf der rechten Seite (in jedem Fall) sind durch Flux erstellt, basierend auf dem Prompt (in Gelb, unten). Auf diese Weise konnte die Wirksamkeit von Prompts ohne umfangreiche menschliche Beteiligung bewertet werden. Diese Kenntnisse würden letztendlich in das MemCoach-Framework einfließen und stellen tatsächlich einen Arbeitsablauf dar, der ein System dieser Art (d.h. letztendlich mit realen und nicht mit Flux-Beispielen) iterativ verbessern könnte.

Sowohl das ursprüngliche als auch das bearbeitete Bild wurden dann durch einen Unvergesslichkeits-Prädiktor geleitet, um die Messung zu ermöglichen, wie oft die bearbeitete Version einen höheren Score erreichte – bezeichnet als Verbesserungsverhältnis – und wie groß der Gewinn im Vergleich zum Ausgangsbild war, bezeichnet als Relative Unvergesslichkeit.

Die Ähnlichkeit mit unvergesslichkeitsorientiertem Referenz-Feedback wurde auch durch die Berechnung von Perplexität gegenüber den Ground-Truth-Beschreibungen gemessen, und ein 80–20-Split wurde auf Szene-Ebene angewendet, so dass die Tests nur auf Szenen durchgeführt wurden, die während des Trainings nicht verwendet wurden.

State of the Art

Die Unvergesslichkeitsbewusstsein der aktuellen multimodalen großen Sprachmodelle wurde getestet. Bilder aus dem LaMem-Datensatz wurden mehreren führenden Modellen gezeigt, die gefragt wurden, ob das Bild unvergesslich sei. Die Modell-Schätzung wurde dann mit den Scores verglichen, die von menschlichen Betrachtern in der ursprünglichen Studie zugewiesen wurden:

Tests, die zeigen, dass multimodale Basis-Modelle die Unvergesslichkeit nicht erfassen. Links, Spearman-Rang-Korrelation zwischen Modell-Vorhersagen und LaMem-Ground-Truth-Scores, mit Inter-Annotator-Übereinstimmung aus LaMem als Referenz. Rechts, Verbesserungsverhältnis, das durch Zero-Shot-Feedback im Vergleich zur Editier-Basislinie erreicht wurde, mit nur marginalen Gewinnen.

Es wurde fast keine bedeutungsvolle Korrelation mit menschlichen Urteilen gefunden, und trotz großer Vortrainings behaupten die Autoren, dass die Modelle nicht das verfolgten, was Menschen konsistent merken.

Beispiele aus dem LaMem-Datensatz. Oben links sehen wir auch eine Heatmap für dieses Bild. Quelle

MemCoach

MemCoach konzentriert sich auf semantische, auf-the-fly-Anweisungen, die vor dem Drücken des Auslösers durchgeführt werden können – zum Beispiel, die Pose anzupassen, die Interaktionen zwischen Subjekten zu ändern oder Szenenelemente zu modifizieren. Das von MemCoach bereitgestellte Feedback variiert von 7 bis 102 Inhaltswörtern. Unvergesslichkeit, so die Veröffentlichung, scheint eher von der Konfiguration des Subjekts und narrativen Hinweisen als von einfachen kompositorischen Anpassungen angetrieben zu werden:

Überblick über die MemCoach-Pipeline, bei der unvergesslichkeitsorientiertes Feedback von einem Lehrer-MLLM mit neutralen Schüler-Antworten kombiniert wird, um kontrastierende Daten zu bilden; Aktivierungsunterschiede über Schichten hinweg werden gemittelt, um einen Unvergesslichkeits-Lenkvektor abzuleiten; und dieser Vektor wird bei der Inferenz injiziert, um Schüler-Aktivierungen in Richtung der Produktion von verbessertem, unvergesslichkeitsorientiertem Feedback ohne zusätzliches Training zu verschieben.

Tests

Sieben multimodale große Sprachmodelle (MLLMs) wurden in der Testphase für das neue System verwendet: Qwen2.5V.L; InternVL3_5-8B; Idefics3-8B; und LLaVA-OneVision-1.5. Zusätzlich wurde GPT-5 Mini als Repräsentant für proprietäre, geschlossene Modelle einbezogen, zusammen mit den ästhetikspezialisierten Q-Instruct und AesExpert-Modellen. Die MLLMs operierten verschieden als Zero-Shot- und Lehrer-Orakel.

InternVL3.5 wurde für beide Modelle, Lehrer und Schüler, verwendet, mit dem MemBench-Trainings-Split, um kontrastierende Beispiele zu erstellen:

MemCoach-Leistung im Vergleich zu State-of-the-Art-MLLMs über Lehrer-Orakel, ästhetikspezialisierte Modelle und Zero-Shot-Baselines, mit höherem Verbesserungsverhältnis und wettbewerbsfähiger relativer Unvergesslichkeit zusammen mit der niedrigsten Perplexität, was auf konsistenteres und unvergesslichkeitsorientierteres Feedback hinweist.

In der Tabelle für den ersten Test (oben) sehen wir, dass MemCoach anscheinend effektiveres Unvergesslichkeits-Feedback liefert als jedes der Vergleichsmodelle – und das gesteuerte InternVL3.5-Modell erhöht die Unvergesslichkeit öfter und um einen größeren Betrag, mit einem 5-Prozent-Verbesserungsverhältnis-Gewinn über GPT-5 Mini und einem 31,81-Prozent-Sprung in relativer Unvergesslichkeit über seine ungesteuerte Version.

Es übertrifft auch ästhetikspezialisierte Systeme, obwohl es keine zusätzliche Schulung erfordert. Eine geringere Perplexität, so die Veröffentlichung, legt nahe, dass sein Feedback den gleichen sprachlichen Mustern folgt, die menschliche Unvergesslichkeitsurteile tendenziell belohnen:

Generalisierungs-Ergebnisse, die zeigen, dass MemCoach unvergesslichkeitsorientiertes Feedback über mehrere multimodale Backbones hinweg verbessert, konsistent das Verbesserungsverhältnis und die relative Unvergesslichkeit erhöht und die Perplexität für die meisten Modelle reduziert.

Ein weiterer Test (siehe Tabelle oben) zeigt, dass die Hinzufügung von MemCoach unvergesslichkeitsorientiertes Feedback über jeden getesteten multimodalen Backbone hinweg verbessert, mit konsistenten Gewinnen im Verbesserungsverhältnis und den größten Sprüngen, die für Qwen2.5VL und LLaVA-OV auftreten.

Eine qualitative Bewertung wurde dann durchgeführt, bei der Beispiele von MemCoach-Feedback analysiert wurden, in denen das Quellbild, die natürliche Sprachvorschlag und das imaginierte verbesserte Ergebnis nebeneinander untersucht wurden:

Qualitative Beispiele von unvergesslichkeitsorientiertem Feedback, das von MemCoach generiert wurde. Jedes Trio zeigt das Quellbild, die natürliche Sprachanweisung und das resultierende bearbeitete Bild, mit relativer Unvergesslichkeit (RM), die die gemessene Änderung anzeigt. Die Anweisungen reichen von Pose- und Blickrichtungsanpassungen bis hin zu semantischen Eingriffen wie der Entfernung von Objekten, was sowohl erfolgreiche Gewinne als auch Fälle zeigt, in denen die Entfernung ungewöhnlicher Elemente die Unvergesslichkeit verringert.

Von diesen Ergebnissen sagen die Autoren:

‘Die Beispiele zeigen die Vielfalt der Vorschläge, die das Modell vorschlägt, von feinen kompositorischen Anpassungen, wie der Änderung der Blickrichtung, der Pose oder der Handposition, bis hin zu semantischen Eingriffen, die die Entfernung von Objekten oder die Änderung von Gesichtsausdrücken beinhalten. ‘

‘Das Feedback ist natürlich interpretierbar und handlungsfähig, ausgedrückt in knappen textuellen Anweisungen (meist mit Verben “Bringen”, “Stehen”, “Entfernen”), die direkt umgesetzt werden können, um effektiv zu verbalisieren, wie man ein unvergessliches Bild macht.’

Schlussfolgerung

Es wäre sehr interessant, die Methodik von Google’s geschlossener Ansatz mit dem MemBench-Projekt zu vergleichen – nicht zuletzt, um zu wissen, welche zentralen Standards, Referenzen und Datenbanken Google verwendet hat, um die ästhetischen Standards des Systems zu definieren.

Der negative Aspekt von Systemen dieser Art, ob offen oder geschlossen, ist, dass sie im großen Maßstab das Risiko bergen, einheitliche Standards durchzusetzen, die dazu bestimmt sind, als Memes und Klischees zu enden – eine Art visuelles Äquivalent der AI-Strich-Debatten, bei denen das “korrekte” Verfahren etwas verflucht in der alltäglichen Verwendung ist.

* Meine Umwandlung der Autoren-Inline-Zitate in Hyperlinks, wenn der Link nicht an anderer Stelle im Artikel angegeben ist.

^† Die Veröffentlichung bezieht sich hier, wie an mehreren anderen Stellen, auf “Zusatzmaterial”, das ich weder aus der Veröffentlichung, der Kern-ArXiv-Liste noch der Projekt-Website finden kann.

Erstveröffentlichung am Donnerstag, den 26. Februar 2026