Utiliser l’IA pour améliorer les photos réelles avant de les prendre

Plutôt que d’utiliser la GenAI pour corriger les photos après les avoir prises, les chercheurs ont entraîné un système qui indique comment bouger, poser et cadrer la photo au préalable, en utilisant des connaissances étudiées sur ce qui rend les images mémorables.

Corriger les photos après coup est devenu plus facile depuis un certain temps, car les fabricants et les plateformes technologiques offrent de plus en plus d’outils d’édition intégrés à l’appareil photo qui permettent aux utilisateurs de modifier les images dès qu’ils les ont prises. Les systèmes populaires de ce type incluent l’édition conversationnelle de Google conversational editing, et l’édition générative de Samsung generative edit, entre autres.

Cependant, une tendance naissante qui favorise l’« authenticité » plutôt que les résultats améliorés par l’IA pourrait signifier que de nombreux consommateurs auxquels ces systèmes sont destinés commencent à considérer les photos « modifiées » comme de la bouillie d’IA.

Peut-être est-ce ce qui a inspiré Google à créer un « coach de caméra » entraîné par l’IA, informé par Gemini, qui est capable de donner des instructions directes pour améliorer une photo pendant le processus de prise de vue:

Le coach de caméra de Google indique à l’utilisateur comment recadrer une photo, ainsi que d’autres conseils de base. Source

Étant un système propriétaire, et avec pratiquement aucune information disponible en ligne à ce sujet, le coach de caméra semble utiliser Gemini pour aider les utilisateurs à améliorer le cadrage (voir l’image ci-dessus) ou à effectuer des changements mineurs dans la posture (comme se rapprocher ou regarder directement l’appareil photo).

Ainsi, autant que l’on puisse en juger, le produit pousse la composition vers la médiane, probablement sur la base de millions de données de contenu téléchargées qui ont probablement contribué aux données d’entraînement de Gemini. Dans ce sens, les utilisateurs qui téléchargent du contenu ont créé le calibrage de l’IA en rejetant les clichés insatisfaisants et en téléchargeant ceux qu’ils aiment – une forme efficace (et gratuite) de curation de données!

Cela étant dit, les photos qui sont équilibrées en termes de composition ne possèdent pas nécessairement les mêmes valeurs esthétiques ou l’impact sur le spectateur que les photos qui sont mémorables.

Au-delà de « Cheese! » et de la règle des tiers

À cette fin, et vers un système plus accessible sur plusieurs plateformes, de nouvelles recherches en Italie offrent un système de type Coach basé sur des connaissances antérieures sur ce qui rend les images mémorables:

Exemples diversifiés de conseils provenant du nouveau système des auteurs. Source

Dans les exemples ci-dessus, nous voyons les conseils donnés par le nouveau système des auteurs – baptisé MemCoach – qui est difficile à imaginer qu’un AI centré sur la composition comme Camera Coach puisse fournir. Dans la première instance (à gauche), le conseil de retirer le couvre-chef est particulièrement spécieux; dans la deuxième image, il est difficile de comprendre quel contexte conventionnel un AI de composition pourrait tirer de la situation générale (c’est-à-dire une image « artistique » d’une jeune femme allongée sur le sol avec les yeux fermés).

La compréhension fondamentale de la mémorabilité en photographie, utilisée pour développer le système italien à trois parties, est tirée de divers travaux antérieurs, notamment le document de 2015 What makes an object memorable?, et le document de 2013 What makes a photograph memorable?.

À partir du document de 2013 What makes a photograph memorable?, exemples représentatifs de bonnes, moyennes et mauvaises photos, en termes de mémorabilité. Source

Quiconque, comme moi, avec une date de naissance Unix négative, reconnaîtra probablement le modèle pour les images les moins mémorables (en haut à droite de l’image ci-dessus), des nuits de diapositives interminables qui ont maudit notre enfance. Comme l’écrivent les auteurs*:

‘Ces travaux ont identifié des facteurs intrinsèques clés tels que la présence de personnes, scènes intérieures, ou expressions émotionnelles, plutôt que des objets et des vues panoramiques, ainsi que des facteurs extrinsèques, notamment le contexte et l’ observateur. ‘

Le projet se concentre sur la « rétroaction de mémorabilité » (MemFeed), qui est exprimée dans l’application tutorielle MemCoach, et une référence (intitulée MemBench) basée sur le dataset PPR10K.

À partir du document PPR10K: A Large-Scale Portrait Photo Retouching Dataset with Human-Region Mask and Group-Level Consistency, exemples diversifiés du dataset. La rangée du haut montre les images originales, la rangée du bas montre les versions retouchées par des experts avec les masques de région humaine correspondants. Les photos originales varient considérablement en termes de point de vue, d’arrière-plan, d’éclairage et de paramètres de l’appareil photo, tandis que les résultats retouchés affichent une qualité visuelle améliorée et une cohérence plus forte au sein de chaque groupe. Source

Le document observe que la mémorabilité est quantifiable dans les photos, plutôt qu’un registre de jugements subjectifs, et les auteurs notent en outre que cette propriété a été identifiée à la fois pour les photos (dans divers travaux) et les vidéos (dans divers autres).

Le nouveau document est intitulé Comment prendre une photo mémorable? Équiper les utilisateurs avec des commentaires actionnables, et provient de quatre chercheurs de l’Université de Trente, de l’Université de Pise et de la Fondazione Bruno Kessler. La page du projet suggère que le code GitHub et les données hébergées par Hugging Face seront disponibles le mois prochain (mars 2026).

Méthode

Pour créer le dataset MemBench à partir du dataset de portraits PPR10K, les chercheurs ont regroupé les photos de la même scène et ont noté chaque image pour la mémorabilité en utilisant un prédicteur entraîné basé sur les fonctions CLIP features. Ils ont ensuite classé les photos au sein de chaque scène de moins en plus mémorables et les ont appariées en conséquence:

Vue d’ensemble de la construction et de l’évaluation de MemBench. La rangée du haut représente le pipeline de données, de la regroupement des images par scène et de la prédiction de la mémorabilité, au classement des photos et à la génération de commentaires d’action sensibles à la mémorabilité. La rangée du bas illustre l’évaluation, en mesurant la qualité des commentaires par le biais des gains de mémorabilité basés sur l’édition et le scoring de perplexité.

Pour chaque paire, des descriptions en langage naturel ont été générées avec le modèle InternVL3.5 pour expliquer les différences visibles entre la version moins mémorable et la version plus mémorable; et ces descriptions constitueraient le signal d’entraînement pour le système de rétroaction de mémorabilité.

Contrairement à la logique qui sous-tend le coach de caméra de Google, les chercheurs ont cherché une interprétation plus subtile:

‘Contrairement aux ajustements de photographie computationnelle axés sur les corrections a posteriori (par exemple, “rendre l’image plus claire”), nous nous concentrons sur les actions sémantiques que l’utilisateur peut prendre en temps réel pour une meilleure prise de vue, par exemple “Faites face les uns aux autres”.’

La collection finale de MemBench comprend environ 10 000 images regroupées en 1 570 scènes, avec une moyenne de 6,5 images par scène. Le nuage de mots que les auteurs ont généré (voir l’image ci-dessous) suggère une large gamme de catégories sémantiques dans le dataset:

Nuage de mots des termes les plus fréquents dans MemBench.

Les photos sources avaient un score de mémorabilité moyen de 0,63, tandis que les photos les plus mémorables de la même scène allaient de 0,51 à 1,0, avec un chevauchement notable entre les deux groupes:

Distribution des scores de mémorabilité comparant les images les moins et les plus mémorables au sein de chaque scène.

Les commentaires eux-mêmes allaient de courtes notes de sept mots à des instructions plus longues (à gauche, dans l’image ci-dessous). Chaque pièce de conseil a ensuite été décomposée en petits types d’actions en utilisant GPT-5 Mini (à droite, dans l’image ci-dessous):

Distribution de la longueur des commentaires mesurée en mots de contenu, et catégorisation des sous-actions atomiques avec des largeurs de corde indiquant la fréquence de co-occurrence entre les catégories.

Les auteurs notent que la plupart des suggestions se sont concentrées sur la façon dont le sujet était posé, suivies de changements dans le sens ou le contenu de la scène, avec le cadrage souvent lié à la pose, et les ajustements d’éclairage fréquemment liés aux changements sémantiques.

Condensateur de flux

Pour évaluer si la mémorabilité était améliorée par les commentaires, la conformité de l’utilisateur a été simulée en utilisant le modèle génératif FLUX.1 Kontext comme proxy pour le photographe. Étant donné une image source et un commentaire textuel, une version éditée a été générée par Flux qui simule les changements suggérés:

Les images de gauche sont réelles, issues du dataset, et les images de droite (dans chaque cas) sont créées par Flux, en fonction du commentaire (en jaune, ci-dessous). De cette façon, l’efficacité des commentaires pourrait être évaluée sans une implication humaine importante. Cette connaissance serait intégrée en fin de compte dans le cadre de MemCoach, et représente en fait un flux de travail qui pourrait améliorer de manière itérative un système de ce type (c’est-à-dire, finalement, avec des exemples du monde réel plutôt que des exemples de Flux).

Les images originales et éditées ont ensuite été passées à travers un prédicteur de mémorabilité, permettant de mesurer à quelle fréquence la version éditée a atteint un score plus élevé – appelé le Rapport d’amélioration – et à quelle mesure le gain était important par rapport à l’image de départ, appelé Mémorabilité relative.

La similarité avec les conseils de référence axés sur la mémorabilité a également été mesurée en calculant la perplexité par rapport aux descriptions de référence, et une division 80-20 a été appliquée au niveau de la scène de sorte que les tests n’aient été effectués que sur les scènes qui n’avaient pas été utilisées pendant l’entraînement.

État de l’art

La conscience de la mémorabilité des modèles de langage multimodaux actuels a été testée. Des images du dataset LaMem ont été présentées à plusieurs modèles de premier plan, qui ont été invités à dire si l’image était mémorable. L’estimation de confiance du modèle a ensuite été comparée aux scores attribués par les spectateurs humains dans l’étude originale:

Tests indiquant que les modèles multimodaux de base ne capturent pas la mémorabilité. À gauche, corrélation de rang de Spearman entre les prédictions du modèle et les scores de référence LaMem, avec l’accord inter-annotateur de LaMem affiché à titre de référence. À droite, rapport d’amélioration obtenu par la rétroaction zero-shot par rapport à la base d’édition, montrant des gains marginaux.

Presque aucune corrélation significative avec les jugements humains n’a été trouvée, et, malgré une pré-entraînement à grande échelle, les auteurs affirment que les modèles n’ont pas suivi ce que les gens se souviennent systématiquement.

Exemples du dataset LaMem. En haut à gauche, on voit également une carte thermique représentée pour cette image. Source

MemCoach

MemCoach se concentre sur des instructions sémantiques et en temps réel qui peuvent être exécutées avant que l’obturateur ne soit actionné – par exemple, ajuster la pose, modifier les interactions entre les sujets ou modifier les éléments de la scène. Les commentaires fournis par MemCoach varient de 7 à 102 mots de contenu. La mémorabilité, selon le document, semble être davantage motivée par la configuration du sujet et les indices narratifs que par de simples ajustements de composition:

Vue d’ensemble du pipeline MemCoach, dans lequel les conseils sensibles à la mémorabilité d’un MLLM enseignant sont associés à des réponses neutres d’un élève pour former des données contrastées; les différences d’activation entre les couches sont moyennées pour dériver un vecteur de pilotage de la mémorabilité; et ce vecteur est injecté à l’inférence pour déplacer les activations de l’élève vers la production de commentaires améliorés et axés sur la mémorabilité, sans entraînement supplémentaire.

Tests

Sept modèles de langage multimodaux (MLLM) ont été utilisés lors de la phase de test pour le nouveau système: Qwen2.5V.L; InternVL3_5-8B; Idefics3-8B; et LLaVA-OneVision-1.5. De plus, GPT-5 Mini a été inclus en tant que représentant des modèles propriétaires et à code fermé, ainsi que les modèles spécialisés dans l’esthétique Q-Instruct et AesExpert. Les MLLM ont fonctionné à la fois comme des oracles zero-shot et des enseignants.

InternVL3.5 a été utilisé à la fois pour les modèles enseignant et élève, avec la division d’entraînement MemBench utilisée pour créer des exemples contrastés:

Performance de MemCoach comparée aux MLLM de pointe à travers les oracles enseignants, les modèles spécialisés dans l’esthétique et les lignes de base zero-shot, montrant un rapport d’amélioration plus élevé et une mémorabilité relative concurrentielle, ainsi que la perplexité la plus basse, indiquant des commentaires plus cohérents et axés sur la mémorabilité.

Dans le tableau du premier test (ci-dessus), on voit que MemCoach semble fournir des conseils de mémorabilité plus efficaces que les modèles de comparaison – et le modèle InternVL3.5 dirigé améliore la mémorabilité plus souvent et dans une plus grande mesure, avec un gain de 5 % dans le rapport d’amélioration par rapport à GPT-5 Mini, et un bond de 31,81 % dans la mémorabilité relative par rapport à sa version non dirigée.

Il surpasse également les systèmes axés sur l’esthétique, sans nécessiter d’entraînement supplémentaire. Une perplexité plus faible, selon le document, suggère en outre que ses commentaires suivent les mêmes modèles linguistiques que les jugements humains de mémorabilité tendent à récompenser:

Résultats de généralisation montrant que MemCoach améliore les commentaires axés sur la mémorabilité sur plusieurs backbones multimodaux, en augmentant de manière cohérente le rapport d’amélioration et la mémorabilité relative, tout en réduisant la perplexité pour la plupart des modèles.

Un test supplémentaire (voir le tableau ci-dessus) indique que l’ajout de MemCoach a amélioré les commentaires axés sur la mémorabilité sur tous les backbones multimodaux testés, avec des gains constants dans le rapport d’amélioration et les plus grands bonds apparaissant pour Qwen2.5VL et LLaVA-OV.

Une évaluation qualitative a ensuite été réalisée, en analysant des exemples de commentaires MemCoach dans lesquels l’image source, la suggestion en langage naturel et le résultat amélioré imaginé ont été examinés côte à côte:

Exemples qualitatifs de commentaires axés sur la mémorabilité générés par MemCoach. Chaque triplet montre l’image source, l’instruction en langage naturel et l’image éditée résultante, avec la mémorabilité relative (RM) indiquant le changement mesuré. Les conseils vont des ajustements de pose et de regard à des interventions sémantiques telles que le retrait d’objets, illustrant à la fois des gains réussis et des cas où le retrait d’éléments inhabituels réduit la mémorabilité.

De ces résultats, les auteurs déclarent:

‘Les exemples mettent en évidence la variété de suggestions que le modèle propose, allant des ajustements compositionnels détaillés, tels que modifier la direction du regard, la pose ou la position de la main, à des interventions sémantiques impliquant le retrait d’objets ou le changement d’expression faciale. ‘

‘Les commentaires sont naturellement interprétables et actionnables, exprimés en instructions textuelles concises (la plupart impliquant des verbes “Apporter”, “Se tenir debout”, “Retirer”) qui peuvent être directement mises en œuvre, verbalisant effectivement la façon de prendre une photo mémorable.’

Conclusion

Il serait très intéressant de comparer la méthodologie de l’approche fermée de Google à celle du projet MemBench – notamment pour savoir quels standards centraux, références et bases de données Google a utilisés pour définir les normes esthétiques du système.

L’aspect négatif des systèmes de ce type, source ouverte ou propriétaire, est qu’à grande échelle, ils risquent d’imposer des normes uniformes destinées à devenir des clichés – une sorte d’équivalent visuel des débats sur les tirets de l’IA, où la procédure « correcte » est devenue un peu maudite dans l’usage courant.

* Ma conversion des citations en ligne des auteurs en hyperliens, si le lien n’est pas présenté ailleurs dans l’article.

^† Le document fait référence ici, comme dans plusieurs autres endroits, à du « matériel supplémentaire » que je ne parviens pas à localiser, que ce soit à partir du document, de la liste principale d’Arxiv ou du site du projet.

Publié pour la première fois jeudi 26 février 2026