Usando IA para Melhorar Fotos Reais Antes de Tirá-las

Ao invés de usar GenAI para corrigir fotos após tirá-las, pesquisadores treinaram um sistema que diz como se mover, posar e enquadrar a foto antes, usando conhecimento estudado sobre o que torna as fotos memoráveis.

Corrigir fotos após o fato tem se tornado cada vez mais fácil, pois fabricantes e plataformas de tecnologia oferecem cada vez mais edição de câmera que permite aos usuários alterar imagens assim que as tiram. Sistemas populares desse tipo incluem a edição conversacional do Google conversacional, e a edição geradora da Samsung geradora, entre outros.

No entanto, uma tendência nascente que favorece a ‘autenticidade’ sobre os resultados ‘melhorados’ pela IA pode significar que muitos dos consumidores a quem esses sistemas são destinados começam a considerar fotos ‘alteradas’ como slop da IA.

Talvez seja isso que inspirou o Google a criar um ‘treinador de câmera’ treinado por IA, informado por Gemini, que é capaz de dar instruções diretas para melhorar uma foto durante o processo de tirá-la:

O treinador de câmera do Google diz ao usuário como reenquadrar uma foto, entre outras instruções básicas. Fonte

Como é um sistema proprietário, e com praticamente nenhuma informação disponível online a respeito, o treinador de câmera parece aproveitar o Gemini para ajudar os usuários a melhorar o enquadramento (veja a imagem acima) ou fazer alterações menores na postura (como se aproximar mais, ou olhar diretamente para a câmera).

Portanto, até onde se pode saber, o produto impulsiona a composição em direção à mediana, presumivelmente com base em milhões de pontos de dados de conteúdo carregados que provavelmente contribuíram para os dados de treinamento do Gemini. Nesse sentido, os usuários que carregam os dados criaram a calibração da IA rejeitando fotos insatisfatórias e carregando as que gostam – uma forma eficaz (e gratuita) de curadoria de conjunto de dados!

Isso dito, fotos que são medianizadas em termos de composição não possuem necessariamente os mesmos valores estéticos ou impacto no espectador que as fotos que são memoráveis.

Além de ‘Queijo!’ e da Regra dos Terços

Para isso, e em direção a um sistema mais acessível em várias plataformas, uma nova pesquisa da Itália oferece um sistema de estilo Coach que se baseia em conhecimento prévio de o que torna as fotos memoráveis:

Exemplos de conselhos do novo sistema dos autores. Fonte

Nos exemplos acima, vemos os conselhos dados pelo novo sistema dos autores – apelidado de MemCoach – que é difícil imaginar um AI centrado na composição, como o Coach de câmera, fornecendo. No primeiro exemplo (à esquerda), o conselho para remover o adorno é particularmente questionável; na segunda imagem, é difícil imaginar o que um AI centrado na composição poderia tirar do cenário geral (ou seja, uma imagem ‘artística’ de uma jovem mulher deitada no chão com os olhos fechados).

A compreensão central sobre memorabilidade na fotografia, usada para desenvolver o sistema de três partes italiano, é tirada de vários trabalhos anteriores, incluindo o trabalho de 2015 O que torna um objeto memorável?, e o trabalho de 2013 O que torna uma fotografia memorável?.

Do trabalho de 2013 O que torna uma fotografia memorável?, exemplos representativos de boas, médias e más fotos, em termos de memorabilidade. Fonte

Qualquer pessoa, como eu, com uma data de nascimento Unix negativa, provavelmente reconhecerá o modelo para ‘imagens menos memoráveis’ (topo direito na imagem acima), das intermináveis noites de slide que amaldiçoaram nossa infância. Como os autores afirmam*:

‘Esses trabalhos identificaram fatores intrínsecos importantes, como a presença de pessoas, cenas internas, ou expressões emocionais, em vez de objetos e vistas panorâmicas, bem como fatores extrínsecos, incluindo contexto e o observador. ‘

O projeto centra-se no ‘feedback de memorabilidade’ (MemFeed), que é expresso no aplicativo tutor MemCoach, e um benchmark (intitulado MemBench) baseado no conjunto de dados PPR10K.

Do trabalho PPR10K: um conjunto de dados de retoque de foto de retrato em larga escala com máscara de região humana e consistência em nível de grupo, amostras diversificadas do conjunto de dados. A linha superior mostra as imagens originais, a linha inferior mostra as versões retoqueadas por especialistas, juntamente com as máscaras de região humana correspondentes. As fotos originais variam amplamente em ponto de vista, plano de fundo, iluminação e configurações da câmera, enquanto os resultados retoqueados exibem qualidade visual aprimorada e consistência mais forte dentro de cada grupo. Fonte

O trabalho observa que a memorabilidade é quantificável em fotos, em vez de um registro de julgamentos subjetivos, e os autores observam ainda que a propriedade foi identificada tanto para fotos (em vários trabalhos) quanto para vídeos (em vários outros).

O novo trabalho é intitulado Como tirar uma foto memorável? Empoderando os usuários com feedback ação, e vem de quatro pesquisadores da Universidade de Trento, da Universidade de Pisa e da Fondazione Bruno Kessler. A página do projeto sugere que o código do GitHub e os dados hospedados no Hugging Face estarão disponíveis no próximo mês (março de 2026).

Método

Para curar o conjunto de dados MemBench a partir do conjunto de dados de retrato PPR10K, os pesquisadores agruparam fotos da mesma cena e pontuaram cada imagem para memorabilidade usando um preditor treinado baseado em CLIP recursos. Em seguida, classificaram as fotos dentro de cada cena de menos para mais memoráveis e as emparelharam de acordo:

Visão geral da construção e avaliação de MemBench. A linha superior mostra o pipeline de dados, desde o agrupamento de imagens por cena e a previsão de memorabilidade, até a classificação de fotos e a geração de feedback de ação ciente de memorabilidade. A linha inferior ilustra a avaliação, medindo a qualidade do feedback por meio de ganhos de memorabilidade baseados em edição e pontuação de perplexidade.

Para cada par, descrições de linguagem natural foram geradas com o modelo InternVL3.5 para explicar as diferenças visíveis entre a versão menos memorável e a mais memorável; e essas descrições constituiriam o sinal de treinamento para o sistema de feedback de memorabilidade.

Em contraste com a lógica que subjaz ao Coach de câmera do Google, os pesquisadores buscaram uma interpretação mais sutil:

‘Ao contrário das ajustes de fotografia computacional que se concentram em correções pós-fato (por exemplo, “tornar a imagem mais clara”), nos concentramos em ações semânticas que o usuário pode tomar em tempo real para uma melhor foto, por exemplo, “Olhem um para o outro”.’

A coleção final de MemBench compreende cerca de 10.000 imagens agrupadas em 1.570 cenas, com uma média de 6,5 imagens por cena. A nuvem de palavras que os autores geraram (veja a imagem abaixo) sugere uma ampla gama de categorias semânticas no conjunto de dados:

Uma nuvem de palavras dos termos mais frequentes em MemBench.

As fotos de origem tinham uma pontuação de memorabilidade média de 0,63, enquanto as fotos mais memoráveis da mesma cena variavam de 0,51 a 1,0, com uma sobreposição notável entre os dois grupos:

Distribuições de pontuações de memorabilidade comparando as imagens menos e mais memoráveis dentro de cada cena.

O feedback em si variou de notas curtas de sete palavras a instruções notavelmente mais longas (à esquerda, na imagem abaixo). Cada pedaço de conselho foi então quebrado em pequenos tipos de ação usando GPT-5 Mini (à direita, na imagem abaixo):

Distribuição do comprimento do feedback medido em palavras de conteúdo, e categorização de sub-ações atômicas com larguras de acorde indicando frequência de co-ocorrência entre categorias.

Os autores observam que a maioria das sugestões se concentrou em como o assunto foi posado, seguido de alterações no significado ou no conteúdo da cena, com o enquadramento frequentemente ligado à pose, e os ajustes de iluminação frequentemente ligados a mudanças semânticas.

Flux Capacitor

Para avaliar se a memorabilidade foi aumentada pelo feedback, a conformidade do usuário foi simulada por meio do uso do modelo gerador FLUX.1 Kontext como um proxy para o fotógrafo. Dada uma imagem de origem e um pedaço de feedback textual, uma versão editada foi gerada pelo Flux que simulou as alterações sugeridas:

As imagens à esquerda são reais, do conjunto de dados, e as imagens à direita (em cada caso) são criadas pelo Flux, com base no prompt (em amarelo, abaixo). Dessa forma, a eficácia dos prompts poderia ser avaliada sem o envolvimento extensivo de humanos. Esse conhecimento seria alimentado finalmente no framework MemCoach, e de fato representa um fluxo de trabalho que poderia melhorar iterativamente um sistema desse tipo (ou seja, eventualmente com exemplos do mundo real em vez de exemplos do Flux).

As imagens originais e editadas foram então passadas por um preditor de memorabilidade, permitindo a medição de quantas vezes a versão editada alcançou uma pontuação mais alta – denominada Índice de Melhoria – e quão grande foi o ganho em relação à imagem inicial, denominado Memorabilidade Relativa.

A similaridade com o feedback de referência focado na memorabilidade também foi medida calculando perplexidade contra as descrições de verdade, e uma divisão 80-20 foi aplicada no nível da cena para que os testes fossem realizados apenas em cenas que não foram usadas durante o treinamento.

Estado da Arte

A consciência de memorabilidade dos atuais modelos de linguagem multimodal grandes foi testada. Imagens do conjunto de dados LaMem foram mostradas a vários modelos líderes, que foram solicitados a dizer se a imagem era memorável. A estimativa de confiança do modelo foi então comparada com as pontuações atribuídas por visualizadores humanos no estudo original:

Testes indicando que os modelos multimodais de base não capturam a memorabilidade. À esquerda, correlação de classificação de Spearman entre as previsões do modelo e as pontuações de verdade do LaMem, com o acordo entre os annotadores do LaMem mostrado para referência. À direita, índice de melhoria alcançado pelo feedback zero-shot em relação à linha de base de edição, mostrando ganhos marginais.

Quase nenhuma correlação significativa com os julgamentos humanos foi encontrada, e, apesar do pré-treinamento em larga escala, os autores afirmam que os modelos não acompanharam o que as pessoas consistentemente lembram.

Exemplos do conjunto de dados LaMem. No canto superior esquerdo, também vemos um mapa de calor mostrado para essa imagem. Fonte

MemCoach

O MemCoach se concentra em instruções semânticas em tempo real que podem ser realizadas antes de pressionar o obturador – por exemplo, ajustar a pose, alterar as interações entre os assuntos ou modificar elementos da cena. O feedback fornecido pelo MemCoach varia de 7 a 102 palavras de conteúdo. A memorabilidade, afirma o trabalho, parece ser impulsionada mais pela configuração do assunto e pelos sinais narrativos do que por ajustes compostos simples:

Visão geral do pipeline MemCoach, no qual a orientação ciente de memorabilidade de um MLLM professor é combinada com respostas neutras de um estudante para formar dados contrastantes; as diferenças de ativação entre as camadas são médias para derivar um vetor de direção de memorabilidade; e esse vetor é injetado na inferência para deslocar as ativações do estudante em direção à produção de feedback orientado para a memorabilidade, sem treinamento adicional.

Testes

Sete Modelos de Linguagem Multimodal Grandes (MLLMs) foram usados na fase de teste para o novo sistema: Qwen2.5V.L; InternVL3_5-8B; Idefics3-8B; e LLaVA-OneVision-1.5. Além disso, o GPT-5 Mini foi incluído como um representante de modelos proprietários e de código fechado, juntamente com os modelos especializados em estética Q-Instruct e AesExpert. Os MLLMs operaram como oráculos zero-shot e professores.

O InternVL3.5 foi usado para ambos os modelos professor e estudante, com a divisão de treinamento de MemBench usada para criar exemplos contrastantes:

Desempenho do MemCoach em comparação com os MLLMs de estado da arte em oráculos de professor, modelos especializados em estética e linhas de base zero-shot, mostrando um índice de melhoria mais alto e uma memorabilidade relativa competitiva, juntamente com a perplexidade mais baixa, indicando feedback mais consistente e orientado para a memorabilidade.

Na tabela do primeiro teste (mostrada acima), vemos que o MemCoach parece fornecer conselhos de memorabilidade mais eficazes do que qualquer um dos modelos de comparação – e o modelo InternVL3.5 direcionado aumenta a memorabilidade com mais frequência e em uma quantidade maior, com um ganho de 5% no índice de melhoria sobre o GPT-5 Mini, e um salto de 31,81% na memorabilidade relativa sobre sua versão não direcionada.

Ele também supera os sistemas focados em estética, apesar de não exigir treinamento adicional. A perplexidade mais baixa, afirma o trabalho, sugere ainda que seu feedback segue os mesmos padrões linguísticos que os julgamentos de memorabilidade humanos tendem a recompensar:

Resultados de generalização mostrando que o MemCoach melhora o feedback orientado para a memorabilidade em várias espinhas dorsais multimodais, aumentando consistentemente o índice de melhoria e a memorabilidade relativa, enquanto também reduz a perplexidade para a maioria dos modelos.

Um teste adicional (veja a tabela acima) indica que adicionar o MemCoach aumentou o feedback orientado para a memorabilidade em todas as espinhas dorsais multimodais testadas, com ganhos consistentes no índice de melhoria e os maiores saltos aparecendo para o Qwen2.5VL e o LLaVA-OV.

Em seguida, uma avaliação qualitativa foi realizada, analisando exemplos de feedback do MemCoach nos quais a imagem de origem, a sugestão de linguagem natural e o resultado aprimorado imaginado foram examinados lado a lado:

Exemplos qualitativos de feedback orientado para a memorabilidade gerado pelo MemCoach. Cada triplet mostra a imagem de origem, a instrução de linguagem natural e a imagem editada resultante, com a Memorabilidade Relativa (RM) indicando a alteração medida. A orientação varia de ajustes de pose e olhar a intervenções semânticas, como remoção de objetos, ilustrando tanto ganhos bem-sucedidos quanto casos em que a remoção de elementos incomuns reduz a memorabilidade.

Dos resultados, os autores afirmam:

‘Os exemplos destacam a variedade de sugestões que o modelo propõe, variando de ajustes compostos finos, como alterar a direção do olhar, pose ou posição da mão, a intervenções semânticas que envolvem a remoção de objetos ou a mudança de expressão facial. ‘

‘O feedback é naturalmente interpretável e ação, expresso em instruções textuais concisas (em sua maioria envolvendo verbos “Leve”, “Fique”, “Remova”) que podem ser implementadas diretamente, efetivamente verbalizando como tirar uma foto memorável.’

Conclusão

Seria muito interessante comparar a metodologia da abordagem de caixa fechada do Google com o projeto MemBench – não menos para saber quais padrões centrais, referências e bancos de dados o Google usou para definir os padrões estéticos do sistema.

O aspecto negativo dos sistemas desse tipo, de código aberto ou fechado, é que, em escala, eles arriscam impor padrões uniformes que estão destinados a se tornar memes e clichês – uma espécie de equivalente visual dos debates sobre o traço de hífen da IA, em que o procedimento ‘correto’ se tornou um pouco amaldiçoado no uso casual.

* Minha conversão das citações inline dos autores para hiperlinks, se o link não for apresentado em outro lugar no artigo.

^† O trabalho se refere aqui, como em vários outros lugares, a ‘material suplementar’ que não consigo localizar, seja a partir do trabalho, da lista principal do Arxiv ou do site do projeto.

Publicado pela primeira vez na quinta-feira, 26 de fevereiro de 2026