Utilizarea inteligenței artificiale pentru îmbunătățirea fotografiilor reale înainte de a fi luate

În loc să utilizați GenAI pentru a corecta fotografiile după le-ați făcut, cercetătorii au instruit un sistem care vă spune cum să vă mișcați, să vă pozitionați și să încadrați imaginea înainte de a o face, utilizând cunoștințe studiate despre ceea ce face ca fotografiile să fie memorabile.

Corectarea fotografiilor după ce au fost făcute a devenit mai ușoară de ceva timp, deoarece producătorii și platformele tehnologice oferă din ce în ce mai mult editare în cameră care permite utilizatorilor să modifice imaginile imediat ce le-au făcut. Sistemele populare de acest tip includ editarea conversațională a lui Google și editarea generativă a lui Samsung, printre altele.

Cu toate acestea, o tendință nouă care favorizează “autenticitatea” în detrimentul rezultatelor “îmbunătățite” de IA ar putea însemna că mulți dintre consumatorii cărora li se adresează aceste sisteme încep să considere fotografiile “modificate” ca slop de IA.

Poate că acesta este motivul pentru care Google a creat un “antrenor de cameră” instruit de IA, informat de Gemini, care este capabil să ofere instrucțiuni directe pentru a îmbunătăți o fotografie în timpul procesului de realizare a acesteia:

Antrenorul de cameră al lui Google vă spune cum să reîncadrați o fotografie, printre alte sfaturi de bază. Sursă

Faptul că este un sistem proprietar și că există practic zero informații disponibile online cu privire la el, Antrenorul de cameră pare să utilizeze Gemini pentru a ajuta utilizatorii să îmbunătățească încadrarea (a se vedea imaginea de mai sus) sau să facă modificări minore în poziție (cum ar fi să se apropie mai mult sau să se uite direct în cameră).

Așa cum se poate vedea, produsul împinge compoziția spre medie, presupunând că se bazează pe milioane de puncte de date de conținut încărcate care au contribuit probabil la datele de antrenare ale lui Gemini. În acest sens, utilizatorii care încarcă conținutul au creat calibrarea IA prin respingerea fotografiilor nesatisfăcătoare și încărcarea celor pe care le plac – o formă eficientă (și gratuită) de curățare a setului de date!

Acesta este doar începutul traducerii. Vă rog să îmi permiteți să continuăm…. (continuarea traducerii)

Dincolo de “Cheese!” și Regula a Treia

În acest sens, și spre un sistem mai accesibil pe platforme, o nouă cercetare din Italia oferă un sistem de tip Coach care se bazează pe cunoștințe anterioare despre ce face ca fotografiile să fie memorabile:

Exemple diverse de sfaturi oferite de noul sistem al autorilor. Sursă

În exemplele de mai sus, vedem sfaturi oferite de noul sistem al autorilor – numit MemCoach – care este greu de imaginat că un sistem de IA axat pe compoziție, cum ar fi Camera Coach, ar putea oferi. În primul exemplu (stânga), sfatul de a îndepărta acoperământul capului este deosebit de interesant; în a doua imagine, este greu de imaginat ce context convențional ar putea oferi un sistem de IA axat pe compoziție (adică o imagine “artistică” a unei femei tinere culcată pe podea cu ochii închiși).

Înțelegerea de bază despre memorabilitate în fotografie, utilizată pentru a dezvolta sistemul în trei părți din Italia, se bazează pe diverse lucrări anterioare, inclusiv lucrarea din 2015 What makes an object memorable? și lucrarea din 2013 What makes a photograph memorable?.

Din lucrarea din 2013 What makes a photograph memorable?, exemple reprezentative de fotografii bune, medii și proaste, în ceea ce privește memorabilitatea. Sursă

Oricine, ca mine, cu o dată de naștere Unix negativă, probabil va recunoaște șablonul pentru “imagini mai puțin memorabile” (sus, dreapta, în imaginea de mai sus), de la nopțile interminabile de diapozitive care au bântuit copilăria noastră. Așa cum afirmă autorii*:

‘Aceste lucrări au identificat factori intrinseci cheie, cum ar fi prezența oamenilor, scene interioare sau expresii emoționale, mai degrabă decât obiecte și viziuni panoramice, precum și factori extrinseci, inclusiv context și observator.’

Proiectul se concentrează pe “feedback de memorabilitate” (MemFeed), care este exprimat în aplicația tutor MemCoach și un benchmark (intitulat MemBench) bazat pe setul de date PPR10K.

Din lucrarea PPR10K: A Large-Scale Portrait Photo Retouching Dataset with Human-Region Mask and Group-Level Consistency, mostre diverse din setul de date. Rândul superior arată imaginile originale, rândul inferior arată versiunile retușate de experți, împreună cu măști de regiune umană corespunzătoare. Imaginile originale variază foarte mult în ceea ce privește punctul de vedere, fundal, iluminare și setări de cameră, în timp ce rezultatele retușate afișează o calitate vizuală îmbunătățită și o consistență mai puternică în cadrul fiecărui grup. Sursă

<p)Lucrarea observă că memorabilitatea este cuantificabilă în fotografii, mai degrabă decât o înregistrare a judecăților subiective, și autorii notează în plus că această proprietate a fost identificată atât pentru fotografii (în lucrări diverse și alte) și pentru videoclipuri (în lucrări diverse și alte).

Lucrarea nouă este intitulată Cum să faci o fotografie memorabilă? Împuternicirea utilizatorilor cu feedback acționabil și provine de la patru cercetători de la Universitatea din Trento, Universitatea din Pisa și Fondazione Bruno Kessler. Pagina proiectului sugerează că codul GitHub și datele găzduite de Hugging Face vor fi disponibile luna viitoare (martie 2026).

Metodă

Pentru a curăța setul de date MemBench din setul de date portret PPR10K, cercetătorii au grupat fotografii din aceeași scenă și au evaluat fiecare imagine pentru memorabilitate utilizând un predictor antrenat bazat pe CLIP caracteristici. Ei au clasat apoi fotografiile din fiecare scenă de la mai puțin memorabile la mai memorabile și le-au pereche:

Prezentare generală a construirii și evaluării MemBench. Rândul superior arată pipeline-ul de date, de la gruparea imaginilor după scenă și predicția memorabilității, la clasarea fotografiilor și generarea feedback-ului conștient de memorabilitate. Rândul inferior ilustrează evaluarea, măsurând calitatea feedback-ului prin câștiguri de memorabilitate bazate pe editare și scoruri de perplexitate.

Pentru fiecare pereche, descrieri în limbaj natural au fost generate cu modelul InternVL3.5 pentru a explica diferențele vizibile dintre versiunea mai puțin memorabilă și cea mai memorabilă; și aceste descrieri ar constitui semnalul de antrenare pentru sistemul de feedback de memorabilitate.

În contrast cu logica care stă la baza Antrenorului de cameră al lui Google, cercetătorii au căutat o interpretare mai subtilă:

‘Contrar ajustărilor de fotografiere computațională care se concentrează pe corecturi post-factum (de exemplu, “faceți imaginea mai luminoasă”), ne concentrăm pe acțiuni semantice pe care un utilizator le poate face pe loc pentru o poză mai bună, de exemplu, “Întoarceți-vă unul către celălalt”.’

Colectia finală MemBench cuprinde aproximativ 10.000 de imagini grupate în 1.570 de scene, cu o medie de 6,5 imagini pe scenă. Norul de cuvinte pe care autorii l-au generat (a se vedea imaginea de mai jos) sugerează o gamă largă de categorii semantice în setul de date:

Nor de cuvinte al celor mai frecvente termeni din MemBench.

Fotografiile sursă au avut un scor de memorabilitate mediu de 0,63, în timp ce cele mai memorabile fotografii din aceeași scenă s-au întins de la 0,51 la 1,0, cu o suprapunere notabilă între cele două grupuri:

Distribuții ale scorurilor de memorabilitate care compară imaginile mai puțin memorabile și mai memorabile din fiecare scenă.

Feedback-ul în sine a variat de la note scurte de șapte cuvinte la instrucțiuni mai lungi (stânga, în imaginea de mai jos). Fiecare piesă de sfat a fost apoi descompusă în tipuri mici de acțiuni utilizând GPT-5 Mini (dreapta, în imaginea de mai jos):

Distribuția lungimii feedback-ului, măsurată în cuvinte de conținut, și categorizarea sub-acțiunilor atomice cu lățimi de coardă care indică frecvența de co-ocurență între categorii.

Autorii notează că majoritatea sugestiilor s-au concentrat pe modul în care subiectul a fost pozat, urmat de modificări ale sensului sau conținutului scenei, iar încadrarea a fost adesea legată de poziționare, iar ajustările de iluminare au fost frecvent legate de modificări semantice.

Flux Capacitor

Pentru a evalua dacă memorabilitatea a fost îmbunătățită de feedback, conformitatea utilizatorului a fost simulată prin utilizarea modelului generativ FLUX.1 Kontext ca proxy pentru fotograful. Dată o imagine sursă și un feedback textual, o versiune editată a fost generată de Flux care a simulat modificările sugerate:

Imaginile din stânga sunt reale, din setul de date, și imaginile din dreapta (în fiecare caz) sunt create de Flux, pe baza promptului (în galben, mai jos). În acest fel, eficacitatea prompturilor a putut fi evaluată fără implicarea extinsă a utilizatorilor. Această cunoaștere ar fi alimentat în final cadrul MemCoach, și, de fapt, reprezintă un flux de lucru care ar putea îmbunătăți iterativ un sistem de acest tip (adică, în cele din urmă, cu exemple din lumea reală, mai degrabă decât exemple Flux).

Atât imaginea originală, cât și cea editată au fost apoi trecute printr-un predictor de memorabilitate, permițând măsurarea frecvenței cu care versiunea editată a obținut un scor mai mare – denumit Raport de îmbunătățire – și cât de mare a fost câștigul în raport cu imaginea de start, denumit Memorabilitate relativă.

Similaritatea cu sfaturile de referință axate pe memorabilitate a fost măsurată prin calcularea perplexității împotriva descrierilor de bază, și o divizare 80-20 a fost aplicată la nivel de scenă, astfel încât testarea a fost efectuată numai pe scene care nu fuseseră utilizate în timpul antrenării.

Stadiul actual

Conștientizarea memorabilității de către modelele actuale de limbaj multimodal a fost testată. Imaginile din setul de date LaMem au fost prezentate mai multor modele de top, care au fost întrebați dacă imaginea era memorabilă. Estimarea de încredere a modelului a fost apoi comparată cu scorurile atribuite de către privitorii umani în studiul original:

Teste care indică faptul că modelele multimodale de bază nu capturează memorabilitatea. Stânga, corelația Spearman între predicțiile modelului și scorurile LaMem de bază, cu acordul inter-annotator de la LaMem afișat ca referință. Dreapta, raportul de îmbunătățire obținut prin feedback zero-shot în raport cu baza de editare, arătând doar câștiguri marginale.

Aproape nu s-a găsit nicio corelație semnificativă cu judecățile umane, și, în ciuda pregătirii pe scară largă, autorii afirmă că modelele nu au urmărit ceea ce oamenii își amintesc în mod constant.

Exemple din setul de date LaMem. Sus-stânga, vedem și o hartă de căldură afișată pentru acea imagine. Sursă

MemCoach

MemCoach se concentrează pe instrucțiuni semantice, pe loc, care pot fi efectuate înainte de a apăsa declanșatorul – de exemplu, ajustarea poziției, modificarea interacțiunilor dintre subiecte sau modificarea elementelor scenei. Feedback-ul oferit de MemCoach variază de la 7 la 102 cuvinte de conținut. Memorabilitatea, conform lucrării, pare a fi condusă mai mult de configurarea subiectului și de indicii narative decât de simple ajustări ale compoziției:

Prezentare generală a pipeline-ului MemCoach, în care îndrumarea conștientă de memorabilitate de la un model de limbaj multimodal de învățare a fost combinată cu răspunsuri neutre ale elevului pentru a forma date contrastante; diferențele de activare între straturi au fost mediate pentru a deriva un vector de direcționare a memorabilității; și acel vector a fost injectat la inferență pentru a deplasa activările elevului spre producerea unui feedback îmbunătățit și orientat spre memorabilitate, fără antrenament suplimentar.

Teste

Șapte modele de limbaj multimodal mari (MLLM) au fost utilizate în faza de testare pentru noul sistem: Qwen2.5V.L; InternVL3_5-8B; Idefics3-8B; și LLaVA-OneVision-1.5. De asemenea, GPT-5 Mini a fost inclus ca reprezentant al modelelor proprietare și închise, împreună cu modelele specializate în estetică Q-Instruct și AesExpert. MLLM-urile au funcționat în diferite moduri, atât ca zero-shot, cât și ca oracole pentru profesori.

InternVL3.5 a fost utilizat atât pentru modelul profesor, cât și pentru modelul elev, cu setul de date MemBench utilizat pentru a crea exemple contrastante:

Performanța MemCoach comparată cu MLLM-urile de ultimă generație de-a lungul oracolelor profesor, modelelor specializate în estetică și bazinelor zero-shot, arătând un raport de îmbunătățire mai mare și o memorabilitate relativă competitivă, împreună cu cea mai mică perplexitate, indicând un feedback mai consistent și orientat spre memorabilitate.

În tabelul pentru primul test (afiat mai sus), vedem că MemCoach pare a oferi sfaturi de memorabilitate mai eficiente decât orice dintre modelele de comparație – și modelul InternVL3.5 dirijat crește memorabilitatea mai des și cu o cantitate mai mare, cu un câștig de 5% în raportul de îmbunătățire față de GPT-5 Mini și un salt de 31,81% în memorabilitate relativă față de versiunea sa nedirijată.

De asemenea, depășește sistemele specializate în estetică, fără a necesita antrenament suplimentar. O perplexitate mai mică, conform lucrării, sugerează în plus că feedback-ul său urmează aceleași modele lingvistice pe care judecățile umane de memorabilitate tinde să le recompenseze:

Rezultate de generalizare care arată că MemCoach îmbunătățește feedback-ul orientat spre memorabilitate de-a lungul mai multor back-end-uri multimodale, creșterea consistentă a raportului de îmbunătățire și a memorabilității relative, în timp ce reduce și perplexitatea pentru majoritatea modelelor.

Un test suplimentar (a se vedea tabelul de mai sus) indică faptul că adăugarea MemCoach a îmbunătățit feedback-ul orientat spre memorabilitate de-a lungul tuturor back-end-urilor multimodale testate, cu câștiguri consistente în raportul de îmbunătățire și cele mai mari salturi apărând pentru Qwen2.5VL și LLaVA-OV.

O evaluare calitativă a fost efectuată apoi, analizând exemple de feedback MemCoach în care imaginea sursă, sugestia în limbaj natural și rezultatul îmbunătățit au fost examinate împreună:

Exemple calitative de feedback de memorabilitate generat de MemCoach. Fiecare triplet arată imaginea sursă, instrucțiunea în limbaj natural și imaginea editată rezultată, cu memorabilitate relativă (RM) care indică schimbarea măsurată. Îndrumarea variază de la ajustări ale poziției și privirii la intervenții semantice, cum ar fi îndepărtarea obiectelor, ilustrând atât câștiguri reușite, cât și cazuri în care îndepărtarea elementelor neobișnuite reduce memorabilitatea.

Din aceste rezultate, autorii afirmă:

‘Exemplele subliniază varietatea de sugestii pe care modelul le propune, variind de la ajustări fine ale compoziției, cum ar fi modificarea direcției privirii, poziției sau poziției mâinii, la intervenții semantice care implică îndepărtarea obiectelor sau schimbarea expresiei feței. ‘

‘Feedback-ul este natural interpretabil și acționabil, exprimat în instrucțiuni textuale concise (în mare parte implicând verbe “Aduce”, “Stă”, “Îndepărtează”) care pot fi implementate direct, verbalizând efectiv cum să faci o fotografie memorabilă.’

Concluzie

Ar fi interesant să comparăm metodologia abordării închise a lui Google cu proiectul MemBench – nu în ultimul rând pentru a ști care au fost standardele centrale, referințele și bazele de date pe care le-a utilizat Google pentru a defini standardele estetice ale sistemului.

Aspectul negativ al sistemelor de acest tip, deschise sau cu sursă închisă, este că, la scară largă, ele riscă să impună standarde uniforme care sunt destinate să devină meme și clișee – un fel de echivalent vizual al dezbaterilor despre cratimă de IA, în care procedura “corectă” a devenit oarecum blestemată în utilizarea casuală.

* Conversia mea a citărilor inline ale autorilor în legături, dacă legătura nu este prezentată în altă parte a articolului.

^† Lucrarea se referă aici, ca și în alte locuri, la “materiale suplimentare” pe care nu le pot găsi, nici din lucrare, nici din lista Arxiv principală, nici de pe site-ul proiectului.

Publicat pentru prima dată joi, 26 februarie 2026