Menggunakan AI untuk Meningkatkan Foto Nyata Sebelum Diambil

Alih-alih menggunakan GenAI untuk memperbaiki foto setelah Anda mengambilnya, para peneliti telah melatih sistem yang memberitahu Anda bagaimana bergerak, berpose, dan mengatur bidikan sebelumnya, menggunakan pengetahuan yang dipelajari tentang apa yang membuat gambar menjadi berkesan.

Memperbaiki foto setelah pengambilan telah menjadi lebih mudah selama beberapa waktu, karena produsen dan platform teknologi semakin menawarkan pengeditan kamera yang memungkinkan pengguna untuk mengubah gambar segera setelah mereka diambil. Sistem populer dari jenis ini termasuk pengeditan konversasional Google, dan pengeditan generatif Samsung, di antara lainnya.

Namun, tren baru yang memfavoritkan ‘otentisitas’ daripada hasil ‘ditingkatkan’ oleh AI bisa berarti bahwa banyak konsumen yang sistem ini ditujukan mulai menganggap foto ‘yang diedit’ sebagai sampah AI.

Mungkin ini yang menginspirasi Google untuk menciptakan pelatih kamera AI yang dilatih oleh Gemini, yang mampu memberikan instruksi langsung untuk meningkatkan foto selama proses pengambilan:

Google’s Camera Coach memberitahu pengguna bagaimana mengatur ulang foto, di antara saran dasar lainnya. Sumber

Sebagai sistem proprietary, dan dengan praktis tidak ada informasi yang tersedia online tentang hal ini, Camera Coach tampaknya menggunakan Gemini untuk membantu pengguna meningkatkan pengaturan (lihat gambar di atas) atau membuat perubahan kecil dalam pose (seperti bergerak lebih dekat bersama, atau melihat langsung ke kamera).

Jadi, sejauh yang dapat dilihat, produk ini mendorong komposisi menuju median, kemungkinan berdasarkan jutaan data poin konten yang diunggah yang mungkin telah berkontribusi pada data pelatihan Gemini. Dalam hal ini, pengguna yang mengunggah telah menciptakan kalibrasi AI dengan menolak foto yang tidak memuaskan dan mengunggah yang mereka sukai – sebuah bentuk kurasi dataset yang efektif (dan gratis)!

Namun, foto yang rata-rata dalam hal komposisi tidak selalu memiliki nilai estetika atau dampak pemirsa yang sama dengan foto yang berkesan.

Di Luar ‘Keju!’ dan Aturan Sepertiga

Untuk tujuan ini, dan menuju sistem yang lebih dapat diakses di seluruh platform, penelitian baru dari Italia menawarkan sistem Coach-style yang berdasarkan pada pengetahuan sebelumnya tentang apa yang membuat foto tetap di ingatan:

Contoh luas dari saran yang diberikan oleh sistem baru penulis. Sumber

Di contoh di atas, kita melihat saran yang diberikan oleh sistem baru penulis – yang disebut MemCoach – yang sulit dibayangkan dapat diberikan oleh AI komposisi seperti Camera Coach. Dalam contoh pertama (paling kiri), saran untuk menghilangkan hiasan kepala sangat mencurigakan; dalam gambar kedua, sulit untuk membayangkan konteks konvensional yang dapat ditarik oleh AI komposisi dari skenario umum (yaitu, gambar ‘artistik’ seorang wanita muda yang berbaring di lantai dengan mata tertutup).

Inti pemahaman tentang kenangan dalam fotografi, yang digunakan untuk mengembangkan sistem tiga bagian Italia, ditarik dari berbagai karya sebelumnya, termasuk outing Apa yang membuat suatu objek berkesan?, dan makalah Apa yang membuat suatu foto berkesan?.

Dari makalah 2013 Apa yang membuat suatu foto berkesan?, contoh perwakilan dari foto baik, sedang, dan buruk, dalam hal kenangan. Sumber

Siapa pun, seperti saya, dengan tanggal lahir Unix negatif, mungkin akan mengenali template untuk ‘gambar paling tidak berkesan’ (atas kanan di gambar di atas), dari malam slide yang tak terhitung jumlahnya yang mengutuk masa kecil kita. Seperti yang dinyatakan penulis*:

‘Karya-karya ini mengidentifikasi faktor-faktor intrinsik kunci seperti kehadiran orang, pemandangan dalam ruangan, atau ekspresi emosional, daripada objek dan pemandangan panoramik, serta faktor-faktor ekstrinsik, termasuk konteks dan pengamat. ‘

Proyek ini berfokus pada ‘umpan balik kenangan’ (MemFeed), yang diekspresikan dalam aplikasi tutor MemCoach, dan benchmark (berjudul MemBench) yang didasarkan pada dataset PPR10K.

Dari makalah PPR10K: A Large-Scale Portrait Photo Retouching Dataset with Human-Region Mask and Group-Level Consistency, contoh beragam dari dataset. Baris atas menunjukkan gambar asli, baris bawah menunjukkan versi yang diedit oleh ahli bersama dengan masker wilayah manusia yang sesuai. Foto asli bervariasi secara luas dalam sudut pandang, latar belakang, pencahayaan, dan pengaturan kamera, sedangkan hasil yang diedit menampilkan kualitas visual yang ditingkatkan dan konsistensi yang lebih kuat dalam setiap grup. Sumber

Makalah tersebut menyatakan bahwa kenangan dapat diukur dalam foto, bukan hanya penilaian subjektif, dan penulis lebih lanjut menyatakan bahwa sifat ini telah diidentifikasi baik untuk foto (dalam berbagai karya) dan video (dalam berbagai lainnya).

Makalah baru berjudul Bagaimana Mengambil Foto yang Berkesan? Memberdayakan Pengguna dengan Umpan Balik yang Dapat Ditindaklanjuti, dan berasal dari empat peneliti di Universitas Trento, Universitas Pisa, dan Fondazione Bruno Kessler. Halaman proyek yang menyertainya menunjukkan bahwa kode GitHub dan data yang dihosting oleh Hugging Face akan tersedia bulan depan (Maret 2026).

Metode

Untuk mengkurasi dataset MemBench dari dataset potret PPR10K, para peneliti mengelompokkan foto dari skenario yang sama dan menskor setiap gambar untuk kenangan menggunakan prediktor yang dilatih berdasarkan CLIP fitur. Mereka kemudian menilai foto dalam setiap skenario dari yang paling tidak berkesan hingga yang paling berkesan dan menggunakannya secara berpasangan:

Gambaran konstruksi dan evaluasi MemBench. Baris atas menggambarkan pipa data, dari mengelompokkan gambar berdasarkan skenario dan memprediksi kenangan, hingga menilai foto dan menghasilkan umpan balik tindakan yang sadar akan kenangan. Baris bawah mengilustrasikan evaluasi, mengukur kualitas umpan balik melalui keuntungan kenangan berbasis pengeditan dan skor perplexitas.

Untuk setiap pasangan, deskripsi bahasa alami dihasilkan dengan model InternVL3.5 untuk menjelaskan perbedaan yang terlihat antara versi yang kurang berkesan dan versi yang lebih berkesan; dan deskripsi ini akan membentuk sinyal pelatihan untuk sistem umpan balik kenangan.

Berbeda dengan logika yang mendasari Google Camera Coach, para peneliti mencari interpretasi yang lebih halus:

‘Berbeda dengan penyesuaian fotografi komputasi yang fokus pada koreksi pasca-pengambilan (misalnya, “buat gambar lebih terang”), kami fokus pada tindakan semantik yang pengguna dapat ambil secara langsung untuk mendapatkan bidikan yang lebih baik, misalnya “Hadapkan satu sama lain”.’

Koleksi MemBench akhir terdiri dari sekitar 10.000 gambar yang dikelompokkan menjadi 1.570 skenario, rata-rata 6,5 gambar per skenario. Awan kata yang dihasilkan penulis (lihat gambar di bawah), menunjukkan berbagai kategori semantik dalam dataset:

Awan kata dari istilah paling sering dalam MemBench.

Gambar sumber memiliki skor kenangan rata-rata 0,63, sedangkan gambar yang paling berkesan dari skenario yang sama berkisar dari 0,51 hingga 1,0, dengan tumpang tindih yang jelas antara kedua kelompok:

Distribusi skor kenangan yang membandingkan gambar yang paling tidak berkesan dan yang paling berkesan dalam setiap skenario.

Umpan balik itu sendiri berkisar dari catatan singkat tujuh kata hingga instruksi yang lebih panjang (kiri, dalam gambar di bawah). Setiap saran kemudian dipecah menjadi tipe tindakan kecil menggunakan GPT-5 Mini (kanan, dalam gambar di bawah):

Distribusi panjang umpan balik yang diukur dalam kata konten, dan kategorisasi sub-tindakan atomik dengan lebar akord yang menunjukkan frekuensi ko-oksiden antar kategori.

Para penulis mencatat bahwa sebagian besar saran fokus pada bagaimana subjek diposisikan, diikuti oleh perubahan pada makna atau konten skenario, dengan pengaturan sering terkait dengan pose, dan penyesuaian pencahayaan sering terkait dengan perubahan semantik.

Kapasitor Flux

Untuk mengevaluasi apakah kenangan ditingkatkan oleh umpan balik, kepatuhan pengguna disimulasikan melalui penggunaan model generatif FLUX.1 Kontext sebagai proksi untuk fotografer. Diberikan gambar sumber dan umpan balik teks, versi diedit dihasilkan oleh Flux yang mensimulasikan perubahan yang disarankan:

Gambar di sebelah kiri adalah asli, dari dataset, dan gambar di sebelah kanan (dalam setiap kasus) dihasilkan oleh Flux, berdasarkan prompt (dalam warna kuning, di bawah). Dengan cara ini, efektivitas prompt dapat dievaluasi tanpa keterlibatan manusia yang luas. Pengetahuan ini akan memberi umpan balik akhir ke kerangka kerja MemCoach, dan sebenarnya mewakili alur kerja yang dapat meningkatkan sistem seperti ini secara iteratif (yaitu, akhirnya dengan contoh dunia nyata daripada contoh Flux).

Baik gambar asli maupun gambar yang diedit kemudian dilewatkan melalui prediktor kenangan, memungkinkan pengukuran seberapa sering versi yang diedit mencapai skor yang lebih tinggi – yang disebut Rasio Peningkatan – dan seberapa besar keuntungan relatif terhadap gambar awal, yang disebut Kenangan Relatif.

Kesamaan dengan saran acuan yang berfokus pada kenangan juga diukur dengan menghitung perplexitas terhadap deskripsi ground-truth, dan split 80–20 diterapkan pada tingkat skenario sehingga pengujian hanya dilakukan pada skenario yang tidak digunakan selama pelatihan.

Tingkat Saat Ini

Kesadaran kenangan dari model bahasa besar multimodal saat ini diuji. Gambar dari dataset LaMem ditunjukkan kepada beberapa model terkemuka, yang diminta untuk menentukan apakah gambar tersebut berkesan. Perkiraan kepercayaan model kemudian dibandingkan dengan skor yang diberikan oleh pemirsa manusia dalam studi asli:

Pengujian yang menunjukkan bahwa model multimodal dasar tidak menangkap kenangan. Kiri, korelasi peringkat Spearman antara prediksi model dan skor LaMem ground-truth, dengan kesepakatan antar-annotator dari LaMem ditunjukkan untuk referensi. Kanan, rasio peningkatan yang dicapai oleh umpan balik zero-shot relatif terhadap baseline pengeditan, menunjukkan keuntungan marginal.

Hampir tidak ada korelasi yang berarti dengan penilaian manusia, dan, meskipun pelatihan besar-besaran, penulis menyatakan bahwa model tersebut tidak melacak apa yang secara konsisten diingat oleh orang.

Contoh dari dataset LaMem. Atas kiri, kita juga melihat peta panas yang ditampilkan untuk gambar tersebut. Sumber

MemCoach

MemCoach berfokus pada instruksi semantik, on-the-fly yang dapat dilakukan sebelum tombol rana ditekan – misalnya, menyesuaikan pose, mengubah interaksi antara subjek, atau memodifikasi elemen skenario. Umpan balik yang diberikan oleh MemCoach berkisar dari 7 hingga 102 kata konten. Kenangan, makalah tersebut menyatakan, tampaknya didorong lebih oleh konfigurasi subjek dan petunjuk naratif daripada oleh penyesuaian komposisi sederhana:

Gambaran pipeline MemCoach, di mana bimbingan yang sadar akan kenangan dari MLLM guru dipasangkan dengan respons netral siswa untuk membentuk data kontras; perbedaan aktivasi di seluruh lapisan dirata-rata untuk menghasilkan vektor pengarahan kenangan; dan vektor tersebut disuntikkan pada saat inferensi untuk menggeser aktivasi siswa ke arah menghasilkan umpan balik yang lebih baik, tanpa pelatihan tambahan.

Pengujian

Tujuh Multimodal Large Language Models (MLLMs) digunakan dalam fase pengujian untuk sistem baru:

InternVL3_5-8B; Idefics3-8B; dan LLaVA-OneVision-1.5. Selain itu, GPT-5 Mini dimasukkan sebagai perwakilan model sumber tertutup; bersama dengan model Q-Instruct dan AesExpert yang dikhususkan untuk estetika. MLLMs beroperasi sebagai zero-shot dan guru orakel.

InternVL3.5 digunakan untuk model guru dan siswa, dengan split pelatihan MemBench digunakan untuk membuat contoh kontras:

Kinerja MemCoach dibandingkan dengan MLLM terkemuka di seluruh guru orakel, model khusus estetika, dan baseline zero-shot, menunjukkan Rasio Peningkatan yang lebih tinggi dan Kenangan Relatif yang kompetitif bersama dengan perplexitas terendah, menunjukkan umpan balik yang lebih konsisten dan berorientasi pada kenangan.

Dalam tabel untuk pengujian pertama (ditunjukkan di atas), kita melihat bahwa MemCoach tampaknya memberikan saran kenangan yang lebih efektif daripada model perbandingan mana pun – dan model InternVL3.5 yang diarahkan meningkatkan kenangan lebih sering, dan dengan jumlah yang lebih besar, dengan keuntungan Rasio Peningkatan sebesar 5% atas GPT-5 Mini, dan lompatan 31,81% dalam Kenangan Relatif atas versi yang tidak diarahkan.

Ini juga mengungguli sistem yang berfokus pada estetika, meskipun tidak memerlukan pelatihan tambahan. Perplexitas yang lebih rendah, makalah tersebut menyatakan, lebih lanjut menunjukkan bahwa umpan baliknya mengikuti pola linguistik yang sama yang cenderung dihargai oleh penilaian kenangan manusia:

Hasil generalisasi menunjukkan bahwa MemCoach meningkatkan umpan balik yang berorientasi pada kenangan di seluruh kerangka multimodal, secara konsisten meningkatkan Rasio Peningkatan dan Kenangan Relatif sambil mengurangi perplexitas untuk sebagian besar model.

Pengujian lebih lanjut (lihat tabel di atas) menunjukkan bahwa menambahkan MemCoach meningkatkan umpan balik yang berorientasi pada kenangan di seluruh kerangka multimodal, dengan keuntungan konsisten dalam Rasio Peningkatan dan lompatan terbesar yang muncul untuk Qwen2.5VL dan LLaVA-OV.

Evaluasi kualitatif kemudian dilakukan, menganalisis contoh umpan balik MemCoach di mana gambar sumber, saran bahasa alami, dan hasil yang ditingkatkan diperiksa berdampingan:

Contoh kualitatif dari umpan balik yang berorientasi pada kenangan yang dihasilkan oleh MemCoach. Setiap triplet menunjukkan gambar sumber, instruksi bahasa alami, dan gambar yang diedit, dengan Kenangan Relatif (RM) yang menunjukkan perubahan yang diukur. Bimbingan ini berkisar dari penyesuaian pose dan pandangan hingga intervensi semantik seperti penghapusan objek, menggambarkan baik keuntungan yang sukses maupun kasus di mana penghapusan elemen yang tidak biasa mengurangi kenangan.

Dari hasil ini, penulis menyatakan:

‘Contoh-contoh ini menyoroti berbagai saran yang diajukan oleh model, mulai dari penyesuaian komposisi yang halus, seperti mengubah arah pandangan, pose, atau posisi tangan, hingga intervensi semantik yang melibatkan penghapusan objek atau perubahan ekspresi wajah.

‘Umpan baliknya secara alami dapat diinterpretasikan dan dapat diambil tindakan, diekspresikan dalam instruksi teks yang ringkas (kebanyakan melibatkan kata kerja “Bawa”, “Berdiri”, “Hapus”) yang dapat langsung diimplementasikan, secara efektif memverbalisasikan bagaimana mengambil foto yang berkesan.’

Kesimpulan

Sangat menarik untuk membandingkan metodologi pendekatan tertutup Google dengan proyek MemBench – tidak hanya untuk mengetahui standar, referensi, dan database pusat yang digunakan Google untuk mendefinisikan standar estetika sistem.

Aspek negatif dari sistem seperti ini, sumber terbuka atau tertutup, adalah bahwa skala besar mereka berisiko memaksakan standar seragam yang ditakdirkan untuk berakhir sebagai meme dan klise – sebuah bentuk visual dari debat tanda hubung AI, di mana ‘prosedur yang benar’ telah menjadi terkutuk dalam penggunaan sehari-hari.

* Konversi saya dari kutipan inline penulis ke tautan, jika tautan tidak disajikan di tempat lain dalam artikel.

^† Makalah ini merujuk di sini, seperti di beberapa tempat lain, ke ‘bahan tambahan’ yang saya tidak dapat menemukan, baik dari makalah, daftar Arxiv inti, atau situs proyek.

Dipublikasikan pertama kali pada hari Kamis, 26 Februari 2026