Gambar Iklan yang Dibuat oleh AI yang Menargetkan Demografi Anda – dan Akhirnya, Anda?

Para pengiklan berusaha untuk menyesuaikan iklan dengan individu untuk meningkatkan klik, dan meskipun kreatif yang disesuaikan untuk setiap orang saat ini tidak praktis, penelitian baru menunjukkan bahwa gambar yang dihasilkan oleh AI dapat segera ditargetkan secara efektif pada demografi tertentu.

Iklan yang dipersonalisasi yang ditampilkan dalam film sci-fi aksi tahun 2002 karya Steven Spielberg, Minority Report, telah meninggalkan kesan yang mendalam, bahkan menakutkan pada budaya, dengan penggambaran yang hidup tentang billboard iklan yang proaktif yang mengenali orang-orang dalam kerumunan dan berteriak pesan promosi langsung kepada mereka.

Banyak kelompok konsumen mungkin memandang tingkat pengenalan pengguna ini sebagai mimpi buruk, dan meskipun kemajuan menuju hal ini diperlambat oleh dampak skandal Cambridge Analytica skandal, idealnya adalah interaksi langsung yang sangat ditargetkan tetap menjadi tujuan yang dihargai dalam periklanan.

Sebenarnya, sistem yang dapat menemukan karakteristik pengguna tertentu masih dalam pengembangan – meskipun dalam kasus seperti ini, penelitian perusahaan harus mengambil langkah-langkah untuk menghormati hukum sekitar informasi yang dapat diidentifikasi secara pribadi (PII); hukum yang telah diperkuat di Eropa selama dekade terakhir, dengan perlindungan yang diperbaiki ini menyebar ke tempat lain melalui efek Brussels.

Hai, Kamu!

Sekarang bahwa iklan dan konten pemasaran yang dihasilkan oleh AI sedang meningkat naik, para pengiklan harus tetap menghadapi biaya potensial dari iklan AI yang ditargetkan pada individu tertentu, di mana gambar dan teks dihasilkan secara oportunis dan secara langsung.

Sebagai contoh, bahkan jika gambar yang disesuaikan dapat dihasilkan dengan sangat cepat, biaya pada skala besar akan signifikan. Selain itu, proses lelang iklan online otomatis beroperasi pada kerangka waktu kritis, yang membuat konten gambar khusus pengguna menjadi tantangan, setidaknya untuk saat ini; dan konten video menjadi prospek yang lebih jauh.

Namun, hambatan teknis yang terkait dengan mengatasi kelompok-kelompok demografi yang lebih tinggi dalam audiens berbasis internet (melalui laptop, ponsel, TV pintar, dll.) tidak terlalu parah – dan kolaborasi akademis/industri internasional baru mengusulkan cara untuk membuat gambar iklan terpisah untuk demografi yang berbeda, termasuk faktor seperti usia dan lokasi:

Dari karya baru: contoh generasi iklan yang dipersonalisasi, di mana satu produk dirender dalam gaya yang berbeda untuk kelompok penonton yang berbeda. Baris atas menunjukkan gambar produk asli. Tiga baris berikutnya menunjukkan versi yang disesuaikan dengan tiga jenis penonton yang berbeda per produk, berdasarkan perbedaan dalam karakteristik seperti usia, gaya hidup, atau preferensi estetika. Jenis kelompok ini tidak ditentukan sebelumnya, tetapi ditemukan secara otomatis. Setiap baris sesuai dengan satu kelompok; setiap kolom menunjukkan produk yang berbeda. Sumber – https://arxiv.org/pdf/2602.02033

Kerangka kerja baru – yang berjudul One Size, Many Fits (OSMF) – bertujuan untuk menjembatani kesenjangan antara periklanan yang ditargetkan secara luas dan personalisasi yang tidak praktis, dengan menghasilkan gambar iklan yang berbeda untuk kelompok audiens yang ditemukan secara otomatis, menggunakan product-aware clustering untuk menyelaraskan konten visual dengan preferensi klik dari demografi yang berbeda

Para penulis menyatakan:

‘[Kami] mempresentasikan kerangka kerja yang terpadu yang menyelaraskan preferensi klik kelompok yang beragam dalam generasi gambar iklan skala besar.

‘OSMF dimulai dengan pengelompokan adaptif yang sadar produk, yang secara dinamis mengorganisir pengguna berdasarkan atribut mereka dan karakteristik produk, mewakili setiap kelompok dengan fitur preferensi kolektif yang kaya.’

Diuji melawan kerangka kerja yang setara, para penulis mengklaim hasil yang luar biasa.

Meskipun karya ini mengidentifikasi kelompok-kelompok kohort yang beragam, makalah ini tidak spesifik tentang karakteristik demografi yang diwakili oleh setiap G pengelompokan, meskipun ini tampaknya kemungkinan besar untuk memetakan kelompok segmentasi pasar tradisional.

Oleh karena itu, tidak mudah untuk mengetahui, berdasarkan contoh yang diberikan dalam makalah utama dan lampiran, mengapa latar belakang atau pencahayaan tertentu akan menarik bagi satu kohort lebih dari yang lain, karena kita tidak tahu karakteristik dari kohort mana pun:

Tidak ada gaya konsisten ‘biru untuk laki-laki, merah muda untuk perempuan’ dll, di seluruh gaya gambar kohort, yang dapat mengungkapkan jenis orang yang termasuk dalam kelompok mana – definisi, seperti yang terlihat dari literatur yang ada, jauh lebih kompleks dan halus.

Apa yang mungkin lebih mengkhawatirkan, bagi mereka yang waspada terhadap praktik penargetan iklan, adalah kemungkinan mengeksploitasi wawasan per-pengguna dalam generasi gambar tertentu dalam iklan**.

Makalah baru ini berjudul One Size, Many Fits: Aligning Diverse Group-Wise Click Preferences in Large-Scale Advertising Image Generation, dan berasal dari 17 peneliti dari Laboratorium Nasional Pengenalan Pola di Beijing; ‘Sekolah AI di UCAS’**; perusahaan e-commerce Tiongkok JINGDONG; Universitas Sains dan Teknologi Hong Kong di Guangzhou; dan Laboratorium Pengenalan Pola di Universitas Sains dan Teknologi Nanjing.

Metode

Sistem ini menggunakan pengelompokan adaptif (metode yang menemukan pengelompokan alami dengan menghubungkan karakteristik pengguna dengan bagaimana mereka merespons produk yang berbeda) untuk mengelompokkan pengguna, berdasarkan bagaimana karakteristik mereka membentuk preferensi visual dalam pengaturan produk tertentu. Implementasi pendekatan ini oleh para penulis disebut Product-Aware Adaptive Grouping (PAAG).

Pengelompokan ini tidak ditetapkan sebelumnya, tetapi ditemukan dari pola dalam data.

Sebuah generator gambar kondisional, yang disebut Preference-Conditioned Image Generation (PCIG), kemudian menggunakan profil setiap kelompok untuk membuat gambar iklan yang sesuai dengan preferensi kelompok:

OSMF mengelompokkan pengguna berdasarkan bagaimana karakteristik mereka membentuk preferensi produk, kemudian menggunakan profil kelompok untuk menghasilkan gambar iklan yang sesuai dengan preferensi kelompok. PAAG menangani pengelompokan, dan PCIG membuat gambar menggunakan prompt dan umpan balik yang disesuaikan dengan setiap kelompok.

Generator gambar ini menggunakan versi yang tidak ditentukan dari Stable Diffusion, bersama dengan ControlNet suite yang sesuai (yang terakhir, untuk membantu mempertahankan konsistensi di antara berbagai generasi kohort).

Dalam alur kerja, PAAG pertama kali mengkodekan hubungan antara fitur pengguna dan aspek teks dan gambar produk, menggunakan himpunan pengkode yang didedikasikan dan mekanisme perhatian silang untuk menggabungkannya menjadi embedding preferensi yang terpadu yang mencerminkan seberapa mungkin pengguna akan mengklik iklan tertentu.

PAAG kemudian memodelkan bagaimana kombinasi karakteristik pengguna yang berbeda berinteraksi dengan judul dan gambar produk. Fitur teks dan gambar diekstrak menggunakan CLIP dan ResNet-based pengkode, dan karakteristik pengguna seperti jenis kelamin, lokasi, usia, atau perangkat dilewatkan melalui MLP, yang memungkinkan perhatian silang atas fitur teks dan gambar produk.

Embedding yang dihasilkan mewakili kemungkinan klik pengguna untuk produk tertentu dalam konteks visual tertentu. Setelah embedding preferensi pengguna-produk ini diperoleh, PAAG menggunakan K-means clustering untuk mengelompokkan pengguna yang merespons secara serupa terhadap produk tertentu.

PAAG memilih jumlah kelompok pengguna terbaik untuk setiap produk dengan memeriksa seberapa baik kluster memisahkan. Alih-alih menggunakan hanya satu titik rata-rata per kelompok, PAAG mengambil sampel beberapa pada jarak yang berbeda untuk menangkap rentang preferensi yang lebih luas.

Profil kelompok ini kemudian diteruskan sebagai token ke group-aware multimodal large language model (G-MLLM), yang menggunakan profil untuk menghasilkan gambar iklan yang disesuaikan dengan setiap kelompok.

Generasi Gambar Berdasarkan Preferensi Pengguna

Di sisi pengguna, G-MLLM belajar untuk memprediksi anggota kelompok mana yang kemungkinan akan mengklik berikutnya dan bagaimana menggambarkan karakteristik umum dalam bahasa alami. Di sisi produk, G-MLLM belajar untuk meringkas produk yang ditampilkan dalam gambar dan menghasilkan caption gaya iklan yang sesuai dengan produk dan kelompok.

Untuk mencerminkan perilaku pengguna yang nyata, model ini diperluas menjadi group-aware reward model (GRM). GRM dilatih pada dataset Grouped Advertising Image Preference (GAIP) milik peneliti, untuk membandingkan pasangan gambar untuk produk yang sama dan mengidentifikasi mana yang bekerja lebih baik dengan kelompok tertentu, menggunakan data klik yang sebenarnya.

Sinyal hadiah ini kemudian digunakan untuk fine-tune G-MLLM dengan Group-DPO, metode yang mengajarkan G-MLLM untuk memfavoritkan prompt yang mengarah pada keterlibatan kelompok yang lebih baik.

Data dan Pengujian

Mengembangkan GAIP

Mengingat kurangnya dataset yang terkait dengan preferensi periklanan berbasis kelompok, dan bahwa koleksi sebelumnya seperti Personalized Soups dan CG4CTR terlalu kecil atau terlalu tidak spesifik, para peneliti mengembangkan koleksi mereka sendiri, GAIP, yang berasal dari ‘log periklanan industri’ dari platform e-commerce yang tidak ditentukan.

Log ini dikumpulkan selama periode tiga minggu, dengan setiap entri mencatat gambar produk dan judul, profil pengguna (termasuk usia, tingkat pengeluaran, dan kepekaan terhadap promosi), dan apakah iklan diklik.

Dataset ini mencakup lebih dari 40 juta pengguna, 2 juta produk, dan hampir 10 juta gambar iklan, dengan keragaman visual yang tinggi di antara item.

Pengguna dikelompokkan oleh PAAG menjadi kluster yang berbeda untuk setiap produk, dan tingkat klik (CTR) dihitung per gambar dalam setiap kelompok:

Dari materi suplemen makalah baru, sekilas tentang beberapa kriteria penentuan GAIT.

GAIP kemudian dibentuk sebagai himpunan tupel (gambar iklan, judul produk, embedding kelompok, CTR kelompok) yang menghubungkan setiap gambar dan judul dengan CTR dan embedding kelompok yang melihatnya.

Untuk memastikan keandalan, hanya produk dengan eksposur yang cukup yang dipertahankan, menghasilkan dataset 610.172 sampel tingkat kelompok.

GAIP secara signifikan lebih besar dari dataset sebelumnya: sementara sebagian besar benchmark sebelumnya melibatkan kurang dari sepuluh kelompok pengguna, GAIP mencakup hampir 600.000 catatan preferensi kelompok yang sebenarnya, menawarkan wawasan yang lebih dalam tentang preferensi tingkat kelompok.

Pengujian

Untuk melatih pipa PCIG, para peneliti mengekstrak fitur gambar dan teks menggunakan ResNet dan pengkode teks CLIP, kemudian memetakan mereka ke embedding 128-dimensi melalui lapisan linier yang dapat dipelajari. Untuk mempertahankan efisiensi, PAAG dibatasi pada lima kelompok pengguna per produk.

Embedding kelompok dibangun menggunakan strategi sampling berbasis persentil, mengambil beberapa titik dari persentil 15, 55, dan 95, untuk menangkap preferensi inti dan perifer.

LLaVA digunakan sebagai backbone untuk G-MLLM, dan pelatihan awal dilakukan selama sepuluh epoch dengan jadwal pembelajaran kosinus pada tingkat pembelajaran 2e-6, memerlukan pelatihan yang luar biasa lima hari pada klaster delapan NVIDIA H100 GPU, masing-masing dengan 80GB VRAM.

GRM dilatih dengan merekonstruksi GAIP dengan pasangan gambar produk yang cocok, kemudian diinisialisasi dengan bobot yang sama dengan G-MLLM. Selama tahap Group-DPO terakhir, GRM dibekukan, dan G-MLLM diperhalus menggunakan LoRA selama tiga epoch – lagi, pada tingkat pembelajaran 2e-5, pada klaster NVIDIA yang sama.

Metri yang digunakan untuk evaluasi pertama adalah NDCG@5 dan AUROC. NDCG@5 mengukur seberapa berbeda setiap kelompok menilai rangking gambar iklan yang sama, dengan nilai yang lebih rendah menunjukkan pemisahan preferensi yang lebih jelas; dan AUROC digunakan untuk mengevaluasi seberapa baik setiap model membedakan konten yang diklik dari yang tidak diklik.

Metri ini dihitung pada hasil pengelompokan dari 1.000 produk, total sekitar 100.000 sampel, dan digunakan untuk membandingkan PAAG melawan tiga sistem sebelumnya: CACS; WIYD; dan JAC:

Hasil pemodelan preferensi dibandingkan dengan metode sebelumnya. NDCG@5 yang lebih rendah dan AUROC yang lebih tinggi menunjukkan kinerja yang lebih baik. Skor terbaik dalam cetak tebal, skor kedua terbaik bergaris bawah.

Dari hasil ini, para penulis mengomentari:

‘[Metode kami] mencapai kinerja yang unggul pada kedua metri. Secara khusus, PAAG mencapai NDCG@5 terendah (0,3066), mengungguli baseline terbaik (CACS), menunjukkan pola preferensi antar-kelompok yang lebih beragam untuk generasi iklan berbasis kelompok yang efektif.

‘Selain itu, PAAG mencapai AUROC tertinggi (0,6372), meningkatkan dari baseline terkuat (WIYD) sebesar 0,0159.’

Pengujian kedua memeriksa apakah sistem dapat lebih baik memasangkan iklan dengan kelompok pengguna yang tepat:

Perbandingan CTR online menunjukkan bahwa generasi yang dipersonalisasi berbasis kelompok (‘Kami’) mengungguli semua baseline, termasuk CAIG dan G-MLLM yang sudah dilatih sebelumnya.

Di sini, PCIG menunjukkan tingkat klik yang lebih kuat daripada model yang lebih lama seperti CAIG dan G-MLLM, dengan peningkatan sebesar 5,5%. GRM juga diuji secara offline dengan memeriksa apakah GRM dapat memilih iklan yang lebih baik dalam pasangan, berdasarkan preferensi kelompok. GRM mengungguli semua baseline, termasuk model umum, dengan keuntungan sebesar 4,7% atas CAIG.

Pengujian kualitatif terakhir dilakukan untuk mengevaluasi apakah PCIG dapat mencerminkan preferensi tingkat kelompok dalam gaya gambar yang dihasilkan. Seperti yang ditunjukkan pada gambar di bawah, produk yang sama dirender secara berbeda untuk setiap kelompok, dengan perubahan pada palet, nada, dan komposisi visual:

Hasil lengkap dari pengujian kualitatif, yang sebelumnya dipratinjau dalam artikel.

Variasi ini sesuai, menurut para penulis, dengan preferensi klik yang diinferensi untuk setiap kelompok, menunjukkan bahwa PCIG dapat menghasilkan output yang beragam secara stilistik sambil mempertahankan relevansi dan daya tarik. Para penulis menyatakan:

‘[PCIG] memastikan gambar yang beragam secara stilistik untuk menampung preferensi klik dari kelompok pengguna yang berbeda, dengan demikian menunjukkan kemampuan yang kuat untuk menyesuaikan generasi dengan permintaan pengguna yang beragam dan menangkap perbedaan preferensi yang halus dan terperinci di seluruh kelompok pengguna yang beragam, menyoroti potensinya untuk generasi gambar iklan berbasis kelompok skala besar.’

Kesimpulan

Mungkin aspek yang paling menarik dari proyek ini adalah korelasi yang tidak diketahui antara gaya output di seluruh gambar yang ditargetkan kelompok untuk produk yang sama (di mana ada beberapa halaman lagi contoh dalam materi suplemen makalah daripada yang dapat kita reproduksi di sini).

Apakah kita dapat mengasumsikan bahwa latar belakang perkotaan terkait dengan usia, yaitu, untuk lulusan yang baru memulai, dan bahwa lingkungan pedesaan ditujukan untuk tipe Gen X yang lebih makmur yang mengidentifikasi jalan terbuka sebagai jenis ‘kebebasan terakhir’? Kita bisa menginterpretasikan output tes ini sepanjang hari.

Potensi sistem seperti ini bergantung pada dua faktor: wawasan dan latensi. Wawasan bergantung pada apakah sistem pelacakan yang muncul masih dapat mengekstrak informasi yang cukup berarti dari pengguna untuk mendukung periklanan berbasis kohort yang efektif, serta meletakkan dasar untuk iklan yang lebih presisi dan ditargetkan secara individual di masa depan.

Latensi menimbulkan tantangan yang lebih besar, karena gambar iklan khusus ini harus dihasilkan dan disampaikan hampir secara instan; meskipun beberapa model teks-ke-gambar baru dapat menghasilkan hasil dalam beberapa detik, bahkan penundaan itu mungkin terlalu lama untuk lelang iklan waktu nyata.

Salah satu solusi yang memungkinkan adalah menghasilkan gambar secara lokal, di GPU browser, menghindari perjalanan jaringan; atau membuat sejumlah gambar secara proaktif, yang disimpan sebelumnya di sisi klien.

** Aspek ini dihilangkan dalam makalah baru, sama seperti potensi penyalahgunaan deepfake dari kerangka kerja AI baru seringkali dilunakkan dengan menggunakan gambar hewan yang menggemaskan (bukan AI porn) dalam studi baru. Namun, jenis gambar yang ditunjukkan dalam karya ini mewakili pengiklan pada perilaku terbaik mereka, bukan menggambarkan seberapa pribadi iklan visual akhirnya bisa menjadi, karena metode penargetan konsumen bergabung dengan AI generatif yang responsif.

** Saya tidak dapat mengidentifikasi lembaga bernama ini, karena ‘UCAS’ umumnya mengacu pada lembaga penerimaan universitas Inggris yang dikenal. Saya menyambut klarifikasi.

^† Yang para peneliti berjanji untuk merilis di repo GitHub terkait.

Dipublikasikan pertama kali pada hari Kamis, 5 Februari 2026