Persiapan untuk Iklan di Model Bahasa Besar

Penelitian baru menunjukkan bagaimana iklan dapat segera disematkan langsung ke dalam jawaban gaya ChatGPT – tidak sebagai spanduk atau pop-up, tetapi ditenun ke dalam respons itu sendiri. Sebuah benchmark baru menguji seberapa baik respons iklan yang disuntikkan dapat tetap berguna, dapat dipercaya, dan menguntungkan, dan mungkin memerlukan kompromi antara pengalaman pengguna yang dapat diterima dan klik.

Seiring dengan popularitas luas dan meningkatnya Model Bahasa Besar mengancam metode periklanan tradisional yang telah memungkinkan internet hampir sejak awal, siapa pun yang familiar dengan taktik penangkapan pasar modal ventura akan bertanya-tanya berapa lama lagi AI chatbot akan dapat menahan diri dari menyertakan konten iklan dalam respons mereka.

Sebagaimana Netflix dan layanan streaming yang berkembang menunjukkan, strategi era kabel tradisional yang menggabungkan langganan berbayar dengan iklan yang disematkan (sering dibenarkan sebagai cara untuk menjaga biaya konsumen tetap rendah) kembali mendapatkan momentum; dan peralihan untuk mengintegrasikan iklan langsung ke dalam output LLM mulai terlihat kurang spekulatif dan lebih seperti adopsi alami dari model tersebut.

Dari makalah ‘Iklan Online dengan LLM: Peluang dan Tantangan’, contoh yang cukup representatif dari transisi yang kebanyakan orang harapkan ketika LLM menghasilkan uang. Sumber: https://www.sigecom.org/exchanges/volume_22/2/FEIZI.pdf

Perspektif menyertakan iklan dalam medium yang sudah memiliki masalah kredibilitas yang cukup, mungkin tampak terlalu dini; namun skala investasi di AI generatif selama dua belas bulan terakhir menunjukkan bahwa pasar saat ini tidak didefinisikan oleh sikap yang hati-hati atau berhati-hati; dan dengan pemain besar seperti OpenAI yang secara argumentatif terlalu berlebihan dan membutuhkan pengembalian awal dari investasi besar, sejarah menunjukkan bahwa masa bulan madu output iklan bebas mungkin sudah berakhir.

GEM-Bench

Dengan iklim ini dan dengan imperatif bisnis ini, sebuah makalah baru dari Singapura menawarkan benchmark pertama yang ditujukan untuk antarmuka chatbot AI, bersama dengan metrik kuantifikasi baru untuk apa yang mungkin menjadi salah satu arena iklan paling eksplosif dalam 100 tahun.

Mungkin dengan optimis, penulis makalah ini mengasumsikan pemisahan yang rapi antara konten ‘sebenarnya’ dan konten iklan, di mana ‘pembelokan’ dari respons standar ke salinan pemasaran cukup mudah untuk dikenali:

Contoh dari jenis integrasi iklan yang mungkin terjadi di bawah dua model yang dipelajari dalam makalah baru. Sumber: https://arxiv.org/pdf/2509.14221

Masih harus dilihat apakah pengiklan sendiri akan, seperti yang telah menjadi kecenderungan mereka, berusaha untuk menyematkan konten iklan mereka lebih halus ke dalam output daripada contoh yang diberikan dalam makalah.

Namun, ini adalah masalah untuk nanti; untuk saat ini, bidang ini masih sangat baru sehingga bahkan terminologi dasar masih hilang, atau belum disepakati.

Makalah ini memperkenalkan Generative Engine Marketing (GEM) sebagai kerangka baru untuk memonetisasi chatbot berbasis LLM, dengan menyematkan iklan yang relevan langsung ke dalam respons yang dihasilkan.

Peneliti mengidentifikasi Ad-Injected Response (AIR) generasi sebagai tantangan utama dalam GEM, dan berpendapat bahwa benchmark yang ada tidak sesuai untuk mempelajari hal ini. Untuk mengisi kesenjangan ini, mereka memperkenalkan apa yang mereka klaim sebagai benchmark pertama yang dirancang khusus untuk tujuan ini.

GEM-Bench terdiri dari tiga dataset yang dikurasi yang mencakup skenario chatbot dan mesin pencari. Ini juga mencakup ontologi metrik yang dirancang untuk menilai banyak aspek kepuasan pengguna dan keterlibatan, bersama dengan suite metode baseline yang diimplementasikan dalam kerangka kerja multi-agents modular.

Penulis makalah ini berpendapat bahwa meskipun metode berbasis prompt sederhana dapat mencapai metrik keterlibatan yang respectable, seperti tingkat klik yang ditingkatkan (CTR), mereka cenderung merusak kepuasan pengguna. Dengan kontras, pendekatan yang menyematkan iklan ke dalam respons yang dihasilkan sebelumnya, bebas dari iklan, menunjukkan perbaikan dalam kepercayaan dan kualitas respons – meskipun dengan biaya overhead komputasi yang lebih besar.

Kompromi ini, makalah ini berpendapat, menyoroti kebutuhan akan teknik yang lebih efektif dan efisien untuk mengintegrasikan iklan ke dalam output generatif.

Makalah baru ini berjudul GEM-Bench: Benchmark untuk Ad-Injected Response Generation dalam Generative Engine Marketing, dan berasal dari empat peneliti di Universitas Nasional Singapura.

Metode

Kerangka Generative Engine Marketing (GEM) meminjam dari prinsip-prinsip dasar Pemasaran Mesin Pencari (SEM). SEM tradisional bekerja dengan mencocokkan kueri dengan iklan melalui pipeline multistage di mana pengiklan menawar kata kunci; sistem mengidentifikasi kueri mana yang memicu iklan; sistem memperkirakan seberapa mungkin setiap iklan diklik; dan kemudian mengalokasikan penempatan melalui lelang yang menyeimbangkan tawaran dengan keterlibatan yang diprediksi.

Dengan kontras, pendekatan GEM menyesuaikan tahap-tahap yang sama untuk LLM, tetapi menghadapi tantangan baru di setiap tahap: tidak ada slot iklan yang tetap, sehingga sistem harus memutuskan apakah kueri dapat mengambil iklan dan di mana untuk menyematkannya ke dalam teks bebas; memperkirakan tingkat klik menjadi lebih sulit tanpa tata letak yang terstruktur; dan relevansi harus seimbang dengan kepuasan pengguna, karena iklan disematkan langsung ke dalam output model itu sendiri daripada disajikan sebagai salinan mandiri.

Salah satu baseline yang dipelajari dalam makalah ini, Ad-Chat, mewakili metode sederhana di mana konten iklan disematkan ke dalam prompt sistem sebelum model menghasilkan respons. Ini berarti model menghasilkan jawaban dengan iklan yang sudah disematkan, dipandu oleh agenda yang telah dimuat sebelumnya.

Pendekatan lain, Ad-LLM, dikembangkan oleh penulis sebagai bagian dari benchmark baru. Ad-LLM mengambil jalur modular, pertama menghasilkan jawaban yang bersih dan bebas dari iklan; memilih iklan yang relevan; mengidentifikasi titik penyisipan terbaik berdasarkan aliran semantik; dan akhirnya menulis ulang output untuk mengintegrasikan iklan dengan lancar:

Perbandingan antara Ad-Chat dan metode ‘Ad-LLM’ penulis. Ad-Chat menyuntikkan iklan melalui prompt sistem sebelum generasi, dengan kontrol penempatan yang terbatas. Ad-LLM memisahkan generasi respons dan penyisipan iklan, memilih titik penyisipan berdasarkan aliran semantik, dan memperbaiki hasil. Keduanya dinilai menggunakan metrik GEM-Bench untuk kepuasan dan keterlibatan.

Sementara Ad-Chat lebih murah dan kadang-kadang lebih persuasif, ia cenderung mengurangi kepercayaan dan akurasi. Ad-LLM berkinerja lebih baik pada metrik kepuasan pengguna, tetapi dengan biaya yang lebih besar.

Data

Untuk generasi respons iklan, dua jenis dataset dihasilkan awalnya: sebuah set kueri pengguna (Pengguna) dan sebuah database iklan (AdDB).

Karena kueri pengguna mendefinisikan peluang iklan dalam respons LLM, ‘inventori iklan’ dapat dikatakan ada dalam respons ini, meskipun ini didefinisikan tidak hanya oleh kelayakan kueri pengguna tetapi juga seberapa jauh sistem akan mematuhi aturannya sendiri tentang keseimbangan integritas dengan imperatif pengiklan.

Dalam skenario chatbot, penulis membuat dua dataset kueri: MT-Human dan LM-Market.

MT-Human diambil dari bagian humaniora dari MT-Bench, sebuah benchmark multi-turn untuk LLM, dan berisi pertanyaan yang kemungkinan dapat mengakomodasi konten iklan.

LM-Market dibangun dari lebih dari setengah juta kueri ChatGPT yang dikumpulkan oleh LMSYS-Chat-1M, disaring untuk prompt marketing terkait bahasa Inggris, dan dikelompokkan oleh topik menggunakan semantik embeddings.

Dalam kedua kasus, kueri akhir dipilih melalui pipeline multi-tahap yang menggabungkan clustering otomatis, skoring LLM, dan verifikasi manusia, dengan tujuan mengidentifikasi prompt di mana penyisipan iklan akan menjadi alami dan masuk akal.

Untuk mengevaluasi kualitas respons iklan yang disuntikkan, GEM mendefinisikan ontologi pengukuran yang mencakup kepuasan pengguna dan keterlibatan. Ini mencakup metrik kuantitatif seperti aliran respons, koherensi, dan tingkat klik, serta standar kualitatif seperti kepercayaan, akurasi, dan kelancaran – metrik yang dimaksudkan untuk mencerminkan seberapa baik iklan sesuai dengan respons, dan seberapa mungkin pengguna akan memandang dan berinteraksi dengannya.

Mengenai ‘Kelancaran’, makalah ini menyatakan:

‘[Kelancaran] mengukur seberapa jauh penyisipan iklan mengganggu aliran dan kelancaran percakapan, berdasarkan gangguan dan autentisitas. Gangguan memeriksa apakah iklan menciptakan perasaan “loncat” atau “tiba-tiba” saat membaca, memutus fokus pengguna yang terus-menerus pada topik.

‘Autentisitas mengevaluasi apakah iklan merusak “sentuhan manusia” atau “aliran alami” percakapan, membuat respons tampak kaku, formulaik, dan kurang autentik.’

Untuk menghasilkan skenario mesin pencari tradisional untuk fase pengujian, penulis membuat dataset yang disebut CA-Prod dari AdsCVLR corpus komersial, yang berisi 300.000 pasangan kueri-iklan, masing-masing terdiri dari kata kunci, metadata, dan label manual yang menandai relevansi:

Dari makalah aslinya, contoh dari dataset AdsCVLR, yang membantu menyediakan materi untuk pengujian penulis. Sumber: http://www.jdl.link/doc/2011/20221224_AdsCVLR.pdf

Rekaman dengan bidang yang hilang dihapus, dan hanya kueri yang berisi iklan positif dan negatif (lihat gambar di atas untuk contoh) yang disimpan.

Untuk memperbaiki data, iklan dikelompokkan ke dalam enam kelompok topik (peralatan taman dan kebun, sepatu slip-on, barang rumah tangga, suplemen nutrisi, perangkat Android, dan gaun wanita) menggunakan semantik embeddings dan clustering K-means.

Kueri kemudian ditugaskan ke topik berdasarkan iklan positif mereka, dengan himpunan yang terlalu jarang atau padat dikecualikan, sebelum 120 kueri dan 2.215 produk unik akhirnya dipilih untuk benchmark.

Pengujian

Untuk mengevaluasi seberapa baik strategi penyisipan iklan berperforma, benchmark ini mengatasi tiga pertanyaan inti: seberapa efektif setiap metode di seluruh metrik kepuasan dan keterlibatan yang ditentukan; bagaimana pilihan desain internal dalam Ad-LLM dapat mempengaruhi hasilnya; dan bagaimana biaya komputasi akan dibandingkan di seluruh sistem.

Penulis mengevaluasi Ad-Chat dan tiga varian pipa Ad-LLM, masing-masing berbeda dalam cara iklan diperoleh (baik dari prompt atau dari respons yang dihasilkan), dan apakah output akhir ditulis ulang untuk kelancaran.

Semua metode dijalankan menggunakan doubao-1-5-lite-32k sebagai model dasar dan dihakimi dengan gpt-4.1-mini.

Efektivitas Ad-Chat dan varian Ad-LLM di seluruh dataset MT-Human, LM-Market, dan CA-Prod. Metrik kuantitatif mencakup aliran respons (RF), koherensi respons (RC), aliran iklan (AF), koherensi iklan (AC), tingkat penyisipan (IR), tingkat klik (CTR), dan skor keseluruhan. Metrik kualitatif mencakup akurasi, kelancaran, kepribadian, kepercayaan, perhatian, klik, dan kinerja keseluruhan.

Di seluruh tiga dataset, Ad-LLM menghasilkan hasil yang lebih baik daripada Ad-Chat di kedua metrik kepuasan dan keterlibatan. Seperti yang ditunjukkan dalam tabel hasil di atas, varian Ad-LLM terbaik memperbaiki Ad-Chat sebesar 8,4, 1,5, dan 3,8 persen dalam skor kuantitatif keseluruhan; dan sebesar 10,7, 10,4, dan 8,6 persen dalam skor kualitatif untuk MT-Human, LM-Market, dan CA-Prod, masing-masing.

Dari hasil ini, penulis makalah menyatakan:

‘Hasil ini menunjukkan bahwa menghasilkan respons mentah dan kemudian menyuntikkan iklan menghasilkan kualitas respons yang lebih baik dibandingkan dengan pendekatan yang lebih sederhana yang hanya mengandalkan penyisipan prompt sistem.

‘Untuk dimensi kepuasan dan keterlibatan pengguna tertentu, Ad-Chat konsisten menunjukkan kesenjangan kinerja yang signifikan dibandingkan dengan solusi Ad-LLM di seluruh tiga dataset, terutama dalam dimensi seperti akurasi, kepribadian, dan kepercayaan.’

Lebih lanjut, Ad-LLM menunjukkan keuntungan terbesar dalam akurasi, kepribadian, dan kepercayaan, mengungguli Ad-Chat hingga 17,6%, 23,3%, dan 17,2% masing-masing. Menurut makalah ini, perbedaan ini dapat disebabkan oleh cara Ad-Chat menggunakan prompt sistem untuk mengarahkan model ke bahasa yang lebih personal dan promosi – yang penulis klaim dapat mengarah ke nada ‘penjual’ yang mengurangi akurasi dan kepercayaan.

Ad-Chat juga menghasilkan tingkat penyisipan yang lebih rendah, bahkan ketika dievaluasi pada kueri yang dipilih untuk kelayakan iklan, dan penulis mengatributkan ini pada ketergantungan pada cue prompt (yang mereka karakterisasi sebagai sulit untuk dikendalikan).

Dalam pengaturan mesin pencari, bagaimanapun, Ad-Chat mencapai tingkat klik yang 8,6% lebih tinggi, yang makalah ini sarankan mungkin mencerminkan keuntungan menggunakan LLM untuk mengambil kandidat produk, bukan hanya mengandalkan semantik embeddings saja:

Perbandingan skor kinerja keseluruhan di seluruh empat model juri (GPT-4.1-mini, Qwen-max, claude-3-5-haiku, kimi-k2) untuk Ad-Chat dan tiga varian Ad-LLM (GI-R, GIR-R, GIR-P) pada dataset MT-Human, LM-Market, dan CA-Prod. Sementara skor bervariasi berdasarkan juri, Ad-LLM konsisten mengungguli Ad-Chat di seluruh kondisi.

Tabel hasil kedua (ditampilkan di atas) menunjukkan bahwa di seluruh tiga dataset, solusi Ad-LLM konsisten mengungguli Ad-Chat di seluruh empat model juri; GPT-4.1-mini; Qwen-max; Claude-3-5-haiku; dan Kimi-k2.

Model juri ini dipilih untuk berbeda dari model dasar doubao-1-5-lite-32k, membantu mengurangi bias dari keselarasan keluarga model. GIR-R menduduki peringkat pertama atau kedua dalam setiap kasus, menunjukkan kesepakatan luas di antara juri tentang keunggulan Ad-LLM. Pembagian di seluruh dimensi kualitatif individu secara erat mengikuti pola yang terlihat dalam hasil sebelumnya (ditampilkan lebih awal).

Pada penutup, makalah ini mencatat bahwa baik Ad-Chat dan Ad-LLM memerlukan sumber daya yang lebih tinggi daripada model yang lebih inovatif dan efektif, dan bahwa kebutuhan untuk menggunakan agen LLM dalam jenis transaksi ini dapat mewakili overhead yang signifikan. Meskipun demikian, implementasi penulis dari strategi Ad-Chat (baris atas dalam skema yang ditampilkan di awal artikel) terbukti menawarkan tingkat klik yang tertinggi, meskipun memiliki biaya LLM yang terkait tertinggi.

Kesimpulan

Meskipun tidak mengejutkan bahwa literatur akan berspekulasi tentang metode yang digunakan LLM untuk membawa iklan, sebenarnya ada sedikit penelitian yang tersedia secara publik tentang topik ini; ini membuat makalah saat ini, dan apa yang dapat kita interpretasikan secara masuk akal sebagai pendahulunya, menjadi bacaan yang menarik.

Siapa pun yang pernah bekerja dengan departemen penjualan iklan, atau menjual inventori, akan tahu bahwa pengiklan selalu ingin lebih – idealnya, untuk memiliki iklan yang disajikan sebagai konten faktual, tidak dapat dibedakan dari aliran konten tuan rumah; dan mereka akan membayar premi yang signifikan untuk ini (bersama dengan tuan rumah, yang dengan demikian mengambil risiko kredibilitas dan posisi mereka dengan pembaca dan jenis pemangku kepentingan lainnya).

Oleh karena itu, akan menarik untuk melihat seberapa jauh, jika ada, klause iklan yang diantisipasi di seluruh dua makalah ini mungkin termotivasi untuk merayap lebih jauh ke atas respons LLM, dan lebih dekat ke ‘payload’.

Pertama dipublikasikan pada hari Kamis, 18 September 2025