Mencari ‘Owls and Lizards’ di Audiens Iklan

Sejak sektor iklan online diperkirakan menghabiskan $740,3 miliar USD pada tahun 2023, mudah untuk memahami mengapa perusahaan iklan menginvestasikan sumber daya yang cukup besar dalam penelitian visi komputer ini.

Meskipun terisolasi dan dilindungi, industri ini terkadang menerbitkan studi yang memberikan petunjuk tentang pekerjaan proprietary yang lebih maju dalam pengenalan wajah dan arah pandangan mata – termasuk pengenalan usia, yang sangat penting untuk statistik analitik demografi:

Mengestimasi usia dalam konteks iklan di alam liar sangat penting bagi pengiklan yang mungkin menargetkan demografi tertentu. Dalam contoh eksperimental ini, usia penyanyi Bob Dylan dilacak sepanjang tahun. Sumber: https://arxiv.org/pdf/1906.03625

Studi-studi ini, yang jarang muncul di repositori publik seperti Arxiv, menggunakan peserta yang direkrut secara sah sebagai dasar untuk analisis yang dipimpin AI yang bertujuan untuk menentukan seberapa besar, dan dengan cara apa, pemirsa terlibat dengan iklan.

Dlib’s Histogram of Oriented Gradients (HoG) sering digunakan dalam sistem estimasi wajah. Sumber: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

Insting Hewan

Dalam hal ini, secara alami, industri iklan tertarik untuk menentukan positif palsu (kesempatan di mana sistem analitis salah mengartikan tindakan subjek), dan menetapkan kriteria yang jelas untuk saat orang yang menonton iklan mereka tidak sepenuhnya terlibat dengan konten.

Sejauh yang berkaitan dengan iklan berbasis layar, studi cenderung fokus pada dua masalah di dua lingkungan. Lingkungan adalah ‘desktop’ atau ‘mobile’, masing-masing memiliki karakteristik yang perlu memiliki solusi pelacakan yang disesuaikan; dan masalah – dari sudut pandang pengiklan – diwakili oleh perilaku burung hantu dan kadal – kecenderungan pemirsa untuk tidak memperhatikan iklan yang ada di depan mereka.

Contoh perilaku ‘Burung Hantu’ dan ‘Kadal’ dalam subjek proyek penelitian iklan. Sumber: https://arxiv.org/pdf/1508.04028

Jika Anda menjauh dari iklan yang dimaksud dengan kepala Anda, ini adalah perilaku ‘burung hantu’; jika pose kepala Anda statis tetapi mata Anda melihat ke arah lain dari layar, ini adalah perilaku ‘kadal’. Dalam hal analitik dan pengujian iklan baru dalam kondisi yang terkendali, ini adalah tindakan yang penting untuk sistem untuk dapat menangkap.

Sebuah makalah baru dari SmartEye’s Affectiva mengatasi masalah ini, menawarkan arsitektur yang memanfaatkan beberapa kerangka kerja yang ada untuk menyediakan fitur yang digabungkan dan dihubungkan di seluruh kondisi dan reaksi yang diperlukan – dan untuk dapat menentukan apakah pemirsa bosan, terlibat, atau dalam beberapa cara jauh dari konten yang pengiklan ingin mereka tonton.

Contoh positif dan negatif yang terdeteksi oleh sistem perhatian baru untuk berbagai sinyal gangguan, ditampilkan secara terpisah untuk perangkat desktop dan mobile. Sumber: https://arxiv.org/pdf/2504.06237

Para penulis menyatakan*:

‘Penelitian terbatas telah mempelajari pemantauan perhatian selama iklan online. Sementara studi ini fokus pada mengestimasi pose kepala atau arah pandangan untuk mengidentifikasi contoh perhatian yang teralihkan, mereka mengabaikan parameter kritis seperti jenis perangkat (desktop atau mobile), penempatan kamera relatif terhadap layar, dan ukuran layar. Faktor-faktor ini sangat mempengaruhi deteksi perhatian. ‘

‘Dalam makalah ini, kami mengusulkan arsitektur untuk deteksi perhatian yang mencakup deteksi berbagai gangguan, termasuk perilaku burung hantu dan kadal, kebosanan (melalui menguap dan penutupan mata yang berkepanjangan), dan layar yang tidak diawasi. ‘

‘Tidak seperti pendekatan sebelumnya, metode kami mengintegrasikan fitur perangkat khusus seperti jenis perangkat, penempatan kamera, ukuran layar (untuk desktop), dan orientasi kamera (untuk perangkat mobile) dengan estimasi pandangan mentah untuk meningkatkan akurasi deteksi perhatian.’

Makalah baru ini berjudul Pemantauan Perhatian Pemirsa Selama Iklan Online, dan berasal dari empat peneliti di Affectiva.

Metode dan Data

Terutama karena sifat rahasia dan tertutup dari sistem tersebut, makalah baru ini tidak membandingkan pendekatan penulis secara langsung dengan saingan, tetapi mempresentasikan temuan mereka secara eksklusif sebagai studi ablasion; makalah ini juga tidak mengikuti format yang biasa digunakan dalam literatur Visi Komputer. Oleh karena itu, kita akan melihat penelitian ini seperti yang disajikan.

Penulis menekankan bahwa hanya sejumlah kecil studi yang telah mengatasi deteksi perhatian secara khusus dalam konteks iklan online. Dalam AFFDEX SDK, yang menawarkan pengenalan wajah multi secara real-time, perhatian diinferensi hanya dari pose kepala, dengan peserta yang dilabeli tidak perhatian jika sudut kepala mereka melewati ambang batas yang ditentukan.

Contoh dari AFFDEX SDK, sistem Affectiva yang bergantung pada pose kepala sebagai indikator perhatian. Sumber: https://www.youtube.com/watch?v=c2CWb5jHmbY

Dalam kolaborasi 2019 Pengukuran Otomatis Perhatian Visual terhadap Konten Video menggunakan Pembelajaran Dalam, dataset sekitar 28.000 peserta telah diannotate untuk berbagai perilaku yang tidak perhatian, termasuk melihat ke arah lain, menutup mata, atau terlibat dalam kegiatan yang tidak terkait, dan model CNN-LSTM dilatih untuk mendeteksi perhatian dari penampilan wajah seiring waktu.

Dari makalah 2019, contoh yang menggambarkan status perhatian yang diprediksi untuk pemirsa yang menonton konten video. Sumber: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

Namun, penulis mengamati, upaya sebelumnya ini tidak memperhitungkan faktor perangkat khusus, seperti apakah peserta menggunakan perangkat desktop atau mobile; tidak juga mereka mempertimbangkan ukuran layar atau penempatan kamera. Selain itu, sistem AFFDEX hanya fokus pada mengidentifikasi gangguan pandangan, dan mengabaikan sumber gangguan lain, sementara makalah 2019 mencoba mendeteksi set perilaku yang lebih luas – tetapi penggunaan satu CNN yang dangkal mungkin, menurut makalah, tidak cukup untuk tugas ini.

Penulis mengamati bahwa beberapa penelitian paling populer dalam garis ini tidak dioptimalkan untuk pengujian iklan, yang memiliki kebutuhan yang berbeda dibandingkan dengan domain seperti mengemudi atau pendidikan – di mana penempatan dan kalibrasi kamera biasanya tetap sebelumnya, bergantung pada pengaturan yang tidak terkendali, dan beroperasi dalam jangkauan pandangan yang terbatas dari perangkat desktop dan mobile.

Oleh karena itu, mereka telah merancang arsitektur untuk mendeteksi perhatian pemirsa selama iklan online, memanfaatkan dua toolkit komersial: AFFDEX 2.0 dan SmartEye SDK.

Contoh analisis wajah dari AFFDEX 2.0. Sumber: https://arxiv.org/pdf/2202.12059

Penelitian sebelumnya ini mengekstrak fitur tingkat rendah seperti ekspresi wajah, pose kepala, dan arah pandangan. Fitur-fitur ini kemudian diproses untuk menghasilkan indikator tingkat tinggi, termasuk posisi pandangan di layar; menguap; dan berbicara.

Sistem ini mengidentifikasi empat jenis gangguan: melihat ke arah lain; kebosanan; berbicara; dan layar yang tidak diawasi. Sistem ini juga menyesuaikan analisis pandangan sesuai dengan apakah pemirsa menggunakan perangkat desktop atau mobile.

Dataset: Pandangan

Penulis menggunakan empat dataset untuk memberdayakan dan mengevaluasi sistem deteksi perhatian: tiga yang fokus pada perilaku pandangan, berbicara, dan menguap; dan keempat yang diambil dari sesi pengujian iklan nyata yang mengandung campuran gangguan.

Karena kebutuhan khusus dari pekerjaan ini, dataset khusus dibuat untuk setiap kategori. Semua dataset yang dikurasi berasal dari repositori internal yang menampilkan jutaan sesi rekaman peserta menonton iklan di rumah atau lingkungan kerja, menggunakan pengaturan berbasis web, dengan persetujuan yang diberitahukan – dan karena keterbatasan perjanjian persetujuan tersebut, penulis menyatakan bahwa dataset untuk pekerjaan baru ini tidak dapat dibuat tersedia untuk umum.

Untuk membuat dataset pandangan, peserta diminta untuk mengikuti titik yang bergerak di berbagai titik di layar, termasuk tepi-tepinya, dan kemudian untuk melihat ke arah lain dari layar dalam empat arah (atas, bawah, kiri, dan kanan) dengan urutan yang diulangi tiga kali. Dengan cara ini, hubungan antara penangkapan dan cakupan ditetapkan:

Tangkapan layar yang menunjukkan stimulus video pandangan di (a) desktop dan (b) perangkat mobile. Bingkai pertama dan ketiga menampilkan instruksi untuk mengikuti titik yang bergerak, sementara bingkai kedua dan keempat meminta peserta untuk melihat ke arah lain dari layar.

Segmen titik yang bergerak dilabeli sebagai perhatian, dan segmen yang melihat ke arah lain dilabeli sebagai tidak perhatian, menghasilkan dataset yang dilabeli dengan contoh positif dan negatif.

Setiap video berlangsung sekitar 160 detik, dengan versi terpisah dibuat untuk platform desktop dan mobile, masing-masing dengan resolusi 1920×1080 dan 608×1080. Total 609 video dikumpulkan, terdiri dari 322 rekaman desktop dan 287 rekaman mobile. Label diterapkan secara otomatis berdasarkan konten video, dan dataset dibagi menjadi 158 sampel pelatihan dan 451 untuk pengujian.

Dataset: Berbicara

Dalam konteks ini, salah satu kriteria yang mendefinisikan ‘tidak perhatian’ adalah ketika seseorang berbicara selama lebih dari satu detik (yang bisa menjadi komentar singkat, atau bahkan batuk).

Karena lingkungan yang terkendali tidak merekam atau menganalisis audio, berbicara diinferensi dengan mengamati gerakan internal dari tanda-tanda wajah yang diestimasi. Oleh karena itu, untuk mendeteksi berbicara tanpa audio, penulis membuat dataset berdasarkan input visual, diambil dari repositori internal mereka, dan dibagi menjadi dua bagian: yang pertama berisi sekitar 5.500 video, masing-masing dilabeli secara manual oleh tiga annotator sebagai berbicara atau tidak berbicara (dari ini, 4.400 digunakan untuk pelatihan dan validasi, dan 1.100 untuk pengujian).

Bagian kedua terdiri dari 16.000 sesi yang dilabeli secara otomatis berdasarkan jenis sesi: 10.500 fitur peserta yang menonton iklan secara diam, dan 5.500 menampilkan peserta yang mengungkapkan pendapat tentang merek.

Dataset: Menguap

Meskipun beberapa dataset ‘menguap’ ada, termasuk YawDD dan Driver Fatigue, penulis menyatakan bahwa tidak ada yang sesuai untuk skenario pengujian iklan, karena mereka baik fitur simulasi menguap atau mengandung kontraksi wajah yang bisa disalahartikan sebagai ketakutan atau tindakan non-menguap lainnya.

Oleh karena itu, penulis menggunakan 735 video dari koleksi internal mereka, memilih sesi yang kemungkinan besar mengandung jatuhnya rahang yang berlangsung lebih dari satu detik. Setiap video dilabeli secara manual oleh tiga annotator sebagai aktif atau tidak aktif menguap. Hanya 2,6 persen bingkai yang mengandung menguap aktif, menekankan ketidakseimbangan kelas, dan dataset dibagi menjadi 670 video pelatihan dan 65 untuk pengujian.

Dataset: Gangguan

Dataset gangguan juga diambil dari repositori pengujian iklan penulis, di mana peserta telah menonton iklan nyata tanpa tugas yang ditugaskan. Total 520 sesi (193 di mobile dan 327 di lingkungan desktop) dipilih secara acak dan dilabeli secara manual oleh tiga annotator sebagai perhatian atau tidak perhatian.

Perilaku tidak perhatian termasuk melihat ke arah lain, berbicara, kebosanan, dan layar yang tidak diawasi. Sesi tersebut mencakup wilayah yang beragam di seluruh dunia, dengan rekaman desktop lebih umum karena penempatan webcam yang fleksibel.

Model Perhatian

Model perhatian yang diusulkan memproses fitur visual tingkat rendah, yaitu ekspresi wajah; pose kepala; dan arah pandangan – diekstrak melalui AFFDEX 2.0 dan SmartEye SDK.

Fitur-fitur ini kemudian diubah menjadi indikator tingkat tinggi, dengan setiap gangguan ditangani oleh klasifikasi biner yang dilatih pada datasetnya sendiri untuk optimasi dan evaluasi independen.

Skema untuk sistem pemantauan yang diusulkan.

Model pandangan menentukan apakah pemirsa sedang melihat atau tidak melihat layar menggunakan koordinat pandangan yang dinormalisasi, dengan kalibrasi terpisah untuk perangkat desktop dan mobile. Proses ini dibantu oleh Support Vector Machine (SVM) linier, yang dilatih pada fitur spasial dan temporal, dan mengintegrasikan jendela memori untuk memuluskan pergeseran pandangan yang cepat.

Untuk mendeteksi berbicara tanpa audio, sistem menggunakan wilayah mulut yang dipotong dan 3D-CNN yang dilatih pada segmen video percakapan dan non-percakapan. Label diberikan berdasarkan jenis sesi, dengan pemulusan temporal yang mengurangi positif palsu yang dapat dihasilkan dari gerakan mulut yang singkat.

Menguap dideteksi menggunakan tanaman wajah penuh, untuk menangkap gerakan wajah yang lebih luas, dengan 3D-CNN yang dilatih pada bingkai yang dilabeli secara manual (meskipun tugas ini diperumit oleh frekuensi rendah menguap dalam pemirsaan alami, dan kesamaannya dengan ekspresi lain).

Layar yang tidak diawasi diidentifikasi melalui ketidakhadiran wajah atau pose kepala yang ekstrem, dengan prediksi yang dibuat oleh pohon keputusan.

Status perhatian akhir ditentukan menggunakan aturan tetap: jika modul apa pun mendeteksi ketidakperhatian, pemirsa ditandai sebagai tidak perhatian – pendekatan yang memprioritaskan sensitivitas, dan disesuaikan secara terpisah untuk konteks desktop dan mobile.

Pengujian

Seperti yang disebutkan sebelumnya, pengujian mengikuti metode ablasion, di mana komponen dihilangkan dan efeknya pada hasil dicatat.

Kategori yang berbeda dari ketidakperhatian yang dikenali dalam studi.

Model pandangan mengidentifikasi perilaku melihat ke arah lain melalui tiga langkah kunci: normalisasi estimasi pandangan mentah, penyempurnaan output, dan estimasi ukuran layar untuk perangkat desktop.

Untuk memahami pentingnya setiap komponen, penulis menghilangkan komponen tersebut secara individual dan mengevaluasi kinerja pada 226 video desktop dan 225 video mobile yang diambil dari dua dataset. Hasil, diukur dengan G-mean dan F1 skor, ditampilkan di bawah:

Hasil yang menunjukkan kinerja model pandangan penuh, serta versi dengan langkah pemrosesan yang dihilangkan.

Di setiap kasus, kinerja menurun ketika langkah dihilangkan. Normalisasi terbukti sangat berharga pada desktop, di mana penempatan kamera bervariasi lebih dari pada perangkat mobile.

Studi ini juga mengevaluasi bagaimana fitur visual memprediksi orientasi kamera mobile: lokasi wajah, pose kepala, dan arah pandangan mata mencetak 0,75, 0,74, dan 0,60, sementara kombinasi mereka mencapai 0,91, menekankan – menurut penulis – keuntungan dari mengintegrasikan sinyal ganda.

Model berbicara, yang dilatih pada jarak bibir vertikal, mencapai ROC-AUC 0,97 pada set pengujian yang dilabeli secara manual, dan 0,96 pada dataset yang dilabeli secara otomatis yang lebih besar, menunjukkan kinerja yang konsisten di kedua dataset.

Model menguap mencapai ROC-AUC 96,6 persen menggunakan rasio aspek mulut saja, yang meningkat menjadi 97,5 persen ketika digabungkan dengan prediksi unit aksi dari AFFDEX 2.0.

Model layar yang tidak diawasi mengklasifikasikan momen sebagai tidak perhatian ketika baik AFFDEX 2.0 maupun SmartEye gagal mendeteksi wajah selama lebih dari satu detik. Untuk mengevaluasi validitas ini, penulis melabeli secara manual semua kejadian “tidak ada wajah” di dataset gangguan nyata, mengidentifikasi penyebab dasar dari setiap aktivasi. Kasus yang ambigu (seperti penghalang kamera atau distorsi video) dikecualikan dari analisis.

Seperti yang ditunjukkan pada tabel hasil di bawah, hanya 27 persen aktivasi “tidak ada wajah” disebabkan oleh pengguna yang secara fisik meninggalkan layar.

Alasan yang diperoleh untuk tidak menemukan wajah, dalam beberapa kasus.

Makalah ini menyatakan:

‘Meskipun layar yang tidak diawasi hanya membentuk 27% dari instansi yang memicu sinyal tidak ada wajah, sinyal ini dipicu untuk alasan lain yang menunjukkan ketidakperhatian, seperti peserta yang melihat ke arah lain dengan sudut ekstrem, melakukan gerakan berlebihan, atau menghalangi wajah mereka secara signifikan dengan objek/tangan.’

Dalam pengujian kuantitatif terakhir, penulis mengevaluasi bagaimana penambahan progresif dari berbagai sinyal gangguan – melihat ke arah lain (melalui pandangan dan pose kepala), kebosanan, berbicara, dan layar yang tidak diawasi – mempengaruhi kinerja keseluruhan model perhatian.

Pengujian dilakukan pada dua dataset: dataset gangguan nyata dan subset pengujian dari dataset pandangan. Skor G-mean dan F1 digunakan untuk mengukur kinerja (meskipun kebosanan dan berbicara dikecualikan dari analisis dataset pandangan, karena keterbatasan relevansi dalam konteks ini).

Seperti yang ditunjukkan di bawah, deteksi perhatian meningkat secara konsisten ketika lebih banyak jenis gangguan ditambahkan, dengan melihat ke arah lain, gangguan paling umum, menyediakan baseline terkuat.

Efek dari menambahkan berbagai sinyal gangguan ke arsitektur.

Dari hasil ini, makalah menyatakan:

‘Kami dapat menyimpulkan bahwa integrasi semua sinyal gangguan berkontribusi pada deteksi perhatian yang ditingkatkan.

‘Kedua, perbaikan dalam deteksi perhatian konsisten di kedua perangkat desktop dan mobile. Ketiga, sesi mobile dalam dataset nyata menunjukkan pergerakan kepala yang signifikan ketika melihat ke arah lain, yang mudah dideteksi, menghasilkan kinerja yang lebih baik untuk perangkat mobile dibandingkan dengan desktop. Keempat, menambahkan sinyal kebosanan memiliki perbaikan yang relatif kecil dibandingkan dengan sinyal lain, karena kebosanan relatif jarang terjadi. ‘

‘Terakhir, sinyal layar yang tidak diawasi memiliki perbaikan yang relatif lebih besar pada perangkat mobile dibandingkan dengan desktop, karena perangkat mobile dapat dengan mudah ditinggalkan tidak diawasi.’

Penulis juga membandingkan model mereka dengan AFFDEX 1.0, sistem sebelumnya yang digunakan dalam pengujian iklan – dan bahkan deteksi pandangan berbasis kepala model saat ini outperforms AFFDEX 1.0 di kedua jenis perangkat:

‘Perbaikan ini merupakan hasil dari mengintegrasikan gerakan kepala dalam kedua arah yaw dan pitch, serta menormalisasi pose kepala untuk memperhitungkan perubahan kecil. Gerakan kepala yang jelas dalam dataset mobile nyata menyebabkan model kepala kami berkinerja serupa dengan AFFDEX 1.0.’

Penulis menutup makalah dengan putaran pengujian kualitatif yang agak singkat.

Contoh output dari model perhatian di berbagai perangkat desktop dan mobile, dengan setiap baris menampilkan contoh positif dan negatif palsu untuk berbagai jenis gangguan.

Penulis menyatakan:

‘Hasil menunjukkan bahwa model kami secara efektif mendeteksi berbagai gangguan dalam pengaturan yang tidak terkendali. Namun, model ini mungkin terkadang menghasilkan positif palsu dalam kasus tepi tertentu, seperti miring kepala yang ekstrem sambil mempertahankan pandangan di layar, oklusi mulut, mata yang kabur, atau gambar wajah yang sangat gelap. ‘

Kesimpulan

Meskipun hasilnya mewakili kemajuan yang terukur tetapi signifikan dibandingkan dengan pekerjaan sebelumnya, nilai yang lebih dalam dari studi ini terletak pada gambaran yang ditawarkannya tentang dorongan yang berkelanjutan untuk mengakses keadaan internal pemirsa. Meskipun data dikumpulkan dengan persetujuan, metodologi ini menunjuk ke kerangka kerja masa depan yang dapat meluas di luar pengaturan penelitian pasar yang terstruktur.

kesimpulan yang agak paranoid ini hanya diperkuat oleh sifat tertutup, terbatas, dan dilindungi dari jalur penelitian ini.

* konversi saya dari kutipan inline penulis menjadi tautan.

Dipublikasikan pertama kali pada hari Rabu, 9 April 2025