광고주 대상 고객층에서 '올빼미와 도마뱀' 찾기

온라인 광고 부문은 예상 740.3년에 2023억 달러를 지출했다는 점을 고려하면 광고 회사가 컴퓨터 비전 연구의 이 특정 분야에 상당한 자원을 투자하는 이유를 쉽게 이해할 수 있습니다.

비록 고립적이고 보호적이기는 하지만 산업 때때로 발행 얼굴 및 시선 인식에 대한 보다 진보된 독점 작업을 암시하는 연구 - 포함 연령 인식인구 통계 분석의 핵심:

특정 연령대를 타겟팅하는 광고주에게는 실제 광고 환경에서 나이를 추정하는 것이 중요합니다. 자동 얼굴 나이 추정의 이 실험적 사례에서는 가수 밥 딜런의 나이를 수년간 추적합니다. 출처: https://arxiv.org/pdf/1906.03625

Arxiv와 같은 공개 저장소에 거의 나타나지 않는 이러한 연구는 합법적으로 모집된 참여자를 기반으로 AI 기반 분석을 실시하여 시청자가 광고에 어느 정도, 어떤 방식으로 참여하는지 파악하는 것을 목표로 합니다.

Dlib의 지향성 기울기 히스토그램(HoG)은 얼굴 추정 시스템에서 자주 사용됩니다. 출처: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

동물 본능

이런 측면에서 광고 산업은 자연스럽게도 거짓 양성(분석 시스템이 대상의 행동을 잘못 해석하는 경우)을 판별하고, 광고를 시청하는 사람이 콘텐츠에 완전히 참여하지 않는 경우를 구분하는 명확한 기준을 확립하는 데 관심을 갖습니다.

화면 기반 광고와 관련하여, 연구는 두 가지 환경에서 발생하는 두 가지 문제에 집중하는 경향이 있습니다. 하나는 '데스크톱' 환경이고, 다른 하나는 '모바일' 환경입니다. 각 환경은 맞춤형 추적 솔루션을 필요로 하는 고유한 특성을 가지고 있습니다. 광고주 관점에서 이러한 문제는 다음과 같이 나타납니다. 올빼미의 행동과 도마뱀의 행동 – 시청자가 눈앞에 있는 광고에 온전히 주의를 기울이지 않는 경향.

광고 연구 프로젝트 주제에서의 '올빼미'와 '도마뱀' 행동의 예. 출처: https://arxiv.org/pdf/1508.04028

당신이 찾고 있다면 떨어져 머리 전체로 의도된 광고를 보는 것은 '올빼미' 행동입니다. 머리 자세는 고정되어 있지만 눈은 방황하다 화면에서 보면 이는 '도마뱀' 행동입니다. 통제된 조건에서 새로운 광고를 분석하고 테스트하는 측면에서 이러한 행동은 시스템이 포착할 수 있는 필수적인 요소입니다.

SmartEye가 Affectiva를 인수하면서 나온 새로운 논문은 이런 문제를 해결하고, 기존의 여러 프레임워크를 활용해 모든 필수 조건과 가능한 반응에 걸쳐 결합되고 연결된 기능 세트를 제공하는 아키텍처를 제시합니다. 이를 통해 시청자가 지루해하는지, 참여하고 있는지, 아니면 광고주가 보고 싶어하는 콘텐츠와 어떤 면에서 동떨어져 있는지를 파악할 수 있습니다.

다양한 방해 신호에 대해 새로운 주의 시스템이 감지한 참과 거짓 긍정의 예를 데스크톱과 모바일 기기별로 따로 표시했습니다. 출처: https://arxiv.org/pdf/2504.06237

저자 상태*:

'제한된 연구 온라인 광고 시청 중 주의력 모니터링을 심도 있게 연구했습니다. 이러한 연구들은 시선 전환 사례를 파악하기 위해 머리 자세나 시선 방향을 추정하는 데 중점을 두었지만, 기기 유형(데스크톱 또는 모바일), 화면 대비 카메라 위치, 화면 크기와 같은 중요한 매개변수는 고려하지 않았습니다. 이러한 요소들은 주의력 감지에 상당한 영향을 미칩니다.

'이 논문에서는 올빼미와 도마뱀이 화면 밖을 응시하는 행동, 말하는 행동, 졸음(하품과 장시간 눈 감는 행동), 화면을 방치하는 행동 등 다양한 방해 요소를 감지하는 주의 감지 아키텍처를 제안합니다.

'이전의 접근 방식과 달리, 우리의 방법은 기기 유형, 카메라 배치, 화면 크기(데스크톱의 경우), 카메라 방향(모바일 기기의 경우)과 같은 기기별 기능을 원시 시선 추정과 통합하여 주의 감지 정확도를 높입니다.'

The 새 일 제목이 온라인 광고 중 시청자 주의 모니터링, Affectiva의 연구자 4명이 이를 발표했습니다.

방법 및 데이터

이러한 시스템의 비밀성과 소스 공개가 제한되는 특성으로 인해, 본 논문에서는 저자의 접근 방식을 경쟁사의 접근 방식과 직접 비교하지 않고, 오로지 절제 연구의 형태로 결과를 제시합니다. 또한, 본 논문은 컴퓨터 비전 분야의 일반적인 논문 형식을 따르지 않습니다. 따라서 본 논문에서는 제시된 연구 내용을 그대로 살펴보겠습니다.

저자들은 온라인 광고 맥락에서 주의 감지를 구체적으로 다룬 연구는 매우 제한적이라고 강조합니다. 아펙덱스 SDK실시간 다중 얼굴 인식 기능을 제공하는 이 기술은 머리 자세에서만 주의력을 추론하며, 머리 각도가 정의된 임계값을 넘으면 참가자를 주의가 없는 것으로 분류합니다.

AFFDEX SDK의 한 예는 주의의 지표로 머리 자세를 활용하는 Affectiva 시스템입니다. 출처: https://www.youtube.com/watch?v=c2CWb5jHmbY

. 2019 콜라보레이션 딥러닝을 이용한 비디오 콘텐츠에 대한 시각적 주의 자동 측정약 28,000명의 참가자 데이터 세트에는 다음을 포함한 다양한 부주의 행동에 대한 주석이 달려 있습니다. 시선을 돌리다, 눈을 감다, 또는 참여 관련 없는 활동그리고 시간 경과에 따라 얼굴 표정에서 주의를 감지하도록 훈련된 CNN-LSTM 모델입니다.

2019년 논문에서 비디오 콘텐츠를 시청하는 시청자의 예상 주의 상태를 보여주는 예입니다. 출처: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

그러나 저자들은 이러한 초기 연구들이 참가자가 데스크톱 기기를 사용하는지 모바일 기기를 사용하는지와 같은 기기별 요인을 고려하지 않았으며, 화면 크기나 카메라 위치도 고려하지 않았다고 지적합니다. 또한, AFFDEX 시스템은 시선 분산을 식별하는 데에만 초점을 맞추고 다른 방해 요인은 배제하는 반면, 2019년 연구는 더 광범위한 행동을 감지하려고 시도하지만, 단일 얕은 현지 시간 이 논문에서는 이러한 과제를 수행하기에는 부적절하다고 주장합니다.

저자들은 이 분야에서 가장 인기 있는 연구 중 일부가 광고 테스트에 최적화되어 있지 않다는 점을 관찰했습니다. 운전이나 교육과 같은 분야와 비교했을 때 광고 테스트의 요구 사항은 다릅니다. 운전이나 교육 분야의 경우 카메라 배치와 보정이 미리 고정되어 있고, 대신 보정되지 않은 설정에 의존하며, 데스크톱과 모바일 기기의 제한된 시선 범위 내에서 작동합니다.

따라서 그들은 두 가지 상용 툴킷을 활용하여 온라인 광고 중에 시청자의 주의를 감지하는 아키텍처를 고안했습니다. 아펙덱스 2.0 그리고 스마트아이 SDK.

AFFDEX 2.0의 얼굴 분석 예시. 출처: https://arxiv.org/pdf/2202.12059

이전 작업에서는 저수준을 추출합니다. 풍모 얼굴 표정, 머리 자세, 시선 방향 등이 있습니다. 이러한 특징들은 화면상의 시선 위치, 하품, 말하기 등을 포함한 더 높은 수준의 지표를 생성하기 위해 처리됩니다.

시스템은 4가지 주의 산만 유형을 식별합니다. 화면 밖의 시선; 졸음,; 말하기및 무인 화면또한 시청자가 데스크톱을 사용하는지 모바일 기기를 사용하는지에 따라 시선 분석을 조정합니다.

데이터 세트: 시선

저자는 주의 감지 시스템을 구동하고 평가하기 위해 4개의 데이터 세트를 사용했습니다. 이 중 3개는 시선 행동, 말하기, 하품에 각각 초점을 맞추었고, 4번째는 여러 유형의 방해 요소가 혼합된 실제 광고 테스트 세션에서 추출했습니다.

연구의 특정 요건으로 인해 각 범주별로 맞춤형 데이터세트가 생성되었습니다. 큐레이션된 모든 데이터세트는 웹 기반 설정을 사용하여 집이나 직장 환경에서 광고를 시청하는 수백만 건의 참여자 세션을 녹화한 독점 저장소에서 수집되었으며, 사전 동의를 받았습니다. 이러한 동의 계약의 한계로 인해 저자들은 새로운 연구에 사용된 데이터세트를 공개적으로 제공할 수 없다고 명시합니다.

구성하려면 응시하다 데이터세트를 사용하여 참가자들은 화면의 여러 지점(가장자리 포함)을 따라 움직이는 점을 따라가도록 요청받았습니다. 그런 다음 화면에서 네 방향(위, 아래, 왼쪽, 오른쪽)으로 시선을 돌리도록 요청받았으며, 이 과정을 세 번 반복했습니다. 이러한 방식으로 캡처와 커버리지 간의 관계를 확립했습니다.

(a) 데스크톱과 (b) 모바일 기기에서 시선 자극을 보여주는 스크린샷. 첫 번째와 세 번째 프레임은 움직이는 점을 따라가라는 지시를 표시하고, 두 번째와 네 번째 프레임은 참가자들에게 화면에서 눈을 떼라는 지시를 표시합니다.

이동점 세그먼트는 다음과 같이 레이블이 지정되었습니다. 주의, 그리고 오프스크린 세그먼트는 다음과 같습니다. 부주의한긍정적, 부정적 예시를 모두 담은 레이블이 지정된 데이터 세트를 생성합니다.

각 영상은 약 160초 분량이며, 데스크톱과 모바일 플랫폼에 맞게 별도의 버전이 제작되었으며, 각 영상의 해상도는 1920×1080과 608×1080입니다.

총 609개의 비디오가 수집되었으며, 이 중 데스크톱 녹화 영상 322개와 모바일 녹화 영상 287개가 포함되었습니다. 비디오 콘텐츠와 데이터세트에 따라 레이블이 자동으로 적용되었습니다. 분열 158개의 훈련 샘플과 451개의 테스트 샘플로 나뉩니다.

데이터 세트: 말하기

이러한 맥락에서 '부주의'를 정의하는 기준 중 하나는 사람이 자신을 대변하여 말할 때입니다. 1초 이상 (이 경우는 잠깐의 발언일 수도 있고, 심지어 기침일 수도 있음).

통제된 환경에서는 오디오를 녹음하거나 분석하지 않으므로, 추정된 얼굴 랜드마크의 내부 움직임을 관찰하여 음성을 추론합니다. 따라서 말하기 오디오 없이 저자는 내부 저장소에서 가져온 시각적 입력에만 기반한 데이터 세트를 만들었고, 두 부분으로 나누었습니다. 첫 번째 부분은 약 5,500개의 비디오를 포함하고 있으며, 각 비디오는 4,400명의 주석자가 말하는 것과 말하지 않는 것으로 직접 라벨을 지정했습니다(이 중 1,100개는 훈련 및 검증에 사용되었고, XNUMX개는 테스트에 사용되었습니다).

두 번째는 세션 유형에 따라 자동으로 레이블이 지정된 16,000개의 세션으로 구성되었습니다. 10,500개의 피처링 참가자는 광고를 조용히 시청했고, 5,500개의 쇼 참가자는 브랜드에 대한 의견을 표현했습니다.

데이터 세트: 하품

다음을 포함한 일부 '하품' 데이터 세트가 존재합니다. 야우디드 그리고 운전자 피로저자는 광고 테스트 시나리오에 적합한 것이 없다고 주장합니다. 모의 실험의 하품이나 얼굴 표정이 섞여 있어 혼동될 수 있습니다. 무서움, 또는 하품하지 않는 다른 동작.

따라서 저자는 내부 컬렉션에서 735개의 비디오를 사용하여 다음을 포함할 가능성이 있는 세션을 선택했습니다. 턱이 떨어지다 1초 이상 지속됩니다. 각 비디오는 세 명의 주석자가 수동으로 표시하거나 활동적인 or 비활성 하품프레임 중 단 2.6%만이 활성 하품을 포함하고 있어 클래스 불균형을 강조했으며, 데이터 세트는 670개의 훈련용 비디오와 65개의 테스트용 비디오로 나뉘었습니다.

데이터 세트: 주의 산만

The 산만 데이터 세트는 저자의 광고 테스트 저장소에서도 추출되었으며, 참가자들은 할당된 작업 없이 실제 광고를 시청했습니다. 총 520개의 세션(모바일 193개, 데스크톱 327개)이 무작위로 선택되었고, 세 명의 주석 작성자가 수동으로 레이블을 지정했습니다. 주의 or 부주의한.

부주의한 행동이 포함됨 화면 밖의 시선, 말하기, 졸음및 무인 화면세션은 전 세계 다양한 지역에서 진행되며, 웹캠 배치가 유연하기 때문에 데스크톱 녹화가 더 일반적입니다.

주의 모델

제안된 주의 모델은 얼굴 표정, 머리 자세, 시선 방향 등의 저수준 시각적 특징을 처리하며, 이러한 특징은 앞서 언급한 AFFDEX 2.0과 SmartEye SDK를 통해 추출됩니다.

그런 다음 이러한 지표는 고수준 지표로 변환되고, 각 방해 요소는 독립적인 최적화 및 평가를 위해 자체 데이터 세트로 훈련된 별도의 이진 분류기를 통해 처리됩니다.

제안된 모니터링 시스템에 대한 스키마.

The 응시하다 모델은 데스크톱 및 모바일 기기에 대해 별도의 보정을 적용하여 정규화된 시선 좌표를 사용하여 시청자가 화면을 보고 있는지 또는 화면에서 멀어지고 있는지를 판별합니다. 이 과정을 지원하는 것은 선형 벡터 머신 지원 (SVM)은 공간 및 시간적 특징을 기반으로 학습되며 다음을 포함합니다. 메모리 창 시선의 급격한 변화를 부드럽게 하기 위해서입니다.

탐지하기 위해 오디오 없이 말하기이 시스템은 잘린 입 영역과 대화형 및 비대화형 비디오 세그먼트 모두에 대해 학습된 3D-CNN을 사용했습니다. 세션 유형에 따라 레이블을 지정했으며, 시간적 평활화를 통해 짧은 입 움직임으로 인해 발생할 수 있는 오탐(false positive)을 줄였습니다.

하품을하고있는 3D-CNN을 수동으로 레이블이 지정된 프레임으로 훈련시켜 얼굴 전체 이미지를 잘라내어 얼굴의 더 넓은 움직임을 포착하는 방법을 사용했습니다(하지만 자연스러운 시각에서 하품의 빈도가 낮고 다른 표정과 유사하기 때문에 작업이 복잡했습니다).

화면 포기 얼굴이나 극단적인 머리 자세가 없는 것으로 식별되었으며 예측은 다음과 같습니다. 의사 결정 트리.

최종 주의 상태 고정된 규칙을 사용하여 결정되었습니다. 모듈이 부주의를 감지하면 시청자가 표시되었습니다. 부주의한 – 민감성을 우선시하고 데스크톱과 모바일 컨텍스트에 맞게 별도로 조정된 접근 방식입니다.

테스트

앞서 언급했듯이, 테스트는 구성 요소를 제거하고 결과에 미치는 영향을 기록하는 절제적 방법을 따릅니다.

연구에서는 인식된 부주의의 다양한 범주를 확인했습니다.

시선 모델은 세 가지 주요 단계를 거쳐 화면 밖의 행동을 식별했습니다. 원시 시선 추정치를 정규화하고, 출력을 미세 조정하고, 데스크톱 기기의 화면 크기를 추정하는 것입니다.

각 구성 요소의 중요성을 파악하기 위해 저자는 구성 요소를 개별적으로 제거하고 두 개의 데이터세트에서 추출한 226개의 데스크톱 비디오와 225개의 모바일 비디오에 대한 성능을 평가했습니다. 결과는 다음과 같이 측정되었습니다. G-평균 그리고 F1 점수는 아래와 같습니다.

개별 처리 단계가 제거된 버전과 함께 전체 시선 모델의 성능을 나타내는 결과입니다.

모든 경우에서 단계가 생략되면 성능이 저하되었습니다. 정규화는 특히 데스크톱에서 매우 유용한 것으로 나타났는데, 데스크톱에서는 카메라 배치가 모바일 기기보다 더 다양하기 때문입니다.

이 연구에서는 시각적 특징이 모바일 카메라 방향을 어떻게 예측하는지 평가했습니다. 얼굴 위치, 머리 자세, 시선은 각각 0.75, 0.74, 0.60점을 받았으며, 이를 합치면 0.91에 달했습니다. 이는 여러 단서를 통합하는 이점이 있다는 것을 보여준다고 저자는 말합니다.

The 말하기 수직 입술 거리에 대해 훈련된 모델은 다음을 달성했습니다. ROC-AUC 수동으로 레이블이 지정된 테스트 세트에서는 0.97, 더 큰 자동 레이블이 지정된 데이터 세트에서는 0.96으로, 두 데이터 세트 모두에서 일관된 성능을 나타냈습니다.

The 하품을하고있는 모델은 입 종횡비만을 사용하여 96.6%의 ROC-AUC에 도달했으며 이는 입 종횡비와 결합하면 97.5%로 향상되었습니다. 액션 유닛 AFFDEX 2.0의 예측.

무인 화면 모델은 순간을 다음과 같이 분류합니다. 부주의한 AFFDEX 2.0과 SmartEye 모두 XNUMX초 이상 얼굴을 감지하지 못했을 때. 이 문제의 타당성을 평가하기 위해 저자들은 이러한 모든 얼굴 없는 이벤트에 수동으로 주석을 달았습니다. 진짜 산만함 각 활성화의 근본 원인을 파악하기 위해 데이터 세트를 사용했습니다. 카메라 방해나 영상 왜곡 등 모호한 사례는 분석에서 제외했습니다.

아래 결과표에서 볼 수 있듯이, '비대면' 활성화의 27%만이 사용자가 물리적으로 화면을 떠나는 데 기인했습니다.

특정한 경우 얼굴을 찾을 수 없는 데에는 다양한 이유가 있습니다.

논문은 다음과 같이 말합니다.

'화면을 보지 않는 것은 얼굴 인식 신호를 유발하는 사례의 27%에 불과했지만, 참가자가 극단적인 각도로 화면 밖을 응시하거나, 과도하게 움직이거나, 얼굴을 물건이나 손으로 크게 가리는 등 주의를 기울이지 않는다는 것을 나타내는 다른 이유로도 신호가 활성화되었습니다.'

마지막 양적 테스트에서 저자는 점진적으로 다양한 산만 신호(시선 및 머리 자세를 통한 화면 밖 시선), 졸음, 말하기, 화면 방치)를 추가하는 것이 주의 모델의 전반적인 성능에 어떤 영향을 미치는지 평가했습니다.

테스트는 두 개의 데이터 세트에 대해 수행되었습니다. 진짜 산만함 데이터 세트 및 테스트 하위 세트 응시하다 데이터 세트. G-평균과 F1 점수는 성과를 측정하는 데 사용되었습니다(단, 졸음과 말하기는 이 맥락에서의 관련성이 제한적이기 때문에 시선 데이터 세트 분석에서 제외되었습니다).

아래에 표시된 것처럼 더 많은 방해 유형이 추가됨에 따라 주의 감지가 지속적으로 향상되었습니다. 화면 밖의 시선가장 흔한 방해 요소로 가장 강력한 기준선을 제공합니다.

건축물에 다양한 방해 신호를 추가하는 효과.

이러한 결과에 대해 논문은 다음과 같이 기술합니다.

'결과를 바탕으로, 우리는 모든 방해 신호를 통합하면 주의 감지 능력이 향상된다는 결론을 내릴 수 있습니다.

둘째, 주의 감지 성능 향상은 데스크톱과 모바일 기기 모두에서 일관되게 나타났습니다. 셋째, 실제 데이터 세트의 모바일 세션은 시선을 돌릴 때 상당한 머리 움직임을 보이는데, 이는 쉽게 감지되어 데스크톱보다 모바일 기기에서 더 높은 성능을 보였습니다. 넷째, 졸음 신호를 추가했을 때 졸음 신호는 일반적으로 드물게 발생하기 때문에 다른 신호에 비해 상대적으로 미미한 개선 효과를 보였습니다.

'마지막으로, 방치된 화면 신호는 데스크톱에 비해 모바일 기기에서 상대적으로 더 크게 개선되는데, 모바일 기기는 방치된 채로 두기 쉽기 때문입니다.'

저자는 또한 자신들의 모델을 광고 테스트에 사용된 기존 시스템인 AFFDEX 1.0과 비교했으며, 현재 모델의 머리 기반 시선 감지 성능도 두 가지 장치 유형 모두에서 AFFDEX 1.0보다 더 우수한 것으로 나타났습니다.

'이러한 개선은 요(yaw) 및 피치(pitch) 방향 모두에서 머리 움직임을 통합하고, 미세한 변화를 반영하기 위해 머리 자세를 정규화한 결과입니다. 실제 모바일 데이터셋에서 두드러진 머리 움직임 덕분에 저희 머리 모델은 AFFDEX 1.0과 유사한 성능을 보였습니다.'

저자는 아래에 보이는 (아마도 다소 형식적인) 정성적 테스트 라운드로 논문을 마무리합니다.

데스크톱과 모바일 기기에서 주의 모델의 샘플 출력을 보여 줍니다. 각 행은 다양한 산만 유형에 대한 참 및 거짓 긍정의 예를 보여줍니다.

저자는 다음과 같이 말합니다.

'결과는 저희 모델이 통제되지 않은 환경에서 다양한 방해 요소를 효과적으로 감지한다는 것을 보여줍니다. 하지만 화면을 응시하는 동안 머리를 심하게 기울이거나, 입이 가린 경우, 눈이 지나치게 흐릿하거나, 얼굴 이미지가 심하게 어두워지는 경우와 같이 특정 상황에서는 때때로 오탐지(false positive)가 발생할 수 있습니다.'

결론

이 결과는 기존 연구들에 비해 측정 가능하면서도 의미 있는 진전을 보여주지만, 이 연구의 더 깊은 가치는 시청자의 내면 상태에 접근하려는 끊임없는 욕구를 엿볼 수 있게 해 준다는 데 있습니다. 데이터는 시청자의 동의를 얻어 수집되었지만, 이 방법론은 구조화된 시장 조사 환경을 넘어 확장될 수 있는 미래의 프레임워크를 제시합니다.

이런 다소 편집증적인 결론은 이 특정 연구 분야의 폐쇄적이고, 제약적이며, 질투심에 가득 찬 보호적 성격 때문에 더욱 뒷받침됩니다.

* 저자의 인라인 인용을 하이퍼링크로 변환합니다.

첫 번째 게시일 9년 2025월 XNUMX일 수요일