ค้นหา ‘Owls and Lizards’ ในกลุ่มผู้ชมของโฆษณา

เนื่องจากภาคธุรกิจโฆษณาออนไลน์มีการใช้จ่ายประมาณ 740.3 พันล้านดอลลาร์สหรัฐฯ ในปี 2023 จึงไม่ยากที่จะเข้าใจว่าทำไมบริษัทโฆษณาจึงลงทุนจำนวนมากในด้านการวิจัยความเห็นของคนดู

แม้ว่าภาคธุรกิจโฆษณาจะปิดบังและคุ้มครองการวิจัยของตน แต่ก็ยังเผยแพร่ผลงานวิจัยที่บ่งบอกถึงการทำงานที่ซับซ้อนมากขึ้นในด้านการรู้จำใบหน้าและทิศทางมองของคนดู รวมถึงการรู้จำอายุ ซึ่งเป็นข้อมูลสำคัญสำหรับการวิเคราะห์ข้อมูลประชากร

การประมาณอายุในบริบทโฆษณาเป็นสิ่งที่น่าสนใจสำหรับผู้โฆษณาที่ต้องการมุ่งเป้าไปที่กลุ่มคนดูอายุใดอายุหนึ่ง ในตัวอย่างการประมาณอายุใบหน้าโดยอัตโนมัตินี้ อายุของบ็อบ ดิลันถูกติดตามตลอดหลายปี Source: https://arxiv.org/pdf/1906.03625

ผลงานวิจัยเหล่านี้ซึ่งไม่ค่อยปรากฏในแหล่งข้อมูลสาธารณะ เช่น Arxiv ใช้ผู้เข้าร่วมที่ได้รับการรับสมัครอย่างถูกต้องเป็นพื้นฐานสำหรับการวิเคราะห์ที่ขับเคลื่อนด้วย AI เพื่อกำหนดว่าผู้ชมมีส่วนร่วมกับโฆษณาในระดับใดและในลักษณะใด

Dlib’s Histogram of Oriented Gradients (HoG) มักใช้ในระบบการประมาณใบหน้า Source: https://www.computer.org/csdl/journal/ta/2017/02/07475863/13rRUNvyarN

สัญชาตญาณสัตว์

ในด้านนี้ ภาคธุรกิจโฆษณาต้องการทราบว่าระบบวิเคราะห์สามารถเข้าใจผิดหรือไม่ และต้องการกำหนดเกณฑ์ที่ชัดเจนสำหรับการกำหนดว่าผู้ชมไม่ได้ให้ความสนใจกับเนื้อหาของโฆษณาหรือไม่

ในกรณีของโฆษณาบนหน้าจอ การศึกษามักมุ่งเน้นไปที่สองปัญหาในสองสภาพแวดล้อม สภาพแวดล้อมคือ ‘เดสก์ท็อป’ หรือ ‘มือถือ’ ซึ่งแต่ละสภาพแวดล้อมมีลักษณะเฉพาะที่ต้องการการแก้ปัญหาแบบกำหนดเอง และปัญหาเหล่านั้นจากมุมมองของผู้โฆษณา คือ พฤติกรรม ‘นกฮูก’ และ ‘กิ้งก่า’ – ความไม่สนใจของผู้ชมที่ไม่ได้ให้ความสนใจกับโฆษณาที่อยู่หน้าพวกเขา

ตัวอย่างพฤติกรรม ‘นกฮูก’ และ ‘กิ้งก่า’ ในผู้เข้าร่วมโครงการวิจัยโฆษณา Source: https://arxiv.org/pdf/1508.04028

หากคุณมองหาออกจากโฆษณาที่ตั้งใจให้ด้วยหัวทั้งหมด นี่คือพฤติกรรม ‘นกฮูก’ หากหัวของคุณอยู่ในตำแหน่งที่ไม่เคลื่อนไหว แต่ตาคุณกำลังเดินออกจากหน้าจอ นี่คือพฤติกรรม ‘กิ้งก่า’ ในด้านการวิเคราะห์และทดสอบโฆษณาใหม่ภายใต้สภาพแวดล้อมที่ควบคุมได้ พฤติกรรมเหล่านี้เป็นข้อสำคัญที่ระบบต้องสามารถจับได้

งานวิจัยใหม่จาก SmartEye’s Affectiva Acquisition มีจุดมุ่งหมายเพื่อแก้ไขปัญหาเหล่านี้ โดยเสนอสถาปัตยกรรมที่ใช้เฟรมเวิร์กที่มีอยู่หลายตัวเพื่อให้เซตคุณลักษณะที่รวมกันและเชื่อมโยงซึ่งกันและกันในทุกสภาพแวดล้อมและปฏิกิริยาที่ต้องการ และเพื่อกำหนดได้ว่าผู้ชมเบื่อหน่าย มีส่วนร่วม หรือห่างเหินจากเนื้อหาที่ผู้โฆษณาต้องการให้พวกเขาให้ความสนใจ

ตัวอย่างของการตรวจจับจริงและเท็จบวกสำหรับสัญญาณเบี่ยงเบนความสนใจต่างๆ แสดงแยกสำหรับอุปกรณ์เดสก์ท็อปและมือถือ Source: https://arxiv.org/pdf/2504.06237

ผู้เขียนระบุว่า*:

‘การวิจัยที่จำกัดได้สำรวจการตรวจจับความสนใจระหว่างการดูโฆษณาออนไลน์ ในขณะที่การศึกษานี้มุ่งเน้นไปที่การประมาณทิศทางมองและท่าทางหัวเพื่อระบุกรณีที่ผู้ชมเบี่ยงเบนความสนใจ’

‘ในงานนี้ เราเสนอสถาปัตยกรรมสำหรับการตรวจจับความสนใจที่ครอบคลุมการตรวจจับเบี่ยงเบนความสนใจหลายอย่าง รวมถึงพฤติกรรม ‘นกฮูก’ และ ‘กิ้งก่า’ ของการมองออกจากหน้าจอ การพูด การง่วงนอน (ผ่านการหาวและปิดตามานาน) และการปล่อยให้หน้าจอไม่มีคนดูแล’

‘ไม่เหมือนกับแนวทางก่อนหน้านี้ วิธีการของเรารวมคุณลักษณะเฉพาะของอุปกรณ์ เช่น ประเภทอุปกรณ์ ตำแหน่งกล้อง และขนาดหน้าจอ (สำหรับเดสก์ท็อป) และการวางแนวกล้อง (สำหรับมือถือ) เข้ากับการประมาณค่าทิศทางมองโดยตรง เพื่อเพิ่มความแม่นยำในการตรวจจับความสนใจ’

งานวิจัยใหม่นี้มีชื่อว่า การตรวจจับความสนใจของผู้ชมระหว่างการดูโฆษณาออนไลน์ และมาจากนักวิจัยสี่คนจาก Affectiva

วิธีการและข้อมูล

เนื่องจากลักษณะที่ปิดบังและไม่เปิดเผยของระบบเหล่านี้ งานวิจัยใหม่นี้ไม่ได้เปรียบเทียบแนวทางของตนเองกับคู่แข่งโดยตรง แต่จะนำเสนอผลการวิจัยเป็นการศึกษาแบบการลบส่วนประกอบออกไป และไม่ได้ปฏิบัติตามรูปแบบทั่วไปของวรรณกรรมในด้านการมองเห็นคอมพิวเตอร์

ผู้เขียนเน้นว่าการศึกษาที่จำกัดจำนวนได้กล่าวถึงการตรวจจับความสนใจโดยเฉพาะในบริบทของโฆษณาออนไลน์ ใน SDK AFFDEX ซึ่งให้การรู้จำใบหน้าหลายใบในเวลาเดียวกัน ความสนใจจะถูกอนุมานจากท่าทางหัว โดยผู้เข้าร่วมจะถูกมองว่าเป็นคนไม่สนใจหากมุมหัวของพวกเขาผ่านเกณฑ์ที่กำหนด

ตัวอย่างจาก SDK AFFDEX ซึ่งเป็นระบบของ Affectiva ที่พึ่งพาท่าทางหัวเป็นตัวบ่งชี้ความสนใจ Source: https://www.youtube.com/watch?v=c2CWb5jHmbY

ในงานวิจัยร่วมในปี 2019 การวัดความสนใจต่อเนื้อหาวิดีโอโดยอัตโนมัติโดยใช้การเรียนรู้ลึก มีฐานข้อมูลของผู้เข้าร่วมประมาณ 28,000 คน ซึ่งถูกทำเครื่องหมายสำหรับพฤติกรรมที่ไม่สนใจต่างๆ รวมถึงการมองออกไปนอกหน้าจอ การปิดตามา หรือการทำกิจกรรมที่ไม่เกี่ยวข้อง และใช้แบบจำลอง CNN-LSTM เพื่อตรวจจับความสนใจจากลักษณะใบหน้าตามเวลา

จากงานวิจัยในปี 2019 ตัวอย่างที่แสดงสถานะความสนใจที่คาดการณ์ไว้สำหรับผู้ชมที่ดูวิดีโอเนื้อหาบนหน้าจอ Source: https://www.jeffcohn.net/wp-content/uploads/2019/07/Attention-13.pdf.pdf

อย่างไรก็ตาม ผู้เขียนสังเกตว่าความพยายามก่อนหน้านี้ไม่ได้คำนึงถึงปัจจัยเฉพาะของอุปกรณ์ เช่น การใช้เดสก์ท็อปหรือมือถือ หรือขนาดหน้าจอ และการวางแนวกล้อง นอกจากนี้ ระบบ AFFDEX มุ่งเน้นไปที่การตรวจจับการเบี่ยงเบนความสนใจเท่านั้น และไม่รวมสัญญาณเบี่ยงเบนความสนใจอื่นๆ ในขณะที่งานวิจัยในปี 2019 พยายามตรวจจับพฤติกรรมที่หลากหลายมากขึ้น แต่การใช้ CNN ที่มีระดับไม่ลึกอาจไม่เพียงพอสำหรับงานนี้

ผู้เขียนสังเกตว่าบางส่วนของการวิจัยที่ได้รับความนิยมมากที่สุดในด้านนี้ไม่ได้ถูกปรับให้เหมาะสมสำหรับการทดสอบโฆษณา ซึ่งมีความต้องการที่แตกต่างจากโดเมนอื่นๆ เช่น การขับรถหรือการศึกษา – โดยที่การวางแนวกล้องและคาลิเบรชั่น通常ถูกกำหนดไว้ล่วงหน้า แต่ระบบนี้ต้องทำงานในสภาพแวดล้อมที่ไม่ได้คาลิเบรตและในพิสัยการมองที่จำกัดของอุปกรณ์เดสก์ท็อปและมือถือ

ดังนั้นพวกเขาจึงออกแบบสถาปัตยกรรมสำหรับการตรวจจับความสนใจของผู้ชมระหว่างการดูโฆษณาออนไลน์ โดยใช้เครื่องมือเชิงพาณิชย์สองตัว: AFFDEX 2.0 และ SmartEye SDK

ตัวอย่างการวิเคราะห์ใบหน้าจาก AFFDEX 2.0 Source: https://arxiv.org/pdf/2202.12059

งานวิจัยก่อนหน้านี้เหล่านี้ถอนคุณลักษณะระดับต่ำ เช่น น้ำเสียงใบหน้า ท่าทางหัว และทิศทางมอง ซึ่งถูกประมวลผลเพื่อสร้างตัวบ่งชี้ระดับสูง รวมถึงตำแหน่งการมองบนหน้าจอ การหาว และการพูด

ระบบนี้ระบุประเภทการเบี่ยงเบนความสนใจสี่ประเภท: การมองออกจากหน้าจอ, การง่วงนอน, การพูด, และหน้าจอที่ไม่มีคนดูแล นอกจากนี้ยังปรับการวิเคราะห์การมองตามอุปกรณ์ที่ผู้ชมใช้

ชุดข้อมูล: การมอง

ผู้เขียนใช้ชุดข้อมูลสี่ชุดเพื่อเป็นพลังและประเมินระบบการตรวจจับความสนใจ: สามชุดข้อมูลที่เน้นไปที่พฤติกรรมการมอง การพูด และการหาว; และชุดที่สี่ที่มาจากเซสชันการทดสอบโฆษณาในโลกแห่งความเป็นจริงที่มีสัญญาณเบี่ยงเบนความสนใจที่หลากหลาย

เนื่องจากความต้องการเฉพาะของงานนี้ ชุดข้อมูลที่กำหนดเองจึงถูกสร้างขึ้นสำหรับแต่ละหมวดหมู่ทั้งหมดนี้ ทุกชุดข้อมูลที่รวบรวมมาถูกดึงมาจากคลังข้อมูลที่เป็นของเอกชนซึ่งมีเซสชันบันทึกหลายล้านเซสชันของผู้เข้าร่วมที่ดูโฆษณาในสภาพแวดล้อมที่บ้านหรือที่ทำงาน โดยใช้เซตอัพบนเว็บพร้อมความยินยอม และเนื่องจากข้อจำกัดของข้อตกลงความยินยอมนั้น ผู้เขียนระบุว่าชุดข้อมูลสำหรับงานใหม่นี้ไม่สามารถเผยแพร่สู่สาธารณะได้

ในการสร้างชุดข้อมูลการมอง ผู้เข้าร่วมถูกขอให้ติดตามจุดเคลื่อนที่บนหน้าจอ รวมถึงขอบของมัน และมองออกไปนอกหน้าจอในสี่ทิศทาง (ขึ้น ลง ซ้าย และขวา) โดยซ้ำสามครั้ง เพื่อสร้างความสัมพันธ์ระหว่างการบันทึกและการครอบคลุม:

ภาพหน้าจอที่แสดงสิ่งเร้าการมองบน (a) เดสก์ท็อป และ (b) มือถือ เฟรมแรกและสามแสดงคำแนะนำในการติดตามจุดเคลื่อนที่ ในขณะที่เฟรมที่สองและ四์กระตุ้นให้ผู้เข้าร่วมมองออกไปนอกหน้าจอ

ส่วนของการเคลื่อนที่ของจุดถูกทำเครื่องหมายว่าเป็น ‘สนใจ’ และส่วนการมองออกนอกหน้าจอถูกทำเครื่องหมายว่าเป็น ‘ไม่สนใจ’ ซึ่งสร้างชุดข้อมูลที่มีเครื่องหมายทั้งบวกและลบ

แต่ละวิดีโอดำเนินไปประมาณ 160 วินาที โดยมีเวอร์ชันที่แยกจากกันสำหรับแพลตฟอร์มเดสก์ท็อปและมือถือ โดยมีความละเอียด 1920×1080 และ 608×1080 ตามลำดับ

มีวิดีโอทั้งหมด 609 คลิป ซึ่งประกอบด้วยการบันทึก 322 คลิปบนเดสก์ท็อปและ 287 คลิปบนมือถือ เครื่องหมายถูกใช้โดยอัตโนมัติตามเนื้อหาวิดีโอ และชุดข้อมูลถูกแบ่งออกเป็นตัวอย่างฝึกอบรม 158 ตัวอย่างและทดสอบ 451 ตัวอย่าง

ชุดข้อมูล: การพูด

ในบริบทนี้ หนึ่งในเกณฑ์ที่กำหนด ‘การไม่สนใจ’ คือเมื่อบุคคลพูดมากกว่าหนึ่งวินาที (ซึ่งอาจเป็นการแสดงความคิดเห็นชั่วคราวหรือแม้แต่การไอ)

เนื่องจากสภาพแวดล้อมที่ควบคุมไม่ได้บันทึกหรือวิเคราะห์เสียง พูดจึงถูกอนุมานโดยการสังเกตการเคลื่อนไหวภายในของเครื่องหมายใบหน้าที่ถูกประมาณไว้ ดังนั้นเพื่อตรวจจับการพูดโดยไม่ต้องใช้เสียง ผู้เขียนจึงสร้างชุดข้อมูลที่ขึ้นอยู่กับอินพุตทางภาพเท่านั้น ซึ่งถูกดึงมาจากคลังข้อมูลภายใน และแบ่งออกเป็นสองส่วน: ส่วนแรกประกอบด้วยวิดีโอประมาณ 5,500 คลิป ซึ่งแต่ละคลิปถูกทำเครื่องหมายด้วยมือโดยผู้ทำเครื่องหมายสามคนว่าเป็นการพูดหรือไม่พูด (จากทั้งหมด 4,400 คลิปถูกใช้สำหรับการฝึกอบรมและตรวจสอบ และ 1,100 คลิปสำหรับการทดสอบ)

ส่วนที่สองประกอบด้วยเซสชัน 16,000 เซสชัน ซึ่งถูกทำเครื่องหมายโดยอัตโนมัติตามประเภทเซสชัน: 10,500 เซสชันแสดงผู้เข้าร่วมที่ดูโฆษณาเงียบๆ และ 5,500 เซสชันแสดงผู้เข้าร่วมที่แสดงความคิดเห็นเกี่ยวกับยี่ห้อ

ชุดข้อมูล: การหาว

แม้ว่าจะมีชุดข้อมูลการหาวบางชุด เช่น YawDD และการตรวจจับการหาวสำหรับการเหนื่อยล้า แต่ผู้เขียนยืนยันว่าไม่มีชุดข้อมูลใดที่เหมาะสมสำหรับสถานการณ์ทดสอบโฆษณา เนื่องจากพวกมันแสดงการหาวที่จำลองหรือมีการบิดเบือนใบหน้าที่อาจสับสนกับความกลัวหรือการแสดงออกที่ไม่ใช่การหาวอื่นๆ

ดังนั้นผู้เขียนจึงใช้วิดีโอ 735 คลิปจากคลังข้อมูลภายใน โดยเลือกเซสชันที่มี ‘การหาว’ ที่ยาวกว่าหนึ่งวินาที วิดีโอแต่ละคลิปถูกทำเครื่องหมายด้วยมือโดยผู้ทำเครื่องหมายสามคนว่าเป็นการหาว ‘กระตือรือร้น’ หรือ ‘ไม่กระตือรือร้น’ มีเพียง 2.6% ของเฟรมที่มีการหาวที่กระตือรือร้น ซึ่งเน้นย้ำถึงความไม่สมดุลของชั้นเรียน และชุดข้อมูลถูกแบ่งออกเป็นตัวอย่างฝึกอบรม 670 ตัวอย่างและทดสอบ 65 ตัวอย่าง

ชุดข้อมูล: การเบี่ยงเบนความสนใจ

ชุดข้อมูลการเบี่ยงเบนความสนใจนี้ยังถูกดึงมาจากคลังข้อมูลโฆษณาของผู้เขียน โดยที่ผู้เข้าร่วมดูโฆษณาจริงโดยไม่มีงานที่กำหนดให้ เซสชันทั้งหมด 520 เซสชัน (193 เซสชันบนมือถือและ 327 เซสชันบนเดสก์ท็อป) ถูกเลือกแบบสุ่มและทำเครื่องหมายด้วยมือโดยผู้ทำเครื่องหมายสามคนว่าเป็น ‘สนใจ’ หรือ ‘ไม่สนใจ’

พฤติกรรมที่ไม่สนใจรวมถึงการมองออกนอกหน้าจอ การพูด การง่วงนอน และหน้าจอที่ไม่มีคนดูแล เซสชันเหล่านี้ครอบคลุมภูมิภาคที่หลากหลายทั่วโลก โดยมีการบันทึกบนเดสก์ท็อปมากกว่าเนื่องจากการวางแนวกล้องที่ยืดหยุ่น

แบบจำลองความสนใจ

แบบจำลองความสนใจที่เสนอประมวลผลคุณลักษณะภาพที่มองเห็นได้ เช่น น้ำเสียงใบหน้า ท่าทางหัว และทิศทางมอง ซึ่งถูกถอนออกมาผ่าน AFFDEX 2.0 และ SmartEye SDK

คุณลักษณะเหล่านี้ถูกแปลงเป็นตัวบ่งชี้ระดับสูง โดยมีการแบ่งส่วนเบี่ยงเบนความสนใจแต่ละส่วนจัดการโดยตัวจำแนกแบบไบนารี่ที่ฝึกอบรมบนชุดข้อมูลของมันเองสำหรับการปรับให้เหมาะสมและประเมินผลเป็นรายๆ

สเคมาสำหรับระบบตรวจจับความสนใจที่เสนอ

แบบจำลองการมองจะกำหนดว่าผู้ชมกำลังมองไปที่หน้าจอหรือไม่โดยใช้พิกัดการมองที่ปกติ โดยมีการปรับให้เหมาะสมแยกสำหรับอุปกรณ์เดสก์ท็อปและมือถือ โดยได้รับการช่วยเหลือจากเครื่องจักรสนับสนุนแบบเชิงเส้น (SVM) ที่ฝึกอบรมบนคุณลักษณะเชิงพื้นที่และเชิงเวลา ซึ่งรวมถึงหน้าต่างความจำเพื่อทำให้การเปลี่ยนแปลงการมองอย่างรวดเร็วเป็นเรื่องง่าย

ในการตรวจจับการพูดโดยไม่ใช้เสียง ระบบใช้พื้นที่ปากที่ถูกตัดออกมาและ 3D-CNN ที่ฝึกอบรมบนเซกเมนต์วิดีโอที่มีการสนทนาและไม่มีการสนทนา โดยมีการกำหนดเครื่องหมายตามประเภทเซสชัน และการทำให้เรียบของเชิงเวลาเพื่อลดผลบวกเท็จที่อาจเกิดขึ้นจากการเคลื่อนไหวของปากที่สั้น

การหาวถูกตรวจจับโดยใช้ภาพใบหน้าที่ถูกตัดออกมาเพื่อจับภาพการเคลื่อนไหวใบหน้าในวงกว้าง โดยใช้ 3D-CNN ที่ฝึกอบรมบนเฟรมที่ทำเครื่องหมายด้วยมือ (แม้ว่างานนี้จะซับซ้อนเนื่องจากการหาวที่ไม่ค่อยเกิดขึ้นในระหว่างการดูและความคล้ายคลึงกับการแสดงออกอื่นๆ)

การปล่อยให้หน้าจอไม่มีคนดูแลถูกตรวจจับโดยการไม่มีใบหน้าหรือท่าทางหัวที่รุนแรง โดยใช้ต้นตัดสินใจในการทำนาย

สถานะความสนใจสุดท้าย ถูกกำหนดโดยใช้กฎที่แน่นอน: หากโมดูลใดๆ ตรวจจับการไม่สนใจ ผู้ชมจะถูกทำเครื่องหมายว่า ‘ไม่สนใจ’ – วิธีการที่ให้ความสำคัญกับความไวและปรับให้เหมาะสมแยกสำหรับสภาพแวดล้อมเดสก์ท็อปและมือถือ

การทดสอบ

ตามที่กล่าวไว้ก่อนหน้านี้ การทดสอบจะดำเนินการตามวิธีการการลบส่วนประกอบ โดยที่ส่วนประกอบจะถูกลบออกไปและผลกระทบต่อผลลัพธ์จะถูกบันทึก

หมวดหมู่ต่างๆ ของการไม่สนใจที่รับรู้ได้ในงานศึกษา

แบบจำลองการมองจะตรวจจับการมองออกนอกหน้าจอผ่านขั้นตอนสำคัญสามขั้นตอน: การปกติของการประมาณการมองดั้งเดิม การปรับให้เหมาะสมของเอาต์พุต และการประมาณขนาดหน้าจอสำหรับอุปกรณ์เดสก์ท็อป

ในการทำความเข้าใจความสำคัญของแต่ละส่วนประกอบ ผู้เขียนลบส่วนประกอบเหล่านี้ออกไปทีละส่วนและประเมินประสิทธิภาพบนคลิปวิดีโอทั้งหมด 226 คลิปบนเดสก์ท็อปและ 225 คลิปบนมือถือที่ดึงมาจากชุดข้อมูลสองชุด ผลลัพธ์ ซึ่งวัดโดยค่า G-mean และ F1 score จะแสดงด้านล่าง:

ผลลัพธ์ที่แสดงถึงประสิทธิภาพของแบบจำลองการมองเต็มรูปแบบ พร้อมด้วยรุ่นที่มีการลบส่วนประกอบการประมวลผลออกไป

ในทุกกรณี ประสิทธิภาพลดลงเมื่อส่วนประกอบหนึ่งถูกลบออก การปกติปรากฏว่ามีคุณค่ามากที่สุดบนเดสก์ท็อป โดยที่การวางแนวกล้องมีความหลากหลายมากกว่าบนมือถือ

การศึกษานี้ยังประเมินว่าคุณลักษณะภาพสามารถคาดการณ์การวางแนวกล้องมือถือได้อย่างไร: ตำแหน่งใบหน้า ท่าทางหัว และการมองตา ได้คะแนน 0.75, 0.74 และ 0.60 ตามลำดับ ในขณะที่การรวมกันของสิ่งเหล่านี้ได้คะแนน 0.91 ซึ่งผู้เขียนระบุว่าเน้นย้ำถึงประโยชน์ของการรวมสัญญาณหลายตัว

แบบจำลองการพูดซึ่งฝึกอบรมบนระยะห่างของริมฝีปากได้คะแนน ROC-AUC ของ 0.97 บนชุดข้อมูลทดสอบที่ทำเครื่องหมายด้วยมือ และ 0.96 บนชุดข้อมูลที่ทำเครื่องหมายโดยอัตโนมัติ ซึ่งบ่งชี้ถึงประสิทธิภาพที่สม่ำเสมอในทั้งสองชุด

แบบจำลองการหาวได้คะแนน ROC-AUC ของ 96.6% โดยใช้อัตราส่วนของปากเพียงอย่างเดียว ซึ่งปรับปรุงเป็น 97.5% เมื่อรวมกับการคาดการณ์หน่วยการกระทำจาก AFFDEX 2.0

แบบจำลองหน้าจอที่ไม่มีคนดูแลจะจำแนกช่วงเวลาว่าเป็น ‘ไม่สนใจ’ เมื่อ AFFDEX 2.0 และ SmartEye ทั้งสองไม่สามารถตรวจจับใบหน้าเป็นเวลามากกว่าหนึ่งวินาที เพื่อประเมินความถูกต้องของสิ่งนี้ ผู้เขียนทำเครื่องหมายด้วยมือเหตุการณ์ที่ไม่มีใบหน้าทั้งหมดในชุดข้อมูลการเบี่ยงเบนความสนใจที่แท้จริง และระบุสาเหตุที่ซ่อนอยู่ของการกระตุ้นที่เกิดขึ้นทั้งหมด

ตามที่แสดงในตารางผลลัพธ์ด้านล่าง เพียง 27% ของการกระตุ้น ‘ไม่มีใบหน้า’ เป็นเพราะผู้ใช้จริงๆ ทิ้งหน้าจอไป

สาเหตุที่หลากหลายที่ได้รับว่าทำไมใบหน้าจึงไม่พบในบางกรณี

ในงานวิจัยนี้ระบุว่า:

‘แม้ว่าหน้าจอที่ไม่มีคนดูแลจะประกอบเพียง 27% ของกรณีที่กระตุ้นสัญญาณไม่มีใบหน้า แต่ก็ถูกกระตุ้นสำหรับเหตุผลอื่นๆ ที่บ่งบอกถึงการไม่สนใจ เช่น ผู้เข้าร่วมที่มองออกไปนอกหน้าจอด้วยมุมที่รุนแรง การเคลื่อนไหวมากเกินไป หรือการบดบังใบหน้าอย่างมีนัยสำคัญด้วยวัตถุหรือมือ’

ในรอบการทดสอบเชิงปริมาณสุดท้าย ผู้เขียนประเมินว่าการเพิ่มสัญญาณเบี่ยงเบนความสนใจที่แตกต่างกัน – การมองออกนอกหน้าจอ การง่วงนอน การพูด และหน้าจอที่ไม่มีคนดูแล – ส่งผลต่อประสิทธิภาพโดยรวมของแบบจำลองความสนใจอย่างไร

การทดสอบถูกดำเนินการบนชุดข้อมูลสองชุด: ชุดข้อมูลการเบี่ยงเบนความสนใจที่แท้จริง และชุดข้อมูลการทดสอบย่อยของชุดข้อมูลการมอง ค่า G-mean และ F1 score ถูกใช้เพื่อวัดประสิทธิภาพ (แม้ว่าการง่วงนอนและการพูดจะถูกลบออกจากชุดข้อมูลการมองเนื่องจากความเกี่ยวข้องที่จำกัดในบริบทนี้)

ตามที่แสดงด้านล่าง การตรวจจับความสนใจดีขึ้นอย่างต่อเนื่องเมื่อมีการเพิ่มสัญญาณเบี่ยงเบนความสนใจที่หลากหลายมากขึ้น โดยที่การมองออกนอกหน้าจอ ซึ่งเป็นสัญญาณเบี่ยงเบนความสนใจที่พบบ่อยที่สุด ให้ผลการทำงานพื้นฐานที่แข็งแกร่งที่สุด

ผลกระทบของการเพิ่มสัญญาณเบี่ยงเบนความสนใจที่หลากหลายเข้าไปในระบบ

เกี่ยวกับผลลัพธ์เหล่านี้ งานวิจัยระบุว่า:
‘จากผลลัพธ์ เราสามารถสรุปได้ว่าการรวมสัญญาณเบี่ยงเบนความสนใจทั้งหมดช่วยให้การตรวจจับความสนใจดีขึ้น

‘ที่สอง การปรับปรุงการตรวจจับความสนใจนั้นสม่ำเสมอในทั้งอุปกรณ์เดสก์ท็อปและมือถือ ที่สาม เซสชันบนมือถือในชุดข้อมูลที่แท้จริงแสดงการเคลื่อนไหวหัวที่สำคัญเมื่อมองออกไปนอกหน้าจอ ซึ่งตรวจจับได้ง่าย และนำไปสู่ประสิทธิภาพที่ดีกว่าสำหรับมือถือเมื่อเทียบกับเดสก์ท็อป’

‘ที่สี่ การเพิ่มสัญญาณการง่วงนอนมีการปรับปรุงที่น้อยกว่าเมื่อเทียบกับสัญญาณอื่นๆ เนื่องจากมันเกิดขึ้นน้อย ที่สี่ การเพิ่มสัญญาณหน้าจอที่ไม่มีคนดูแลมีการปรับปรุงที่มากกว่าสำหรับมือถือเมื่อเทียบกับเดสก์ท็อป เนื่องจากมือถือสามารถทิ้งไว้ไม่มีคนดูแลได้ง่าย’

ผู้เขียนยังเปรียบเทียบแบบจำลองของตนเองกับ AFFDEX 1.0 ซึ่งเป็นระบบก่อนหน้าที่ใช้ในการทดสอบโฆษณา – และแม้แต่การตรวจจับการมองหัวของแบบจำลองปัจจุบันก็สามารถเอาชนะ AFFDEX 1.0 บนอุปกรณ์ทั้งสองประเภท:

‘การปรับปรุงนี้เป็นผลมาจากการรวมการเคลื่อนไหวหัวในทิศทางยอและพิตช์ เช่นเดียวกับการปรับให้เหมาะสมของท่าทางหัวเพื่อคำนึงถึงการเปลี่ยนแปลงเล็กๆ น้อยๆ การเคลื่อนไหวหัวที่สำคัญในเซสชันบนมือถือที่แท้จริงทำให้แบบจำลองหัวของเราทำงานได้ดีเหมือนกับ AFFDEX 1.0’

ผู้เขียนปิดท้ายงานวิจัยด้วยการทดสอบเชิงคุณภาพรอบสุดท้าย ซึ่งแสดงด้านล่าง

ตัวอย่างการตรวจจับจากแบบจำลองความสนใจทั่วทั้งอุปกรณ์เดสก์ท็อปและมือถือ โดยแต่ละแถวแสดงตัวอย่างของผลบวกจริงและเท็จสำหรับสัญญาณเบี่ยงเบนความสนใจที่แตกต่างกัน

ผู้เขียนระบุว่า:

‘ผลลัพธ์เหล่านี้บ่งชี้ว่าแบบจำลองของเราสามารถตรวจจับสัญญาณเบี่ยงเบนความสนใจที่หลากหลายได้อย่างมีประสิทธิภาพในสถานการณ์ที่ไม่มีการควบคุม อย่างไรก็ตาม อาจสร้างผลบวกเท็จในบางกรณี เช่น การเอียงหัวที่รุนแรงในขณะที่ยังคงมองไปที่หน้าจอ การบดบังปาก หรือการมองภาพใบหน้าที่มืดมาก’

สรุป

แม้ว่าผลลัพธ์จะแสดงถึงความก้าวหน้าเชิงวัดที่มีความหมายเหนืองานก่อนหน้า แต่คุณค่าที่ลึกซึ้งยิ่งกว่านั้นของการศึกษานี้อยู่ที่ความก้าวหน้าที่ให้ความเข้าใจเกี่ยวกับการเข้าถึงสถานะภายในของผู้ชม แม้ว่าข้อมูลจะถูกเก็บโดยได้รับความยินยอม แต่วิธีการนี้ชี้ให้เห็นถึงกรอบการทำงานในอนาคตที่อาจ

สิ่งนี้ทำให้ข้อสรุปที่ห่วงใยมากขึ้น โดยธรรมชาติที่ปิดบังและคุ้มครองของสาขาวิจัยนี้

* การแปลงอ้างอิงในบรรทัดของฉันให้เป็นลิงก์

เผยแพร่ครั้งแรกวันพุธที่ 9 เมษายน 2025