มุมมองของ Anderson

AI สามารถเดาได้ว่าภาพถ่ายถ่ายเมื่อปีไหนจากอายุของคนในภาพ

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
An image from the source paper 'Photo Dating by Facial Age Aggregation', overlaid against an image of a desk surface with a 1974 calendar on it. Source: eBay and Source paper + Firefly V3.

การวิจัยใหม่แสดงให้เห็นว่า AI สามารถใช้ใบหน้าของคนเพื่อประมาณการปีที่ถ่ายภาพ โดยรวมการเดาอายุเข้ากับปีเกิดที่ทราบเพื่อเอาชนะวิธีการที่ใช้ฉากในภาพ

 

การเดาเดือนและปีที่ถ่ายภาพเคยเป็นเรื่องที่ง่ายกว่านี้ เนื่องจากแฟชั่นเสื้อผ้าและทรงผมเปลี่ยนแปลงอย่างรวดเร็ว ในสมัยก่อน แต่เหตุผลที่ถกเถียงกันอยู่ ทำให้การเปลี่ยนแปลงนี้หยุดชะงักเมื่อประมาณ 30 ปีที่แล้ว ทำให้ไม่สามารถเดาเดือนและปีจากทรงผมหรือเสื้อผ้าได้อย่างง่ายดาย

ในสมัยก่อน สามารถเดาเดือนและปีจากคุณภาพและลักษณะของฟิล์ม แต่ไม่จำเป็นต้องเป็นผู้เชี่ยวชาญ หากดูภาพยนตร์เก่าๆ มากพอ รูปแบบทางวัฒนธรรม เช่น เพลง รถยนต์ แฟชั่น หัวข้อ ฯลฯ จะเกี่ยวข้องกับรูปแบบฟิล์ม ในสมัยนั้น:

ภาพประกอบวิธีการที่ฟิล์มเปลี่ยนแปลงไปตามเวลา โดยเปลี่ยนจากการตั้งค่าแบบแบนและหน้าไปสู่รูปแบบที่เป็นธรรมชาติและหลากหลาย

ภาพประกอบวิธีการที่ฟิล์มเปลี่ยนแปลงไปตามเวลา โดยเปลี่ยนจากการตั้งค่าแบบแบนและหน้าไปสู่รูปแบบที่เป็นธรรมชาติและหลากหลาย แหล่งที่มา (บทความของฉัน)

การมีภาพถ่ายในขาวดำเป็นอีกวิธีหนึ่งในการเดาเดือนและปี แต่สิ่งนี้กลายเป็นเรื่องไม่สำคัญหลังจากที่การถ่ายภาพดิจิทัลกลายเป็นที่นิยมในยุคแรกของศตวรรษที่ 21

มีระบบและบริการหลายอย่างที่พยายามเดาเดือนและปีจากภาพถ่าย โดยใช้หลากหลายวิธี เช่น PhotoDater ของ MyHeritage

ตัวอย่างการเดาเดือนและปีจาก PhotoDater

ตัวอย่างการเดาเดือนและปีจาก PhotoDater แหล่งที่มา

หากไม่มีสิ่งบ่งชี้อื่นๆ เช่น สมาร์ทโฟนหรือเทคโนโลยีเฉพาะยุค การเดาเดือนและปีจากภาพถ่ายที่ถ่ายใน 15-25 ปีที่ผ่านมา จะต้องอาศัยการรู้จักบุคคลในภาพ (เช่น ดาราหรือคนรู้จัก) และเดาเดือนและปีจากอายุของบุคคลนั้น

อายุของใบหน้าเป็นข้อมูลอ้างอิง

ในด้านการมองเห็นของคอมพิวเตอร์ และในด้านอื่นๆ (เช่น นิติเวช การประมวลผลเอกสาร สื่อสารมวลชน การออกแบบฐานข้อมูล ฯลฯ) การกำหนดอายุของภาพถ่ายเป็นเป้าหมายที่มีค่า เนื่องจากหลายคอลเลกชันภาพถ่ายและวิดีโอดิจิทัลไม่มีข้อมูลอ้างอิงที่ถูกต้องหรือมีข้อมูลที่ไม่ถูกต้อง

ดังนั้น หากระบบ AI สามารถตรวจสอบภาพถ่ายได้เหมือนกับที่เราทำเมื่อมองย้อนกลับไปในคอลเลกชันประวัติศาสตร์ของเรา และพูดว่า “โอ้ใช่ นั่นคือเมื่อ…” จะเป็นประโยชน์มาก

คำถามคือ อะไรคือจุดเริ่มต้นที่ระบบ AI สามารถใช้ได้ โดยไม่ต้องอาศัยสิ่งบ่งชี้ทั่วไป

การวิจัยใหม่จากสาธารณรัฐเช็กเสนอวิธีการเริ่มต้นโดยใช้ระบบการรู้จำอายุของใบหน้าและระบบการรู้จำใบหน้าเชื่อมโยงกับฐานข้อมูลบุคคลที่มีข้อมูลเกี่ยวกับบุคคลในภาพ

ภาพจากภาพยนตร์ Joachim, Put It in the Machine (1974) ใช้ในการอธิบายกระบวนการเดาเดือนและปี

ภาพจากภาพยนตร์ Joachim, Put It in the Machine (1974) ใช้ในการอธิบายกระบวนการเดาเดือนและปี แหล่งที่มา

ระบบนี้ทำงานโดยการตรวจจับบุคคลที่รู้จักในภาพ และเดาเดือนและปีจากอายุของบุคคลนั้นโดยใช้แบบจำลองที่ได้รับการฝึกฝนแล้ว

เมื่อมีหลายคนในภาพ ระบบจะรวมการเดาเดือนและปีจากบุคคลแต่ละคนเพื่อให้ได้การเดาเดือนและปีที่แม่นยำที่สุด

วิธีการนี้ได้รับการทดสอบกับภาพจากฐานข้อมูลภาพยนตร์เช็กและสโลวัก (CSFD) และให้ผลลัพธ์ที่แม่นยำกว่าวิธีการอื่นๆ ที่ใช้ฉากในภาพ

ระบบต้องการฐานข้อมูลที่มีข้อมูลเกี่ยวกับบุคคลหลายคน และสามารถใช้ฐานข้อมูลอื่นๆ ที่มีข้อมูลเกี่ยวกับบุคคลและเหตุการณ์

การวิจัยใหม่นี้มีชื่อว่า “Photo Dating by Facial Age Aggregation” และได้รับการตีพิมพ์จากนักวิจัยสองคนจากมหาวิทยาลัยเทคนิคเช็กในปราก

วิธีการ

เพื่อเดาเดือนและปีของภาพถ่าย ระบบจะตรวจสอบใบหน้าแต่ละหน้าในภาพ และพยายามเดาเดือนและปีจากอายุของบุคคลนั้นโดยใช้ฐานข้อมูลบุคคลที่มีข้อมูลเกี่ยวกับบุคคลในภาพ

หลังจากนั้น ระบบจะทำงานย้อนกลับเพื่อเดาเดือนและปีที่น่าจะเป็นไปได้มากที่สุด

ระบบสร้างเส้นเวลาแสดงเมื่อบุคคลในภาพถูกถ่ายภาพ โดยใช้ข้อมูลเกี่ยวกับอาชีพและอายุของบุคคล

ระบบสร้างเส้นเวลาแสดงเมื่อบุคคลในภาพถูกถ่ายภาพ โดยใช้ข้อมูลเกี่ยวกับอาชีพและอายุของบุคคล

เพื่อจัดการกับหลายๆ ความเป็นไปได้ ระบบจะถือว่าใบหน้าแต่ละหน้าเป็นอิสระ และการปรากฏตัวของใบหน้าแต่ละหน้าขึ้นอยู่กับบุคคลและเดือนและปีของภาพเท่านั้น

เพื่อเดาเดือนและปี ระบบจะใช้แบบจำลอง NIST cvut-002 ซึ่งฝึกฝนโดยใช้โครงสร้าง ViT-B/16 และข้อมูลที่ไม่เปิดเผย

เมื่อทราบปีเกิดของบุคคลแล้ว ระบบจะแปลงการเดาเดือนและปีจากอายุเป็นปีที่น่าจะเป็นไปได้มากที่สุด

ระบบจะประเมินความคล้ายคลึงระหว่างใบหน้าและบุคคลโดยใช้การกระจาย Von Mises Fisher Distribution

ระบบจะกำหนด五 loạiของการเดาเดือนและปี: uniform, decade, movie, image, และ convex combination prior

เพื่อจัดการกับใบหน้าที่ไม่สามารถระบุได้อย่างมั่นใจ ระบบจะรวมใบหน้าที่ไม่ทราบเป็นใบหน้าที่ไม่มีข้อมูล

ผลลัพธ์ของระบบเมื่อมีใบหน้าที่ไม่ทราบในภาพ

ผลลัพธ์ของระบบเมื่อมีใบหน้าที่ไม่ทราบในภาพ

ข้อมูลและทดสอบ

นักวิจัยใช้ฐานข้อมูล CSFD เพื่อสร้างฐานข้อมูลใหม่ที่มีชื่อว่า CSFD-1.6M

ฐานข้อมูลนี้ประกอบด้วยภาพที่มีหลายคน และมีข้อมูลเกี่ยวกับบุคคลและปีที่ถ่ายภาพ

ระบบจะใช้ข้อมูลนี้เพื่อฝึกฝนและทดสอบ

นักวิจัยยังทดสอบระบบกับฐานข้อมูลอื่นๆ เพื่อเปรียบเทียบผลลัพธ์

ข้อมูลและเมตริก

ระบบจะใช้ข้อมูล Mean Absolute Error (MAE) เพื่อประเมินผลลัพธ์

ข้อมูลจะถูกแบ่งออกเป็นห้าส่วน โดยใช้สามส่วนสำหรับการฝึกฝน หนึ่งส่วนสำหรับการตรวจสอบ และหนึ่งส่วนสำหรับการทดสอบ

ระบบจะทดสอบกับหลายๆ โมเดลเพื่อเปรียบเทียบผลลัพธ์

ผลลัพธ์

ผลลัพธ์ของระบบจะแสดงให้เห็นว่าระบบสามารถเดาเดือนและปีของภาพถ่ายได้อย่างแม่นยำ

ระบบสามารถเดาเดือนและปีได้ดีกว่าวิธีการอื่นๆ ที่ใช้ฉากในภาพ

ผลลัพธ์ยังแสดงให้เห็นว่าระบบสามารถทำงานได้ดีกับภาพที่มีหลายคน

นักวิจัยยังทดสอบระบบกับฐานข้อมูลอื่นๆ เพื่อเปรียบเทียบผลลัพธ์

สรุป

การวิจัยใหม่นี้แสดงให้เห็นว่าระบบ AI สามารถเดาเดือนและปีของภาพถ่ายได้อย่างแม่นยำโดยใช้ใบหน้าและข้อมูลเกี่ยวกับบุคคล

ระบบนี้สามารถทำงานได้ดีกับภาพที่มีหลายคน และสามารถเดาเดือนและปีได้ดีกว่าวิธีการอื่นๆ ที่ใช้ฉากในภาพ

การวิจัยนี้มีผลกระทบต่อการประยุกต์ใช้ AI ในด้านต่างๆ เช่น การประมวลผลภาพถ่ายและการวิเคราะห์ข้อมูล

การวิจัยนี้ยังแสดงให้เห็นว่าระบบ AI สามารถทำงานได้ดีกับข้อมูลที่ไม่สมบูรณ์หรือไม่แน่นอน

การวิจัยนี้มีผลกระทบต่อการประยุกต์ใช้ AI ในด้านต่างๆ เช่น การประมวลผลภาพถ่ายและการวิเคราะห์ข้อมูล

นักเขียนเกี่ยวกับเครื่องมือการเรียนรู้ของเครื่อง และผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์ อดีตหัวหน้าเนื้อหาวิจัยที่ Metaphysic.ai จนกระทั่งถูกยุบเข้ากับ Brahma.ai ของ DNEG
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai