นักวิจัยด้าน AI ออกแบบโปรแกรมเพื่อสร้างเสียงเอฟเฟกต์สำหรับภาพยนตร์และสื่ออื่น ๆ

นักวิจัยจากมหาวิทยาลัยเท็กซัสซานอันโตนิโอได้สร้างแอปพลิเคชัน AI ที่สามารถสังเกตการกระทำในวิดีโอและสร้างเสียงเอฟเฟกต์เทียมที่ตรงกับการกระทำเหล่านั้น เสียงเอฟเฟกต์ที่สร้างโดยโปรแกรมมีความสมจริงมากจนเมื่อมีการสำรวจผู้ชมมนุษย์ พวกเขามักคิดว่าเสียงเอฟเฟกต์เหล่านั้นเป็นของแท้

โปรแกรมที่รับผิดชอบในการสร้างเสียงเอฟเฟกต์ คือ AudioFoley ซึ่งได้รับการอธิบายไว้ในการศึกษาที่ตีพิมพ์เมื่อเร็วๆ นี้ใน IEEE Transactions on Multimedia ตามรายงานของ IEEE Spectrum โปรแกรม AI นี้ถูกพัฒนาโดย Jeff Provost ศาสตราจารย์ที่ UT San Antonio และ Sanchita Ghose นักศึกษาระดับ 박さเรียน นักวิจัยได้สร้างโปรแกรมโดยใช้โมเดลการเรียนรู้ของเครื่องหลายแบบที่เชื่อมต่อกัน

งานแรกในการสร้างเสียงเอฟเฟกต์ที่เหมาะสมกับการกระทำบนหน้าจอ คือ การรับรู้การกระทำเหล่านั้นและแมปให้ตรงกับเสียงเอฟเฟกต์ เพื่อให้บรรลุเป้าหมายนี้ นักวิจัยได้ออกแบบโมเดลการเรียนรู้ของเครื่องสองแบบและทดสอบวิธีการที่แตกต่างกัน โมเดลแรกทำงานโดยการดึงเฟรมจากวิดีโอที่ได้รับและวิเคราะห์เฟรมเหล่านั้นสำหรับคุณลักษณะที่เกี่ยวข้อง เช่น การเคลื่อนไหวและสี หลังจากนั้น โมเดลที่สองจะถูกนำมาใช้เพื่อวิเคราะห์ว่าตำแหน่งของวัตถุเปลี่ยนแปลงไปตามเฟรมอย่างไร เพื่อดึงข้อมูลเชิงเวลา ข้อมูลเชิงเวลานี้จะถูกใช้เพื่อคาดการณ์การกระทำที่อาจเกิดขึ้นต่อไปในวิดีโอ โมเดลทั้งสองมีวิธีการวิเคราะห์การกระทำในคลิปที่แตกต่างกัน แต่ทั้งสองแบบใช้ข้อมูลที่อยู่ในคลิปเพื่อคาดเดาว่าเสียงใดที่จะเหมาะสมที่สุด

งานต่อไป คือ การสังเคราะห์เสียง ซึ่งทำได้โดยการแมปการกระทำ/การเคลื่อนไหวที่คาดการณ์ไว้กับตัวอย่างเสียงที่เป็นไปได้ ตามที่ Ghose และ Prevost ระบุว่า AutoFoley ถูกใช้ในการสร้างเสียงสำหรับคลิปสั้น 1,000 คลิป ซึ่งมีการกระทำและวัตถุ เช่น ไฟ ม้ากำลังวิ่ง นาฬิกาที่ตicking และฝนที่ตกบนพืช ในขณะที่ AutoFoley มีความสำเร็จมากที่สุดในการสร้างเสียงสำหรับคลิปที่ไม่ต้องการความตรงกันระหว่างการกระทำและเสียง และมีปัญหาในการจับคู่คลิปที่การกระทำเกิดขึ้นด้วยความผันผวน แต่โปรแกรมยังคงสามารถหลอกลวงผู้ชมมนุษย์ให้เลือกเสียงที่สร้างขึ้นมากกว่าเสียงที่มีอยู่เดิมในคลิป

Prevost และ Ghose ได้รับสมัครนักศึกษามหาวิทยาลัย 57 คน และให้พวกเขา观看คลิปต่างๆ บางคลิปมีเสียงเดิม บางคลิปมีเสียงที่สร้างโดย AutoFoley เมื่อโมเดลแรกถูกทดสอบ ประมาณ 73% ของนักศึกษาที่เลือกเสียงสังเคราะห์เป็นเสียงเดิม โดยไม่สนใจเสียงที่แท้จริงที่มาพร้อมกับคลิป โมเดลที่สองมีประสิทธิภาพน้อยกว่าเล็กน้อย โดยมีเพียง 66% ของผู้เข้าร่วมที่เลือกเสียงที่สร้างขึ้นมากกว่าเสียงเดิม

Prevost อธิบายว่า AutoFoley อาจถูกใช้เพื่อเร่งกระบวนการผลิตภาพยนตร์ โทรทัศน์ และสื่ออื่นๆ Prevost ระบุว่าเสียงฟอลีย์ที่สมจริงมีความสำคัญต่อการทำให้สื่อน่าดึงดูดและน่าเชื่อถือ แต่กระบวนการฟอลีย์มักจะใช้เวลานานในการทำเสร็จ การมีระบบอัตโนมัติที่สามารถจัดการการสร้างองค์ประกอบฟอลีย์ขั้นพื้นฐานได้สามารถทำให้การผลิตสื่อนั้นราคาถูกและเร็วขึ้น

ปัจจุบัน AutoFoley มีข้อจำกัดที่สำคัญอยู่บ้าง เช่น ในขณะที่โมเดลดูเหมือนจะทำงานได้ดีในการสังเกตเหตุการณ์ที่มีการเคลื่อนไหวที่มั่นคงและคาดการณ์ได้ แต่จะพบปัญหาเมื่อพยายามสร้างเสียงสำหรับเหตุการณ์ที่มีความผันผวนในเวลา (เช่น พายุฝนฟ้าคะนอง) นอกจากนี้ยังต้องการให้วัตถุที่จำแนกอยู่ในคลิปทั้งหมดและไม่ออกจากเฟรม ทีมวิจัยมีเป้าหมายที่จะแก้ไขปัญหาเหล่านี้ในเวอร์ชันอนาคตของแอปพลิเคชัน