วิธีการที่ Volumetrics ในแบบเรียลไทม์กำลังเขียนเรื่องราวภาพยนตร์ใหม่

มีสมัยหนึ่งเมื่อเอฟเฟกต์แบบ Volumetrics ถูกซ่อนจากทุกคนบนเซตภาพยนตร์ ยกเว้น VFX ซูเปอร์วายเซอร์ที่อยู่รอบๆ มอนิเตอร์พรีวิวที่มีความละเอียดต่ำ คุณสามารถถ่ายฉากที่ซับซ้อนพร้อมกับหมอกที่ล้อมรอบป่าโบราณ เถ้าถ่านกระจายไปในห้องโถงและเวทมนตร์ที่ล้อมรอบไม้เท้าของพ่อมด แต่ไม่มีใครบนเซตเห็นแม้แต่เส้นเล็กน้อยจนกว่าจะถึงขั้นตอนหลังการผลิต

ทีมงานผลิตดูสภาพแวดล้อมที่ไม่มีชีวิตชีวา และนักแสดงส่งพลังงานในการแสดงของตนโดยไม่มีอะไรนอกจากผนังเทาๆ ที่ว่างเปล่า โดยให้พวกเขาจินตนาการถึงฝุ่นหรือควัน ทุกสิ่งที่เปลี่ยนแปลงไปเมื่อ Volumetrics ในแบบเรียลไทม์เกิดขึ้นจากห้องทดลองวิจัยเข้าสู่สตูดิโอการผลิต โดยการยกเว้นบรรยากาศที่มีชีวิตและตอบสนองต่อการมองเห็นของกล้องเมื่อฉากกำลังถ่ายทำ ผู้สร้างภาพยนตร์ในปัจจุบันสามารถแกะสลักและปรับแต่งความลึกของบรรยากาศระหว่างการถ่ายทำ โดยเขียนเรื่องราวใหม่เกี่ยวกับวิธีการสร้างโลกภาพยนตร์และวิธีการเล่าเรื่องที่เกิดขึ้นต่อหน้าและภายในเลนส์

ในกระบวนการทำงานแบบดั้งเดิม ผู้กำกับภาพยนตร์พึ่งพา直覺และความทรงจำของตนเอง โดยจินตนาการถึงภาพควันหรือไฟที่กำลังลุกโชนในใจเมื่อกล้องกำลังถ่ายทำ โพรกซี่ที่มีความละเอียดต่ำ (การทดสอบอนุภาคและปริมาตรเรขาคณิตที่เรียบง่าย) แทนเอฟเฟกต์แบบสุดท้าย และหลังจากคืนยาวในฟาร์มเรนเดอร์ เท็กซ์เจอร์ Volumetrics ที่สมบูรณ์จะปรากฏขึ้น

นักแสดงแสดงออกมาโดยไม่มีอะไรนอกจากผนัง LED ที่มืดหรือกรีนสกรีน โดยมองไปที่แสงสว่างที่จางหรือซิลฮูเอตที่เป็นนามธรรม โดยการหลอกลวงที่เชื่อมโยงกับแผนภาพทางเทคนิคมากกว่าบรรยากาศที่มีจริงที่พวกเขาจะอาศัยอยู่ในภาพยนตร์ หลังจากการผลิตเสร็จสิ้น ฟาร์มเรนเดอร์ทำงานเป็นเวลาหลายชั่วโมงหรือหลายวันเพื่อสร้างสแกน Volumetrics ที่มีความละเอียดสูงของควันที่ล้อมรอบวัตถุที่เคลื่อนไหว ไฟที่ตอบสนองต่อลม หรือประกายเวทมนตร์ที่ตามรอยการเคลื่อนไหวของวีรบุรุษ กระบวนการนี้ทำให้เกิดช่องว่างที่อันตรายในวงจรการให้ข้อเสนอแนะ โดยล็อกการเปลี่ยนแปลงทางสร้างสรรค์และไม่มีพื้นที่สำหรับการกระทำโดยไม่คิด

สตูดิโออย่าง Disney ได้พัฒนา LED Stagecraft สำหรับ The Mandalorian โดยผสมผสานผนัง LED ที่มีชีวิตเข้ากับการจำลอง Volumetrics ที่บันทึกไว้ล่วงหน้าเพื่อชี้ให้เห็นถึงสภาพแวดล้อมที่มีบรรยากาศ แม้แต่ห้อง LED ของ ILMxLAB ที่มีเทคโนโลยีล้ำสมัยก็ยังพึ่งพาการประมาณการ ทำให้ผู้กำกับต้องสงสัยเกี่ยวกับการตัดสินใจทางสร้างสรรค์จนกว่าภาพประกอบสุดท้ายจะมาถึง

เมื่อการแสดงตัวอย่าง Volumetrics ในแบบเรียลไทม์ของ NVIDIA ขโมยจุดสนใจที่ GDC ไม่ใช่แค่การแสดงทางเทคนิค แต่เป็นเรื่องราวที่ว่าแสง Volumetrics ควันและอนุภาคสามารถอยู่ภายในวิวพอร์ตของเกมเอนจินได้ แทนที่จะซ่อนอยู่หลังกำแพงฟาร์มเรนเดอร์ ระบบเมฆและหมอก Volumetrics ที่มี sẵnใน Unreal Engine ยังพิสูจน์ให้เห็นว่าเอฟเฟกต์เหล่านี้สามารถส่งสัญญาณที่มีคุณภาพภาพยนตร์โดยไม่ต้องใช้เวลาทั้งคืนในการคำนวณ เมื่อนักแสดงพ่นลมออกมาและดูหมอกที่ล้อมรอบใบหน้าของตน การแสดงของพวกเขาเปลี่ยนแปลงไป ผู้กำกับบีบอากาศ โดยขอหมอกที่หนาแน่นหรือเถ้าที่สว่างกว่า โดยมีการให้ข้อเสนอแนะทันที ผู้กำกับภาพและศิลปิน VFX ที่เคยทำงานแยกจากกัน ตอนนี้ทำงานร่วมกันบนผืนผ้าใบเดียวกัน โดยแกะสลักแสงและพฤติกรรมของอนุภาคเหมือนนักเขียนบทที่อิมโพรวิสในคืนเปิดการแสดง

อย่างไรก็ตาม สตูดิโอส่วนใหญ่ยังคงยึดติดกับโครงสร้างพื้นฐานแบบออฟไลน์-ก่อนที่ออกแบบมาเพื่อโลกของการเรนเดอร์เฟรมต่อเฟรม โดยมีจุดข้อมูลหลายพันล้านจุดจากการบันทึก Volumetrics ที่ไม่ถูกบีบอัดที่ตกลงมาบนอาร์เรย์เก็บข้อมูล ทำให้เงินงบประมาณพองตัวและใช้เวลานาน การขัดข้องของฮาร์ดแวร์ทำให้การวนซ้ำทางสร้างสรรค์หยุดชะงัก เนื่องจากทีมต้องรอหลายชั่วโมง (หรือแม้กระทั่งหลายวัน) เพื่อให้การจำลองเสร็จสิ้น ในขณะเดียวกัน ใบเรียกเก็บเงินจากคลาวด์พองตัว เนื่องจากเทราบایتถูกส่งไปมา ค่าใช้จ่ายมักจะสำรวจได้ล่าช้าเกินไปในวงจรชีวิตการผลิต

ในหลายๆ ด้าน นี่เป็นจุดสิ้นสุดของลำดับชั้นการทำงานแบบแยกส่วน เอนจินแบบเรียลไทม์ได้พิสูจน์แล้วว่าเส้นแบ่งระหว่างการแสดงและการหลังการผลิตไม่ใช่กำแพง แต่เป็นเส้นโค้ง คุณสามารถดูได้ว่าการนวัตกรรมนี้ในการเรนเดอร์และการจำลองแบบเรียลไทม์ทำงานอย่างไรระหว่างการนำเสนอ Real-Time Live at SIGGRAPH 2024 นี่เป็นตัวอย่างของวิธีการที่เอนจินแบบเรียลไทม์ทำให้กระบวนการหลังการผลิตมีความโต้ตอบและทันทีมากขึ้น ทีมงานที่เคยทำงานแยกจากกัน ตอนนี้ทำงานร่วมกันบนผืนผ้าใบเดียวกัน เหมือนกับละครที่หมอกลอยเข้ามาพร้อมกับการหอบหายใจของตัวละคร และเอฟเฟกต์ภาพที่เต้นตามจังหวะการเต้นของหัวใจของนักแสดง ทั้งหมดนี้ได้รับการออกแบบในขณะนั้น

Volumetrics มากกว่าการตกแต่งบรรยากาศ มันเป็นภาษาภาพยนตร์ใหม่ หมอกที่บางๆ สามารถสะท้อนถึงความสงสัยของตัวละคร ทำให้หนาแน่นขึ้นในขณะวิกฤติ ในขณะที่อนุภาคที่ส่องสว่างอาจกระจายไปเหมือนความทรงจำที่จางหายไป โดยเต้นตามจังหวะของดนตรีประกอบ การทดลองของ Microsoft ในการบันทึก Volumetrics แบบเรียลไทม์สำหรับเรื่องราว VR แสดงให้เห็นว่าสภาพแวดล้อมสามารถแตกหน่อและตอบสนองต่อการกระทำของผู้ใช้ ซึ่งแนะนำว่าภาพยนตร์เองก็สามารถทิ้งลักษณะที่ตายตัวและกลายเป็นประสบการณ์ที่มีปฏิกิริยา โดยที่โลกเองก็เข้าร่วมในการเล่าเรื่อง

เบื้องหลังทุกๆ ช็อต Volumetrics ที่หยุดนิ่ง มีแรงเฉื่อยของวัฒนธรรมที่น่าเกรงขามไม่แพ้ข้อจำกัดทางเทคนิค ทีมงานที่ฝึกอบรมบนพายพไลน์แบบบैच-เรนเดอร์มักจะระมัดระวังการเปลี่ยนแปลง โดยยึดติดกับตารางเวลาที่คุ้นเคยและกระบวนการอนุมัติที่ขับเคลื่อนด้วยไมล์โทน แต่ละวันที่ใช้ในการทำงานแบบล็อกดาวน์เป็นวันที่สูญเสียไปของความเป็นไปได้ทางสร้างสรรค์ ผู้เล่าเรื่องรุ่นต่อไปคาดหวังวงจรการให้ข้อเสนอแนะแบบเรียลไทม์ ความเที่ยงตรงในวิวพอร์ต และพื้นที่สำหรับการทดลอง ซึ่งเป็นเครื่องมือที่พวกเขาใช้ในการเล่นเกมและ미디어แบบโต้ตอบ

สตูดิโอที่ไม่เต็มใจที่จะทันสมัยก็เสี่ยงต่อประสิทธิภาพมากกว่าแค่ความไม่มีประสิทธิภาพ พวกเขาก็เสี่ยงต่อการเสียคนเก่ง เราได้เห็นผลกระทบแล้ว เมื่อนักศิลปินหนุ่มๆ ที่เต็มไปด้วย Unity, Unreal Engine และการทำงานแบบ AI-augmented มองว่าฟาร์มเรนเดอร์และซอฟต์แวร์ที่กินเวลานานเป็นสิ่งโบราณ เมื่อ ภาพยนตร์จาก Disney+ ยังคงแสดงให้เห็นถึงความสำเร็จของ LED Volume Stages ผู้ที่ไม่ยอมปรับตัวจะพบว่าจดหมายเชิญของตนถูกทิ้งไว้ไม่ได้เปิด封 คำสนทนากลายเป็น “ทำไมเราทำไม่ได้?” และสตูดิโอที่ตอบได้ดีที่สุดจะเป็นผู้กำหนดรูปแบบการเล่าเรื่องภาพใน thập kỷหน้า

ในบรรยากาศของความปรารถนาทางสร้างสรรค์และข้อจำกัดทางเทคนิค แพลตฟอร์ม Volumetrics แบบเรียลไทม์ที่เกิดขึ้นใหม่เริ่มเปลี่ยนแปลงความคาดหวัง พวกเขาเสนอการเล่นแบบเรียลไทม์ของแคช Volumetrics อัลกอริทึมการบีบอัดแบบเรียลไทม์ที่ลดขนาดข้อมูลลงหลายอันดับ และปลั๊กอินที่รวมเข้ากับเครื่องมือสร้างเนื้อหาดิจิทัลที่มีอยู่ พวกเขาใช้การจำลองแบบ AI ที่คาดการณ์พฤติกรรมของของเหลวและอนุภาค โดยช่วยให้ศิลปินหลีกเลี่ยงการทำงานแบบคีย์เฟรมด้วยตนเอง พวกเขายังให้อินเทอร์เฟซที่直观ที่รักษา Volumetrics เป็นส่วนประกอบอินทรีย์ของกระบวนการกำกับศิลป์ แทนที่จะเป็นงานหลังการผลิตที่เฉพาะเจาะจง

สตูดิโอสามารถแกะสลักเอฟเฟกต์บรรยากาศได้พร้อมๆ กับจังหวะเรื่องราว โดยปรับพารามิเตอร์ในแบบเรียลไทม์โดยไม่ต้องออกจากห้องตัดต่อ ในขณะเดียวกัน พื้นที่ทำงานร่วมกันแบบเครือข่ายก็เกิดขึ้น ทำให้ทีมงานที่กระจายตัวสามารถร่วมเขียนฉาก Volumetrics ได้เหมือนกับเป็นหน้าในบทความร่วม นี่เป็นสัญญาณของการจากไปจากข้อจำกัดในยุคก่อน การที่จะลบล้างเส้นแบ่งระหว่างการเตรียมการ การถ่ายทำหลัก และการผลิตหลังการผลิต

ในขณะที่แพลตฟอร์มเหล่านี้ตอบสนองปัญหาที่เกิดขึ้นทันที พวกเขายังชี้ให้เห็นถึงวิสัยทัศน์ที่กว้างขึ้นของการสร้างเนื้อหาที่ Volumetrics อาศัยอยู่ภายในเอนจินแบบเรียลไทม์ที่มีคุณภาพภาพยนตร์ สตูดิโอที่มีวิสัยทัศน์มากที่สุดรับรู้ว่าการใช้ Volumetrics แบบเรียลไทม์จำเป็นต้องมีมากกว่าการอัปเกรดซอฟต์แวร์ มันต้องการการเปลี่ยนแปลงทางวัฒนธรรม พวกเขามองว่า Volumetrics แบบเรียลไทม์ไม่ใช่แค่การผ่านพ้นไปของเทคโนโลยี แต่เป็นการกำหนดความหมายใหม่ของการเล่าเรื่องภาพยนตร์

เมื่อบรรยากาศบนเซตกลายเป็นหุ้นส่วนการแสดงแบบไดนามิก เรื่องราวจะได้รับความลึกและความซับซ้อนใหม่ที่ไม่สามารถทำได้ก่อนหน้านี้ ทีมงานสร้างสรรค์ปลดปล่อยความเป็นไปได้ใหม่ๆ สำหรับการอิมโพรวิส การทำงานร่วมกัน และการสร้างความสัมพันธ์ทางอารมณ์ โดยมีภาษาที่มีชีวิตขององค์ประกอบ Volumetrics ที่ตอบสนองต่อความตั้งใจและการค้นพบ แต่การทำความจริงจังเพื่อให้บรรลุศักยภาพนี้จะต้องทำให้สตูดิโอต้องเผชิญกับต้นทุนซ่อนเร้นที่แท้จริงของการทำงานแบบออฟไลน์-ก่อน: ภาระของข้อมูล ระบบการทำงานแบบแยกส่วน และความเสี่ยงในการสูญเสียคนเก่งรุ่นต่อไป

เส้นทางไปข้างหน้านั้นอยู่ที่การผสมผสาน Volumetrics แบบเรียลไทม์เข้ากับเนื้อผ้าของการปฏิบัติงาน โดยจัดแนวเครื่องมือ ทีมงาน และวัฒนธรรมไปสู่วิสัยทัศน์ที่เป็นหนึ่งเดียว นี่เป็นการเชิญชวนให้พิจารณาอุตสาหกรรมของเราใหม่ เพื่อหลอมรวมขอบเขตระหว่างความคิดและภาพ และเพื่อยอมรับยุคที่ทุกเฟรมเต็มไปด้วยความเป็นไปได้ที่เกิดขึ้นทันที โดยมีทั้งความสร้างสรรค์ของมนุษย์และเทคโนโลยีแบบเรียลไทม์