นักวิจัยพัฒนาโมเดลคอมพิวเตอร์ JL2P เพื่อแปลสคริปต์ภาพยนตร์เป็นแอนิเมชัน

นักวิจัยที่ มหาวิทยาลัยคาร์เนกีเมลลอน ได้พัฒนาโมเดลคอมพิวเตอร์ที่สามารถแปลข้อความที่อธิบายการเคลื่อนไหวทางกายภาพเป็นแอนิเมชันคอมพิวเตอร์แบบง่ายได้ การพัฒนานี้อาจทำให้สามารถสร้างภาพยนตร์และแอนิเมชันโดยตรงจากโมเดลคอมพิวเตอร์ที่อ่านสคริปต์ได้

นักวิทยาศาสตร์ได้ทำความก้าวหน้าในการทำให้คอมพิวเตอร์เข้าใจภาษาธรรมชาติและสร้างท่าทางทางกายภาพจากสคริปต์ โมเดลคอมพิวเตอร์ใหม่นี้สามารถเป็นลิงก์ระหว่างสิ่งเหล่านั้น

หลุยส์-ฟิลิปป์ มอเรนซี ผู้ช่วยศาสตราจารย์ใน สถาบันเทคโนโลยีภาษา (LTI) และไชตันยา อahuja นักศึกษาระดับ博士ใน LTI ได้ใช้โครงสร้างประสาทที่เรียกว่า จอยต์ แลงเกจ์ทูโพส (JL2P) โมเดล JL2P สามารถฝังตัวประโยคและท่าทางทางกายภาพได้ ทำให้สามารถเรียนรู้ว่าภาษาเชื่อมโยงกับการกระทำ ท่าทาง และการเคลื่อนไหวอย่างไร

“ฉันคิดว่าเรากำลังอยู่ในขั้นตอนแรกของการวิจัยนี้ แต่จากมุมมองของการสร้างแบบจำลอง ปัญญาประดิษฐ์ และทฤษฎีแล้ว มันคือช่วงเวลาที่น่าตื่นเต้นมาก” มอเรนซีกล่าว “ขณะนี้เรากำลังพูดถึงการสร้างตัวละครเสมือนจริง ในอนาคต ลิงก์ระหว่างภาษาและท่าทางอาจถูกนำไปใช้กับหุ่นยนต์ เราอาจสามารถบอกหุ่นยนต์ส่วนบุคคลว่าเราต้องการให้ทำอะไรได้

“เรายังสามารถไปในทิศทางตรงกันข้ามได้ — โดยใช้ลิงก์ระหว่างภาษาและแอนิเมชันเพื่อให้คอมพิวเตอร์สามารถอธิบายสิ่งที่เกิดขึ้นในวิดีโอได้” เขาเพิ่มเติม

โมเดลจอยต์ แลงเกจ์ทูโพสจะถูกนำเสนอโดยอahuja ในวันที่ 19 กันยายน ที่การประชุมสัมมนาระดับนานาชาติเกี่ยวกับการมองเห็น 3 มิติ การประชุมจะจัดขึ้นที่เมืองควิเบก ประเทศแคนาดา

โมเดล JL2P ถูกสร้างขึ้นโดยการเรียนรู้แบบหลักสูตร ขั้นตอนแรกที่สำคัญคือให้โมเดลเรียนรู้ลำดับช่วงสั้นและง่าย เช่น “คนเดินไปข้างหน้า” จากนั้นจึงไปยังลำดับที่ยาวและยากขึ้น เช่น “คนเดินไปข้างหน้า จากนั้นกลับและเดินไปข้างหน้าอีกครั้ง” หรือ “คนกระโดดข้ามอุปสรรคขณะวิ่ง”

เมื่อโมเดลใช้ลำดับ มันจะดูที่กริยาและ副กริยา ซึ่งอธิบายการกระทำและความเร็ว/การเร่งของการกระทำ จากนั้นจึงดูที่นามและคุณศัพท์ ซึ่งอธิบายตำแหน่งและทิศทาง ตามอahuja วัตถุประสงค์สุดท้ายของโมเดลคือการสร้างแอนิเมชันลำดับที่ซับซ้อนพร้อมการกระทำหลายอย่างที่เกิดขึ้นพร้อมกันหรือต่อเนื่องกัน

ณ ปัจจุบัน แอนิเมชันยังคงจำกัดอยู่ที่ตัวละครเส้น แต่นักวิทยาศาสตร์จะยังคงพัฒนาโมเดลต่อไป หนึ่งในความซับซ้อนที่เกิดขึ้นคือตามที่มอเรนซีกล่าวไว้ว่าหลายสิ่งเกิดขึ้นพร้อมกัน บางสิ่งเกิดขึ้นแม้กระทั่งในลำดับที่ง่าย

“การประสานกันระหว่างส่วนต่างๆ ของร่างกายมีความสำคัญมาก” มอเรนซีกล่าว “ทุกครั้งที่คุณเคลื่อนขา คุณก็เคลื่อนไหวกับแขน หลัง และอาจจะหัวด้วย การสร้างแอนิเมชันของร่างกายต้องประสานส่วนประกอบต่างๆ เหล่านี้ ในขณะเดียวกันก็บรรลุการกระทำที่ซับซ้อน การนำเรื่องราวภาษาเข้ามาในบรรยากาศแอนิเมชันที่ซับซ้อนเป็นเรื่องที่ท้าทายและน่าตื่นเต้น มันเป็นเส้นทางสู่การเข้าใจภาษาและท่าทางที่ดีขึ้น”

หากโมเดลจอยต์ แลงเกจ์ทูโพสสามารถพัฒนาได้จนถึงจุดที่สามารถสร้างแอนิเมชันและการกระทำที่ซับซ้อนตามภาษาได้ ความเป็นไปได้ก็จะใหญ่หลวง ไม่เพียงแต่จะใช้ได้ในด้านภาพยนตร์และแอนิเมชัน แต่ยังช่วยให้เกิดการพัฒนาความเข้าใจภาษาและท่าทางอีกด้วย

เมื่อมองไปที่ปัญญาประดิษฐ์ โมเดล JL2P นี้สามารถใช้กับหุ่นยนต์ได้ เช่น หุ่นยนต์อาจสามารถควบคุมและบอกให้ทำอะไรได้ และหุ่นยนต์จะสามารถเข้าใจภาษาและตอบสนองตามนั้น

การพัฒนานี้จะส่งผลกระทบต่อหลายสาขา และโมเดลจะยังคงพัฒนาความสามารถในการเข้าใจภาษาที่ซับซ้อน