มุมมองของ Anderson
การปรับเปลี่ยนรูปร่างร่างกายมนุษย์ด้วย AI

ประเด็นสำคัญNeuralReshaper ใช้แบบจำลองพารามิเตอร์ SMPL เพื่อควบคุมน้ำหนัก ส่วนสูง…
ดูเพิ่มเติม
- NeuralReshaper ใช้แบบจำลองพารามิเตอร์ SMPL เพื่อควบคุมน้ำหนัก ส่วนสูง และสัดส่วนร่างกายในระดับละเอียด
- สถาปัตยกรรมตัวเข้ารหัสคู่แยกจัดการการปรับเปลี่ยนรูปร่างส่วนหน้าและการเติมเต็มพื้นหลังเพื่อให้ได้ผลลัพธ์ที่สมจริง
- วิธีการ CGI ที่ใช้ SMPL ยังคงมีความจำเป็นเนื่องจาก GANs และ NeRFs ยังไม่สามารถแก้ไขพารามิเตอร์รูปร่างร่างกายได้อย่างน่าเชื่อถือ
การวิจัยร่วมใหม่จากประเทศจีนเสนอวิธีการปรับเปลี่ยนรูปร่างร่างกายมนุษย์ในภาพโดยใช้เครือข่ายตัวเข้ารหัสประสาทคู่ที่ทำงานประสานกันภายใต้การควบคุมของแบบจำลองพาราเมตริก ซึ่งช่วยให้ผู้ใช้สามารถปรับเปลี่ยนน้ำหนัก ส่วนสูง และอัตราส่วนของร่างกายได้อย่างมีปฏิสัมพันธ์ผ่านอินเทอร์เฟซกราฟิก

การปรับเปลี่ยนรูปร่างร่างกายแบบพาราเมตริก โดยใช้สลายเดอร์ในการเปลี่ยนแปลงคุณลักษณะทั้งสามแบบ Source: https://arxiv.org/pdf/2203.10496.pdf
งานวิจัยนี้มีการปรับปรุงหลายอย่างเหนือโครงการที่คล้ายกันล่าสุดจากอาลีบาบา โดยสามารถเปลี่ยนแปลงส่วนสูงและอัตราส่วนของร่างกายได้เช่นเดียวกับน้ำหนัก และมีเครือข่ายประสาทที่อุทิศให้กับการ ‘เติมเต็ม’ พื้นหลังที่ไม่มีอยู่จริงซึ่งสามารถเปิดเผยได้เมื่อ ‘ลดน้ำหนัก’ ของร่างกาย นอกจากนี้ยังปรับปรุงวิธีการพาราเมตริกก่อนหน้านี้สำหรับการปรับรูปร่างร่างกายโดยการกำจัดความจำเป็นในการแทรกแซงของมนุษย์อย่างกว้างขวางในช่วงการสร้างการเปลี่ยนแปลง
ชื่อ NeuralReshaper สถาปัตยกรรมใหม่นี้ใช้แบบจำลองพาราเมตริก 3 มิติของมนุษย์กับภาพที่ต้องการเปลี่ยนแปลงรูปร่าง แล้วใช้การบิดเบือนของแบบจำลองเพื่อปรับเปลี่ยนภาพเดิมให้เข้ากับค่าพาราเมตริกใหม่
ระบบสามารถจัดการการเปลี่ยนแปลงรูปร่างร่างกายทั้งบนภาพที่สวมเสื้อผ้าและภาพที่สวมเสื้อผ้าบางส่วน (เช่น ชุดชายหาด)
การเปลี่ยนแปลงประเภทนี้มีความสนใจอย่างมากในภาควิจัย AI สำหรับแฟชั่น ซึ่งได้ผลิตแพลตฟอร์มที่ใช้ StyleGAN/CycleGAN และเครือข่ายประสาททั่วไปหลายรูปแบบสำหรับการ ลองเสื้อผ้าเสมือน ที่สามารถปรับเปลี่ยนเสื้อผ้าให้เข้ากับรูปร่างและประเภทของร่างกายจากภาพที่ผู้ใช้ส่งมา หรือช่วยในการสร้างความสอดคล้องทางภาพ
เอกสารวิจัย นี้ มีชื่อเรื่องว่า การเปลี่ยนแปลงรูปร่างร่างกายมนุษย์จากภาพเดียวด้วยเครือข่ายประสาทลึก และมาจากนักวิจัยที่มหาวิทยาลัยเจ้อเจียงในหางโจว และโรงเรียนสื่อสร้างสรรค์ที่มหาวิทยาลัยซิตี้แห่งฮ่องกง
การปรับแต่ง SMPL
NeuralReshaper ใช้แบบจำลอง Skinned Multi-Person Linear (SMPL) ที่พัฒนาโดยสถาบัน Max Planck สำหรับระบบอัจฉริยะและบริษัท VFX ที่มีชื่อเสียง Industrial Light and Magic ในปี 2015

แบบจำลอง SMPL ของมนุษย์จากความร่วมมือระหว่าง Planck และ ILM ในปี 2015 Source: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf
ในขั้นตอนแรกของกระบวนการ จะสร้างแบบจำลอง SMPL จากภาพที่ต้องการเปลี่ยนแปลงรูปร่างร่างกาย การปรับแต่งแบบจำลอง SMPL ให้เข้ากับภาพตาม วิธีการ ของวิธีการ Human Mesh Recovery (HMR) ที่เสนอโดยมหาวิทยาลัยในเยอรมนีและสหรัฐอเมริกาในปี 2018
พาราเมตริกสามตัวสำหรับการบิดเบือน (น้ำหนัก ส่วนสูง อัตราส่วนของร่างกาย) จะถูกคำนวณในขั้นตอนนี้ พร้อมกับการพิจารณาค่าพาราเมตริกของกล้อง เช่น ความยาวโฟกัส จุดสำคัญ 2 มิติและเส้นขอบที่สร้างขึ้นจะให้ขอบเขตสำหรับการบิดเบือนในรูปแบบของเส้นขอบ 2 มิติ ซึ่งเป็นมาตรการเพิ่มเติมที่เพิ่มความแม่นยำของขอบเขตและช่วยให้สามารถ ‘เติมเต็ม’ พื้นหลังได้อย่างแท้จริงในขั้นตอนต่อไปของกระบวนการ

ขั้นตอนการปรับแต่ง SMPL: ซ้ายคือภาพต้นฉบับ; ภาพที่สองคือผลการปรับค่าตามงานวิจัยปี 2016 ที่นำโดย Max Planck Institute for Intelligent Systems; ภาพที่สามคือผลอนุมานโดยตรงจากแบบจำลองที่ฝึกไว้สำหรับ End-to-end Recovery of Human Shape and Pose; ภาพที่สี่คือผลหลังปรับจุดสำคัญ 2 มิติ; และภาพที่ห้าคือผลหลังปรับเส้นขอบรูปร่างให้เหมาะสม (ดูด้านบน)
การบิดเบือน 3 มิติจะถูกฉายลงในพื้นที่ภาพของสถาปัตยกรรมเพื่ออำนวยความสะดวกในการสร้างสนามการบิดเบือนที่จะกำหนดการบิดเบือน กระบวนการนี้ใช้เวลาประมาณ 30 วินาทีต่อภาพ
สถาปัตยกรรม NeuralReshaper
NeuralReshaper ใช้เครือข่ายประสาทสองตัวพร้อมกัน: ตัวเข้ารหัสสำหรับพื้นหน้าซึ่งสร้างรูปร่างร่างกายที่เปลี่ยนแปลงไป และตัวเข้ารหัสสำหรับพื้นหลังซึ่งมุ่งเน้นไปที่การ ‘เติมเต็ม’ พื้นหลังที่ไม่มีอยู่จริง (ในกรณีของการ ‘ลดน้ำหนัก’ ของร่างกาย ตัวอย่างเช่น)
เฟรมเวิร์กแบบ U-net รวมผลลัพธ์คุณลักษณะจากตัวเข้ารหัสทั้งสองก่อนที่จะส่งผลลัพธ์ไปยังตัวถอดรหัสร่วมซึ่งสร้างภาพใหม่จากอินพุตทั้งสอง สถาปัตยกรรมนี้มีกลไกการบิดเบือนที่มีคำแนะนำใหม่เพื่ออำนวยความสะดวกในการรวม
การฝึกอบรมและการทดลอง
NeuralReshaper ถูกนำไปใช้โดยใช้ PyTorch บน GPU NVIDIA (NVDA ) 1080ti ที่มี VRAM 11gb เครือข่ายถูกฝึกอบรมเป็นเวลา 100 ยุคภายใต้ตัวปรับค่า Adam โดยมีอัตราการเรียนรู้ของตัวสร้างที่ 0.0001 และของตัวจำแนกที่ 0.0004 การฝึกอบรมเกิดขึ้นพร้อมกับขนาดแบตช์ของ 8 สำหรับชุดข้อมูลกลางแจ้งเฉพาะ (ที่ดึงมาจาก COCO, MPII และ LSP) และ 2 สำหรับการฝึกอบรมบนชุดข้อมูล DeepFashion
ต่อไปนี้คือตัวอย่างจากชุดข้อมูล DeepFashion ที่ฝึกอบรมสำหรับ NeuralReshaper โดยมีภาพที่ต้องการเปลี่ยนแปลงรูปร่างอยู่ทางซ้ายเสมอ
คุณลักษณะที่ควบคุมได้สามอย่างถูกแยกออกจากกันและสามารถใช้ได้แยกจากกัน
การเปลี่ยนแปลงรูปร่างบนชุดข้อมูลกลางแจ้งมีความท้าทายมากกว่า เนื่องจากมักต้องการการ ‘เติมเต็ม’ พื้นหลังที่ซับซ้อนและเส้นขอบที่ชัดเจนและน่าเชื่อถือของรูปร่างร่างกายที่เปลี่ยนแปลงไป:
ความจำเป็นพาราเมตริก
ตามที่เอกสารวิจัยระบุ การเปลี่ยนแปลงรูปร่างร่างกายในภาพเดียวกันนี้เป็นปัญหาที่ไม่ได้กำหนดไว้อย่างชัดเจนในการสังเคราะห์ภาพ หลายเฟรมเวิร์ก GAN และตัวเข้ารหัสสามารถใช้ภาพคู่ (เช่น โครงการที่ออกแบบมาเพื่อการเปลี่ยนแปลงจาก สเก็ตช์>ภาพถ่าย และ ภาพถ่าย>สเก็ตช์)
อย่างไรก็ตาม ในกรณีนี้จะจำเป็นต้องมีภาพคู่ที่มีคนเดียวกันในสภาพร่างกายที่แตกต่างกัน เช่น ภาพ ‘ก่อนและหลัง’ ในโฆษณาเกี่ยวกับการลดน้ำหนักหรือการผ่าตัดพลาสติก – ข้อมูลที่ยากที่จะหาหรือสร้างขึ้น
เครือข่าย GAN ที่เปลี่ยนแปลงสามารถฝึกอบรมบนข้อมูลที่หลากหลายและดำเนินการเปลี่ยนแปลงโดยการค้นหา ทิศทางในปริภูมิแฝง ระหว่างรหัสแฝงของภาพต้นฉบับ (รหัสแฝงของภาพที่ต้องการเปลี่ยนแปลงรูปร่าง) และคลาสที่ต้องการ (ในกรณีนี้ ‘อ้วน’, ‘ผอม’, ‘สูง’ ฯลฯ) อย่างไรก็ตาม วิธีการนี้ยังคงจำกัดเกินไปสำหรับการเปลี่ยนแปลงรูปร่างร่างกายที่ละเอียด
แนวทาง Neural Radiance Fields (NeRF) มีความก้าวหน้ากว่าระบบที่ใช้ GAN ส่วนใหญ่ในการจำลองร่างกายทั้งตัว แต่ยังคงจำกัดอยู่ในฉากและต้องการทรัพยากรมาก และปัจจุบันมีความสามารถจำกัดมากในการแก้ไขรูปร่างร่างกายอย่างละเอียดในแบบที่ NeuralReshaper และโครงการก่อนหน้านี้พยายามที่จะแก้ไข (นอกเหนือจากการ ลดขนาดร่างกายทั้งหมด เทียบกับสภาพแวดล้อม)
ปริภูมิแฝงของ GAN ยังคงยากที่จะควบคุม VAEs เพียงอย่างเดียวยังไม่สามารถจัดการกับความซับซ้อนของการสร้างภาพร่างกายที่สมบูรณ์ได้ และความสามารถของ NeRF ในการสร้างรูปร่างร่างกายมนุษย์ใหม่และสมจริงยังคงอยู่ในขั้นตอนเริ่มต้น ดังนั้นการรวม ‘วิธีการดั้งเดิม’ ของ CGI เช่น SMPL จึงดูเหมือนว่าจะยังคงดำเนินต่อไปในภาควิจัยการสังเคราะห์ภาพมนุษย์ เพื่อเป็นวิธีการในการควบคุมและรวมคุณลักษณะ คลาส และรหัสแฝงที่พาราเมตริกและความสามารถในการใช้ประโยชน์ยังไม่ได้รับการทำความเข้าใจอย่างเต็มที่ในเทคโนโลยีที่เกิดขึ้นใหม่เหล่านี้
เผยแพร่ครั้งแรกเมื่อวันที่ 31 มีนาคม 2022




















