Andersonin kulma
Ihmisen kehon muokkaus tekoälyllä

Keskeiset kohdatNeuralReshaper käyttää SMPL-parametrisia malleja mahdollistaakseen hienojakoisen…
Näytä lisää
- NeuralReshaper käyttää SMPL-parametrisia malleja mahdollistaakseen hienojakoisen hallinnan painon, pituuden ja vartalon mittasuhteiden suhteen.
- Kaksoiskooderiarkkitehtuuri käsittelee erikseen etualan vartalon muokkauksen ja taustan täyttämisen realististen tulosten saavuttamiseksi.
- SMPL-pohjaiset CGI-menetelmät ovat edelleen välttämättömiä, koska GANit ja NeRFit eivät vielä pysty luotettavasti muokkaamaan vartalon muotoparametreja.
Kiinalaisen tutkimusyhteistyön uusi menetelmä muokkaa ihmisen kehoa kuvissa kahden koordinoidun neuroverkkokooderin avulla. Parametrinen malli ohjaa verkkoa ja antaa loppukäyttäjän säätää painoa, pituutta ja kehon mittasuhteita interaktiivisessa käyttöliittymässä.

Parametrisoitu kehonmuoto, jossa liukusäätimet muuttavat kolmea saatavilla olevaa ominaisuutta. Lähde: https://arxiv.org/pdf/2203.10496.pdf
Työ tarjoaa useita parannuksia viimeaikaiseen vastaavaan projektiin Alibabasta, sillä se voi vakuuttavasti muuttaa pituutta ja kehon mittasuhteita sekä painoa, ja sillä on omistettu neuraaliverkko “täyttämään” (ei-olemassaolevan) taustan, joka voidaan paljastaa “ohuemmilla” kehonkuvilla. Se myös parantaa tunnettua aiempaa parametripohjaista menetelmää kehonmuokkaukseen poistamalla tarpeen laajalle inhimilliselle väliintulolle muodonmuutoksen muodostusprosessissa.
Nimeltään NeuralReshaper, uusi arkkitehtuuri sovittaa parametrisen kolmiulotteisen ihmismallin lähdekuvaan, ja sitten käyttää muodonmuutoksia mallissa sovittamaan alkuperäistä kuvaa uusiin parametreihin.
Järjestelmä pystyy käsittelemään kehonmuodonmuutoksia sekä pukeutuneilla että puolipukeutuneilla (esim. uima-asussa) hahmoilla.
Tällaiset muodonmuutokset ovat tällä hetkellä kiinnostavia muotitekoälytutkimukselle, joka on tuottanut useita StyleGAN/CycleGAN-pohjaisia ja yleisiä neuraaliverkkopohjaisia alustoja virtuaalikokeiluille, jotka voivat sovittaa saatavilla olevia vaatekappaleita kehonmuotoon ja kehotyyppiin käyttäjän lähettämässä kuvassa tai muutoin auttaa visuaalisessa yhdenmukaisuudessa.
Artikkeli on nimeltään Single-image Human-body Reshaping with Deep Neural Networks, ja se on peräisin Zhejiangin yliopistosta Hangzhousta ja City University of Hong Kongin luovasta mediakoulusta.
SMPL Sovittaminen
NeuralReshaper käyttää Skinned Multi-Person Linear Model (SMPL) kehittämää Max Planck -instituutista älykkäistä järjestelmistä ja tunnetusta VFX-talosta Industrial Light and Magic vuonna 2015.

SMPL Parametrinen ihminen vuoden 2015 Planck/ILM-yhteistyöstä. Lähde: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf
Prosessin ensimmäisessä vaiheessa luodaan SMPL-malli lähdekuvaan, johon kehonmuodonmuutoksia halutaan tehdä. SMPL-mallin sovittaminen kuvaan noudattaa menetelmää Human Mesh Recovery (HMR) -menetelmää, jonka yliopistot Saksassa ja Yhdysvalloissa esittivät vuonna 2018.
Kolme muodonmuutosparametria (paino, pituus, kehon mittasuhteet) lasketaan tässä vaiheessa yhdessä kameraparametrien, kuten polttovälin, kanssa. 2D avainpisteet ja luodun silhuettien kohdistus tarjoavat kehysmuodonmuutokselle 2D-silhuettina, joka on lisäksi optimointitoimi, joka lisää reunan tarkkuutta ja mahdollistaa aidon taustan täyttämisen myöhemmin prosessissa.

SMPL-sovituksen vaiheet: vasemmalla lähdekuva; toisena vasemmalta Max Planck -instituutin johtamassa vuoden 2016 tutkimuksessa esitetyn menetelmän optimointitulos; kolmantena suora päättelytulos esikoulutetusta mallista End-to-end Recovery of Human Shape and Pose; neljäntenä 2D-avainpisteiden optimoinnin tulos; ja viidentenä valmis sovitus silhuetin optimoinnin jälkeen (katso yllä).
3D-muodonmuutos projisoidaan sitten arkkitehtuurin kuvatilaan, jotta voidaan luoda tiheä muodonmuutoskenttä, joka määrittää muodonmuutoksen. Tämä prosessi kestää noin 30 sekuntia kuvaa kohden.
NeuralReshaper Arkkitehtuuri
NeuralReshaper suorittaa kaksi neuraaliverkkoa yhtä aikaa: etualan kooderin, joka luo muokatun kehonmuodon, ja taustan koodarin, joka keskittyy täyttämään “paljastettuja” taustan osia (esim. kun kehoa “ohennetaan” – ks. alla oleva kuva).
U-net-tyyppinen kehys yhdistää kummankin koodarin ominaisuuksien tulokset ennen kuin se siirtää tuloksen yhteiseen dekooderiin, joka lopulta tuottaa uuden kuvan kahdesta syötteestä. Arkkitehtuuri sisältää uuden warp-ohjatun mekanismin, joka mahdollistaa integraation.
Koulutus ja Kokeet
NeuralReshaper on toteutettu PyTorchissa yhdellä NVIDIA (NVDA ) 1080ti GPU:lla, jossa on 11 Gt VRAM. Verkko koulutettiin 100 epookin ajan Adam-optimoinnin alla, jossa generaattorin oppimisnopeudeksi asetettiin 0,0001 ja diskriminaattorin oppimisnopeudeksi 0,0004. Koulutuksessa käytettiin kahdeksan kuvan eräkokoa omassa ulkokuvien aineistossa (joka on peräisin COCO, MPII ja LSP), ja kahden kuvan eräkokoa koulutettaessa DeepFashion-datassa.
Alempana on joitakin esimerkkejä ainoastaan DeepFashion-datassa, jota NeuralReshaper on koulutettu, alkuperäiskuvat aina vasemmalla.
Kolme säädettävissä olevaa ominaisuutta voidaan erottaa toisistaan, ja niitä voidaan soveltaa erikseen.
Ulkoilmadatassa tehtyjen muodonmuutosten on havaittu olevan haasteellisempia, koska ne usein vaativat monimutkaisten taustojen täyttämistä ja selkeää ja vakuuttavaa kehonmuodonmuutosten erottelua:
Parametrinen Välttämättömyys
Kuten artikkeli huomauttaa, saman kuvan muodonmuutokset edustavat huonosti määriteltyä ongelmaa kuvansynteesissä. Monet muodonmuuttavat GAN- ja koodarikehykset voivat hyödyntää pareittaisia kuvia (kuten monia projekteja, jotka on suunniteltu luonnos>valokuva ja valokuva>luonnos muodonmuutoksia).
Kuitenkin tämän tapauksessa se vaatisi kuvapareja, joissa samat ihmiset eri fyysisissä konfiguraatioissa, kuten “ennen ja jälkeen” -kuvat dieetti- tai plastiikkakirurgia-mainonnassa – dataa, jota on vaikea hankkia tai luoda.
Toisaalta muodonmuuttavat GAN-verkot voivat käyttää paljon monipuolisempaa koulutusdataa, ja tehdä muodonmuutoksia etsimällä latentin suunnan lähde- (alkuperäisen kuvan latentin koodi) ja haluttu luokka (tässä tapauksessa “lihava”, “ohut”, “pitkä” jne.) välillä. Tämä lähestymistapa on kuitenkin tällä hetkellä liian rajoitettu kehonmuodon hienostuneelle muokkaukselle.
Neuraaliradianssikentät (NeRF) -lähestymistavat ovat paljon edistyneempiä täyskehon simulaatiossa kuin useimmat GAN-pohjaiset järjestelmät, mutta ne ovat edelleen kohtauskohtaisia ja resursseja vaativia, ja niillä on tällä hetkellä hyvin rajoitettu kyky muokata kehonmuotoja yksityiskohtaisella tavalla, jota NeuralReshaper ja aiemmat projektit yrittävät ratkaista (pl. koko kehon mittakaavan laskemista suhteessa ympäristöön).
GAN:n latentiavaruus on vaikea hallita; VAE:t eivät vielä ratkaise täyskehon reproduktion monimutkaisuuksia; ja NeRF:n kyky johdonmukaisesti ja realistisesti uudelleenmuokata ihmiskehoja on edelleen vasta alkuvaiheessa. Siksi perinteisten CGI-menetelmien, kuten SMPL:n, käytön sisällyttäminen ihmisen kuvansynteesitutkimukseen näyttää jatkuvan, koska se on tapa koota ja konsolidoida ominaisuuksia, luokkia ja latenteja koodauksia, joiden parametreja ja hyödyntämismahdollisuuksia ei vielä täysin ymmärretä näissä kehittyvissä teknologioissa.
Julkaistu ensimmäisen kerran 31. maaliskuuta 2022.




















