Andersonin kulma
Uusien vaatteiden virtuaalinen sovitus tekoälyn avulla

Keskeiset kohdatVanastin yksivaiheinen tekoälymalli yhdistää vaatetuksen, identiteetin ja liikkeen…
Näytä lisää
- Vanastin yksivaiheinen tekoälymalli yhdistää vaatetuksen, identiteetin ja liikkeen vakaampia virtuaalinen sovitus -videoita varten.
- Järjestelmä luo omaa synteettistä koulutusdataansa käyttäen malleja kuten Flux ja Qwen ratkaistakseen todellisen maailman datan niukkuuden.
- Teknisistä edistysaskeleista huolimatta kaupallinen toteuttamiskelpoisuus on edelleen rajoitettua korkeiden laskentavaatimusten ja viivehaasteiden vuoksi.
Tekoälymalli voi nyt muuntaa yhden valokuvan ja vaatekuvat videoksi, jossa sama henkilö liikkuu uusissa asuissa. Näin vältetään vanhemmille kaksivaiheisille järjestelmille tyypillisiä virheitä.
Konenäkötutkimuksen virtuaalisen sovituksen (VTON) tutkimusalue kuuluu alan kirjallisuuden parhaiten rahoitettuihin ja tuotteliaimpiin suuntauksiin. Vuosittain julkaistuista lukuisista yritysten ja yliopistojen yhteistyöhankkeista voi päätellä keskeisen syyn: varakas muotiteollisuus rahoittaa tätä tavoitetta merkittävästi:

Tutkimuksesta ‘Image-Based Virtual Try-On: A Survey’: esimerkkejä henkilön esitystavoista sekä suodatus- ja viimeistelyvaiheista, joita jo tavalliset kuvat joutuvat käymään läpi virtuaalista sovitusta (VTON) varten. Lähde
Tavoitteesta on monia muunnelmia, kuten vaatteiden erottaminen ihmisiä esittävistä kuvista ja pyöreämpien vartaloiden huomioiminen tarvittaessa. Joitakin kuvapohjaisia järjestelmiä on otettu kaupalliseen käyttöön esimerkiksi veesual.ai-, wanna.fashion- ja fashn.ai-alustoilla.
Videoiden osalta Google Labsin kokeellinen Doppl-sovellus kokeili tätä toiminnallisuutta. Se julkaistiin viime kesänä:
Käynnistä video napsauttamalla, jos se ei toistu automaattisesti. Katkelmia sittemmin lopetetusta Google Doppl -hankkeesta, jossa vaatteita sovitettiin videolla. Lähde
Doppl kuitenkin suljetaan huhtikuussa 2026 laimean vastaanoton jälkeen. Käyttäjät ohjataan nyt yhtiön pelkkiin kuviin perustuvaan sovituspalveluun†:

Googlen kuvapohjainen sovituspalvelu, johon käyttäjät ohjataan yhtiön lopetetulta Doppl-alustalta. Lähde
Vaikka muutamat alustat tarjoavat virtuaalista sovitusta videolla, mikään niistä ei näytä liittyvän varsinaiseen vähittäismyyjään. Ne ovat kaikki aivan kehityksen kärjessä toimivia, marginaalisia ja usein kyseenalaisia tuotteita, jotka kaupittelevat tokeneita.
Tutkimuspuolella on useita kiinnostavia avauksia, mutta niiden arkkitehtuurit ovat perinteisesti monimutkaisia. Niitä on vaikea toteuttaa sekä pienellä viiveellä että laadukkaasti:
Käynnistä video napsauttamalla, jos se ei toistu automaattisesti. Vuoden 2024 Fashion-VDM-hankkeen esimerkki vaatteiden siirtämisestä kuvissa, joista päät on rajattu pois. Lähde
Vaatteiden sovittaminen todelliselle ihmiselle vääristämättä vaatteita tai henkilöä on nykytekniikalle valtava haaste. Samalla pitäisi säilyttää hyödyllinen esittelyliike, joka näyttää tuotteen selkäpuolen tarkasti henkilön kääntäessä selkänsä.
Vanast
Koreasta tuleva uusi tutkimus pyrkii vastaamaan tähän haasteeseen uudella, täysin integroidulla ratkaisulla, joka käsittelee vaatteet, henkilön ja liikkeen yhdessä:
Käynnistä video napsauttamalla, jos se ei toistu automaattisesti. Esimerkkejä Vanast-hankkeen lisäaineistosivustolta. Lähde
Uusi järjestelmä nimeltä Vanast hyödyntää tarkoitusta varten rakennettua aineistoa. Siinä yhdistetään ja sovitetaan yhteen tehtävän kaikki kolme välttämätöntä tekijää: vaatteet, henkilö ja liike:
Käynnistä video napsauttamalla. Lisää esimerkkejä Vanast-hankkeen sivustolta.
Järjestelmä hyödyntää niinkin erilaisia työkaluja kuin Flux, Qwen ja ChatGPT luodakseen kolmikanta-aineiston, jonka varaan voidaan rakentaa koko tehtävän kattava arkkitehtuuri:

Uudesta tutkimuksesta: esimerkkejä generoinnissa ja koulutuksessa käytettävän aineiston datapisteistä. Lähde –
Uusi tutkimus on nimeltään Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision ja sen ovat tehneet neljä Soulin kansallisen yliopiston tutkijaa. Saatavilla on myös runsaasti videoita sisältävä hankesivusto.
Menetelmä
Tutkijoiden ilmoittama tavoite on yhdistää edellä mainitut kolme osa-aluetta yksivaiheiseen kokonaisuuteen. Sen etuna ei olisi vain yhtenäinen prosessi: osa-alueet voisivat myös kytkeytyä toisiinsa ja olla vuorovaikutuksessa koulutuksen aikana, mikä tähtää yhtenäisempiin tuotoksiin:

Vanast yhdistää yhden henkilövalokuvan, erilliset vaatekuvat ja liikeviitteen tuottaakseen liikkuvan kuvasarjan, jossa sama henkilö käyttää uutta asua. Asento-ohjaus varmistaa liikkeen johdonmukaisuuden, ja henkilön identiteetti sekä vaatteiden yksityiskohdat säilyvät videoruudusta toiseen.
Järjestelmä ottaa syötteiksi kuvat tavoitevaatteista, valokuvan henkilöstä toisissa vaatteissa, tavoitellun liikkeen määrittävän viitevideon sekä toimintaa ja ympäristöä kuvaavan tekstikehotteen. Se tuottaa kokonaisen videon, jossa sama henkilö näyttää käyttävän uutta asua ja seuraa määrättyä liikettä. Ulkoasu pysyy ajallisesti johdonmukaisena videoruudusta toiseen.
Useimmat aiemmat vastaavat työt ovat erottaneet vaatteiden sovittamisen ja animoinnin eri vaiheisiin. Vanast käsittelee vaatteet, identiteetin ja liikkeen samassa prosessissa. Näin ne voivat vaikuttaa toisiinsa generoinnin aikana, mikä vähentää aiemmissa menetelmissä esiintyneitä ristiriitoja ja epävakautta.
Aineisto
Koulutus perustuu toisiaan vastaaviin esimerkkeihin: henkilön kuvaan, siihen liittyviin vaatekappaleisiin ja videoon, jossa henkilö liikkuu kyseisissä vaatteissa. Liike erotetaan aiemmalla arkkitehtuurilla, joka antaa vakaata asento-ohjausta videoruudusta toiseen.
Koska julkisesti saatavilla ei ollut hankkeen vaatimukset täyttävää aineistoa, videoita monenlaisista vaatteista kerättiin nimeämättömiltä verkkokauppa-alustoilta. Tehtävä edellytti kuitenkin videoita, joissa sama henkilö käyttää useita eri asuja. Tällaiset esimerkit ovat harvinaisia luonnollisessa aineistossa, joten tarvittiin synteettistä dataa.
Kolmivaiheisessa prosessissa kerätyistä videoista valittiin sopivia videoruutuja Qwen2.5-VL -näkö-kielimallin (VLM) avulla. Kuvat rajattiin ja niiden sopivuus arvioitiin: kohde ei saanut peittyä, sen tuli olla oikeassa kohdassa ja niin edelleen. Lisäksi luotiin sopivat kuvan osittaisen uudelleenluonnin maskit käsiteltävien alueiden eristämiseksi. Aiemman PERSE-työn tapaan tästä vastaa jo pitkään käytössä ollut SDXL -diffuusiomalli.

Yleiskuva Vanast-prosessista: henkilökuva, tavoitevaatekuvat ja liikkeen ohjausvideo koodataan ja käsitellään yhtenäisessä videodiffuusiomallissa. Animaatio säilyttää henkilön identiteetin, seuraa asentosarjaa ja pukee henkilölle tavoitevaatteet. Synteettisten kolmikantojen generointi tukee koulutusta. Kaksimoduulinen rakenne erottaa animoinnin vaatteiden siirrosta johdonmukaisuuden säilyttämiseksi.
Kolmannessa vaiheessa Qwen luokittelee kuvat sukupuolen mukaan. Suosittua Flux -kuvadiffuusiokehystä käytetään sitten kuvan vaatteiden muuttamiseen, sillä Flux pystyy yhdistämään useita syöteelementtejä. Osittaisen uudelleenluonnin tekstikehotteet koottiin ChatGPT:n avulla; versiota ei ilmoiteta.
Asentojen ja taustojen vaihtelun lisäämiseksi rakennettiin prosessi, joka muodostaa koulutuskolmikantoja luonnollisista videoista käyttäen HumanVid-aineistoa. Samaa prosessia käytettiin henkilön identiteetin säilyttävän kuvan tuottamiseen.
Videoissa ei ollut erillisiä vaatekuvia, joten ne syntetisoitiin suoraan videomateriaalista. Kustakin videosta poimittiin ruutuja, joiden etupuolen näkyvyyden Qwen pisteytti. Sopivin ehdokas valittiin koko vartalon näkyvyyden, kuvan selkeyden, vähäisten peittymien, valaistuksen laadun ja sommittelun perusteella.
Ylävartalon vaatteen alue erotettiin SegFormer-mallilla, ja tausta poistettiin vaatteen eristämiseksi.
Jotta vältettäisiin sijaintiharha, vaatteen aluetta siirrettiin satunnaisesti rajauslaatikkonsa sisällä. Qwen suodatti jälleen epäluotettavat segmentoinnit. Näin saatiin synteettisiä vaatekuvia, jotka yhdistyvät liikkeeseen ja identiteettiin. Menetelmä mahdollisti kolmikantojen laajamittaisen rakentamisen rakenteettomasta videodatasta ja paransi toimintavarmuutta vaihtelevissa todellisissa olosuhteissa.
Arkkitehtuuri
Kaksimoduulinen arkkitehtuuri otettiin käyttöön korjaamaan hidasta konvergenssia ja ohjauksen heikkoa tasapainoa, joita ilmeni aiemmissa kaikki ehdot yhdistäneissä menetelmissä. Ratkaisu hyödyntää tekstistä videota tuottavaa diffuusiotransformeria Wan-mallista sekä VACE -hanketta, jota käsitellään jäljempänä.
Malli jaettiin henkilön animointimoduuliin (HAM), joka käsittelee liikettä ja identiteettiä henkilö- ja asentotietojen perusteella, sekä vaatteiden siirtomoduuliin (GTM), joka käsittelee vaatekuvien vaatetusta. Molemmat käyttävät samaa runkoverkkoa ja yhdistävät piirteitä hajautetusti, peräkkäisissä vaiheissa, jotta ehdollistaminen paranisi.
Koulutuksessa jäädytettiin runkoverkko ja optimoitiin vain HAM- ja GTM-parametrit. Niiden osuudet tasapainotettiin piirteitä yhdistettäessä. Synteettisen kolmikanta-aineiston syötteet muunnettiin latenteiksi esityksiksi WANin variaatioautoenkooderilla (VAE).
Liikkeen huomioiva konteksti rakennettiin yhdistämällä henkilö- ja asentotietoa ajan yli. Vaatepiirteet käsiteltiin erikseen ja kohdistettiin projisoimalla ne tokenupotuksiin.
Mallia laajennettiin tukemaan myös vaatteiden interpolointia. Kahden vaatteen esityksiä yhdistettiin sulavien siirtymien tuottamiseksi. Näin vaatteita voidaan sekoittaa johdonmukaisesti ja yhtenäisesti ilman lisäoptimointia.
Aineisto ja testit
Malli koulutettiin 9 135 videolla, joiden pituudet vaihtelivat kolmesta kymmeneen sekuntiin. Ne olivat peräisin edellä mainituilta verkkokauppasivustoilta, tutkijoiden itse generoimasta aineistosta ja HumanVid-aineistosta.
Näistä muodostettiin kaksi arviointiaineistoa: verkkokauppojen videoita ja tuotekuvia sisältävä Internet-aineisto sekä virallinen testiosajoukko Alibaban ViViD -aineistosta.
ViViD-aineistossa ei ole kasvoja; tästä on esimerkki edellä olevassa videossa, ja käytäntö on virtuaalisen sovituksen tutkimuksissa hyvin yleinen. Kasvot lisättiin Fluxin kuvanlaajennuksella.
Mittareina käytettiin seuraavia: L1-häviö; huippusignaali-kohinasuhde (PSNR); rakenteellisen samankaltaisuuden indeksi (SSIM); opittu kuvapaikkojen havaintoperustainen samankaltaisuus (LPIPS); Fréchet Inception Distance (FID) sekä Fréchet Video Distance†† (FVD).
Vaatteiden siirrossa testattiin järjestelmiä OOTDiffusion; CatVTON; OmniTry sekä Any2AnyTryon. Henkilöviitteestä kuvia tuottavista malleista testattiin VisualCloze; MOSAIC sekä ByteDancen UNO.
Toisen vaiheen henkilökuvien animointiin käytettiin StableAnimator – ja DisPose -kehyksiä.
Myös VACEa testattiin rajatummin, sillä se ei suoraan tue tavoiteltua tehtävää. Puuttuvaa toiminnallisuutta pyrittiin jossain määrin kompensoimaan:

Määrällinen vertailu henkilöviitteestä kuvia tuottavien mallien ja animointimallien yhdistelmiin Internet- ja ViViD-aineistoissa. Ehdotettu menetelmä saavutti parhaat tulokset kaikilla raportoiduilla mittareilla. Lihavoitu arvo merkitsee sarakkeen parasta tulosta.
Edellä esitetyistä ensimmäisistä tuloksista tutkijat toteavat:
”Mallimme saavuttaa parhaat tulokset kaikilla mittareilla verrattuna henkilöviitteestä kuvia tuottavien mallien ja animointimallien yhdistelmiin.”
”Laadulliset tulokset [jäljempänä] vahvistavat lisäksi, että menetelmämme seuraa asentoja ja siirtää vaatteita tarkimmin sekä säilyttää identiteetin uskollisemmin kuin kaikki henkilöviitteestä kuvia tuottavat vertailumallit.”

Laadullinen vertailu Internet- ja ViViD-aineistoissa henkilöviitteestä kuvia tuottaviin malleihin ja animointimalleihin. Tutkijoiden mukaan ehdotettu menetelmä kohdistaa asennot ja siirtää vaatteet tarkemmin sekä säilyttää identiteetin johdonmukaisemmin kuin VisualCloze, MOSAIC, UNO ja VACE.
Toisessa testiryhmässä verrattiin kuvapohjaisen virtuaalisen sovituksen ja animointimallien yhdistelmiä. Uusi työ saavutti jälleen parhaan tuloksen:

Määrällinen vertailu kuvapohjaisen virtuaalisen sovituksen ja animointimallien yhdistelmiin Internet- ja ViViD-aineistoissa. Ehdotettu menetelmä saavutti kokonaisuutena parhaat tulokset eri mittareilla, ja SSIM pysyi vahvimman vertailumallin tasolla. Lihavoitu arvo merkitsee parasta tulosta.
Tutkijat lisäävät:
”Laadulliset vertailut [jäljempänä] osoittavat, että tuloksemme muistuttavat vertailutotuutta parhaiten kaikista kuvapohjaiseen virtuaaliseen sovitukseen perustuvista vertailumalleista.”

Laadulliset testit, joiden vertailumallit muodostettiin yhdistämällä VTON-malleja animointimalleihin.
Johtopäätös
Vanast tarjoaa yhtenäisen koko tehtävän kattavan ratkaisun. Tutkimuksessa ei kuitenkaan eritellä koulutuksen ja päättelyn resurssivaatimuksia, mikä viittaa siihen, ettei ratkaisu ehkä ole kaikkein kevein tai ketterin. Itse tehtävä on äärimmäisen vaikea jo optimoimattomassa järjestelmässä – saati kaupallisessa toteutuksessa, jossa tarvittaisiin pieni viive sekä edullinen hinta ja kannattava sijoitetun pääoman tuotto suuressa mittakaavassa.
Virtuaalinen sovitus kuuluu tekoälyn erittäin kunnianhimoisiin tavoitteisiin. Otsikoiden ja valikoitujen tulosten välittämä kuva nykytekniikasta peittää tehtävän todellisen vaikeuden. Ehkä se ratkeaa lopulta myöhemmillä, transformereita kevyemmillä tekniikoilla.
† Saatavilla Yhdysvalloissa. Palvelu on maarajattu monilla muilla alueilla, ellei kaikilla.
†† Tutkijat viittaavat VFID-mittariin mutta linkittävät vain ViViD-tutkimukseen, joka ei nähdäkseni perustele viittausta. Käytettävissäni oli vain vähän aikaa asian selvittämiseen. Olen olettanut heidän tarkoittaneen Fréchet Video Distancea (FVD) ja olleen samoin kiireisiä. Ottakaa tarvittaessa yhteyttä korjausten tekemiseksi.
Julkaistu ensimmäisen kerran keskiviikkona 8. huhtikuuta 2026












