Henkilökohtainen näkemys tietokoneen näköaiheista vuonna 2024

Olen seurannut jatkuvasti tietokoneen näkö- (CV) ja kuvansynteesitutkimuksen tilannetta Arxivissa ja muualla noin viiden vuoden ajan, joten trendit tulevat ilmi ajan myötä, ja ne muuttuvat uusiin suuntiin joka vuosi.

Siksi vuoden 2024 lopussa ajattelin katsella uusia tai kehittyviä piirteitä Arxiv-julkaisuissa tietokoneen näkö- ja kuva-ammatin osiossa. Nämä havainnot, jotka perustuvat satoihin tunteihin tutkimuksen parissa, ovat ehdottomasti anekdoottisia.

Itä-Aasian jatkuva nousu

Vuoden 2023 lopussa olin huomannut, että suurin osa “äänen synteesi” -luokan kirjallisuudesta tuli Kiinasta ja muualta Itä-Aasiasta. Vuoden 2024 lopussa minun on havaittava (anekdoottisesti), että tämä koskee nyt myös kuvan ja videon synteesitutkimusta.

Tämä ei tarkoita, että Kiina ja sen naapurimaat tuottavat aina parasta työtä (todella on näyttöä vastakkaisesta); eikä se ottaa huomioon sitä, että Kiinassa (kuten lännessä) on suuri todennäköisyys, että jotkut mielenkiintoisimmista ja voimakkaimmista uusista kehittyvistä järjestelmistä ovat omistuksellisia ja suljettuina tutkimuskirjallisuudesta.

Se kuitenkin viittaa siihen, että Itä-Aasia voittaa lännen määrällä tässä suhteessa. Sen arvo riippuu siitä, kuinka paljon uskot Edison-tyyppiseen määrätietoiseen kestävyyteen, joka yleensä osoittautuu tehokkaaksi vastustamattomien esteiden edessä.

On monia vastaavanlaisia esteitä generatiivisessa tekoälyssä, ja ei ole helppoa tietää, mitkä voidaan ratkaista olemassa olevien arkkitehtuurien kautta ja mitkä vaativat uudelleenarviointia alusta alkaen.

Vaikka Itä-Aasian tutkijat näyttävät tuottavan suuremman määrän tietokoneen näköaiheita, olen huomannut lisääntyneen määrän “Frankenstein-tyyppisiä” projekteja – aloitteita, jotka muodostuvat aiempien töiden yhdistelmästä, lisäten vain vähän arkkitehtonista uutuutta (tai mahdollisesti vain erityyppistä dataa).

Tänä vuonna paljon suurempi määrä itäaasialaisia (pääasiassa kiinalaisia tai kiinalaisten yhteistyöhön osallistuvia) julkaisuja näytti olevan määräperäisiä eikä ansioperäisiä, mikä lisäsi merkittävästi signaali-kohina-suhdetta jo valmiiksi ylikuormitettujen alojen parissa.

Samaan aikaan suurempi määrä itäaasialaisia julkaisuja on myös herättänyt huomioni ja ihailuni vuonna 2024. Joten jos tämä on pelkästään määrän peli, se ei epäonnistu – mutta ei myöskään ole halpaa.

Julkaisujen määrän kasvu

Julkaisujen määrä on selvästi kasvanut vuonna 2024 kaikissa maissa.

Suosituin julkaisupäivä vaihtelee vuoden aikana; tällä hetkellä se on tiistai, jolloin tietokoneen näkö- ja kuva-ammatin osioon julkaisujen määrä on usein noin 300-350 yhdessä päivässä “huipputiloissa” (toukokuusta elokuuhun ja lokakuusta joulukuuhun, eli konferenssikausi ja “vuosittaisen kiintiön deadline” -kausi).

Oman kokemukseni lisäksi Arxiv itse ilmoittaa uuden ennätyksen julkaisujen määrässä lokakuussa 2024, jolloin julkaisujen määrä oli 6000, ja tietokoneen näkö- ja kuva-ammatin osio oli toiseksi eniten julkaisuja saanut osio koneoppimisen jälkeen.

Kuitenkin, koska Arxivin koneoppimisen osio käytetään usein “lisäksi” tai kattavana yläluokkana, tämä viittaa siihen, että tietokoneen näkö- ja kuva-ammatin osio on todella eniten julkaisuja saanut Arxivin osio.

Arxivin omien tilastojen mukaan tietokoneen näkö- ja kuva-ammatin osio on selvästi johtava julkaisujen määrässä:

Tietokoneen näkö- ja kuva-ammatin osio (CS) hallitsee julkaisutilastot Arxivissa viiden viime vuoden ajan. Lähde: https://info.arxiv.org/about/reports/submission_category_by_year.html

Stanfordin yliopiston AI-indeksiraportti vuodelta 2024 korostaa myös merkittävää kasvua akateemisten julkaisujen määrässä koneoppimisen parissa viime vuosina:

Vaikka vuoden 2024 luvut eivät ole vielä saatavilla, Stanfordin raportti osoittaa dramaattisesti koneoppimisen julkaisujen määrän kasvua. Lähde: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Diffuusiosta verkkorakenteisiin

Toinen selvä trendi, joka tuli ilmi minulle, oli suuri kasvu julkaisuissa, jotka käsittelevät latenutin diffuusiomalleja (LDM) generaattoreina verkkopohjaisille, “perinteisille” CGI-malleille.

Tällaisia projekteja ovat esimerkiksi Tencentin InstantMesh3D, 3Dtopia, Diffusion², V3D, MVEdit ja GIMDiffusion, sekä monia muita samankaltaisia tarjouksia.

Verkkorakenteen generointi ja tarkennus diffuusioprosessin kautta 3Dtopiassa. Lähde: https://arxiv.org/pdf/2403.02234

Tämä uusi tutkimussuunta voidaan tulkita myöntymiseksi generatiivisten järjestelmien, kuten diffuusiomallien, jatkuvasti olemassa olevaan ratkaisemattomuuteen, jotka vain kaksi vuotta sitten olivat lupaavia vaihtoehtoja kaikille järjestelmille, joita diffuusiosta verkkorakenteisiin -mallit nyt pyrkivät täyttämään; jolloin diffuusio siirtyy työkalun rooliin tekniikoissa ja työnkulkujen osana, jotka ovat peräisin 30 tai useammasta vuodesta.

Stability.ai, avoimen Stable Diffusion -mallin kehittäjä, on juuri julkaissut Stable Zero123 -järjestelmän, joka pystyy muun muassa käyttämään Neuraalisen säteilyn kentän (NeRF) tulkintaa AI-generoidusta kuvasta siltaa luodakseen eksplisiittisen, verkkopohjaisen CGI-mallin, jota voidaan käyttää CGI-areenoissa, kuten Unityssa, videopelien, lisätyn todellisuuden ja muiden alustoissa, jotka vaativat eksplisiittisiä 3D-koordinaatteja, toisin kuin diffuusiomallien implisiittiset (piilotetut) koordinaatit.

Paina toistamaan. Kuvat, jotka on generoitu Stable Diffusionissa, voidaan muuttaa järkeviksi CGI-verkkorakenteiksi. Tässä nähdään tulokset kuvasta CGI-verkkorakenteeseen -työnkulusta käyttäen Stable Zero 123:ta. Lähde: https://www.youtube.com/watch?v=RxsssDD48Xc

3D-semantiikka

Generatiivisen tekoälyn tilassa tehdään ero 2D- ja 3D-järjestelmien toteutuksissa näön ja generatiivisten järjestelmien osalta. Esimerkiksi kasvojen määritysmallit, vaikka ne edustavat 3D-olioita (kasvoja) kaikissa tapauksissa, eivät välttämättä laske osoitettavia 3D-koordinaatteja.

Suositeltu FANAlign-järjestelmä, jota on laajasti käytetty 2017-vuoden deepfake-arkkitehtuureissa (muun muassa), pystyy tukemaan molempia lähestymistapoja:

Yläpuolella 2D-määritykset generoidaan pelkästään tunnistetuista kasvon piirteistä ja ominaisuuksista. Alapuolella ne on rationaalisoituna 3D X/Y/Z-avaruuteen. Lähde: https://github.com/1adrianb/face-alignment

Joten, samoin kuin “deepfake” on muuttunut epämääräiseksi ja ryöstetyksi termeksi, “3D” on myös muuttunut sekavaksi termeksi tietokoneen näkö- ja kuva-ammatin tutkimuksessa.

Kuluttajille se on tyypillisesti tarkoittanut stereokelpoista mediaa (kuten elokuvia, joissa katsoja on pakotettu käyttämään erityisiä laseja); visuaalisten efektien ammattilaisille ja mallinnoitsijoille se tarjoaa eron 2D-taiteesta (kuten konseptitutkielmista) ja verkkopohjaisista malleista, jotka voidaan manipuloida “3D-ohjelmassa” kuten Mayassa tai Cinema4D:ssä.

Mutta tietokoneen näkö- ja kuva-ammatissa se tarkoittaa vain sitä, että karteesinen koordinaatijärjestelmä on olemassa jossakin latenttiavaruudessa mallissa – ei sitä, että sitä voidaan osoittaa tai muokata suoraan käyttäjän toimesta; ainakaan ilman kolmannen osapuolen tulkkaamiseen perustuvia CGI-järjestelmiä, kuten 3DMM tai FLAME.

Siksi diffuusiosta 3D -käsite on epätarkka; ei vain se, että minkä tahansa kuvatyypin (mukaan lukien oikean valokuvan) voidaan käyttää syötteenä generoimaan CGI-malli, vaan epätarkempi termi “verkko” on sovelias.

Kuitenkin, jotta epätarkkuutta voitaisiin lisätä, diffuusiota tarvitaan lähtökuvan tulkintaan verkkorakenteeksi, useimmissa uusissa projekteissa. Parempi kuvaus voisi olla kuva-verkkorakenteeseen, kun taas kuva-diffuusiosta-verkkorakenteeseen on vielä tarkempi kuvaus.

Mutta se on vaikea myyntipuhe esimiehille tai mainosjulisteessa, joka on tarkoitettu houkuttelemaan sijoittajia.

Arkkitehtuuristen umpikujien osoitus

Edelliseen vuoteen verrattuna viimeisen 12 kuukauden julkaisut osoittavat kasvavaa epätoivoa poistamaan kovan käytännön rajoitukset diffuusiopohjaisesta generoinnista.

Avaineste on edelleen narratiivisesti ja ajallisesti yhdenmukaisen videon generointi ja hahmojen ja objektien yhdenmukaisen ulkonäön ylläpitäminen – ei vain eri videoklippien välillä, vaan jopa yhden generoidun videoklipin lyhyen ajaksi.

Viimeisin merkittävä innovaatio diffuusiopohjaisessa synteesissä oli LoRA:n saapuminen vuonna 2022. Vaikka uudet järjestelmät, kuten Flux, ovat parantaneet joitakin poikkeusongelmia, kuten Stable Diffusionin aiemman kyvyttömyyden toistaa tekstisisältöä generoidussa kuvassa, ja kokonaisvaltaisen kuvan laatu on parantunut, suurin osa minun tutkimista julkaisuista vuonna 2024 oli vain siirtämässä ruokaa lautaselta toiselle.

Tällaisia umpikujia on tapahtunut aiemminkin, kuten generatiivisilla vastakkainasettelumalleilla (GAN) ja Neuraalisilla säteilykentillä (NeRF), jotka eivät ole täyttäneet aluksi näyttävää potentiaaliaan – ja joita käytetään yhä enemmän perinteisemmissä järjestelmissä (kuten NeRF:n käytössä Stable Zero 123:ssa, ks. yllä). Tämä näyttää tapahtuvan myös diffuusiomalleille.

Gaussian Splatting -tutkimuksen käännökset

Vaikuttaa siltä, että rasterointimenetelmä 3D Gaussian Splatting (3DGS), joka debytoi lääketieteellisenä kuvantamismenetelmänä 1990-luvun alussa, oli valmis ohittamaan autoencoder-pohjaiset järjestelmät ihmisen kuvan synteesihaasteissa (kuten kasvojen simulaatio ja uudelleenluominen sekä identiteetin siirto).

Vuoden 2023 ASH-raportti luvatti täysin kehittyneitä 3DGS-ihmisiä, kun taas Gaussian Avatars tarjosi merkittävästi parannettua yksityiskohtaisuutta (verrattuna autoencoder- ja muihin kilpaileviin menetelmiin) yhdessä vaikuttavan cross-reenactmentin kanssa.

Tänä vuonna on kuitenkin ollut suhteellisen vähän sellaisia läpimurtohetkiä 3DGS-ihmisen synteesille; useimmat julkaisut, jotka käsittelevät tätä ongelmaa, olivat joko johdannaisia edellä mainituista töistä tai eivät ylittäneet niiden kykyjä.

Sen sijaan painopiste 3DGS:ssä on ollut parantamassa sen perustavanlaatuista arkkitehtonista toteutusta, mikä on johtanut määrään julkaisuja, jotka tarjoavat parannettuja 3DGS-ulkoisia ympäristöjä. Erityistä huomiota on kiinnitetty samanaikaisen sijainti- ja kartanmuodostuksen (SLAM) 3DGS-lähestymistapoihin, kuten Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, sekä moniin muihin.

Ne projektit, jotka yrittivät jatkaa tai laajentaa splat-pohjaista ihmisen synteesiä, sisälsivät MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM ja Topo4D. Vaikka niitä on muitakin, mikään näistä ei vastannut alun perin vuonna 2023 ilmestyneiden julkaisujen vaikutusta.

‘Weinstein-kauden’ testinäytteiden lasku

Etelä-Aasian tutkimus, yleisesti ottaen (ja Kiinan erityisesti), usein sisältää testiesimerkkejä, jotka ovat ongelmallisia julkaisemiseen arvosteluraportissa, koska ne sisältävät materiaalia, joka on hieman “spicy”.

On kiistanalainen seikka, onko tutkijat Etelä-Aasiassa etsivät huomiota heidän tuloksilleen; mutta viimeisen 18 kuukauden ajan, kasvava määrä julkaisuja generatiivisesta tekoälystä (kuva- ja/tai videSynteesi) on oletettavasti käyttänyt nuoria ja paljastavia naisia ja tyttöjä esimerkkeinä projekteissaan. Raja-NSFW-esimerkkejä tällaisista ovat UniAnimate, ControlNext ja jopa hyvin “kuiva” julkaisut, kuten Evaluating Motion Consistency by Fréchet Video Motion Distance (FVMD).

Tämä seuraa yleisiä trendejä alustoilla ja yhteisöillä, jotka ovat kokoontuneet Latenutin diffuusiomallien (LDM) ympärille, joissa Rule 34 on edelleen voimassa.

Julkkisten kasvot

Tällainen sopimaton esimerkki limittyy kasvavaan tunnistamiseen, että tekoälyprosessit eivät saa mielivaltaisesti hyödyntää julkkisten kasvoja – erityisesti tutkimuksissa, jotka käyttävät esimerkkejä julkkisten kasvoja, usein naisten, ja asettavat heidät kyseenalaisiin konteksteihin.

Yksi esimerkki on AnyDressing, joka käyttää vapauttaa nuoria anime-tyylisiä naishahmoja ja myös käyttää vapaasti klassisten julkkisten, kuten Marilyn Monroen, identiteettejä, ja nykyisiä, kuten Anne Hathaway (joka on tuominnut tällaisen käytön äänekkäästi).

Mieltä vailla oleva käyttö nykyisistä ja “klassisista” julkkiksista on edelleen melko yleinen Etelä-Aasian julkaisuissa, vaikka käytäntö on hieman laskussa. Lähde: https://crayon-shinchan.github.io/AnyDressing/

Länsimaisten julkaisuissa tämä käytäntö on ollut selvästi laskussa koko vuoden 2024 ajan, johtavana FAANG- ja muiden korkean tason tutkimusorganisaatioiden, kuten OpenAI:n, julkaisuilla. Oltuaan tietoisia mahdollisista tulevista oikeudenkäynneistä, nämä suuret yritykset näyttävät yhä enemmän haluttomina esittämään edes kauno realistisia ihmishahmoja.

Vaikka järjestelmät, jotka he luovat (kuten Imagen ja Veo2), ovat selvästi kykeneviä tuottamaan tällaista sisältöä, esimerkit länsimaisista generatiivisista tekoälyprojekteista suuntautuvat nyt “söpöihin”, Disney-tyylisiin ja erittäin “turvallisiin” kuviin ja videoihin.

Vaikka Imagenin kykyä luoda “realistisia” tuloksia ylistetään, Google Researchin esittämät esimerkit ovat tyypillisesti fantastisia, “perheystävällisiä” – fotorealistiset ihmiset pyritään välttämään tai niistä annetaan vain vähäisiä esimerkkejä. Lähde: https://imagen.research.google/

Kasvojen pesu

Länsimaisessa CV-kirjallisuudessa tämä epäilyttävä lähestymistapa on erityisesti nähtävissä mukauttamisjärjestelmissä – menetelmissä, jotka pystyvät luomaan johdonmukaisia muistotietoja tietyistä henkilöistä useiden esimerkkien yli (esim. LoRA ja vanhempi DreamBooth).

Esimerkkejä ovat ortogonaalinen visuaalinen upotus, LoRA-Composer, Google:n InstructBooth ja monia muita.

Google:n InstructBooth lisää söpöyden tekijän 11:een, vaikka historia osoittaa, että käyttäjät ovat enemmän kiinnostuneita luomaan fotorealistisia ihmisiä kuin pehmeitä tai karvaita hahmoja. Lähde: https://sites.google.com/view/instructbooth

Kuitenkin “söpön esimerkin” nousu on nähtävissä myös muissa CV- ja synteesitutkimuksen suuntauksissa, kuten Comp4D, V3D, DesignEdit, UniEdit, FaceChain (joka myöntää realistisemmat käyttäjien odotukset GitHub-sivulla), ja DPG-T2I, sekä monia muita.

Helppous, jolla tällaiset järjestelmät (kuten LoRAt) voidaan luoda kotikäyttäjien toimesta suhteellisen vaatimattomalla laitteistolla, on johtanut räjähdysmäiseen kasvuun julkkisten malleja, jotka voidaan ladata vapaasti civit.ai -verkkosivustolla ja -yhteisössä. Tällainen laiton käyttö on edelleen mahdollista avoimien arkkitehtuurien, kuten Stable Diffusion ja Flux, avoimuuden ansiosta.

Vaikka on usein mahdollista “punch through” generatiivisen teksti-kuva (T2I) ja teksti-video (T2V) -järjestelmien turvallisuusominaisuuksia tuottamaan materiaalia, jota alusta kieltää käyttöehdoissaan, ero parhaiden järjestelmien (kuten RunwayML ja Sora) rajoitettujen kykyjen ja suorituskyvyn järjestelmien (kuten Stable Video Diffusion, CogVideo ja paikalliset Hunyuan -järjestelmät) välillä ei ole todella sulkeutumassa, kuten monet uskovat.

Sen sijaan nämä omistajien ja avoimien lähdekoodien järjestelmät uhkaavat muuttua yhtä hyödyttömiksi: kalliit ja hyperskaalaiset T2V-järjestelmät voivat muuttua liian rajoitetuiksi pelossa oikeudenkäynneistä, kun taas avoimien lähdekoodien järjestelmien puute lisensointirakenteessa ja tietojoukkorakenteessa voi lukita ne kokonaan markkinoilta, kun tiukemmat säännökset tulevat voimaan.

Julkaistu ensimmäisen kerran tiistaina, 24. joulukuuta 2024