Videogeneraattorit

Topview tuo tekoälypohjaiset valaistuksen muokkaus- ja editointityökalut hybridielokuvantekoon

Luca Ren
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Jensen Wu, co-founder and CEO of Topview, in a supplied studio portrait.
Keskeiset kohdatTopview keskittyy korjaamaan olemassa olevaa kuvamateriaalia sen sijaan, että se loisi…
Näytä lisää
  • Topview keskittyy korjaamaan olemassa olevaa kuvamateriaalia sen sijaan, että se loisi kokonaisia kohtauksia tyhjästä.
  • Video Relight tarjoaa selkeät 3D-valaistuksen säädöt epämääräisten tekstikehotteiden sijaan.
  • Syntetisoidut kamerakulmat toimivat vain, jos ne leikkautuvat vakuuttavasti ympäröivään kuvamateriaaliin.

Topview laajentaa hybridielokuvanteon työkalupakettiaan jälkituotannon tekoälypohjaisilla säätimillä, joilla voi muokata valaistusta, tehdä kohdennettuja editointeja, luoda uusia kuvakulmia, vaihtaa taustoja ja tehdä muita muutoksia oikeiden näyttelijöiden kuvaamaan materiaaliin. Työkalupaketin valaistukseen keskittyvä Video Relight julkaistaan 19. marraskuuta.

Lähtökohtana on materiaali, jonka elokuvantekijä on jo kuvannut. Sen sijaan, että jokainen kohtaus luotaisiin alusta asti, Topview pyrkii auttamaan editoijia korjaamaan tai laajentamaan olemassa olevaa otosta niin, että sen ympäröivä sommittelu ja visuaalinen jatkuvuus säilyvät.

Tämä on erilainen tuotannollinen haaste kuin yksittäisen tekoälyklipin luominen. Onnistuneen editoinnin on sovittava yhteen näyttelijän suorituksen, kameran liikkeen ja ympäröivien otosten kanssa. Työkalujen hyöty riippuu siitä, kuinka paljon ne antavat elokuvantekijöille mahdollisuuksia hallita juuri sitä elementtiä, jota he haluavat muuttaa.

Otoksen valaistuksen muokkaaminen kuvausten jälkeen

Video Relight -työkalun 3D-valaistusnäkymässä voi säätää valojen määrää sekä kunkin valon kulmaa, värilämpötilaa, etäisyyttä, pehmeyttä ja voimakkuutta. Reaaliaikainen kipsipalloesikatselu näyttää valaistusasetelman ennen tuloksen luomista.

Näiden säätimien avulla tavoiteltu vaikutus voidaan määritellä tarkemmin kuin kehotteella, kuten ”tee tästä kohtauksesta lämpimämpi”. Värilämpötila muuttaa valon koettua lämpimyyttä tai viileyttä, pehmeys vaikuttaa valon ja varjon väliseen siirtymään, ja valon sijainti muuttaa sitä, miten valo lankeaa kohteeseen.

Palloesikatselu havainnollistaa valaistusasetelmaa, mutta se ei tarkoita, että koko video luotaisiin uudelleen reaaliajassa. Lopullisessa otoksessa valaistuksen on silti pysyttävä johdonmukaisena liikkeen ja kohteen eri kuvakulmien läpi.

Topview listaa myös Change Time & Weather -työkalun, jolla voi muuttaa vuorokaudenaikaa, säätä ja kuun vaihetta. Työkalua voi käyttää esimerkiksi eri ulko-olosuhteissa kuvatun materiaalin sovittamiseen yhteen tai sellaisen ympäristön luomiseen, jota olisi vaikea kuvata paikan päällä.

Kohteiden muokkaaminen koko otoksen uudelleenrakentamisen sijaan

Video Element Edit tarjoaa useita tapoja määrittää muokattava kohde: tekstikehotteen, valintaruudun, napsautuksen tai siveltimellä tehtävän valinnan. Yrityksen mukaan työkalu on suunniteltu muokkaamaan valittua aluetta vaikuttamatta otoksen muuhun osaan.

Topviewin nykyisessä videonmuokkaustyönkulussa korostuvat myös huomiota vaativan hetken valitseminen ja muutoksen ohjaaminen luonnollisen kielen ohjeilla tai viitekuvalla. Uusi työkalupaketti laajentaa kohdennetun muokkauksen useampiin elokuvanteon tehtäviin.

Layer Edit lähestyy samankaltaista ongelmaa toisesta suunnasta. Se jakaa videon elementeiksi, joita voi siirtää, muuttaa niiden kokoa, piirtää uudelleen tai muokata. Näin editoija voi säätää sommittelua tai poistaa häiritseviä yksityiskohtia käsittelemättä koko kuvaa jakamattomana kokonaisuutena.

Käytännössä ratkaisevaa on mahdollisuus hallita sekä muokkauksen sijaintia että kestoa. Kohteen valitseminen yhdestä ruudusta on vasta alkua: muutoksen on pysyttävä kiinnittyneenä oikeaan elementtiin näyttelijän tai kameran liikkuessa. Elokuvantekijälle siisti yksittäinen ruutu on hyödyllinen vain, jos lopputulos toimii myös liikkeessä.

Uusia kuvakulmia, avustavia esiintyjiä ja taustoja

Camera Angle Presets luo olemassa olevasta oikeiden näyttelijöiden kuvaamasta materiaalista uusia kuvakulmia. Topview esittelee työkalun keinona täydentää puuttuvaa otosta silloin, kun kuvauspaikalle palaaminen ei ole käytännöllistä.

Synteettisesti luotu kuvakulma on kohtauksen uusi tulkinta, joten editoijan on arvioitava sitä suhteessa alkuperäiseen otokseen. Hahmojen ulkonäkö, sijainnit, rekvisiitta, valaistus ja liikkeen suunta vaikuttavat kaikki siihen, sopiiko otos luontevasti yhteen ympäröivän materiaalin kanssa.

Add Extras -työkalulla voi lisätä kohtaukseen tekoälyn luomia taustaesiintyjiä ja hallita heidän sijaintiaan sekä tekemisiään. Topviewin mukaan työkalu on suunniteltu luomaan vaihtelevia ihmisjoukkoja ilmeisten toistojen sijaan.

Taustatyökalut palvelevat kahta erilaista tuotantotilannetta. Replace Green Screen on tarkoitettu automatisoimaan kompositointia myös hankalissa kohdissa, kuten hiusten, läpikuultavien materiaalien ja vihreän värin heijastumien ympärillä. Replace Background toimii ilman viherkangasta, joten sillä voi korvata tai laajentaa valittuja osia kuvauspaikasta.

Aikakauteen sijoittuvassa kohtauksessa tämä voi tarkoittaa modernin rakennuksen poistamista ulkokuvasta. Ahtaassa tilassa kuvatussa tuotannossa sillä voi puolestaan laajentaa näkymää ympäröivästä tilasta. Kummassakin tapauksessa korvaavan taustan saumattomuus riippuu siitä, vastaavatko kohteen valaistus ja kohtauksen perspektiivi toisiaan.

Osa laajempaa tekoälyvideopalvelua

Topviewin verkkosivuston mukaan agenttipohjainen tuotantoalusta pystyy suunnittelemaan kohtauksia, valitsemaan malleja ja luomaan aineistoja sekä säilyttämään otokset muokattavina sen Canvas-työtilassa. Palvelun laajempi tarjonta kattaa lyhytelokuvat, markkinointivideot ja mikro draamat, ja samassa ympäristössä voi hallita malleja ja aineistoja.

Hybridielokuvanteon työkalut tarjoavat alustalla uudenlaisen työskentelytavan: oikeiden näyttelijöiden kanssa kuvattu materiaali toimii lähtökohtana, ja tekoälyä käytetään tiettyihin jälkituotannon ratkaisuihin.

Yhtiötä johtavat toinen perustaja ja toimitusjohtaja Jensen Wu sekä toinen perustaja ja teknologiajohtaja Albert Chen. Toimitettujen perustajaesittelyjen mukaan molemmat työskentelivät Taobaon lyhytvideoalustalla, missä he kartuttivat videoalan tuote- ja insinööriosaamista, jota he nyt hyödyntävät Topview’n elokuvantekoon liittyvissä tavoitteissa.

Esiintymisen hallintaan liittyvät työkalut ovat vielä tulossa

Kolmen lisäominaisuuden kerrotaan olevan tulossa pian. Katseen suunnan säätämisessä esiintyjän katsetta voisi muuttaa visuaalisen 3D-päänmallin avulla. Mikroilmeiden säätämiseen tarjottaisiin 3D-käyttöliittymä, jolla ilmeitä voisi hallita. Esiintymisen tehostaminen korostaisi ilmeitä ja kehonkieltä, kun livekuvaa muunnetaan anime-tyyliin.

Nämä ominaisuudet eroavat 19. marraskuuta julkaistusta Video Relight -toiminnosta. Ne ulottuvat myös syvemmälle itse esiintymiseen, jossa pienetkin muutokset voivat muuttaa kohtauksen merkitystä tai tunnevirtausta.

Elokuvantekijöille välitön hyöty on mahdollisuus hallita paremmin jo kuvaamaansa materiaalia: muuttaa valaistusta, korjata yksityiskohtia rajatulta alueelta, laajentaa ympäristöä tai kokeilla toista kuvakulmaa. Se, pelastaako tämä otoksen, riippuu siitä, pysyykö lopputulos riittävän yhtenäisenä, jotta se sopii leikkaukseen alkuperäisen materiaalin rinnalle.

Luca Ren on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka käsittelee tekoälyn käyttöä viihteen, median ja digitaalisen tarinankerronnan aloilla. Hänen työnsä tutkii, miten tekoälyjärjestelmät kuratoivat sisältöä, vaikuttavat elokuva-, televisio-, musiikki- ja pelituotantoon sekä räätälöivät mediakokemuksia maailmanlaajuiselle yleisölle.

Luovasta ja trendeille herkästä näkökulmasta Luca tarkastelee, miten suositusjärjestelmät, generatiiviset työkalut ja yleisöanalytiikka muokkaavat luovia työnkulkuja ja jakelumalleja. Hän on erityisen kiinnostunut siitä, miten tekoäly vaikuttaa kerronnan rakenteeseen, tekijäautonomiaan ja tasapainoon data‑ohjatun optimoinnin sekä taiteellisen ilmaisun välillä nykyaikaisissa mediaympäristöissä.

Artikkelit, jotka Luca Ren on kirjoittanut, ovat AI‑luotuja ja Unite.AI:n toimituskunta on tarkastanut ne varmistaakseen tarkkuuden, kulttuurikontekstin ja vastuullisen käsittelyn tekoälyn kehittyvästä roolista viihteessä ja mediassa.