OmniHuman-1: ByteDances AI som gjør et enkelt bilde til en bevegelig, talende person

Forestillingen om å ta et enkelt bilde av en person og, innen få sekunder, se dem snakke, gestikulere og sogar opptre – uten å noen gang ha spilt inn en ekte video. Det er kraften til ByteDances OmniHuman-1. Den nylig virale AI-modellen puster liv i stille bilder ved å generere svært realistiske videoer, komplette med synkroniserte lebebevegelser, fullkropps-gestikulering og uttrykksfulle ansiktsanimasjoner, alt drevet av en lydclip.

I motsetning til tradisjonell deepfake-teknologi, som primært fokuserer på å bytte ansikter i videoer, animere OmniHuman-1 en hel menneskefigur, fra topp til tå. Uansett om det er en politiker som holder en tale, en historisk figur som blir levendegjort, eller en AI-generert avatar som utfører en sang, gjør denne modellen at vi alle må tenke dypt om videoproduksjon. Og med denne innovasjonen kommer en rekke implikasjoner – både spennende og bekymringsfulle.

Hva gjør OmniHuman-1 spesiell?

OmniHuman-1 er virkelig et gigantisk sprang fremover i realisme og funksjonalitet, og det er nettopp derfor det gikk viralt.

Her er bare noen grunner til hvorfor:

• Mer enn bare snakkende hoder: De fleste deepfake- og AI-genererte videoer har vært begrenset til ansiktsanimasjon, ofte produserende stive eller unaturlige bevegelser. OmniHuman-1 animere hele kroppen, fanger naturlige gestikuleringer, holdninger og sogar interaksjoner med objekter.
• Utrolig lip-sync og nuanserte emosjoner: Den gjør ikke bare at munnbevegelsene blir tilfeldige; AI-en sikrer at lebebevegelser, ansiktsuttrykk og kroppsspråk matcher innputt-lyden, gjør resultatet usedvanlig levende.
• Tilpasser seg forskjellige bildestiler: Uansett om det er et høyoppløst portrett, et lavkvalitets-snapshot eller sogar en stilisert illustrasjon, tilpasser OmniHuman-1 seg intelligent, skaper glatte, troverdige bevegelser uavhengig av innputtkvaliteten.

Dette nivået av presisjon er mulig takket være ByteDances massive 18 700-timers datasett av menneskelig videoopptak, samt dens avanserte diffusjons-transformator-modell, som lærer intrikate menneskelige bevegelser. Resultatet er AI-genererte videoer som føles nesten ikke å skille fra ekte opptak. Det er langt det beste jeg har sett hittil.

Teknologien bak det (på vanlig norsk)

Ved å se på den offisielle rapporten, er OmniHuman-1 en diffusjons-transformator-modell, en avansert AI-ramme som genererer bevegelse ved å forutsi og finjustere bevegelsesmønster ramme for ramme. Denne tilnærmingen sikrer glatte overganger og realistiske kroppsdynamikker, et stort skritt beyond tradisjonelle deepfake-modeller.

ByteDance har trent OmniHuman-1 på et omfattende 18 700-timers datasett av menneskelig videoopptak, som gjør at modellen kan forstå en enorm mengde bevegelser, ansiktsuttrykk og gestikuleringer. Ved å eksponere AI-en for en utenfor sammenligning stor variasjon av virkelige bevegelser, forbedrer den den naturlige følelsen av den genererte innholdet.

En nøkkelinnovasjon å vite er dens “omni-betingelser” treningstrategi, hvor flere innputtsignaler – som lydclipp, tekstprompter og posereferanser – brukes samtidig under trening. Denne metoden hjelper AI-en å forutsi bevegelse mer nøyaktig, selv i komplekse scenarioer som involverer håndgestikuleringer, emosjonelle uttrykk og forskjellige kamera-vinkler.

Etiske og praktiske bekymringer

Da OmniHuman-1 setter en ny standard for AI-genererte videoer, reiser det også betydelige etiske og sikkerhetsbekymringer:

• Deepfake-risiko: Evnen til å lage svært realistiske videoer fra et enkelt bilde åpner døren for desinformasjon, identitetstyveri og digital personliggjøring. Dette kan påvirke journalistikk, politikk og offentlig tillit til media.
• Mulig misbruk: AI-drevet bedrageri kan brukes på skadelig måte, inkludert politiske deepfakes, finansiell svindel og ikke-samtykkende AI-generert innhold. Dette gjør regulering og vannmerking kritiske bekymringer.
• ByteDances ansvar: For tiden er OmniHuman-1 ikke offentlig tilgjengelig, sannsynligvis på grunn av disse etiske bekymringene. Hvis den blir utgitt, må ByteDance implementere sterke sikkerhetstiltak, som digital vannmerking, innholdets autentisitetssporing og muligens begrensninger på bruken for å forhindre misbruk.
• Reguleringsutfordringer: Regjeringer og teknologiske organisasjoner sliter med å regulere AI-generert media. Innsats som AI-loven i EU og amerikanske forslag til deepfake-lovgivning understreker det presserende behovet for tilsyn.
• Oppdagelse vs. generering kappløp: Ettersom AI-modeller som OmniHuman-1 forbedres, må også oppdagelsessystemer forbedres. Selskaper som Google (GOOGL ) og OpenAI utvikler AI-oppdagelsesverktøy, men å holde pace med disse AI-egenskapene som beveger seg usedvanlig raskt, forblir en utfordring.

Hva er neste skritt for fremtiden til AI-genererte mennesker?

Skapingen av AI-genererte mennesker kommer til å gå svært raskt nå, med OmniHuman-1 som baner vei. En av de mest umiddelbare anvendelsene av denne modellen kan være dens integrasjon i plattformer som TikTok og CapCut, ettersom ByteDance eier disse. Dette kan potensielt tillate brukerne å lage hyperrealistiske avatarer som kan snakke, synge eller utføre handlinger med minimal innputt. Hvis det blir implementert, kan det omdefinere brukergenerert innhold, muliggjøre at influensere, bedrifter og hverdagsbrukere kan lage AI-drevne videoer uten noen særlig innsats.

Forbi sosiale medier har OmniHuman-1 betydelige implikasjoner for Hollywood og film, spill og virtuelle influensere. Underholdningsindustrien utforsker allerede AI-genererte karakterer, og OmniHuman-1s evne til å levere levende fremføringer kan virkelig hjelpe å fremme dette.

Fra et geopolitisk ståsted bringer ByteDances fremgang opp igjen den voksende AI-konkurransen mellom Kina og amerikanske teknologigiganter som OpenAI og Google. Med Kina som investerer tungt i AI-forskning, er OmniHuman-1 en alvorlig utfordring i generativ medieteknologi. Ettersom ByteDance fortsetter å forbedre denne modellen, kan det sette scenen for en bredere konkurranse om AI-ledelse, som kan påvirke hvordan AI-videoverktøy utvikles, regulieres og tas i bruk verden over.

Ofte stilte spørsmål (FAQ)

1. Hva er OmniHuman-1?

OmniHuman-1 er en AI-modell utviklet av ByteDance som kan generere realistiske videoer fra et enkelt bilde og en lydclip, skaper levende animasjoner av mennesker.

2. Hvordan skilles OmniHuman-1 fra tradisjonell deepfake-teknologi?

I motsetning til tradisjonelle deepfakes som primært bytte ansikter, animere OmniHuman-1 en hel person, inkludert fullkropps-gestikulering, synkroniserte lebebevegelser og uttrykksfulle ansiktsuttrykk.

3. Er OmniHuman-1 offentlig tilgjengelig?

For tiden har ByteDance ikke utgitt OmniHuman-1 for offentlig bruk.

4. Hva er de etiske risikoene forbundet med OmniHuman-1?

Modellen kan brukes til desinformasjon, deepfake-svindel og ikke-samtykkende AI-generert innhold, gjør digital sikkerhet en nøkkelbekymring.

5. Hvordan kan AI-genererte videoer oppdages?

Teknologiselskaper og forskere utvikler vannmerkingverktøy og forensisk analysemetoder for å hjelpe å skille AI-genererte videoer fra ekte opptak.