Gjenoppretting av over-komprimerte sosiale medievideoer med maskinlæring

Ny forskning fra Kina tilbyr en effektiv og ny metode for å gjenopprette detaljer og oppløsning til brukergenererte videoer som er automatisk komprimert på plattformer som WeChat og YouTube for å spare båndbredde og lagringsplass.

Sammenligning av den nye metoden med tidligere tilnærminger, i terms of its ability to accurately re-resolve detail jettisoned during social media platform’s automatic optimization. Source: https://arxiv.org/pdf/2208.08597.pdf

I motsetning til tidligere metoder som kan upscale og upsample videoer basert på generisk treningdata, tar den nye tilnærmingen i stedet ut en degradation feature map (DFM) for hver ramme av den komprimerte videoen – effektivt en oversikt over de mest skadde eller forverrede områdene i rammen som har resultert fra komprimering.

Fra den nye papirens ablasjonsstudier: andre fra høyre, den sanne grunnheten for en ‘ren’ degradation feature map (DFM); tredje fra høyre, en estimasjon av skaden uten å bruke DFM. Venstre, en mye mer nøyaktig kart over skaden med DFM.

Gjenopprettingsprosessen, som utnytter konvolusjonsneurale nettverk (CNN), blant andre teknologier, er guidet og fokusert av informasjonen i DFM, og tillater den nye metoden å overgå ytelsen og nøyaktigheten til tidligere tilnærminger.

Gruntanken for prosessen ble oppnådd av forskerne ved å laste opp høykvalitetsvideo til fire populære delingsplattformer, laste ned de komprimerte resultater, og utvikle en datavisjonspipeline som kan abstrakt lære komprimeringsartefakter og detaljtap, så den kan brukes på en rekke plattformer for å gjenopprette videoene til en nær-opprinnelig kvalitet, basert på helt motsatt data.

Eksempler fra forskernes nye UVSSM-dataset.

Materialet som er brukt i forskningen, er samlet i en HQ/LQ-dataset med tittelen Bruker-videoer delt på sosiale medier (UVSSM), og er gjort tilgjengelig for nedlasting (passord: rsqw) på Baidu, for å fremme fremtidige forskningsprosjekter som søker å utvikle nye metoder for å gjenopprette plattform-komprimert video.

En sammenligning mellom to ekvivalente HQ/LQ-eksempler fra den nedlastbare UVSSM-datasetten (se lenker over for kilde-URLer). Da selv dette eksemplet kan være underlagt flere runder med komprimering (bildeapplikasjon, CMS, CDN osv.), vennligst se den opprinnelige kildekoden for en mer nøyaktig sammenligning.

Koden for systemet, som er kjent som Video-gjenoppretting gjennom adaptiv degraderingssensing (VOTES), er også gitt ut på GitHub, selv om implementeringen innebærer en rekke pull-baserte avhengigheter.

Den papiret har tittelen Gjenoppretting av bruker-videoer delt på sosiale medier, og kommer fra tre forskere ved Shenzhen Universitet, og en fra avdelingen for elektronikk og informasjonsteknologi ved Hong Kong Polytechnic University.

Fra artefakter til fakta

Evnen til å gjenopprette kvaliteten på web-skrapede videoer uten den generiske, noen ganger ekstreme ‘hallusinasjon’ av detaljer som programvare som Gigapixel (og de fleste populære åpne kildekodene av lignende omfang) kan ha, kunne ha implikasjoner for datavisjonsforskningssammenhengen.

Forskning i video-basert CV-teknologi avhenger ofte av filmopptak fra plattformer som YouTube og Twitter, hvor komprimeringsmetodene og codecene som brukes, er nøye vernet, og kan ikke lett avledes basert på artifact-mønster eller andre visuelle indikatorer, og kan endre periodisk.

De fleste prosjektene som utnytter web-funnet video, forsker ikke komprimering, og må gjøre innringer for den tilgjengelige kvaliteten på komprimert video som plattformene tilbyr, ettersom de ikke har tilgang til de opprinnelige høykvalitetsversjonene som brukerne lastet opp.

Derfor kunne evnen til å trofast gjenopprette høyere kvalitet og oppløsning til slike videoer, uten å innføre nedstrøms påvirkning fra uavhengige datavisjonsdatasett, kunne hjelpe å unngå de hyppige arbeidsomgåelser og tilpasninger som CV-prosjektene må gjøre for de degraderte video-kildene.

Selv om plattformer som YouTube noen ganger kunngjør store endringer i måten de komprimerer brukernes videoer (slik som VP9), avslører ingen av dem eksplisitt hele prosessen eller de eksakte codecene og innstillingene som brukes til å slimme ned de høykvalitetsfilene som brukerne laster opp.

Å oppnå forbedret kvalitet fra brukeropplastinger har derfor blitt en slags druidisk kunst i de siste ti årene, med ulike (hovedsakelig uconfirmerte) ‘arbeidsomgåelser’ som kommer og går av mote.

Metode

Tidligere tilnærminger til dyp-læring-basert video-gjenoppretting har involvert generisk funksjonseksrakjon, enten som en tilnærmning til enkelt-ramme-gjenoppretting eller i en multi-ramme-arkitektur som utnytter optisk flyt (dvs. at den tar hensyn til nærliggende og senere rammene når den gjenoppretter en gjeldende ramme).

Alle disse tilnærminger har måttet kjempe mot ‘black box’-effekten – det faktum at de ikke kan undersøke komprimeringseffekter i kjerne-teknologiene, fordi det ikke er sikkert hva kjerne-teknologiene er, eller hvordan de var konfigurert for en bestemt bruker-opplastet video.

VOTES, i stedet, søker å trekke ut betydningsfulle funksjoner direkte fra den opprinnelige og komprimerte videoen, og bestemme omformingmønster som vil generalisere til standardene for en rekke plattformer.

Forenklet konseptuell arkitektur for VOTES.

VOTES bruker en spesialutviklet degraderingssensormodul (DSM, se bilde over) for å trekke ut funksjoner i konvolusjonsblokker. Flere rammene sendes deretter til en funksjonseksraksjons- og justeringsmodul (FEAM), med disse deretter sendes til en degraderingsmoduleringsmodul (DMM). Til slutt utsteder gjenopprettingsmodulen den gjenopprettede videoen.

Data og eksperimenter

I det nye arbeidet, har forskerne konsentrert sine anstrengelser om å gjenopprette videoer lastet opp til og nedlastet fra WeChat-plattformen, men var bekymret for å sikre at den resulterende algoritmen kunne tilpasses til andre plattformer.

Det viste seg at når de hadde fått en effektiv gjenopprettingsmodell for WeChat-videoer, var det bare 90 sekunder for en enkelt epoch for hver tilpasset modell for hver plattform (på en maskin som kjører 4 NVIDIA Tesla P40 GPUs med totalt 96GB VRAM).

Tilpassing av den vellykkede WeChat-modellen til andre video-delingsplattformer viste seg å være ganske trivial. Her ser vi VOTES oppnå nesten umiddelbar likhet i ytelse over de ulike plattformene, ved hjelp av forfatternes eget UVSSM-dataset og REDS-dataset (se under).

For å fylle UVSSM-datasettet, samlet forskerne 264 videoer som varierte mellom 5-30 sekunder, hver med en 30fps-rammefrekvens, hentet enten direkte fra mobiltelefonkameraer eller fra internettet. Videoene var alle enten 1920 x 1080 eller 1280 x 270-oppløsning.

Innholdet (se tidligere bilde) inkluderte byutsikter, landskaper, mennesker og dyr, blant en rekke andre emner, og er brukbare i det offentlige datasettet via Creative Commons Attribution-lisens, som tillater gjenbruk.

Forskerne lastet opp 214 videoer til WeChat ved hjelp av fem forskjellige merker av mobiltelefoner, og fikk WeChats standard video-oppløsning på 960×540 (med mindre kildevideoen allerede er mindre enn disse dimensjonene), blant de mest ‘straffende’ konverteringene over populære plattformer.

Øverst til venstre, den opprinnelige HQ-rammen med tre forstørrede seksjoner; øverst til høyre, samme ramme fra en plattform-degradert komprimert versjon av samme video; nederst til venstre, den beregnede degraderingen av den komprimerte rammene; og nederst til høyre, den påfølgende ‘arbeidsområdet’ for VOTES å fokusere sin oppmerksomhet på. Selvfølgelig er størrelsen på den lavkvalitetsbildet halvparten av HQ-en, men er blitt større her for å sammenligne.

For de senere sammenligningene mot konverteringsrutinene til andre plattformer, lastet forskerne opp 50 videoer ikke inkludert i de opprinnelige 214 til Bilibili, YouTube og Twitter. Videoenes opprinnelige oppløsning var 1280×270, med nedlastede versjoner som stod på 640×360.

Dette bringer UVSSM-datasettet til en total på 364 par av opprinnelige (HQ) og delt (LQ) videoer, med 214 til WeChat, og 50 hver til Bilibili, YouTube og Twitter.

For eksperimentene ble 10 tilfeldige videoer valgt som testsettet, fire som valideringsettet, og resten av de 200 som det grunnleggende treningssettet. Eksperimentene ble utført fem ganger med K-fold-korsvalidering, med resultater gjennomsnittlig over disse instansene.

I tester for video-gjenoppretting, ble VOTES sammenlignet med Spatio-Temporal Deformable Fusion (STDF). For oppløsningsforbedring, ble det testet mot Enhanced Deformable konvolusjoner (EDVR), RSDN, Video Super-resolution med Temporal Group Attention (VSR_TGA), og BasicVSR. Googles enkel-trinns metode COMISR var også inkludert, selv om det ikke passer arkitekturtypen til de tidligere arbeidene.

Metodene ble testet mot både UVSS og REDS-datasettet, med VOTES som oppnådde de høyeste poengene:

Forfatterne hevder at de kvalitative resultater også indikerer overlegenheten til VOTES mot de tidligere systemene:

Video-rammer fra REDS gjenopprettet av konkurranse-tilnærminger. Indikativ oppløsning kun – se papiret for definitiv oppløsning.

Først publisert 19. august 2022.