Nytt AI-drivet verktyg möjliggör videoredigering från tematiska textdokument

Ett team av datavetenskapsforskare från Tsinghua och Beihand University i Kina, IDC Herzilya i Israel och Harvard University har nyligen skapat ett verktyg som genererar redigerade videor baserat på en textbeskrivning och en samling videoklipp.

Stora mängder videofilm spelas in varje dag av professionella videografier, hobbyister och vanliga människor. Men att redigera ner denna video till en presentation som har mening är fortfarande en tidskrävande och kostsam investering, som ofta kräver användning av komplexa redigeringsverktyg som kan manipulera råfilm. Det internationella forskarteamet har nyligen utvecklat ett verktyg som tar tematiska textbeskrivningar och genererar videor baserat på dem. Verktyget kan undersöka videoklipp i en samling och välja ut de klipp som motsvarar den inmatade texten som beskriver handlingen. Målet är att verktyget ska vara användarvänligt och kraftfullt nog att producera kvalitetsvideor utan att kräva omfattande videoredigeringsfärdigheter eller dyra videoredigeringsprogram.

Medan nuvarande videoredigeringsplattformar kräver kunskap om videoredigeringsmetoder, låter verktyget som forskarna skapat nybörjare skapa kompositioner som berättar historier på ett mer naturligt och intuitivt sätt. “Write-A-Video”, som det kallas av dess skapare, låter användare redigera videor genom att bara redigera den text som åtföljer videon. Om en användare tar bort text, lägger till text eller flyttar meningar, kommer dessa ändringar att återspeglas i videon. Motsvarande tagningar kommer att klippas eller läggas till när användaren manipulerar texten och den resulterande videon anpassas till användarens beskrivning.

Ariel Shamir, dekanus för Efi Arazi School of Computer Science vid IDC Herzliya, förklarade att Write-A-Video-verktyget låter användaren interagera med videon främst genom text, med hjälp av naturlig språkbehandlingsteknik för att matcha videotagningar baserat på den tillhandahållna semantiska betydelsen. En optimeringsalgoritm används sedan för att montera videon genom att klippa och byta ut tagningar. Verktyget låter användare också experimentera med olika visuella stilar, genom att justera hur scener presenteras med hjälp av specifika filmidiom som kan påskynda eller sakta ner handlingen, eller göra fler eller färre klipp.

Programmet väljer ut möjliga tagningar baserat på deras estetiska tilltal. Programmet överväger hur tagningar är ramade, fokuserade och belysta för att bestämma det estetiska tilltalet. Verktyget kommer att välja tagningar som är bättre fokuserade, snarare än suddiga eller ostadiga, och det kommer också att prioritera tagningar som är väl belysta. Enligt skaparna av Write-A-Video kan användaren återge den genererade videon vid vilken tidpunkt som helst och förhandsgranska den med en röst som beskriver den text som användes för att välja klippen.

Enligt forskarteamet visade deras experiment att digitala tekniker som kombinerar aspekter av datorseende och naturlig språkbehandling kan hjälpa användare i kreativa processer som videoredigering.

“Vårt arbete visar potentialen för automatisk visuell-semantisk matchning i idiom-baserad beräkningsredigering, vilket erbjuder en intelligent metod för att göra videokreation mer tillgänglig för icke-professionella”, förklarade Shamir till TechXplore.

Forskarna testade sitt verktyg på olika videobibliotek i kombination med tematiska textdokument. Användarstudier och kvantitativ utvärdering utfördes för att tolka resultaten av experimentet. Resultaten av användarstudierna visade att icke-professionella ibland kunde producera högkvalitativa redigerade videor med hjälp av verktyget snabbare än professionella med hjälp av ram-baserad redigeringsprogramvara kunde. Som rapporterats av TechXplore kommer teamet att presentera sitt arbete om några dagar på ACM SIGGRAPH Asia-konferensen som hålls i Australien. Andra enheter använder också AI för att förbättra videoredigering. Adobe (ADBE ) har också arbetat på sina egna AI-drivna tillägg för Premiere Pro, sitt redigeringsprogram. Verktyget hjälper människor att säkerställa att ändringar i bildförhållande inte klipper bort viktiga delar av videon.