Nytt AI-drivet verktyg möjliggör videoredigering från tematiska textdokument

Ett team av datavetenskapsforskare från Tsinghua och Beihand University i Kina, IDC Herzilya i Israel och Harvard University har nyligen skapat ett verktyg som genererar redigerade videor baserat på en textbeskrivning och en samling videoklipp. Stora mängder videomaterial spelas in varje dag av professionella videografiska, hobbyister och vanliga människor. Men att redigera detta videomaterial till en presentation som har mening är fortfarande en tidskrävande och kostsam investering, som ofta kräver användning av komplexa redigeringsverktyg som kan manipulera rått videomaterial. Det internationella forskarteamet har nyligen utvecklat ett verktyg som tar tematiska textbeskrivningar och genererar videor baserat på dem. Verktyget kan undersöka videoklipp i en samling och välja ut klippen som motsvarar den ingående texten som beskriver handlingen. Målet är att verktyget ska vara användarvänligt och kraftfullt nog att producera kvalitetsvideor utan behov av omfattande videoredigeringsfärdigheter eller dyra videoredigeringsprogram. Medan nuvarande videoredigeringsplattformar kräver kunskap om videoredigeringsmetoder, låter verktyget som skapats av forskarna nybörjare skapa kompositioner som berättar historier på ett mer naturligt och intuitivt sätt. “Write-A-Video”, som det kallas av dess skapare, låter användare redigera videor genom att bara redigera den text som åtföljer videon. Om en användare tar bort text, lägger till text eller flyttar meningar, kommer dessa ändringar att återspeglas i videon. Motsvarande tagningar kommer att klippas eller läggas till när användaren manipulerar texten och den resulterande videon anpassas till användarens beskrivning. Ariel Shamir, dekanus för Efi Arazi School of Computer Science vid IDC Herzliya, förklarade att Write-A-Video-verktyget låter användaren interagera med videon främst genom text, med hjälp av naturlig språkbehandlingsteknik för att matcha videotagningar baserat på den tillhandahållna semantiska betydelsen. En optimeringsalgoritm används sedan för att montera videon genom att klippa och byta ut tagningar. Verktyget låter användare också experimentera med olika visuella stilar, genom att justera hur scener presenteras med hjälp av specifika filmidiom som kan påskynda eller sakta ner handlingen, eller göra fler eller färre klipp. Programmet väljer möjliga tagningar baserat på deras estetiska tilltal. Programmet överväger hur tagningar är ramade, fokuserade och belysta för att bestämma det estetiska tilltalet. Verktyget kommer att välja tagningar som är bättre fokuserade, istället för suddiga eller ostadiga, och det kommer också att prioritera tagningar som är väl belysta. Enligt skaparna av Write-A-Video kan användaren återge den genererade videon vid vilken tidpunkt som helst och förhandsgranska den med en röstberättelse som beskriver den text som användes för att välja klippen. Enligt forskarteamet visade deras experiment att digitala tekniker som kombinerar aspekter av datorseende och naturlig språkbehandling kan hjälpa användare i kreativa processer som videoredigering. “Vårt arbete visar potentialen för automatisk visuell-semantisk matchning i idiom-baserad beräkningsredigering, som erbjuder en intelligent metod för att göra videokapning mer tillgänglig för icke-proffs”, förklarade Shamir till TechXplore. Forskarna testade sitt verktyg på olika videorepositorier kombinerade med tematiska textdokument. Användarstudier och kvantitativ utvärdering utfördes för att tolka resultaten av experimentet. Resultaten av användarstudierna fann att icke-proffs ibland kunde producera högkvalitativa redigerade videor med hjälp av verktyget snabbare än proffs som använder ram-baserad redigeringsprogramvara kunde. Som rapporterats av TechXplore, kommer teamet att presentera sitt arbete om några dagar på ACM SIGGRAPH Asia-konferensen i Australien. Andra enheter använder också AI för att förbättra videoredigering. Adobe har också arbetat på sina egna AI-drivna tillägg för Premiere Pro, sin redigeringsplattform. Verktyget hjälper människor att säkerställa att ändringar i bildförhållande inte skär av viktiga delar av videon.