Neues AI-gestütztes Tool ermöglicht Video-Bearbeitung aus thematischen Textdokumenten

Ein Team von Informatikforschern der Tsinghua- und Beihand-Universität in China, der IDC Herzilya in Israel und der Harvard-Universität hat kürzlich ein Tool entwickelt, das bearbeitete Videos auf der Grundlage einer Textbeschreibung und einer Sammlung von Videoclips generiert.

Massive Mengen an Videoaufnahmen werden jeden Tag von professionellen Videografen, Hobbyfilmer und normalen Menschen aufgenommen. Doch die Bearbeitung dieser Videos in eine präsentable Form ist immer noch ein teurer Zeitinvestition, der oft die Verwendung komplexer Bearbeitungstools erfordert, die rohe Aufnahmen manipulieren können. Das internationale Forscherteam hat kürzlich ein Tool entwickelt, das thematische Textbeschreibungen nimmt und Videos darauf basierend generiert. Das Tool kann Videoclips in einer Sammlung untersuchen und die Clips auswählen, die der Eingabetext beschreibt. Das Ziel ist, dass das Tool benutzerfreundlich und leistungsstark genug ist, um qualitativ hochwertige Videos ohne umfangreiche Videobearbeitungsfähigkeiten oder teure Videobearbeitungssoftware zu produzieren.

Während aktuelle Videobearbeitungsplattformen Kenntnisse von Videobearbeitungstechniken erfordern, ermöglicht das von den Forschern entwickelte Tool es Anfängern, Kompositionen zu erstellen, die Geschichten auf natürliche und intuitive Weise erzählen. “Write-A-Video”, wie es von seinen Erfindern genannt wird, ermöglicht es Benutzern, Videos zu bearbeiten, indem sie einfach den Text bearbeiten, der dem Video beigefügt ist. Wenn ein Benutzer Text löscht, Text hinzufügt oder Sätze umstellt, werden diese Änderungen im Video widergespiegelt. Entsprechende Szenen werden geschnitten oder hinzugefügt, wenn der Benutzer den Text bearbeitet, und das endgültige Video wird an die Beschreibung des Benutzers angepasst.

Ariel Shamir, der Dekan der Efi-Arazi-Schule für Informatik an der IDC Herzliya, erklärte, dass das Write-A-Video-Tool es dem Benutzer ermöglicht, hauptsächlich durch Text zu interagieren, indem es Techniken der natürlichen Sprachverarbeitung verwendet, um Videoclips basierend auf der bereitgestellten semantischen Bedeutung zu finden. Ein Optimierungsalgorithmus wird dann verwendet, um das Video zu montieren, indem es Szenen schneidet und austauscht. Das Tool ermöglicht es Benutzern auch, mit verschiedenen visuellen Stilen zu experimentieren, indem sie die Präsentation von Szenen anpassen, indem sie bestimmte Film-Idiome verwenden, die die Aktion beschleunigen oder verlangsamen oder mehr oder weniger Schnitte vornehmen.

Das Programm wählt mögliche Szenen basierend auf ihrem ästhetischen Reiz aus. Das Programm berücksichtigt, wie Szenen gerahmt, fokussiert und beleuchtet sind, um den ästhetischen Reiz zu bestimmen. Das Tool wählt Szenen aus, die besser fokussiert sind, anstelle von unscharfen oder instabilen, und es priorisiert auch Szenen, die gut beleuchtet sind. Laut den Erfindern von Write-A-Video kann der Benutzer das generierte Video jederzeit rendern und mit einer Voice-over-Erklärung vorschauen, die den Text beschreibt, der zum Auswählen der Clips verwendet wurde.

Laut dem Forscherteam hat ihr Experiment gezeigt, dass digitale Techniken, die Aspekte der Computer-Vision und der natürlichen Sprachverarbeitung kombinieren, Benutzern bei kreativen Prozessen wie der Bearbeitung von Videos helfen können.

“Unsere Arbeit zeigt das Potenzial der automatischen visuell-semantischen Zuordnung in idiom-basierten computergestützten Editierverfahren, indem sie eine intelligente Möglichkeit bietet, die Videoerstellung für Nicht-Profis zugänglicher zu machen”, erklärte Shamir gegenüber TechXplore.

Die Forscher testeten ihr Tool mit verschiedenen Video-Sammlungen und thematischen Textdokumenten. Benutzerstudien und quantitative Bewertungen wurden durchgeführt, um die Ergebnisse des Experiments zu interpretieren. Die Ergebnisse der Benutzerstudien zeigten, dass Nicht-Profis manchmal hochwertige bearbeitete Videos mit dem Tool schneller produzieren konnten als Profis mit frame-basierten Bearbeitungssoftware. Wie von TechXplore berichtet, wird das Team seine Arbeit in Kürze auf der ACM SIGGRAPH Asia-Konferenz in Australien vorstellen. Andere Entitäten verwenden auch künstliche Intelligenz, um die Videobearbeitung zu unterstützen. Adobe (ADBE ) arbeitet auch an eigenen künstlich intelligente Erweiterungen für Premiere Pro, seiner Bearbeitungsplattform. Das Tool hilft Menschen, sicherzustellen, dass Änderungen des Seitenverhältnisses nicht wichtige Teile des Videos ausschneiden.