Neues KI-gestütztes Tool ermöglicht die Videobearbeitung aus thematischen Textdokumenten

Ein Team von Informatikforschern der Tsinghua- und Beihand-Universität in China, des IDC Herzilya in Israel und der Harvard-Universität hat dies kürzlich getan ein Werkzeug erstellt das bearbeitete Videos basierend auf einer Textbeschreibung und einem Repository mit Videoclips generiert.

Täglich werden riesige Mengen an Videomaterial von professionellen Videofilmern, Hobbyisten und normalen Menschen aufgenommen. Doch die Umwandlung dieses Videos in eine sinnvolle Präsentation ist immer noch eine kostspielige Zeitinvestition und erfordert häufig den Einsatz komplexer Bearbeitungswerkzeuge, mit denen Rohmaterial manipuliert werden kann. Das internationale Forscherteam hat kürzlich ein Tool entwickelt, das thematische Textbeschreibungen aufnimmt und darauf basierend Videos generiert. Das Tool ist in der Lage, Videoclips in einem Repository zu untersuchen und die Clips auszuwählen, die dem Eingabetext entsprechen, der die Handlung beschreibt. Das Ziel besteht darin, dass das Tool benutzerfreundlich und leistungsstark genug ist, um qualitativ hochwertige Videos zu produzieren, ohne dass umfangreiche Videobearbeitungskenntnisse oder teure Videobearbeitungssoftware erforderlich sind.

Während aktuelle Videobearbeitungsplattformen Kenntnisse über Videobearbeitungstechniken erfordern, können unerfahrene Videokünstler mit dem von den Forschern entwickelten Tool Kompositionen erstellen, die Geschichten auf natürlichere und intuitivere Weise erzählen. „Write-A-Video“, wie es von seinen Erstellern genannt wird, ermöglicht es Benutzern, Videos zu bearbeiten, indem sie einfach den Text bearbeiten, der dem Video beiliegt. Wenn ein Benutzer Text löscht, Text hinzufügt oder Sätze verschiebt, werden diese Änderungen im Video widergespiegelt. Entsprechende Aufnahmen werden ausgeschnitten oder hinzugefügt, während der Benutzer den Text manipuliert, und das resultierende Video wird auf die Beschreibung des Benutzers zugeschnitten.

Ariel Shamir, Dekan der Efi Arazi School of Computer Science am IDC Herzliya, erklärte, dass das Write-A-Video-Tool es dem Benutzer ermöglicht, mit dem Video hauptsächlich über Text zu interagieren und dabei natürliche Sprachverarbeitungstechniken zu verwenden, um Videoaufnahmen basierend auf der bereitgestellten Semantik abzugleichen Bedeutung. Anschließend wird ein Optimierungsalgorithmus verwendet, um das Video durch Schneiden und Austauschen von Aufnahmen zusammenzusetzen. Das Tool ermöglicht es Benutzern auch, mit verschiedenen visuellen Stilen zu experimentieren und die Darstellung von Szenen durch die Verwendung spezifischer Filmsprachen zu optimieren, die die Handlung beschleunigen oder verlangsamen oder mehr/weniger Schnitte machen.

Das Programm wählt mögliche Aufnahmen nach ihrem ästhetischen Reiz aus. Das Programm berücksichtigt, wie Aufnahmen gerahmt, fokussiert und beleuchtet werden, um den ästhetischen Reiz zu bestimmen. Das Tool wählt Aufnahmen aus, die besser fokussiert sind, statt verschwommen oder instabil zu sein, und priorisiert außerdem Aufnahmen, die gut ausgeleuchtet sind. Laut den Machern von Write-A-Video kann der Benutzer das generierte Video jederzeit rendern und eine Vorschau mit einem Voice-Over-Kommentar anzeigen, der den Text beschreibt, der zur Auswahl der Clips verwendet wird.

Nach Angaben des Forschungsteams zeigte ihr Experiment, dass digitale Techniken, die Aspekte des maschinellen Sehens und der Verarbeitung natürlicher Sprache kombinieren, Benutzer bei kreativen Prozessen wie der Bearbeitung von Videos unterstützen können.

„Unsere Arbeit zeigt das Potenzial des automatischen visuell-semantischen Abgleichs in der idiombasierten Computerbearbeitung und bietet eine intelligente Möglichkeit, die Videoerstellung für Laien zugänglicher zu machen.“ erklärte Shamir gegenüber TechXplore.

Die Forscher testeten ihr Tool an verschiedenen Video-Repositories in Kombination mit thematischen Textdokumenten. Zur Interpretation der Ergebnisse des Experiments wurden Benutzerstudien und quantitative Auswertungen durchgeführt. Die Ergebnisse der Benutzerstudien ergaben, dass Laien mit dem Tool teilweise schneller bearbeitete Videos in hoher Qualität erstellen konnten als Profis, die Frame-basierte Bearbeitungssoftware verwenden. Wie TechXplore berichtet, wird das Team seine Arbeit in wenigen Tagen auf der ACM präsentieren SIGGRAPH Asia Konferenz in Australien statt. Auch andere Unternehmen nutzen KI, um die Videobearbeitung zu verbessern. Adobe hat auch an i gearbeitetEs gibt eigene KI-gestützte Erweiterungen für Premiere Pro, seine Bearbeitungsplattform. Mit dem Tool können Benutzer sicherstellen, dass durch Änderungen des Seitenverhältnisses keine wichtigen Videoteile ausgeschnitten werden.