Yeni AI Güçlü Araç Metin Belgelerinden Video Düzenleme Yapmaya İzin Verir

Çin’deki Tsinghua ve Beihand Üniversitesi’nden, İsrail’deki IDC Herzilya’dan ve Harvard Üniversitesi’nden bilgisayar bilimcisi araştırmacılar recently bir araç geliştirdiler. Bu araç, metin açıklamasına ve video klipleri deposuna dayanarak düzenlenmiş videolar oluşturur.

Her gün profesyonel videografçılar, hobi olarak videograf yapanlar ve sıradan insanlar tarafından çok miktarda video kaydediliyor. Ancak bu videoları anlamlı bir sunuma dönüştürmek için hala zaman alan ve genellikle ham görüntüleri manipüle edebilen karmaşık düzenleme araçlarını kullanmayı gerektiren pahalı bir zaman yatırımı gerekiyor. Araştırmacılar recently geliştirdikleri araç, temalı metin açıklamalarını alıp bu açıklamalara dayalı videolar oluşturabiliyor. Araç, video klipleri deposunda ilgili açıklamaları bulup seçebiliyor. Hedef, aracın kullanıcı dostu ve kaliteli videolar üretebilecek kadar güçlü olması, böylece kullanıcıların geniş video düzenleme becerilerine veya pahalı video düzenleme yazılımlarına ihtiyaç duymaması.

Şu anda kullanılan video düzenleme platformları, video düzenleme teknikleri bilgisini gerektirirken, araştırmacıların geliştirdiği araç, yeni başlayan videografçıların daha doğal ve sezgisel bir şekilde hikayeler anlatan kompozisyonlar oluşturmasına izin veriyor. “Write-A-Video” olarak adlandırılan araç, kullanıcıların videoları metinle düzenleyerek oluşturmasına olanak tanır. Kullanıcı metni sildiğinde, metne eklediğinde veya cümleleri yer değiştirdiğinde, bu değişiklikler videoda yansır. İlgili kareler kesilir veya eklenir ve kullanıcı metnini değiştirdikçe, son videoda kullanıcı açıklamasına göre uyarlanır.

IDC Herzliya’daki Efi Arazi Bilgisayar Bilimi Okulu Dekanı Ariel Shamir, Write-A-Video aracının kullanıcıların principalmente metin aracılığıyla videolarla etkileşime girmesine izin verdiğini, doğal dil işleme tekniklerini kullanarak video karelerini sağlanan anlamsal anlam temelinde eşleştirdiğini açıkladı. Ardından, videonun montajını yapmak için bir optimizasyon algoritması kullanılır. Araç, kullanıcıların farklı görsel stillerle de deney yapmasına olanak tanır, sahnelerin sunumunu belirli film ifadelerini kullanarak hızlandırarak veya yavaşlatarak veya daha fazla/daha az kesme yaparak değiştirebilir.

Program, karelerin estetik çekiciliğine göre olası kareleri seçer. Karelerin nasıl çerçevelendiğini, odaklandığını ve aydınlatıldığını dikkate alır ve estetik çekiciliği belirlemek için bu faktörleri değerlendirir. Aracın, net ve odaklanmış kareleri seçtiği, bulanık veya dengesiz kareleri seçmediği ve iyi aydınlatılmış kareleri öncelik verdiği belirtiliyor. Write-A-Video’nun yaratıcılarına göre, kullanıcı, oluşturulan videoyu her aşamada render edebilir ve metni seçilen klipleri tanımlayan sesli anlatımla önizleyebilir.

Araştırma ekibine göre, deneyleri, bilgisayar görme ve doğal dil işleme yönünden birleştirilen dijital tekniklerin, video düzenleme gibi yaratıcı süreçlerde kullanıcıları destekleyebileceğini gösterdi.

“Çalışmamız, idiom tabanlı hesaplama düzenlemede otomatik görsel-anlamsal eşleştirmenin potansiyelini gösteriyor ve video oluşturmayı profesyoneller dışındaki kişiler için daha erişilebilir hale getirmek için akıllı bir yol sunuyor” diye Shamir, TechXplore’a açıkladı.

Araştırmacılar, aracını farklı video depolarıyla birleştirilmiş temalı metin belgeleriyle test etti. Kullanıcı çalışmaları ve nicel değerlendirme, deney sonuçlarını yorumlamak için gerçekleştirildi. Kullanıcı çalışmalarının sonuçları, profesyonellerin çerçeve tabanlı düzenleme yazılımlarını kullandıklarından daha hızlı kaliteli düzenlenmiş videolar üretebileceklerini gösterdi. TechXplore’un bildirdiğine göre, ekip birkaç gün içinde Avustralya’da düzenlenen ACM SIGGRAPH Asia konferansında çalışmalarını sunacak. Diğer kurumlar da video düzenleme sürecini geliştirmek için AI’yi kullanıyor. Adobe (ADBE ) de, düzenleme platformu Premiere Pro için kendi AI destekli uzantıları üzerinde çalışıyor. Araç, videodaki önemli parçaların kesilmemesini sağlamak için görüntü oranındaki değişikliklere yardımcı oluyor.