Yapay Zeka Kitapları İzlemekten Çok Okumayı Tercih Ediyor

Yapay zeka modellerinin gerçek video içeriğini izleyip yorumlaması şaşırılacak kadar zor. Yazılı kelimelere daha çok ilgi gösteriyorlar.

Eğer ChatGPT veya benzer bir popüler vizyon/dil modeline küçük bir video klip yüklemeye çalıştıysanız, bunların aslında videoyu解析 edemediklerini fark etmiş olabilirsiniz. ChatGPT-4o+ gibi modeller, bireysel çerçeveleri – JPEG ve PNG gibi resimler olarak – analiz edebilse de, kullanıcının kendi çerçevelerini çıkarmasını ve bunları resim olarak yüklemesini tercih ederler.

OpenAI GPT serisinde, bir video klibin tüm çerçevelerini çıkarmak ve bunları ChatGPT’ye yüklemek mümkündür. Örneğin, yapay zeka tarafından oluşturulmuş bir anlatı izi oluşturmak için:

OpenAI tutorialundan alınan resim ve kod, video klibin birden fazla çıkarılan çerçevesini işleyen ve yapay zeka tarafından oluşturulmuş bir yorum oluşturmak için.

Kullanıcı, videoyu çerçevelere dönüştürmekle sorumludur, ya daha büyük bir rutinde fonksiyonları çağırarak ya da FFMPEG veya çeşitli ücretsiz ve ücretli video düzenleme çözümleri kullanarak.

Video analizi sınırlamaları, büyük ölçekli ürünlerde, örneğin ChatGPT’de, büyük ölçüde kaynak kullanımı ile ilgilidir: Bir yapay zeka örneğini en popüler video kodekleri ile donatmak ve çıkarma ve işleme sürecine gereken kaynakları tahsis etmek, milyonlarca kullanıcının bu işlevleri her gün kullanmaya başlaması durumunda küçük bir sorun değildir.

Ek olarak, zamansal analiz, tek bir çerçeveden çok farklı bir resim çizebilir (örneğin, biri mutluluk içinde bir eve girerken ve sonra bir ceset keşfederken); bu nedenle, kısa bir video klibin bile tüm zamansal “imzasını” dikkate almak, kaynak yoğun bir görevdir ve ayrıca araştırma literatürünün özel bir alanıdır, örneğin Optical Flow gibi çerçevelerin geliştirilmesiyle – bu, esasen videoyu statik bir belge gibi ele alınabilmesi için “açar”.

Optical akış diyagramları, video dizisi içindeki çerçeveler arasındaki hareketin nasıl izlendiğini gösterir, yeşil vektörler hareket yönünü ve yoğunluğunu gösterir. Bu eşlemeler, VLM’ler için gerekli zamansal sürekliliği sağlar ve ayrıca VFX iş akışlarında yapısal rehberler olarak hizmet edebilir.

Cliff’in Notlarına İhtiyacımız Var

Bununla birlikte, Google’ ın Notebook LM gibi modeller ve daha yeni ChatGPT girişleri, ilgili meta verilere (yani, videoyu某 şekilde bağlamlandıran gömülü metin içeriği) erişebildikleri için, video dosyası yüklemelerini yasaklamazlar ve bazen bu verileri yorumlamaya çalışırlar.

Bu durumda, NotebookLM’ye, içinde hiçbir yararlı metin içermeyen 6 saniyelik bir video klip yükledim.

NotebookLM, video ile ilgili olmayan ve saçma bir beş dakikalık yüz yüze podcast ile birlikte ayrıntılı bir şekilde hayal kurmaya devam etti:

İtalyan bir filmdeki altı saniyelik bir klibin NotebookLM tarafından nasıl yanlış yorumlandığı.

Notbook, ChatGPT gibi, YouTube videosunu girdi olarak kabul edecektir, ancak yalnızca video, yorumlanabilir bir metin katmanı veya altyazı içeriyorsa (videoya işlenen altyazılar değil).

Bu şekilde, video içeriğini gerçekten görmek ve anlamak ve semantik yorumunu gerçekleştirmek için yapılan zorlu iş, kullanıcı yükleme sonrasında, kaynaklar tahsis edilebildiğinde ve gerektiğinde gerçekleştirilir.

Gerçek video yorumu pahalıdır ve yorucudur ve bu, video yorumunu gerçekleştirmek için özel olarak eğitilmiş modeller bile dahil olmak üzere, modellerin videoyu gerçekten görmekten çok metni okumayı tercih ettiğini gösterir.

TL;DW

Bu, İngiltere’nin Bristol Üniversitesi’nden yeni bir makale tarafından doğrulanmaktadır. Makale, “Bir Video Bin Kelimeye Değmez” başlığını taşır ve yazarlar, mevcut durumun en iyi yapay zeka vizyon dil modellerinin (VLM’ler), videoyu daha çaba gerektiren bir şekilde analiz edebilen ve video soru cevaplaması (VQA) gibi görevlerde yer alabilen modellerin, metin tabanlı bilgilere her zaman öncelik verdiğini belirtirler.

Hareketli resimler ve yazılı sorular ve çoklu seçim cevapları verildiğinde, makale yazarları, modellerin genellikle metindeki kalıplara dayandıklarını, ekran上的 olaylardan daha fazla etkilenmediklerini bulmuşlardır – birçok durumda, soru tamamen kaldırıldığında bile aynı performansı gösterirler.

Bu, kısayol veya hile gibi bir durum gibi görünmektedir; burada önemli olan, modellere cevapların kalıplarını bulabilmeleridir; ancak görevi daha zorlaştırmak için daha fazla cevap seçeneği eklediğinde, AI’ler videoya daha fazla dikkat etmeye başlar.

Yazarlar, çeşitli bağlam uzunluklarına sahip altı VLM modelini, dört uygun veri setinde test etti ve sonuçlar, modellerin video içeriğinden daha çok metne bağlı olduklarını gösterdi.

Bir video analizi modelinin, gördüklerine kıyasla okuduklarına verdiği önemi gösteren bir örnek. Klib, bir kişinin bambu dokumasını gösterir, ancak model, video çerçevelerine kıyasla yazılı soru ve cevap metnine çok daha fazla önem verir. Mavi vurgular, seçilen cevaba destek olan öğeleri gösterirken, kırmızı olanlar bunun tersini gösterir ve modelin nedeninin metinde değil, hareketli resimlerde olmadığını gösterir.

Yöntem

Her girdinin modelin kararına ne kadar katkıda bulunduğunu anlamak için, yeni çalışma, oyun teorisinden bir yöntem kullanır: Shapley Değerleri. Aslen, bir koalisyon içindeki oyuncular arasında bir ödeneği adil bir şekilde bölmek için tasarlanan Shapley Değerleri, her bir “oyuncu”ya bireysel etkisine göre kredi verir.

Bu senaryoda, oyuncular, video çerçeveleri veya VQA görevinin metin bileşenleri (yorumlar, altyazılar, vb.); ve “ödeme”, modelin nihai cevabıdır. Her bir parçasının ne olduğu sistematik olarak test edilerek, her bir unsurun modelin çıktısına ne kadar katkıda bulunduğunu gösterir.

Bu çalışmada, Shapley Değerleri, video ve metin bileşenlerinin ayrı ayrı ele alınabileceği şekilde, çoklu modaliteyi işleyecek şekilde uyarlandı ve modellerin çıkışlarına olan etkileri ölçüldü, böylece video içeriğinin gerçekten yorumlanıp yorumlanmadığı veya metin ipuçlarının kısa yollar olarak kullanıldığı belirlendi.

Metrikler

Modellerin kararlarına her modalitenin (yani video, soru veya cevap) ne kadar katkıda bulunduğunu karşılaştırmak için iki basit ölçüt tanımlanmıştır: Modalite Katkısı, her bir tür girdiden gelen toplam açıklamanın ne kadarının geldiğini ölçer; burada, tüm mevcut Shapley değerleri toplanır ve her modaliteye ait pay, toplamın yüzdesi olarak hesaplanır.

İkincisi, Öznitelik Katkısı, bazı modalitelerin, video gibi, diğerlerinden daha fazla özniteliğe sahip olabileceği gerçeğini düzeltir. Bunun yerine, her özniteliğin ortalama Shapley değeri hesaplanır ve bu ortalamalar, hangi modalitenin etkisinin baskın olduğunu belirlemek için karşılaştırılır.

Veri ve Testler

Yazarlar, yaklaşımı, çeşitli özelliklere sahip altı VLM modelinde test etti. Modeller, farklı bağlam uzunluklarına, yaşlara (yani, çerçevesinin ne zaman yayınlandığına) ve mimari yapılandırmalarına göre seçildi.

Modeller arasında FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (Qwen2’yi kullanır); ve LongVA (ayrıca Qwen2 kullanır) bulunuyordu.

Aynı çeşitlilik amacı ile dört hedef veri seti seçildi: EgoSchema, video ile ilgili tam olarak görülmeyen bir VQA veri seti; HD-EPIC, mutfak odaklı bir veri seti, bazı uzun videolara sahip; MVBench, diğer veri setlerinden katkıların toplandığı bir derleme; ve LVBench, çok uzun videolar için VQA sorguları sunan.

Bunlardan, yazarlar 60 soru oluşturdu – her soru türünden on soru.

Modellerin videoya göre metne daha az güvendiği, özellikle de çerçeveler çerçevesinde açıkça görüldüğü için, katkı ölçümleri netti. Video, genel olarak makul bir gösteri yaptığında bile, her bir çerçevedeki etkisi genellikle minimaldi, bu da modelin videoyu toplu olarak kullandığını, ancak bireysel çerçevelere dikkat etmediğini gösteriyordu. VideoLLaMA3, bu konuda ana istisnaydı, özellikle LVBench’teki daha uzun dizilerde daha ağır bir görsel bağımlılığa sahipti:

Modeller ve veri setleri boyunca video (V), soru (Q) ve cevap (A) girdilerinin göreli ağırlığını gösteren Modality Contribution (MC) ve Per-Feature Contribution (PFC) puanları. Soğuk renkler daha güçlü katkıları, sıcak renkler daha zayıf veya ihmal edilebilir bir etkiye işaret eder. Çoğu ayar için dil açıkça baskındır ve video genellikle kenara itilir – özellikle de çerçeveler arasındaki etkiye bakıldığında.

Metin için, soru genellikle cevapdan daha önemliydi, özellikle daha güçlü modellerde. Bu, EgoSchema gibi veri setlerinde daha belirgindi, burada sorular daha uzun ve daha doğalken, cevaplar kısa ve bazen şematiktir. MVBench bu durumu biraz tersine çevirdi, çünkü ikili cevap yapısı, cevap tokenlerinin görünür önemini şişirdi.

Tüm modeller ve veri setleri boyunca, görme her zaman kenara itildi, dil ise ağır işleri yaptı.

Makale şöyle diyor:

‘Uzun bağlam modelleri için, video katkıları büyük ölçüde azaltılır, bu da her bir çerçevedeki Shapley değerlerinin metin özelliklerine kıyasla çok daha küçük olduğunu gösterir. ‘

‘Video, bir modalite olarak açıkça仍然 çok ilgili, ancak bu, video çerçevelerinin Shapley değerlerinin daha çok sıfıra yakın olduğunu ve modelin bu çerçevelere olan dikkatinin metin için olduğu kadar yönlendirilmediğini gösterir.’

Araştırmacılar, her girdinin (video, metin, vb.) modelin doğruluğuna ne kadar katkıda bulunduğunu test etmek için ek olarak maskleme testleri yaptılar – bir veya daha fazla girdiyi kasıtlı olarak gizleyerek ve modelin doğruluğunun ne kadar değiştiğini görerek.

Eğer bir girdinin kaldırılması performansı önemli ölçüde düşürürse, bu girdi muhtemelen önemlidir; eğer model aynı performansı gösterirse, bu, eksik parçanın çok fazla kullanılmadığını gösterir. Bu sentido, maskleme testleri, bir tür ablasyon çalışmasıdır.

Dört VQA benchmarkindeki video, soru veya cevap girdilerinin maskelenmesinin performansa etkisi. Puanlar, maskelenmemiş temel çizgiden değişimi gösterir. Kırmızı, daha düşük doğruluğu, yeşil daha yüksek doğruluğu gösterir. Modeller genellikle video olmadan yüksek puanları korurken, cevap çıkarıldığında daha fazla kayıp yaşadılar. Soru genellikle maskelemeyle minimal bir etkiye sahipti.

Sonuçlar (yukarıda görselleştirilmiştir), cevapların genel olarak en önemli girdi olduğunu gösterir. Cevapları maskeleme genellikle doğruluğu önemli ölçüde düşürür, modelleri çoğu zaman rastgele performansa indirger.

Maskelenmiş soru genellikle çok daha az bir etkiye sahipti, bu da daha önce bulunan, modellerin soruyu düşük değerli olarak değerlendirdiği bulgusunu destekledi.

Bazı durumlarda, doğruluk soru kaldırıldığında bile arttı, bu da modellerin bazen cevapları görsel veya metinsel ipuçlarına göre eşleştirdiğini, ancak soruyu gerçekten değerlendirmediklerini gösterdi.

Modeller, videoya olan bağımlılıkları açısından farklılık gösterdi: bazıları videosuz olarak makul bir doğrulukta kalırken, bu da video özelliklerinin birçok güncel kurulumda sınırlı bir katkıda bulunduğunu doğruladı.

Araştırmacılar, modelleri videoya güvenmeye zorlamak için ek olarak, çoklu seçim seçeneklerine yanlış cevaplar ekledi.

Yanlış cevaplar kolay ve diğer sorulardan geri dönüştürüldüğünde, performansı iyileştirdi, modeller metin kalıplarını eşleştirdi, ancak fazla akıl yürütme yapmadı. Ancak on veya daha fazla ilgili olmayan cevap eklediğinde, video ve soruya daha fazla dikkat etmeye başladılar:

Her VQA testine eklenen yanlış cevapların sayısı arttıkça, video, soru ve cevap girdilerine ait öznitelik katkıları ve doğruluk. Metin baskınlığını azaltıp görsel ve soru özelliklerinin göreli etkisini artırdığı görülüyor.

VideoLLaMA3 için, videoyu maskeleme, EgoSchema’da doğruluğu %40, LVBench’de %15 oranında düşürdü, bu da basit bir şekilde cevap sayısını artırmanın, modelleri metin kısayollarından uzaklaştırmaya ve gerçek çok modalli akıl yürütmeye yöneltmeye yetebileceğini gösterdi.

Araştırmacılar, girdilere nasıl bir atribüt dağıldığını da araştırdı ve aşağıdaki Shapley değerleri ısı haritalarını gördük:

Dört veri seti için her model girişi için Shapley değerleri ısı haritaları. Her satır bir VQA üçlüsünü, her sütun tek bir özelliği gösterir. Video özellikleri solda, metin özellikleri sağda yer alır. Metin bölgelerindeki (kırmızı) daha güçlü değerler, modellerin dil yerine görmeye güvendiğini gösterir.

Yukarıdaki sonuçları yorumlarken yazarlar şunları söylüyor:

‘Her ısı haritasındaki değerlerin büyüklüğü, sağ tarafta, soru ve cevap atribütlerini temsil eden yerlerde çok daha büyüktür. Bu, video çerçevelerinin bittiği ve metin özelliklerinin başladığı nettir, bu da video modalite katkılarının metin/soru katkılarından çok daha az olduğunu gösterir.’

Özetle, tüm veri setleri boyunca, değerler metin ucunda spektrumun çok daha güçlü, bu da modellerin dil yerine görmeğe güvendiğini güçlü bir şekilde gösterir. Video kullanıldığında bile, katkı, birçok çerçeveye ince bir şekilde dağıtılır, genellikle tutarlı bir desen olmadan.

Aşağıda, EgoSchema’dan bir örnek verilmiştir. Shapley değerleri kullanılarak seçilen 16 en “önemli” çerçeve, etkilerine göre renklendirilmiştir, mavi olumlu, kırmızı ise olumsuz katkıları gösterir:

EgoSchema’dan bir örnekte Shapley atribütleri, 16 en önemli çerçevenin tümünü ve metin girdilerini gösterir. Video katkıları, metininkine kıyasla minimaldir ve modelin akıl yürütmesi metne hakimdir. Mavi ve kırmızı, seçilen cevaba olumlu ve olumsuz etkiyi gösterir.