AI ile Üretilen Görüntüler için Bir Video Kodeği

AI’nin sınırsız kullanım dönemi sona ererken, AI ile video üretimine yönelik yeni ve ekonomik bir yaklaşım token ve zamandan önemli tasarruflar vaat ediyor.

AI çıkarımının gerçek maliyeti, mevcut AI devriminin baş döndürücü temposuna yeni bir gerçekçilik (ilgili bağlantı) getirirken makine öğreniminin maliyetini akılcı biçimde düzenlemeye yönelik ilgi de artıyor. AI’yi kurum içinde çalıştırma olasılığına ve özel AI uygulamalarının genel yükselişine ek olarak, çok fazla VRAM ve başka kaynaklar tüketen makine öğrenimi süreçlerinin de elbette optimize edilmesi gerekecek.

Bu alanda video üretimi belki de en çok kaynak tüketen iş. Bir filmi yeniden sıkıştırdıysanız veya bir video düzenleme programından dışa aktardıysanız, bu işlemin donanımınıza nasıl yük bindirdiğini bilirsiniz. AI ile ilgisi olmayan bu görev RAM ve CPU döngülerini tüketir; sıkıştırma algoritmasının bilgisayar üzerindeki etkisi sınırlandırılmazsa cihazı başka işler için kullanmayı da çoğu zaman engeller.

AI videolarının yükselişinin, yoğun işlem gücü isteyen bu süreci dünyanın dört bir yanındaki veri merkezlerinde ne ölçüde tekrarladığını düşünmek yeterli. Bu ölçekte, en küçük iyileştirmeler bile toplamda hemen önem kazanır.

Odağımız kareler

Bu bağlamda, Şangay’dan JD.com (JD ) ile işbirliği içinde hazırlanan yeni bir araştırma, bir video kodeği öneriyor. Hedef, büyük ham kareleri daha küçük bir video dosyasına sıkıştıran son render aşaması değil, doğrudan AI ile video üretim sürecinin kendisi.

Sıradan bir video kodeği her kareyi tam bir görüntü olarak saklamaz. Bunun yerine daha az sayıda tam görüntü, yani I-kareleri oluşturur ve ardından kareler arasındaki değişiklikleri depolar.

Örneğin videodaki bir kişi hafifçe hareket ederse kodek bütün sahneyi yeniden kaydetmek yerine yalnızca değişen bölgeleri kaydeder. Bunun için önceki karelerden türetilen P-karelerive sonraki karelerdeki bilgileri de kullanabilen B-kareleribulunur:

Bir video kodeğinin yapısı: üst sırada zaman içinde ilerleyen I, P ve B kareleri gösterilir. Tam saklanan I-kareleri bütün renkleriyle, yeniden oluşturulan P- ve B-kareleri ise soluk gösterilir. Oklar önceki karelerin, sonraki karelerin veya her ikisinin kullanıldığını belirtir. Alt paneller tam saklanan kareyi (I, solda), önceki kareden oluşturulan kareyi (P, soldan ikinci) ve önceki ve sonraki karelerden oluşturulan kareyi (B, sağda) gösterir.

Yakındaki bilgilerin yeniden kullanılması video dosyalarını küçük tutar. Çoğu kare yeni bir görüntü değil, önceki karenin nasıl değiştiğini anlatan talimatlardır. Dolayısıyla I-kareleri, çok yer kaplayan sıkıştırılmamış ya da çok az sıkıştırılmış tam görüntülerdir. Aradaki kareler ise yalnızca I-karelerinden ve birbirlerinden farkları içerir.

Her bir kare tam ve sıkıştırılmamış bir görüntüyse filmde esasen hiç sıkıştırma yoktur. İki saatlik bir filmi bu şekilde saklamak, bir terabayta yakın veya daha fazla disk alanı gerektirir. Oysa AI videoyu nasıl oluşturacağını hesaplarken her kareye aynı miktarda kaynak ve token ayırır^†.

Büyük ölçekte tasarruf

Yeni çalışma AdaCodec: A Predictive Visual Code for Video MLLMs, tam görsel tokenları yalnızca referans karelerine (I-kareleri) ayırıyor; bütün ara kareleri ise kompakt P-tokenları olarak temsil ediyor. Bu yaklaşım, geleneksel video kodeklerinin sıkıştırma yöntemini açıkça örnek alıyor.

Bu iç sıkıştırmadan sonra AI tarafından üretilen video yine normal yöntemle sıkıştırılabilir. Teoride tasarrufların tamamı sunucu tarafında gerçekleşir:

AdaCodec’e genel bakış. Solda videolar uyarlanabilir kare gruplarına ayrılır. Tam I-kareleri tahmin edilmesi zor anlara ayrılırken ara P-kareleri kompakt hareket ve artık bilgisiyle temsil edilir. Sağda sistem on bir değerlendirmede Qwen3-VL-8B ile aynı ya da daha yüksek performans gösterir, farklı token bütçelerinde uzun videolarda daha yüksek doğruluğu korur ve çok daha az video tokenı işlerken yanıt gecikmesini azaltır. Kaynak

AdaCodec için bildirilen test sonuçları, bu tasarrufun peşinden gitmeye değdiğini gösteriyor. Makaleye göre sistem, değiştirilmemiş Qwen3-VL-8B modelini aynı hesaplama miktarıyla bütün ana değerlendirmelerde geçti. Video tokenları yaklaşık %86 azaltıldığında bile bu modelle aynı ya da daha yüksek performansı korudu.

Yazarlar şöyle diyor*:

“Ham sinyal yerine tahmin hatalarını ileten öngörücü kodlamadan ilham alıyoruz. Bu ilkenin biyolojik bir dayanağı var: görsel sistemin, beklenen girdiyle gözlemlenen girdi arasındaki farkı, yani tahmin hatalarını kodladığı düşünülüyor; girdinin kendisini değil.”

“Modern video kodekleri mühendislikte aynı artık kodlama fikrini kullanır: referans kareleri içeriğin tamamını taşırken öngörücü kareler bir referans karesine göre hareket ve artık sinyallerini taşır.”

“Bu sistemlerin amaçları farklı olsa da aynı koşullu yapıyı paylaşırlar: yakındaki örnekler yinelenen bilgiler içeriyorsa kanal, tahminin açıklayamadığı kısmı taşımalıdır.”

“Ancak standart kodekler, LLM’nin kullandığı görsel tokenlar için değil, bit akışları ve insanların izlemesi için görüntünün yeniden oluşturulması amacıyla optimize edilir. Bu nedenle mekanizmayı video anlama için bir MLLM arayüzü olarak yeniden tasarlıyoruz.”

Yeni çalışmayı Shanghai Jiao Tong University, Shanghai Innovation Institute ve JD.com’dan 11 araştırmacı yazdı. Çalışmanın bir proje sayfası var ve kaynak kodunun yayımlanacağı da vaat ediliyor.

Yöntem

Daha önce açıklandığı gibi, sistem her kareyi bütünüyle yeni bir görüntü saymak yerine kareler arasında neyin değiştiğini arıyor. Aşağıdaki görselin solunda, mevcut karenin küçük bir bölgesi önceki bir karede en çok benzeyen bölgeyle eşleştiriliyor:

AdaCodec şeması.

İki konum arasındaki mesafe bir hareket vektörü haline gelirken kalan görsel farklılıklar artık oluşturur. Bu kompakt açıklamalar tam bir görüntü saklama ihtiyacının yerini alır.

Sağda, elde edilen bilginin AI modeline girişi gösteriliyor. Önemli referans kareleri hâlâ tam görüntüler olarak işlenirken ara kareler çok daha küçük hareket ve artık tokenlarıyla temsil edilir. Görünüşe göre bu, modelin çok daha az görsel veri işlerken videoyu yorumlamaya yetecek bilgiyi korumasını sağlar.

İlginç bir sorun, hangi karelerin bütünüyle saklanmaya değer olduğuna karar vermektir. Geleneksel video kodekleri, gereksinim olsun olmasın referans karelerini düzenli aralıklarla yerleştirir. AdaCodec ise en önemli anları belirlemeye çalışır.

Bir apartman dairesinde iki kişinin neredeyse hiç hareket etmeden konuştuğu bir sahne düşünün. Birden pencereden bir SWAT ekibi girer. Kamera açıları ve kurgu kesmeleri hemen çoğalır; düzenli referans karesi aralığının sağlayabileceğinden çok daha fazla veri gerekir:

Bu,değişken bit hızıgibi değişken sıkıştırma yöntemlerinin mantığıdır. Kaynak videodaki hareketli bölümleri analiz ederek gerekli yerlere daha fazla veri ayırırlar. Bunun zaman ve kaynak maliyeti hiç de küçük değildir.

AdaCodec, bir kareyi yakındaki karelerden doğru biçimde tahmin edebiliyorsa kompakt hareket ve artık tokenlarını kullanmayı sürdürür. Sahne SWAT örneğindeki gibi büyük ölçüde ya da daha az dramatik biçimde değişirse tam bir referans karesi ekler. Böylece mevcut hesaplama bütçesinin daha büyük kısmı, videonun tamamına eşit dağıtılmak yerine önemli görsel bilgilere ayrılabilir.

Veri ve Testler

Araştırmacılar, daha önce belirtilen Qwen3-VL-8B’yi temel model olarak kullanarak AdaCodec’i video anlamanın üç alanını kapsayan on bir değerlendirmede sınadı: uzun video performansı MLVU, LongVideoBench ve LVBench ile; zamansal anlama TempCompass, MotionBench ve TOMATO ile; genel video anlama ise Video-MME, MVBench, NExT-QA, PerceptionTest ve EgoSchema ile değerlendirildi.

Test edilen açık kaynaklı modeller arasında InternVL3.5-8B, Keye-VL-1.5-8B, GLM-4.1V-9B, MiniCPM-V-4.5-8B, Eagle2.5-8B, PLM-8B, LLaVA-Video-7B, VideoChat-Flash-7B, Molmo2-8B ve Molmo2-O-7B yer aldı.

GPT-5, Gemini ve Claude’un çeşitli sürümleri aşağıdaki tabloda yalnızca karşılaştırma referansı olarak yer alır. CoPE-VideoLM-7B ve ReMoRa-7B, kodeklerden esinlenen sıkıştırmayla görsel token kullanımını azaltan önceki video-dil modelleridir. Bu nedenle AdaCodec’in en yakın doğrudan rakipleridir:

Uzun video anlama, zamansal akıl yürütme ve genel video anlamayı kapsayan on bir değerlendirmenin ana sonuçları. Daha yüksek puan daha iyi performans demektir. LVB = LongVideoBench; V-MME = Video-MME. Kalın ve altı çizili değerler, açık kaynaklı modeller arasında sırasıyla en yüksek ve ikinci en yüksek puanları gösterir. Kapalı kaynaklı modellerin puanları, bulunduğunda resmî raporlardan alınmıştır; eksik sonuçlar Molmo2’den alınmış ya da yazarlarca değerlendirilmiştir.

Adil bir karşılaştırma için AdaCodec’e ve standart Qwen3-VL-8B sistemine aynı sayıda görsel token ayrıldı. Böylece sonuçlar, hesaplama kaynaklarındaki farkları değil sıkıştırma yönteminin etkisini yansıttı.

En güçlü sıkıştırma ayarında AdaCodec, görsel token kullanımını yaklaşık %86 azaltırken uzun video, zamansal ilişkiler ve genel video anlama görevlerinde temel sistemle aynı ya da biraz daha yüksek performans gösterdi.

Tasarruf edilen tokenlar daha fazla kareyi işlemek için kullanıldığında, bütün uzun video ve bütün zamansal değerlendirmelerde performans arttı. LongVideoBench’te +5,4 puan, TOMATO’da +4,3 puan artış elde edildi; bunlar çalışmadaki en güçlü açık kaynak sonuçlarından bazılarıydı.

Sonuç

Bu tür projeler genellikle hiper ölçekli sağlayıcıları hedeflese de bu araştırma meraklı kullanıcıların ve küçük ve orta ölçekli işletmelerin de ilgisini çekecektir. Yerel ve daha akılcı AI dağıtımına yönelik olası yeni bir kamusal tutumluluk anlayışının parçası olabilir.

r/stablediffusion gibi topluluklarda bu çok eski bir uygulamadır: her önemli açık kaynak model sürümü düzenli olarak son derece optimize edilmiş bir sürüme (GGUF, nicemlenmiş ağırlıklar vb.) dönüştürülür; biraz sabırla daha düşük sınıftaki ekran kartlarında da çalışabilir.

Bu üçüncü AI yükselişinin gösteriş aşaması gerçekten sona erdiyse ve şirketleri çıkarımın gerçek maliyetinin caydırdığını varsayarsak, AdaCodec gibi girişimler yaklaşan “büyük optimizasyonun” bir parçası olabilir.

^† Bu, videoyu kullanıcıya uygun bir biçime ve dosya boyutuna dönüştürerek dışa aktarmakla aynı şey değildir. AI modelinin çıkarım sırasında kendi içinde gerçekleştirdiği kare üretimi ve birleştirmesiyle ilgilidir.

* Yazarların metin içi atıflarını makul ölçüde hiperbağlantılara dönüştürdüm.

İlk olarak 4 Haziran 2026 Perşembe günü yayınlandı