AI Tarafından Üretilen Görüntüler için Bir Video Kodlayıcı

AI’nin sınırsız kullanım dönemi sona ererken, AI video üretimi için yeni bir ekonomik yaklaşım, tokenlerde ve zamanda önemli tasarruflar vaat ediyor.

AI çıkarımı Gerçek maliyeti, yeni bir ciddiyet notu getiriyor. AI devriminin hızlı temposuna, makine öğreniminin maliyetini rasyonelleştirmeye ilgi artıyor. AI’yi evde kullanma potansiyeli ve özel AI yükselişi dışında, VRAM açısı ve kaynak açlığı olan makine öğrenimi rutinleri de optimize edilmeye ihtiyaç duyuyor.

Video üretimi, bu açıdan belki de en büyük suçlu. Bir filmi yeniden sıkıştırdınız veya video düzenleme yazılımından dışa aktardığınız zaman, bu görevin donanımınıza nasıl bir yük bindiğini zaten biliyorsunuz – RAM ve CPU döngülerini tüketiyor ve makineyi diğer kullanımlar için bloke ediyor,unless belirli önlemler alınmadığı sürece.

Dolayısıyla, AI video üretiminin bu “güç aç” işleminin dünya çapındaki veri merkezlerinde nasıl tekrarlandığını hayal etmek zor değil. Bu ölçekte, küçük kazançlar hemen önemli hale geliyor.

Çerçevede

Bununla birlikte, Şangay’dan bir yeni araştırma, JD.com ile işbirliği içinde, video kodlayıcı öneriyor. Bu, renderleme süreci değil, AI video üretimi sürecine yöneliktir.

Normal bir video kodlayıcı, her kareyi tam bir resim olarak depolamak yerine, daha az sayıda tam resim olan I-frames oluşturur ve sonra kareler arasındaki kare değişikliklerini depolar.

Örneğin, bir videoda bir kişi hafifçe hareket ettiğinde, kodlayıcı sadece değişen kare parçalarını kaydeder, tüm sahneyi yeniden yazmak yerine. Bunlar P-frames, önceki karelerden türetilir ve B-frames, gelecekteki karelerdeki bilgileri de öngörebilir:

Bir video kodlayıcı anatomisi: üst satırda I, P ve B olarak etiketlenmiş kareler gösterilir, I-frames tam olarak depolanır, P- ve B-frames ise yeniden yapılandırılmak üzere soluk gösterilir; oklar, karelerin önceki veya sonraki kareleri kullanıp kullanmadığını gösterir; alt paneller, tam olarak depolanmış bir kare (I-frame, sol), bir önceki kareden inşa edilmiş bir kare (P-frame, ikinci sol) ve hem önceki hem de sonraki karelerden inşa edilmiş bir kare (B-frame, sağ) gösterir.

Bu yakın bilgilerin yeniden kullanımı, video dosyalarının küçük kalmasını sağlar. Çoğu kare, yeni resimler olarak değil, önceki karedeki değişiklikleri tanımlayan talimatlar olarak çalışır. Böylece I-frames, “tam yağlı”, yer kaplayan, sıkıştırılmamış veya minimal olarak sıkıştırılmış resimleri temsil eder, aralarındaki kareler ise yalnızca I-frames ve kendi aralarındaki farkları temsil eder.

Her tek kare bir tam, sıkıştırılmamış resim olduğunda, film esasen hiçbir sıkıştırmaya sahip olmaz. Bir filmi bu şekilde, sıkıştırılmamış video olarak kaydetmek, yaklaşık 2 saatlik bir film için bir terabaytın üzerinde disk alanı gerektirecektir. Ancak AI, her kareyi eşit kaynak ve tokenlerle hesaplayarak filmler oluşturur.

Ölçek Ekonomisi

Yeni çalışma, AdaCodec: Predictive Visual Code for Video MLLMs adlı bir video kodlayıcı öneriyor. Bu, geleneksel video kodlayıcılarının kullandığı sıkıştırma fikirlerini takip ediyor, ancak AI video üretimi için optimize edilmiş bir yaklaşım sunuyor.

AdaCodec, yalnızca referans karelerine (I-frames) tam görsel tokenler harcar, aradaki kareleri ise “kompakt P-tokenler” olarak işler. Bu, geleneksel video kodlayıcılarının kullandığı sıkıştırma fikirlerine benzer, ancak AI video üretimi için özel olarak tasarlanmış bir yaklaşım.

AdaCodec’in genel görünümü. Sol taraf, videoların uyarlanabilir resim gruplarına bölünmesini, I-frames’in zor öngörülen anlar için ayrıldığını ve P-frames’in kompakt hareket ve artıklarla temsil edildiğini gösterir. Sağ taraf, oluşan sistemin Qwen3-VL-8B’yi on bir benchmark üzerinde eşitlediğini veya aştığını, token bütçeleri boyunca daha yüksek uzun video doğruluğunu korurken ve yanıt gecikmesini azaltırken önemli ölçüde daha az video tokeni işlediğini gösterir. Kaynak

AdaCodec’in test sonuçları, önemli tasarruflar olduğunu gösteriyor. Çalışma, sistemin Qwen3-VL-8B modelini on bir benchmark üzerinde eşitlediğini veya aştığını, aynı miktarda işlem kullanarak ve video tokenlerini yaklaşık %86 oranında azalttığını belirtiyor.

Yazarlar şunları söylüyor:

‘Öngörüsel kodlama ilhamını alıyoruz, burada bir sistem, ham sinyal yerine öngörülen hata iletimi yapıyor. Bu ilke biyolojik temellere sahiptir: görsel sistem, öngörülen ve gözlemlenen girdi arasındaki uyuşmazlığı, yani hata iletimini kodluyorkendisi değil.

‘Modern video kodlayıcıları, mühendislikte aynı artıklarla kodlama fikrini kullanıyor: referans kareleri tam içerik taşıyor, öngörülen kareler ise referanslara göre hareket ve artıkları taşıyor.

‘Bu sistemler farklı hedeflere sahip, ancak aynı koşullu yapıya sahipler: yakın örnekler冗ant olduğunda, kanal, öngörünün açıklamadığını taşımalı.

‘Standart kodlayıcılar, bit akışlarını ve insan tarafından görülebilen yeniden yapılandırmayı optimize ediyor, görsel tokenleri tüketen bir LLM için değil. Bu nedenle, bu mekanizmayı bir MLLM arayüzü olarak video anlama için yeniden tasarlıyoruz.’

Yeni çalışma, Şangay Jiao Tong Üniversitesi, Şangay İnovasyon Enstitüsü ve JD.com’dan 11 araştırmacı tarafından yazılmıştır ve ilgili bir proje sayfası ile birlikte geliyor ve kaynak kodu yayınlanması vaat ediliyor.

Yöntem

AdaCodec, her kareyi tamamen yeni bir resim olarak işlemek yerine, bir kareden diğerine neler değiştiğini arıyor. Aşağıdaki resimde, solda, geçerli karenin küçük bir bölgesi, önceki bir kareden en benzer bölge ile eşleştiriliyor:

AdaCodec şeması.

İki konum arasındaki mesafe, bir hareket vektörü haline gelir, kalan görsel farklılıklar ise bir artık olur. Bu kompakt açıklamalar, tam bir resim depolama ihtiyacını ortadan kaldırır.

AdaCodec, önemli referans karelerini hala tam resimler olarak işler, ancak aradaki kareleri çok daha küçük hareket ve artıklar tokenleri ile temsil eder. Bu, modelin videoyu anlamak için yeterli bilgiyi korurken önemli ölçüde daha az görsel veri işlenmesini sağlar.

İlginç bir zorluk, hangi karelerin tam olarak depolanmayı hak ettiğini belirlemektir. Geleneksel video kodlayıcıları, referans karelerini düzenli aralıklarla yerleştirir, gerekirse gerekmezse. AdaCodec ise, en önemli anları belirlemeye çalışır.

Örneğin, iki kişinin bir apartmanda statik bir sohbeti gösteren bir sahne düşünün ve aniden bir SWAT ekibi pencereden girerse. Kamera açısı ve düzenleme kesme sayısı hemen artar ve düzenli bir referans kare aralığının sağlayabileceğinden çok daha fazla veri gerektirir:

Bu, değişken sıkıştırma (değişken bitrate) yöntemlerinin mantığıdır. Bu yöntemler, kaynak videoda “yoğun” dönemleri analiz eder ve gerektiğinde daha fazla veri atar – zaman ve kaynak maliyeti olmadan değil.

AdaCodec’de, bir kare yakın karelerden öngörülebiliyorsa, sistem kompakt hareket ve artıklar tokenlerini kullanmaya devam eder; sahne önemli ölçüde değişirse (örneğin, SWAT örneği veya daha az dramatik bir şey), tam bir referans karesi eklenir. Bu, daha fazla işlem bütçesinin önemli görsel bilgilere harcanmasını sağlar.

Veri ve Testler

Araştırmacılar, Qwen3-VL-8B modelini temel model olarak kullandı ve AdaCodec’i on bir benchmark üzerinde değerlendirdi. Bu benchmark’ler, üç video anlama alanını kapsıyordu: uzun video performansı MLVU, LongVideoBench ve LVBench ile değerlendirildi; zamansal anlama TempCompass, MotionBench ve TOMATO ile değerlendirildi; ve genel video anlama Video-MME, MVBench, NExT-QA, PerceptionTest ve EgoSchema ile değerlendirildi.

Test edilen açık kaynaklı modeller arasında InternVL3.5-8B, Keye-VL-1.5-8B, GLM-4.1V-9B, MiniCPM-V-4.5-8B, Eagle2.5-8B, PLM-8B, LLaVA-Video-7B, VideoChat-Flash-7B, Molmo2-8B ve Molmo2-O-7B yer aldı.

AdaCodec, Qwen3-VL-8B modelini on bir benchmark üzerinde eşitlediği veya aştığı ve aynı miktarda işlem kullanarak video tokenlerini yaklaşık %86 oranında azalttığı görüldü.

On bir benchmark boyunca ana sonuçlar. Daha yüksek puanlar daha iyi performansı gösterir. LVB = LongVideoBench; V-MME = Video-MME. Kalın ve alt çizgili değerler, açık kaynaklı modeller arasında en yüksek ve ikinci en yüksek puanları gösterir. Kapanmış kaynaklı modellerin puanları, mevcut olduğunda resmi raporlardan alındı, eksik sonuçlar Molmo2’den alındı veya yazarlar tarafından değerlendirildi.

AdaCodec, aynı miktarda görsel tokeni atayarak Qwen3-VL-8B sistemi ile karşılaştırıldı. Bu, sonuçların sıkıştırma yaklaşımının etkinliğini yansıtmalarını sağladı.

En agresif ayarlanda, AdaCodec video token kullanımını yaklaşık %86 oranında azaltırken, uzun video, zamansal ve genel video anlama görevlerinde temel sistemi eşitledi veya slightly aştı.

Kaydedilen tokenler, daha fazla video karesi işlenmesine reinvest edildiğinde, performans tüm uzun video benchmark’lerinde ve tüm zamansal benchmark’lerinde iyileşti, LongVideoBench’de +5.4 puan ve TOMATO’da +4.3 puan gibi kazançlar elde edildi.

Sonuç

Bu tür projeler genellikle büyük ölçekli sağlayıcılar için tasarlanır, ancak bu, yerel, rasyonelleştirilmiş AI dağıtımı etrafında yeni bir “kamusal asitlik”in parçası olarak ilgi çekecektir.

Örneğin, r/stablediffusion gibi topluluklarda, her büyük açık kaynaklı sürüm, hiper optimize edilmiş (GGUF, kantitatif ağırlıklar vb.) bir sürüme dönüştürülür ve düşük düzeyli grafik kartlarında çalışmak için tasarlanır.

Eğer AI’nin “performans aşaması” gerçekten sona eriyorsa ve şirketler çıkarımın gerçek maliyetinden kaçınıyorsa, AdaCodec gibi girişimler, gelecekteki bir “büyük optimizasyon”un parçası olabilir.

^† Bu, videoyu kullanıcı dostu bir formata / dosya boyutuna render etmekten farklıdır; AI modeli içinde çıkarım zamanında oluşan iç kare oluşturma ve birleştirme ile ilgilidir.

* Yazarların satır içi alıntılarını, makul ölçüde, hiperlinklere dönüştürme işim.

İlk olarak 4 Haziran 2026 Perşembe günü yayınlandı