AI Tarafından Üretilen Görüntüler için Bir Video Kodlayıcı

AI’nin sınırsız kullanım dönemi sona ererken, AI video üretimi için yeni bir ekonomik yaklaşım, tokenlerde ve zamanda önemli tasarruflar vaat ediyor.

AI çıkarımı Gerçek maliyeti, yeni bir ciddiyet notu getiriyor. AI devriminin hızlı temposuna, makine öğreniminin maliyetini daha dikkatle değerlendirmeye ilgi artıyor. AI’yi evde kullanma potansiyeli ve özel AI yükselişi dışında, VRAM açısı ve kaynak açlığı olan makine öğrenimi rutinleri de optimize edilmeye ihtiyaç duyuyor.

Video üretimi, bu açıdan belki de en büyük suçlu. Bir filmi yeniden sıkıştırdınız veya video düzenleme yazılımından dışa aktardığınız zaman, bu görevin donanımınıza nasıl bir yük bindiğini zaten biliyorsunuz – RAM ve CPU döngülerini tüketiyor ve belirli önlemler alınmadığında makineyi diğer işler için kullanmayı zorlaştırıyor.

Dolayısıyla, AI video üretiminin bu “güç aç” işleminin dünya çapındaki veri merkezlerinde nasıl tekrarlandığını hayal etmek zor değil. Bu ölçekte, küçük kazançlar hemen önemli hale geliyor.

Çerçevede

Bununla birlikte, Şangay’dan bir yeni araştırma, JD.com (JD ) ile işbirliği içinde, video kodlayıcı öneriyor. Bu, renderleme süreci değil, AI video üretimi sürecine yöneliktir.

Normal bir video kodlayıcı, her kareyi tam bir resim olarak depolamak yerine, daha az sayıda tam resim olan I-frames oluşturur ve sonra kareler arasındaki kare değişikliklerini depolar.

Örneğin, bir videoda bir kişi hafifçe hareket ettiğinde, kodlayıcı sadece değişen kare parçalarını kaydeder, tüm sahneyi yeniden yazmak yerine. Bunlar P-frames, önceki karelerden türetilir ve B-frames, gelecekteki karelerdeki bilgileri de öngörebilir:

Bir video kodlayıcı anatomisi: üst satırda I, P ve B olarak etiketlenmiş kareler gösterilir, I-frames tam olarak depolanır, P- ve B-frames ise yeniden yapılandırılmak üzere soluk gösterilir; oklar, karelerin önceki veya sonraki kareleri kullanıp kullanmadığını gösterir; alt paneller, tam olarak depolanmış bir kare (I-frame, sol), bir önceki kareden inşa edilmiş bir kare (P-frame, ikinci sol) ve hem önceki hem de sonraki karelerden inşa edilmiş bir kare (B-frame, sağ) gösterir.

Bu yakın bilgilerin yeniden kullanımı, video dosyalarının küçük kalmasını sağlar. Çoğu kare, yeni resimler olarak değil, önceki karedeki değişiklikleri tanımlayan talimatlar olarak çalışır. Böylece I-frames, “tam yağlı”, yer kaplayan, sıkıştırılmamış veya minimal olarak sıkıştırılmış resimleri temsil eder, aralarındaki kareler ise yalnızca I-frames ve kendi aralarındaki farkları temsil eder.

Her tek kare bir tam, sıkıştırılmamış resim olduğunda, film esasen hiçbir sıkıştırmaya sahip olmaz. Bir filmi bu şekilde, sıkıştırılmamış video olarak kaydetmek, yaklaşık 2 saatlik bir film için bir terabaytın üzerinde disk alanı gerektirecektir. Ancak AI, her kareyi eşit kaynak ve tokenlerle hesaplayarak filmler oluşturur.

Ölçek Ekonomisi

Yeni çalışma, AdaCodec: Predictive Visual Code for Video MLLMs adlı bir video kodlayıcı öneriyor. Bu, geleneksel video kodlayıcılarının kullandığı sıkıştırma fikirlerini takip ediyor, ancak AI video üretimi için optimize edilmiş bir yaklaşım sunuyor.

AdaCodec, yalnızca referans karelerine (I-frames) tam görsel tokenler harcar, aradaki kareleri ise “kompakt P-tokenler” olarak işler. Bu, geleneksel video kodlayıcılarının kullandığı sıkıştırma fikirlerine benzer, ancak AI video üretimi için özel olarak tasarlanmış bir yaklaşım.

AdaCodec’in genel görünümü. Sol taraf, videoların uyarlanabilir resim gruplarına bölünmesini, I-frames’in zor öngörülen anlar için ayrıldığını ve P-frames’in kompakt hareket ve artıklarla temsil edildiğini gösterir. Sağ taraf, oluşan sistemin Qwen3-VL-8B’yi on bir benchmark üzerinde eşitlediğini veya aştığını, token bütçeleri boyunca daha yüksek uzun video doğruluğunu korurken ve yanıt gecikmesini azaltırken önemli ölçüde daha az video tokeni işlediğini gösterir. Kaynak

AdaCodec’in test sonuçları, önemli tasarruflar olduğunu gösteriyor. Çalışma, sistemin Qwen3-VL-8B modelini on bir benchmark üzerinde eşitlediğini veya aştığını, aynı miktarda işlem kullanarak ve video tokenlerini yaklaşık %86 oranında azalttığını belirtiyor.

Yazarlar şunları söylüyor:

‘Öngörüsel kodlama ilhamını alıyoruz, burada bir sistem, ham sinyal yerine öngörülen hata iletimi yapıyor. Bu ilke biyolojik temellere sahiptir: görsel sistem, öngörülen ve gözlemlenen girdi arasındaki uyuşmazlığı, yani hata iletimini kodluyorkendisi değil.

‘Modern video kodlayıcıları, mühendislikte aynı artıklarla kodlama fikrini kullanıyor: referans kareleri tam içerik taşıyor, öngörülen kareler ise referans karelere göre hareket ve artık verileri taşıyor.

‘Bu sistemler farklı hedeflere sahip, ancak aynı koşullu yapıya sahipler: yakın örnekler tekrarlı olduğunda, kanal, öngörünün açıklamadığını taşımalı.

‘Standart kodlayıcılar, bit akışlarını ve insan tarafından görülebilen yeniden yapılandırmayı optimize ediyor, görsel tokenleri tüketen bir LLM için değil. Bu nedenle, bu mekanizmayı bir MLLM arayüzü olarak video anlama için yeniden tasarlıyoruz.’

Yeni çalışma, Şangay Jiao Tong Üniversitesi, Şangay İnovasyon Enstitüsü ve JD.com’dan 11 araştırmacı tarafından yazılmıştır ve ilgili bir proje sayfası ile birlikte geliyor ve kaynak kodu yayınlanması vaat ediliyor.

Yöntem

AdaCodec, her kareyi tamamen yeni bir resim olarak işlemek yerine, bir kareden diğerine neler değiştiğini arıyor. Aşağıdaki resimde, solda, geçerli karenin küçük bir bölgesi, önceki bir kareden en benzer bölge ile eşleştiriliyor:

AdaCodec şeması.

İki konum arasındaki mesafe, bir hareket vektörü haline gelir, kalan görsel farklılıklar ise bir artık olur. Bu kompakt açıklamalar, tam bir resim depolama ihtiyacını ortadan kaldırır.

AdaCodec, önemli referans karelerini hala tam resimler olarak işler, ancak aradaki kareleri çok daha küçük hareket ve artıklar tokenleri ile temsil eder. Bu, modelin videoyu anlamak için yeterli bilgiyi korurken önemli ölçüde daha az görsel veri işlenmesini sağlar.

İlginç bir zorluk, hangi karelerin tam olarak depolanmayı hak ettiğini belirlemektir. Geleneksel video kodlayıcıları, referans karelerini düzenli aralıklarla yerleştirir, gerekirse gerekmezse. AdaCodec ise, en önemli anları belirlemeye çalışır.

Örneğin, iki kişinin bir apartmanda statik bir sohbeti gösteren bir sahne düşünün ve aniden bir SWAT ekibi pencereden girerse. Kamera açısı ve düzenleme kesme sayısı hemen artar ve düzenli bir referans kare aralığının sağlayabileceğinden çok daha fazla veri gerektirir:

Bu, değişken sıkıştırma (değişken bitrate) yöntemlerinin mantığıdır. Bu yöntemler, kaynak videoda “yoğun” dönemleri analiz eder ve gerektiğinde daha fazla veri atar – zaman ve kaynak maliyeti olmadan değil.

AdaCodec’de, bir kare yakın karelerden öngörülebiliyorsa, sistem kompakt hareket ve artıklar tokenlerini kullanmaya devam eder; sahne önemli ölçüde değişirse (örneğin, SWAT örneği veya daha az dramatik bir şey), tam bir referans karesi eklenir. Bu, daha fazla işlem bütçesinin önemli görsel bilgilere harcanmasını sağlar.

Veri ve Testler

Araştırmacılar, Qwen3-VL-8B modelini temel model olarak kullandı ve AdaCodec’i on bir benchmark üzerinde değerlendirdi. Bu benchmark’ler, üç video anlama alanını kapsıyordu: uzun video performansı MLVU, LongVideoBench ve LVBench ile; zamansal anlama TempCompass, MotionBench ve TOMATO ile; genel video anlama ise Video-MME, MVBench, NExT-QA, PerceptionTest ve EgoSchema ile değerlendirildi.

Test edilen açık kaynaklı modeller arasında InternVL3.5-8B, Keye-VL-1.5-8B, GLM-4.1V-9B, MiniCPM-V-4.5-8B, Eagle2.5-8B, PLM-8B, LLaVA-Video-7B, VideoChat-Flash-7B, Molmo2-8B ve Molmo2-O-7B, CoPE-VideoLM-7B ve ReMoRa-7B yer aldı.

AdaCodec, Qwen3-VL-8B modelini on bir benchmark üzerinde eşitlediği veya aştığı ve aynı miktarda işlem kullanarak video tokenlerini yaklaşık %86 oranında azalttığı görüldü.

On bir benchmark boyunca ana sonuçlar. Daha yüksek puanlar daha iyi performansı gösterir. LVB = LongVideoBench; V-MME = Video-MME. Kalın ve alt çizgili değerler, açık kaynaklı modeller arasında en yüksek ve ikinci en yüksek puanları gösterir. Kapanmış kaynaklı modellerin puanları, mevcut olduğunda resmi raporlardan alındı, eksik sonuçlar Molmo2’den alındı veya yazarlar tarafından değerlendirildi.

AdaCodec, aynı miktarda görsel tokeni atayarak Qwen3-VL-8B sistemi ile karşılaştırıldı. Bu, sonuçların sıkıştırma yaklaşımının etkinliğini yansıtmalarını sağladı.

En agresif ayarda, AdaCodec video token kullanımını yaklaşık %86 oranında azaltırken, uzun video, zamansal ve genel video anlama görevlerinde temel sistemi eşitledi veya biraz aştı.

Kaydedilen tokenler, daha fazla video karesi işlenmesine yeniden kullanıldığında, performans tüm uzun video benchmark’lerinde ve tüm zamansal benchmark’lerinde iyileşti, LongVideoBench’de +5.4 puan ve TOMATO’da +4.3 puan gibi kazançlar elde edildi.

Sonuç

Bu tür projeler genellikle çok büyük ölçekli sağlayıcıları hedefler. Ancak yerel ve kaynakları ölçülü kullanan yapay zekâ uygulamalarına yönelik yeni bir tutumluluk anlayışı içinde, meraklı kullanıcıların ve küçük ve orta ölçekli işletmelerin de ilgisini çekebilir.

Örneğin, r/stablediffusion gibi topluluklarda, her büyük açık kaynaklı sürüm, hiper optimize edilmiş (GGUF, nicemlenmiş ağırlıklar vb.) bir sürüme dönüştürülür ve düşük düzeyli grafik kartlarında çalışmak için tasarlanır.

Yapay zekâdaki bu üçüncü yükselişin gösteriş dönemi gerçekten sona eriyorsa ve şirketler çıkarımın gerçek maliyetinden kaçınmak istiyorsa, AdaCodec gibi girişimler yaklaşan büyük bir optimizasyon dalgasının parçası olabilir.

^† Bu, videoyu kullanıcı dostu bir formata / dosya boyutuna render etmekten farklıdır; AI modeli içinde çıkarım zamanında oluşan iç kare oluşturma ve birleştirme ile ilgilidir.

* Yazarların satır içi alıntılarını, makul ölçüde, hiperlinklere dönüştürme işim.

İlk olarak 4 Haziran 2026 Perşembe günü yayınlandı