Anderson’un Açısı

Unutkan AI’ı Daha Uzun Süre ‘O Kadar Tut’ öğretmek

Martin Anderson
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
AI-generated image: A robot with ChatGPT logo at laptop, with vice on open head and glowing text emerging from head. GPT-image-1.
Öne çıkan noktalarC3 adlı yeni bir sıkıştırma yöntemi, uzun metinleri 40 kat küçültürken yapay zeka…
Daha fazla göster
  • C3 adlı yeni bir sıkıştırma yöntemi, uzun metinleri 40 kat küçültürken yapay zeka hafızası için %93 doğruluk oranını koruyor.
  • C3, insan hafızasını taklit ederek cümle sonlarında öngörülebilir şekilde bozulma gösteriyor ve hedefli doğruluk düzeltmelerine olanak sağlıyor.
  • Bu doğrudan metinden-gizli temsile yaklaşımı, optik yöntemleri geride bırakarak büyük dil modellerinin tüm konuşmaları hatırlamasını potansiyel olarak mümkün kılıyor.

hatırlayamaz. Yeni bir metin sıkıştırma yöntemi bunu değiştirebilir ve AI sohbet oturumlarını çok daha az sinir bozucu hale getirebilir. ChatGPT gibi

 

Dil modelleri genellikle bir konuşmanın başlangıcını konuşma AI sistemleri genellikle konuşmanın önceki kısımlarını takip edemez , kendilerini tekrar eder veya önceden kabul edilen kuralları gözardıeden cevaplar verir. Bu, Büyük Dil Modellerinin (LLM’ler) sınırlı bir odaklanma yeteneğine sahip olmasından kaynaklanmaktadır, bu da bir ‘bağlam penceresi’ olarak tanımlanır – doğrudan hedeflendiği ve birkaç komşu nesneyi aydınlatan bir fener gibi. Bu ‘unutkan’ eğilimlerin düzeltilmesi, dil tabanlı AI modelleri araştırmalarının en önemli yönlerinden birisidir – özellikle bu sendrom faydalı ve tutarlı çok tur konuşmalarının olasılığını ciddi şekilde sınırlar ve LLM’lerin tıbbi ve hukuki gibi doğruluk açısından kritik bağlamlardaki yararlılığını engeller.

Çok İyi Yapmak

Çin’den yeni bir araştırma † , AI modeli çalıştıran bir GPU’nun sınırlı kaynaklarına çok daha fazla metin sığdırmanın yeni bir yöntemini öneriyor – 20 katlık bir

Bağlam Cascade Sıkıştırma, uzun belgeleri optik sıkıştırma yöntemleri gibi DeepSeek-OCR'den daha doğru bir şekilde yeniden oluşturur, hatta girişi kırk kata kadar küçültse bile. Belge uzunlukları ve sıkıştırma ayarları boyunca, yeni yöntem neredeyse mükemmel bir doğruluk sağlar, optik yaklaşım ise daha yüksek sıkıştırma altında keskin bir şekilde bozulur. sıkıştırma gelişmesi elde edilerek %98 doğruluk sağlanıyor; Bağlam Cascade Sıkıştırma, uzun belgeleri optik sıkıştırma yöntemleri gibi DeepSeek-OCR’den daha doğru bir şekilde yeniden oluşturur, hatta girişi kırk kata kadar küçültse bile. Belge uzunlukları ve sıkıştırma ayarları boyunca, yeni yöntem neredeyse mükemmel bir doğruluk sağlar, optik ise yaklaşım

Üstte, insan belleği veri akışının sonunda bozulur; ortada: DeepSeek-OCR rastgele bir şekilde bozulur ve sorunu çözmeye yardımcı olabilecek hiçbir bağlantı bırakmaz; altta: yeni yöntem, insan belleği gibi veri akışının sonuna doğru bozulur ve doğruluğu artırma için post-facto işleme yardımcı olabilecek işaretler sunar. daha yüksek sıkıştırma altında keskin bir şekilde bozulur. Kaynak Bu, çok uzun bir konuşmanın tümü, aralıklarla AI modelinin bağlam penceresine geri enjekte edilebilir ve bu da LLM’nin normalde önceki gerçekleri unutması ve ‘unutkan’ davranışa sürüklenmesiyle oluşan sorunları çözebilir. Bu, lossy bir sıkıştırma yöntemi olmasına rağmen,

kaybın meydana geldiği şekilde bile faydalıdır: yeni yöntemde, bellek, cümlelerin sonunda bozulur, DeepSeek-OCR mimarisiyle ilham alınan önceki yaklaşımda olduğu gibi eşit olarak dağılmaz; aslında, yeni makaleyi hazırlayan araştırmacılar, yöntemlerinin insan belleği gibi bozulduğunu öne sürüyorlar: Üstte, insan belleği veri akışının sonunda bozulur; ortada: DeepSeek-OCR rastgele bir şekilde bozulur ve sorunu çözmeye yardımcı olabilecek hiçbir bağlantı bırakmaz; altta: yeni yöntem, insan belleği gibi veri akışının sonuna doğru bozulur ve doğruluğu artırma için post-facto

DeepSeek-OCR yayın makalesinden, OCR bileşeni olan 16x16'lık rasterleştirilmiş yamalar içeren sıkıştırma pipeline şeması. Kaynak ( https://arxiv.org/pdf/2510.18234 ) işleme yardımcı olabilecek işaretler sunar. Bu, hatırlanan verilerin nerede daha az güvenilir olabileceğini öngörmeyi sağlar ve bu bilgiyi sorunu çözmek için kullanabilir – potansiyel olarak, konuşma hatırlama ve tutarlılık açısından büyük bir gelişme sunar ve Düzeltme

%100 doğruluk sağlar. Yeni yaklaşım, Makalede denir: (C3) olarak adlandırılır ve DeepSeek-OCR’nin metni görüntülere sıkıştırdığı şekilde ilham alır. Ancak, uzun metinleri doğrudan küçük ve büyük dil Cascade Sıkıştırma modelleri kullanarak latent gömme olarak sıkıştıran yeni yaklaşım, raster görüntülerinin neden olduğu sürtünmeyi ortadan kaldırır ve böylelikle gelişmiş bir performans sağlar. Context ‘C3’ünüstün performansı, temel mimari tasarımına atfedilebilir. DeepSeek-OCR analizi, performans düşüşünün “karmaşık düzen” ve

“düşük çözünürlükte görüntü bulanıklığı” gibi faktörlerden kaynaklandığını varsayar – optik yolun doğuştan sınırlamaları.’ Yeni ‘C3 paradigmamız, doğrudan metin alanında çalışarak, bu görsel-alan artifactlerine tamamen bağışık. Metni

piksellere dönüştürme ve bu pikselleri kodlama ile ilgili bilgi kaybını önler. Bunun yerine, önceden eğitilmiş bir LLM’nin güçlü semantik anlayışını, metin bilgisini verimli bir latent temsil içine damıtmak için kullanır.’ makale , olarak adlandırılır ve

iki yazar Sıkıştırmasının Üst Sınırını Araştırma † tarafındanContext Cascade Sıkıştırma: Metingelir,bunlar aynı zamanda C3’ü GitHub’da açık kaynak olaraksunuyorlar.

Yöntem

Yeni yaklaşımı anlamak için, bu fikir nereden geldiğini bilmek faydalıdır: optik karakter tanıma (OCR). OCR, bir bilgisayar programının, raster metnini (yani, görüntüler içindeki metin,seçilemeyen ve sadece fotoğrafik içerik olarak var olan metin) düzenlenebilir metne dönüştüren bir algoritmik yöntemdir. DeepSeek-OCR’nin yaratıcıları, metni OCR’nin aracı aşaması olarak kullanarak, standart boru hatlarından çok daha fazla metni sıkıştırabileceğini keşfettiler: diğer bir deyişle, metni kendisi sıkıştırmak yerine, metnin rasterleştirilmiş bir versiyonunu sıkıştırmak mümkün oldu; DeepSeek-OCR yayın makalesinden, OCR bileşeni olan 16×16’lık rasterleştirilmiş yamalar içeren sıkıştırma pipeline şeması. Kaynak Yeni makale, optikyaklaşımların

Yeni C3 sisteminde, küçük Qwen2.5 1.5B modeli, uzun bir girişi, eğitilebilir sorgu gömme kullanarak sabit uzunlukta latent tokenlere sıkıştırır. Bu tokenler, bir.prompt ile birlikte, daha büyük Qwen2.5 3B modeline geçirilir ve orijinal metni yeniden oluşturur. Bu mimari, uzun dizilerin yüksek doğrulukla geri çağrılmasını, orijinal token sayısının sadece bir kısmını kullanarak sağlar. gibi DeepSeek-OCR’nin, sıkıştırma kazançlarının kaynağını yanlış atfediyor olabileceğini öne sürer. Metni görüntüye dönüştürmenin birincil faktör olmasından ziyade, avantajın, verböz metin tokenlerini daha verimli latent temsil lere dönüştürmekten geldiğini iddia eder. Bunu test etmek için, iki dil modeli kullanarak bir pipeline oluşturdular: küçük Qwen2.5 1.5B , uzun geçitleri küçük birlatent token kümesine sıkıştıran kodlayıcı olarak işlev görür; ve daha büyük Qwen2.53B , orijinal metni bu tokenlerden yeniden oluşturan dekoder olarak işlev görür: Yeni C3 sisteminde,küçük Qwen2.5 1.5B modeli, uzun bir girişi, eğitilebilir

32 gizli jetondaki yeniden yapılandırma doğruluğu ve sıkıştırma oranları, aşırı azaltmalarda bile (neredeyse 40 kata kadar) hassasiyetin %93'ün üzerinde kaldığını gösterir. sorgu gömme kullanarak sabit uzunlukta latent tokenlere sıkıştırır. Bu tokenler, bir.prompt ile birlikte, daha büyük Qwen2.5 3B modeline geçirilir ve orijinal metni yeniden oluşturur. Bu mimari, uzun dizilerin yüksek doğrulukla geri çağrılmasını, orijinal token sayısının sadece bir kısmını kullanarak sağlar. Sıkıştırma aşamasını ele almak için, araştırmacılar,

önceden eğitilmiş Qwen2.5 1.5B modelini, ekleyerek uyarladılar: gelen uzun bağlamı, çok daha küçük mekanizması, bubir latent temsil içine damıtmaya yardımcı olan soyut.promptlar. eğitilebilir sorgu gömme Modelin Sıkıştırma sırasında kaçınan bilginin miktarını değerlendirmek için, araştırmacılar, Qwen2.5 3B dekoderine, yalnızca latent tokenleri ve kendine dikkat öğeleri aynı şekilde ele alır, böylece yeni katmanlara veya tasarım değişikliklerine gerek kalmadan, sabit uzunlukta bir latent bağlam çıkışı sağlar ve bu çıktı daha büyük modele yeniden oluşturmak için verilir. promptunu kullanarak orijinal girişi yeniden oluşturmasını söylediler. Görev, özetleme veya yeniden ifade etme yerine, orijinal ‘metni tekrarla’metnin tam olarak yeniden üretimini içerdiğinden, herhangi bir sapma doğrudan sıkıştırma sırasında kaybedilen bilgiye atfedilebilir, bu da encode-decode pipeline boyunca temiz ve objektif bir doğruluk testi sağlar.

Veri ve Testler

Makale, yazarların, internetten elde edilen bir milyon sayfa içeren orijinal bir OCR materyali derlediğini belirtir. Bu kaynak hakkında başka bir ayrıntı görünmüyor ve yazarlar bu noktada kasıtlı olarak belirsiz görünüyorlar. Bununla birlikte, mereka, veri mühendisliği ve küratörlüğünün amaçları için gerekli olmadığını gözlemliyorlar ve bu durumun, mimarilerinin esnek (ve dolayısıyla iyi genelleştirilmiş olduğunu, eğitim ayarlarına bağlı olarak) gösterdiğini belirtiyorlar. Model, her biri 80GB’lik VRAM ile donatılmış sekizNVIDIAH800 GPU’su içeren bir yüksek performanslı küme üzerinde eğitildi, toplam VRAM kaynağı 640GB idi. Her GPU, toplam küresel toplu işleme boyutu 256 olduğunda, 16 birikme adımları dikkate alındığında, 2’lik bir toplu işleme boyutuna sahipti. Optimizatör, AdamW idi, toplam 40.000 adımda. C3 mimarisinin etkinliğini test etmek için, araştırmacılar, orijinal DeepSeek-OCR makalesinde kullanılan aynı değerlendirme kurulumunu kullandılar, Fox benchmark ‘ini kullanarak, çeşitli belge uzunlukları ve sıkıştırma ayarları boyunca sıkıştırma ve yeniden oluşturma doğruluğunu ölçtüler. İngilizce metinler seçildi, paragraflar 600 ila 1300 token arasında değişiyordu, tokenleştirme Qwen tokenleştirici ile yapıldı. Adil bir karşılaştırma sağlamak için, (DeepSeek-OCR) optik temel çizgisinden eşdeğer sıkıştırma seviyeleri kullanıldı, 64 ve 100 latent token ile. Yöntemin sınırlarını keşfetmek için, yalnızca 32 latent token ile ek testler yapıldı. Her durumda, yeniden oluşturma, talimatıyla başlatıldı: ‘metni tekrarla:’ İlk testten sonuçlar. 64 ve 100 latent token kullanarak yedi aralığında yenidentoken

İlk testten sonuçlar. 64 ve 100 latent token kullanarak yedi token aralığında yeniden oluşturma doğruluğu ve sıkıştırma oranları ölçüldü, C3'ün DeepSeek-OCR'ye göre, özellikle daha yüksek sıkıştırma seviyelerinde, tutarlı bir şekilde üstünlüğünü gösterdi. oluşturma doğruluğu ve sıkıştırma oranları ölçüldü, C3’ün DeepSeek-OCR’ye göre, özellikle daha yüksek sıkıştırma seviyelerinde, tutarlı bir şekilde üstünlüğünü gösterdi. İlk testten alınan sonuçları tartışırken, makale şöyle diyor: DeepSeek-OCR,

daha uzun belgelerde test edildiğinde, sıkıştırma arttıkça

doğrudan metin-latent sıkıştırma paradigmasının, tüm test edilen koşullarda optik sıkıştırma yaklaşımını önemli ölçüde aşadığını açıkça gösteriyor, yüksek doğruluklu bağlam sıkıştırmasında yeni bir devlet standardı oluşturuyor.’ En zorlu testte,

doğruluk kaybına başladı ve en aşırı durumda %60’ın altına düştü. C3, aynı seviyedeki sıkıştırmayı çok daha az kayıp ile ele aldı, %98’e yakın bir seviyede sabit kaldı, hatta girişi orijinal boyutunun yirminde birine kadar küçülttüğünde bile: ‘Veriler, C3’ün tam metinler yalnızca 32 tokene kadar küçültüldü. Hala, model neredeyse tüm orijinal içeriği kurtardı, birçok durumda %99’a yakın bir doğrulukla: 32 latent token ile yeniden oluşturma doğruluğu ve sıkıştırma oranları,

32 latent token ile yeniden oluşturma doğruluğu ve sıkıştırma oranları, yaklaşık 40 kata kadar (yaklaşık 40x) azaltılmasına rağmen %93'ün üzerinde bir doğruluk gösteriyor. yaklaşık 40 kata kadar (yaklaşık 40x) azaltılmasına rağmen %93’ün üzerinde bir doğruluk gösteriyor. En aşırı ayarlanda, girişi neredeyse

kırkta birine kadar sıkıştırdığında bile, %93’ün üzerinde bir doğrulukla hatırladı. Karşılaştırıldığında, önceki optik yöntemler, o seviyedeki sıkıştırmanın yarısında bile %60’ın altına düştü. Yazarlar şöyle diyor †† : ‘Bu bulgular, C3 mimarisinin avantajınıkesin

olarak gösteriyor. Görsel modada bulunan (örneğin, görüntü çözünürlüğü sınırları, düzen karmaşıklığı) bilgi tıkanıklıkları ve olası artifactleri tránharak, yöntem aşırı sıkıştırma ile neredeyse hiç bilgi kaybı olmadan başa çıkıyor. Ayrıca, C3’ün ‘Bu agresif

doğrudan metin-latent sıkıştırma paradigmasının, optik karşılaştırma araçlarına göre daha temel olarak daha verimli ve güçlü olduğunu iddia etmemizi sağlamlaştırır.’ ‘kitapları, geniş yasal belgeleri

test durumundan alınan sonuçlar, veya büyük kod tabanlarını işleme, soru-cevap, özetleme ve analiz gibi görevler için yeni yetenekler kilidini açabileceğini’belirtiyorlar.

SONUÇ

Bu, son zamanlarda karşılaştığım en açık ve anlaşılır makalelerden birisidir, potansiyel olarak ‘bağlam penceresi problemi’ne karşı yeni bir saldırı hattı oluşturabilecek, oldukça nettir. LLM’lerin birçok kullanıcısı, önemli bilgileri veya rehberleri periyodik olarak yenileyerek, ChatGPT gibi sistemlerin çok uzun süre bu bilgileri hatırlayamadığını keşfetmiştir. Bu içgüdüsel hızlı çözümü takiben, yeni makaledeki fikir, uzun bir konuşmanın yüksek oranda sıkıştırılmış bir versiyonunun, aralıklarla AI modelinin bağlam penceresine otomatik olarak geri enjekte edilebileceği yönündedir, yani LLM’nin ‘vekil’ olarak hatırlamasıdır. GPU kıtlığının, geleneksel bilgisayar belleği (örneğin DRAM) gibi daha büyük modelleri desteklemek için birçok eski GPU iş yükünün buraya yönlendirildiği bir fiyat ralline yol açtığı bir ortamda, AI’nin barındığı donanımın yakın gelecekte önemli ölçüde daha büyük olmayacağı görünüyor; bu nedenle, neredeyse 1990’lı yıllarda dosya sıkıştırma evriminin nostaljik bir yeniden çalışması olan bu gibi yenilikçi yaklaşımlar, performansı ilerletmek için gerekli olabilir.Daha da önemlisi, LLM’lerin bir saat veya daha uzun süre tutarlı bir sohbeti sürdürebilmesi ve konuşmanın başlangıcını gerçekten hatırlayabilmesi harika olurdu. * CLI kurulum talimatları verilir, ancak kurulumu denemek için zaman ayıramıyorum ve repoyu kod-tam olarak olduğundan emin değilim. † İki yazar, Fanfan Liu ve Haibo

Qiu olarak belirtilir. Casus araştırmaya göre, Qiu şu anda Çin teknoloji şirketi Meituan’da bir araştırmacı ve Liu, Çin Bilimler Akademisi’nde bir yüksek lisans öğrencisidir.Hiçbiri, söz Konu, makaleyi geçmişinde listelemiyor. Bu atıflardan herhangi biri yanlışsa, lütfen profilim aracılığıyla benimle iletişime geçin.†† Yazarlar, formüle uyarak ekler

  nitel testler sağlar, ancak bunlar önceki sıkıştırma testlerine kıyasla aydınlatıcı değildir ve burada bunları kapsamlı olarak ele almadım. İlk olarak 21 Kasım

2025 Cuma günü yayımlandı.

Makine öğrenimi üzerine yazar, insan görüntüsü sentezi alanında uzman. Metaphysic.ai'nin DNEG'e ait Brahma.ai bünyesine katılmasına kadar araştırma içeriğinden sorumlu yönetici olarak görev yaptı.
Web Sitesi: martinanderson.ai
İletişim: martin@martinanderson.ai