AI’nin Hafıza Problemi: Neden Verimli Uzun Bağlam Her Şeyi Değiştirir ve Doğru Yapmak İçin Ne Gerekir

Bir iş arkadaşı, konuşmanın sona erdiği anda her önceki konuşmayı unutsa, çoğu işte uzun süre dayanamaz. Ancak birçok iş AI’sı tam olarak böyle çalışır. Oturum kapatıldığında ve bağlam birlikte kaybolur. Bir tüketici bir-off sorular sorsa, bunu neredeyse fark etmeyebilir, ancak bir şirket tek bir oturumdan daha uzun süren bir süreci çalıştırırken hemen sınıra ulaşır.

Gerçek iş, bir oturumdan diğerine devam eder ve Perşembe günü alınan bir karar genellikle Pazartesi günü alınan bir kararın üzerine kurulur ve arkasındaki düşünce arasında kalması gerekir. Bir AI, oturum bittiğinde kendini temizlersse, o oturum içinde iyi performans gösterebilir, ancak bir haftadan uzun süren bir görevde hiçbir şey katkısı olmaz.

Kurumsal AI, bir modelden neler talep ettiğini sessizce değiştirdi. Yıllarca, modeller büyük ölçüde emdikleri bilgi miktarına göre değerlendirildi. İşletmeler şimdi, iş ilerledikçe doğru bilgileri görünür tutmalarını istiyor, bu da farklı bir tür verimli mühendislik gerektirir. Bugüne kadar, bu düzeyde kalıcı bilginin korunması, gerekli büyük miktarda bellek (GPU’lar), hesaplama ve maliyet nedeniyle gerçekleştirilemedi. Büyük bir bağlam kullanıldığında, kabul edilebilir bir gecikme ve model hayal gücünün korunması, eş zamanlı kullanım sırasında bir zorluk haline gelir. Bu tür bilgi yetenekleri için artan bir talep vardır ve yeterli bellek ve hesaplama yoktur. Bu, daha doğru istihbarat nasıl elde edilir ve altyapı maliyeti ve ayak izi azaltılır sorusunu gündeme getirir.

Masa ve Dosya Dolabı

İki şey, hafıza başlığı altında birleştirilir ve yeterince farklı davranırlar ki, geri kalanı bunları ayırmaya bağlıdır.

Bağlam penceresi ile başlayın, bu bir modelin tek bir geçişte alabileceği ve üzerinde akıl yürütebileceği şeydir. Bir masa yüzeyi gibi çalışır. Küçük bir masa birkaç sayfa alır, böylece her şey bekler ve gittiğinizde alınıp temizlenir, büyük bir masa ise tüm dosyayı aynı anda açık olarak çalışmanıza izin verir. Masada neler olduğu her gün gün sonunda silinir.

Kalıcı bellek, masanın yanındaki dosya dolabıdır. Sistem, neyi depolayacağını seçer ve ilgili olduğunda geri getirir, böylece bu hafta meydana gelen bir şey, nächsten hafta neler yapılacağını etkileyebilir. Bu depolama, oturumlar arasında taşınır ve neyi kaydetmek, nasıl organize etmek ve ne zaman geri getirmek için kendi kararlarına ihtiyacı vardır.

Çoğu görünen mühendislik yarışması, masaya yönelmiştir. Önceki birkaç bin tokeni tutan pencereler, şimdi yüz binlerce tokeni tutabilir ve OpenAI ve Anthropic’in en büyük modelleri bir milyona kadar ulaşır.

Bu çalışmanın terimi, ‘bağlam mühendisliği’, Shopify’nin Tobi Lutke’den geldi ve 2025 ortalarında Andrej Karpathy tarafından popülerleştirildi. Her ciddi AI uygulamasındaki temel beceri, Karpathy’ye göre, bir sonraki adıma doğru bilgileri pencereye koymaktır. Karpathy, donanım analojisi kullandı – model olarak işlemci, pencere olarak çalışma belleği. Uygulayıcılar, bu fikri hızlıca benimsediler, çünkü bu kavramı etiketsiz olarak çevirdiler.

Daha Büyük Bir Masa, Hafıza Problemini Çözmez

Açık olan hamle – sadece masayı büyütmek – burada sorunla karşılaşıyor.

Stanford araştırmacıları, 2024’te, bir modelin gerekli olduğu bilginin uzun bir girişin ortasında yer aldığında, aynı gerçeğin başında veya sonunda yer almasına kıyasla doğruluğunun keskin bir şekilde düştüğünü gösterdi. Buna ‘ortada kaybolma’ dediler ve bu, uzun bağlama özel olarak tasarlanmış modeller için bile geçerliydi. Bir modele daha fazla şey koymak, modelin bunu güvenilir bir şekilde kullanmasıyla aynı şey değildir.

Bu etki, diğer ekiplerin de bunu aramaya başlamasıyla devam etti ve 2025’te 18 sınır modeli, artan uzun girişlere karşı test etti ve performansın, pencerenin even dolmadan önce bozulmaya başladığını buldu, bu modele ‘bağlam çürümesi’ adı verildi. Masayı büyütme ve bir modelin temiz bir şekilde her şey üzerinde akıl yürütmesi, ayrı sorunlardır ve ilki, ikincisini çözmez.

Seçim, Kapasiteden Daha Fazla Kazandırır

Bağlam mühendisliği, bu nedenle bir disiplin haline geldi ve 2025’te 1.400’den fazla makaleye dayanan bir anket, yöntemlerini belirledi ve Gartner, Temmuz 2025’te müşterilerine bağlamı önceliklendirmelerini tavsiye etti. Zanaat, daha keskin bir talimat yazmaktan, model için çalışacağı daha keskin bir girdi kümesini toplamak için ilerledi.

Daha büyük bir masa, üzerine ne koyacağını seçme konusunda daha yüksek bahisler yaratır. Tüm bir belge deposunu yüzeye dökerseniz, gerçekten önemli olan birkaç sayfa, gürültü, çelişkiler ve geçersiz kılınmış sürümler arasında kaybolur, ancak görevle gerçekten ilgili olan daha dar bir seçim, aynı modelin daha iyi performans göstermesini sağlar. Yargı, modelin önüne ne konacağı, nasıl çerçevelendiği, ne zaman göründüğü ve dolapta ne kalacağına dairdir.

Bu, RAG (geri çağırma-artırılmış üretim) için inşa edildi: belgeleri parçalara ayırma ve ilgili görünenleri geri çağırma, küçük bir pencereyi tüm şeye sığdırmak için. Sözleşmeye bir maddeyle ilgili bir anlaşmazlık varsa, 200. sayfada bir maddeye dikkat edin. Usual yaklaşım, sözleşmeyi parçalara ayırır ve bir geri çağırma sistemi, hangilerinin ilgili göründüğünü alır. 200. sayfanın ilgili olmadığını puanlarsanız, model bu maddeyi asla görmez.

Tüm sözleşmeyi alacak büyüklükte bir pencere, geri çağırma adımını atlar ve modeli, maddeyle birlikte her şeyle birlikte sağlar. Modelin uzun bir girişi iyi okuyup okumadığı, önceki bölümdeki güvenilirlik sorunudur ve bu, bir geri çağırma sisteminin sessizce ilgili olmadığını düşünmesinden daha iyi bir sorundur.

Oturum İçinde ve Sonrası

Uzun bağlam, bir AI aracının tek bir değişim yerine uzun bir işi çalıştırmasına olanak tanır. Bir uyum sağlama incelemesi veya tedarikçi kaydıyla ilgilenen bir aracı, tüm işi pencere içinde tutar ve her adım, işin tüm durumundan yararlanabilir. Yeterince uzun bir pencere, bir oturum içinde bellek için bir alternatif olabilir.

Bununla birlikte, benzerlik burada sona erer. Sistem, bu oturumdan sonra neyi hatırlaması gerektiği, pencerenin nerede olmadığı bir yere yaşamalıdır.

Bu tür bir belleği oluşturmak, endüstrinin sadece başlangıçta karşılaştığı farklı bir dizi sorunu getirir. Psikoloji ve nörobilim eğitimi, insan hafızasıyla karşılaştırma yapmayı zor kılar. Bir olayın mükemmel bir kaydını geri çağırmayız. Her hatırladığımızda, onu yeniden inşa ederiz ve küçük hatalar, kabul edilen sürüme yavaş yavaş dahil olabilir. Bir makine hafızası, depolanan bilginin tekrar tekrar özetlendiği, birleştirildiği veya yeniden yazıldığı zaman benzer bir sorunu geliştirebilir. Zamanla, kayıt, orijinal olaydan uzaklaşabilir,unless biri hataları düzeltir, güncellemeleri kaldırır ve güvenilemeyen bilgileri kaldırır.

Çok sayıda şirket bu sistemleri dağıtmıştır, ancak bu sorunlarla karşılaşmamışlardır ve çok azı çözüme yakındır. Bir satıcıda izleyeceğim şey, ilan edilen pencere boyutu değildir. 10 milyon tokeni tutan bir model, büyük çoğunluğunun eskimiş, alakasız veya yanlış olduğu sürece değersizdir. Cevapları iyi kaynaklara dayandırılmış gibi görünebilir, ancak işletmenin asla güvenmemesi gereken malzemeye dayanabilir. Para kazandıran, neyi saklayacağına dair yargı ve tüm bilgilere, altyapı maliyeti ve ayak izinin bir kısmıyla doğru akıl yürütme yeteneğidir. Bu, daha azla daha fazla yapmak ve tüm büyük pencerelerin bu gerçek yeteneğe sahip olmadığı anlamına gelir.