Yapay Z zekâda Aktif Bellek ve Kalıcı Bellek: Yapay Zekâ Nasıl Hatırlar, Bilgiyi Geri Çağırır ve Unutur?

Aktif bellek, bir yapay zekâ sisteminin o anda yürüttüğü görev için erişebildiği bilgilerdir. Kalıcı bellek ise çevresindeki uygulamanın daha sonra yeniden kullanılmak üzere sakladığı bilgilerdir. Bu ikisi arasındaki ilişki, bir asistanın bir projeye devam edip edemeyeceğini, bir tercihi uygulayıp uygulayamayacağını, güncelliğini yitirmiş bir varsayımı düzeltip düzeltemeyeceğini ya da unutmuş olması gereken bir şeyi yeniden gündeme getirmeyi bırakıp bırakamayacağını belirler.

Bir araştırma raporu hazırlamanıza yardımcı olan bir asistanı düşünün. Aynı konuşma sırasında taslağa, son düzenlemelerinize ve az önce paylaştığınız kaynaklara başvurabilir. Bir hafta sonra yeni bir konuşma başlattığınızda ise bu süreklilik farklı bir mekanizmaya bağlıdır: Uygulamanın ilgili bilgileri kaydedip kaydetmediğine, bulup bulamadığına ve modele yeniden iletip iletmediğine.

Bu nedenle bir yapay zekâ, aynı konuşmada bir ayrıntıyı hatırlarken başka bir ayrıntıyı unutmuş gibi görünebilir. Hatırlama, bir dizi işlemden oluşur. Bilgi alınırken, saklanırken, aranırken, seçilirken, yorumlanırken veya güncellenirken aksaklık yaşanabilir.

Bu rehberde söz konusu işlemler zincirini ayrıntılı olarak inceliyoruz. Epizodik, anlamsal ve prosedürel belleğin daha geniş sınıflandırması için yapay zekâ ajanı bellek türlerine giriş yazımıza göz atın. Burada, şu anda etkin olanlarla mevcut görevin ötesinde kalıcılığını koruyabilenler arasındaki sınıra odaklanıyoruz.

Aktif ve Kalıcı Bellek Gerçekte Ne Anlama Geliyor?

Bu terimler, mimari açıdan kullanışlı ayrımları tanımlar; ancak evrensel olarak standartlaştırılmış bir ikili oluşturmaz. Ürün arayüzlerinde ve araştırma makalelerinde “çalışma belleği”, “kısa süreli bellek”, “bağlam”, “durum” ve “uzun süreli bellek” terimleri, anlamları örtüşecek biçimde kullanılır. Bu nedenle açıklamanın kesin olması için kullanılan terimlerin tanımlanması gerekir.

Bu makalede aktif bağlam, modelin mevcut yanıtı için kendisine iletilen bilgileri ifade eder: talimatlar, mesajlar, seçilmiş araç çıktıları, erişilen içerikler ve modelin işleyebileceği diğer girdiler. Aktif görev durumu ise daha geniş kapsamlıdır. Bir planı, kontrol listesini ya da uygulamanın tuttuğu ancak henüz modelin bağlamına eklemediği değişkenleri içerebilir. Bu mevcut çalışma kümesini genel olarak aktif bellek diye adlandırıyor, önemli olduğu yerlerde bu iki kavramı birbirinden ayırıyoruz.

Kalıcı bellek, bir yanıtın veya oturumun sona ermesinden sonra da varlığını koruyan ve daha sonra kullanılabilen bilgileri ifade eder. Kaydedilmiş bir tercih, proje notu, olay kaydı, yapılandırılmış bir veritabanı alanı ya da tamamlanmamış bir görevin sürdürülmesini sağlayan bir kontrol noktası olabilir. Kalıcılık, bilginin saklandığını belirtir; her konuşmada paylaşılacağını garanti etmez.

Dolayısıyla birbirinden ayrı iki soru vardır: Bilgi hâlâ mevcut mu? ve Model ihtiyaç duyduğunda bu bilgi kendisine iletilecek mi? Kaydedilmiş bir konuşma dökümü ilk soruyu yanıtlayabilir, ancak ikincisini çözmez.

Önemli İstisna: Kısa Süreli Durum Kaydedilebilir

“Kısa süreli” ifadesi her zaman “yalnızca geçici RAM’de saklanan” anlamına gelmez. Bir konuşmanın çalışma durumu bir veritabanına kontrol noktası olarak kaydedilebilir ve kesintinin ardından kaldığı yerden sürdürülebilir. Örneğin LangChain’in bellek belgeleri, kontrol noktaları aracılığıyla kalıcı olarak saklanan iş parçacığı kapsamındaki durumu, ayrı ad alanlarında düzenlenen daha uzun süreli bellekten ayırır.

Bir müşterinin makbuz yüklemesini beklerken işlemi duraklatan bir destek temsilcisi düşünün. Kaydedilen kontrol noktası o destek talebine aittir. Bu kontrol noktası kalıcıdır; ancak otomatik olarak müşteri hakkında genel bir bilgiye dönüşmemeli veya ilgisiz taleplerde gösterilmemelidir.

Herhangi bir bellek özelliğini değerlendirirken üç boyutu sorgulamak yararlı olur: ne kadar süre saklandığı, kapsamı ve mevcut model çağrısında kullanılabilir olup olmadığı. “Uzun süreli” gibi bir etiket bu soruların hiçbirini tek başına tam olarak yanıtlamaz.

Aktif Bellek ve Kalıcı Bellek: Genel Bakış

Aynı bilgi her iki sütunda da yer alabilir. Kaydedilmiş bir proje tercihi kalıcıdır; bugünkü isteme eklenen kopyası ise etkindir. Bu kopyanın istemden çıkarılması, kaydedilmiş asıl bilginin de mutlaka silindiği anlamına gelmez.

Tek Bir Yapay Zekâ Yanıtı Sırasında Neler Olur?

Tipik bir dil modeli uygulamasında, çevresindeki yazılım bir girdi oluşturur, model bir çıktı üretir ve yazılım bundan sonra ne olacağına karar verir. Girdi, kullanıcıya görünen konuşmayı içerebilir; ancak sistem talimatları, araç açıklamaları, erişilen notlar ve kullanıcının sohbet dökümünde göremediği bilgiler de girdiye eklenebilir.

Oluşturulan bu bağlam, modelin o anda başvurabildiği kanıttır. Önceki bir ileti artık girdiye dahil değilse model, uygulama bu iletiyi daha önce göstermiş olsa bile içeriğini aynen ve güvenilir biçimde geri getiremez. Etrafındaki ipuçlarından makul bir yanıt çıkarabilir, ancak çıkarım yapmak anımsamakla aynı şey değildir.

Bir araç, sistemin erişebildiği kaynakları genişletir. Model bir proje dosyası isteyebilir, dosyanın içeriğini alabilir ve sonraki bir yanıtında bu içerikten yararlanabilir. Dosya, etkin bir kanıta dönüşmeden önce de uygulamanın erişimine açıktır. Bu ayrım, bir ajanın büyük bir arşive erişebildiği hâlde her etkileşimde arşivin tamamını okumamasının nasıl mümkün olduğunu açıklar.

Transformatör uygulamaları, kendi içlerinde, yapılan işi tekrarlamayı önlemek için kullanılan önbellekler de dahil olmak üzere hesaplama durumunu tutar. Bu mekanizmalar verimli çıkarım için yararlıdır; ancak kullanıcının tercihlerini veya proje geçmişini kaydeden, düzenlenebilir ve izinleri gözeten bir kayıtla karıştırılmamalıdır. Yanıtın daha hızlı verilmesi, kişisel belleğin oluşturulduğunu göstermez.

Daha Büyük Bir Bağlam Penceresi Bellek Sorununu Neden Çözmez?

Daha büyük bir bağlam penceresi, uygulamanın tek seferde daha fazla içerik sunmasını sağlar. Yanıt uzun bir belgedeki ya da birbiriyle ilişkili birkaç kaynaktaki bağlantılara bağlı olduğunda bu yararlı olabilir. Ancak hangi içeriğin korunmayı hak ettiğine, hangi sürümün yetkili olduğuna veya kullanıcının bu içeriğe erişip erişemeyeceğine karar vermez.

Bilgilerin bağlam penceresine sığması da modelin bunları doğru kullanacağını garanti etmez. Ortada Kaybolma çalışması, incelenen modellerin, ilgili kanıtların uzun girdilerin neresinde yer aldığına bağlı olarak farklı performans gösterebildiğini ortaya koydu. Bu sonuç, ilan edilen kapasiteyi anımsamanın garantisi saymak yerine bağlamın etkili kullanımını değerlendirmek gerektiği konusunda bir uyarıdır; ayrıca daha yeni her modelin performansına ilişkin kesin bir öngörü değildir.

Bir proje arşivinde lansman tarihine ilişkin kırk görüşme olduğunu varsayalım. Bunların otuz dokuzunda ilk tarihten söz ediliyor, son onaylı değişiklik ise tarihi ileri alıyor. Kırk görüşmenin tümünü sağlamak, hem bunları okuma hem de hangi bilginin yetkili olduğunu belirleme sorununu doğurur. Onaylı değişikliğe bağlantı veren, özenle güncel tutulan bir mevcut durum kaydı, ilgili yanıtın belirlenmesini kolaylaştırabilir.

Dolayısıyla uzun bağlam ve seçici bilgi erişimi birbirini tamamlayabilir. Bilgi erişimi, işe yarar bir kanıt kümesi bulur; yeterince büyük bir bağlam ise modelin bu kanıtları bir arada incelemesini sağlar. Tasarım tercihi göreve, kaynak materyalin boyutuna ve bir koşulun gözden kaçmasının sonuçlarına bağlıdır.

Bilgi Nasıl Kalıcı Belleğe Dönüşür?

Kalıcı bir bellek, yazma kararıyla başlar. Bir uygulama, kullanıcının açık bir talimatını kaydedebilir, konuşmadan olası bir bilgi çıkarabilir, bir olayı saklayabilir veya bir özet oluşturabilir. Bu yolların her biri farklı türde kanıt üretir.

“Cedar Projesi için metrik birimleri kullanın” açık bir proje tercihidir. “Kullanıcı metrik birimleri tercih ediyor gibi görünüyor” bir çıkarımdır. “Son üç Cedar raporunda metrik birimler kullanıldı” ise bir gözlemdir. Yararlı bir kayıt, bu farklılıkları korur; bunları gelecekteki her görev için geçerli, koşulsuz bir iddiaya indirgemez.

Yararlı Bir Kayıt Neler İçerir?

Varsayımsal bir proje asistanının kaydı; ifade, proje tanımlayıcısı, ait olduğu kullanıcı veya kuruluş, kaynak etkileşim, zaman damgası, geçerlilik durumu ve varsa istisna bilgilerini içerebilir. Bu alanlar, bilginin nereden geldiğini ve hâlâ geçerli olup olmadığını sorgulamayı mümkün kılar.

{
  "scope": "project:cedar",
  "statement": "Use metric units in project reports",
  "source_type": "explicit_user_instruction",
  "source_ref": "conversation_17/message_8",
  "status": "current",
  "exception": "Client edition may require dual units"
}

Bu, evrensel bir standart değil, açıklama amaçlı bir şemadır. Amacı, bellekte neden tek bir cümleden fazlasının bulunması gerektiğini göstermektir. Kaynak referansı doğrulamaya yardımcı olur; kapsam, aşırı genellemeyi önler; durum alanı ise düzeltme yapılmasını mümkün kılar.

Anında Yazma ve Arka Plan İşleme

Anında yapılan bir yazma işlemi, açıkça belirtilen bir düzeltmeyi bir sonraki istekte kullanılabilir hâle getirebilir. Arka plan işleme, tamamlanmış bir etkileşimi inceleyebilir, yinelenen kayıtları birleştirebilir veya daha etraflıca düşünülmüş bir özet oluşturabilir. LangChain belgelerinde her iki yaklaşım ve aralarındaki ödünleşimler, anında yanıt akışına eklenen iş yükü de dâhil olmak üzere, açıklanır.

Uygulanabilir bir tasarım, doğrulanmış bir tercihi hemen kaydedip uzun bir araştırma oturumunu daha sonra işleyebilir. Ancak bu iki adım arasındaki süreyi de yönetmesi gerekir. Sistem, yazma işlemi başarıyla tamamlanmadan kullanıcıya tercihin kaydedildiğini söylerse bir sonraki konuşmada süreklilik sorunu ortaya çıkabilir.

Belleğe yazma işlemleri için bir hata politikası da gerekir. Depolama geçici olarak kullanılamıyorsa uygulama, kaydetme işleminin tamamlanmadığını bildirebilir veya bekleyen işlemi açıkça işaretleyerek saklayabilir. Yazma girişimini başarılı bir bellek kaydı gibi ele almak, kullanıcıda yanıltıcı bir deneyim yaratır.

Kalıcı Bellek Etkin Bağlama Nasıl Geri Döner?

Geri getirme; uygunluk, ilgi düzeyi ve kanıta ilişkin bir dizi karardan oluşur. Sistem önce kayıtlarına başvurabileceği kullanıcıyı, kiracıyı, projeyi veya görevi belirlemelidir. Ardından olası kayıtları bulur ve yanıt bağlamına hangilerinin ekleneceğini seçer.

Geri getirme yöntemi soruya uygun olmalıdır. “Cedar için onaylanmış son tarih nedir?” sorusu, proje alanında tam eşleşmeli bir aramayla en iyi şekilde yanıtlanabilir. “Bu dağıtım hatasıyla daha önce karşılaştık mı?” sorusuysa geçmiş olaylar üzerinde anahtar kelime aramasından ve anlamsal benzerlikten yararlanabilir. Vektör veritabanı, bu sürecin bir seçeneğidir; her tür bellek için zorunlu değildir.

Anlatım değiştiğinde anlamsal arama özellikle yararlıdır. “Raporları öz tutma” konulu bir sorgu, “kısa yönetici özetleri” şeklinde kaydedilmiş bir tercihle eşleşebilir. Ancak benzer bir ifade başka bir müşteriyle veya projenin artık kullanılmayan bir sürümüyle ilgili olabilir. Benzerlik, olası eşleşmeleri belirler; bunların doğru olduğunu ya da kullanılmasına izin verildiğini göstermez.

Bilgi Getirme Sürecinde “Bulunamadı” Sonucu da Olmalı

“Geçen ay hangi harcama limitini onayladım?” sorusunu ele alalım. Onaylanmış bir tutar bulunamıyorsa yararlı bir yanıt, eksik kanıtı belirtir ve açıklama ister. Makul görünen bir sayı vermek, bellekteki bir boşluğu uydurma bir yetkilendirmeye dönüştürür.

Bellek arayüzü bu nedenle doğrulanmış bir eşleşmeyi, belirsiz bir eşleşmeyi, çelişkiyi ve destekleyici kayıt bulunmamasını birbirinden ayırt etmelidir. Bu sonuçlar farklı davranışlara yol açabilir: doğrudan yanıt vermek, yanıtı ihtiyat payı belirterek sunmak, açıklama istemek veya desteklenmeyen bir varsayıma dayanarak harekete geçmeyi reddetmek.

Bilgi getirildikten sonra da yorumlama önemini korur. “Önerilen azami bütçe: 5.000 $, onay bekleniyor” diyen bir kayıt, “Onaylanan bütçe: 5.000 $” hâline getirilmemelidir. Kayıtta saklanan gösterimde ve sağlanan bağlamda niteleyici ifadeleri korumak, doğru belgeyi bulmak kadar önemlidir.

Uygulamalı Bir Örnek: Bir Projeyi Zaman İçinde Hatırlamak

Bir ekibin Cedar araştırma raporunu hazırlamasına yardımcı olan bir asistan düşünün. Aşağıdaki örnek varsayımsaldır, ancak bellek tasarımında sık karşılaşılan çeşitli tercihleri ortaya koyar.

Birinci Oturum: Projeyi Oluşturma

Kullanıcı bir rapor ister, metrik birimlerin kullanılmasını belirtir, üç kaynak sunar ve taslağın teslim tarihinin cuma olduğunu söyler. Etkin bağlamda bu talimatlar ve kaynak alıntıları yer alır. Etkin görev durumu, hangi bölümlerin tamamlandığını ve hangi iddiaların hâlâ doğrulanması gerektiğini kaydeder.

Olası kalıcı kayıtların farklı amaçları vardır. Metrik birim kullanma tercihi projeye aittir. Taslak teslim tarihi mevcut dönüm noktasına aittir. Sunulan kaynaklar projenin kanıt arşivine eklenmelidir. Doğrulanmamış iddialar ise belirsizlikleri korunarak bekleyen araştırmalar listesinde yer almalıdır.

İkinci Oturum: Doğru Kanıtlarla Devam Etme

Üç gün sonra kullanıcı, yöntemler bölümünün tamamlanmasını ister. Asistanın en güncel taslağa, ilgili kaynaklara, mevcut görev durumuna ve geçerli biçimlendirme kuralına ihtiyacı vardır. Önceki beyin fırtınası oturumunda elenen her cümleye mutlaka ihtiyacı yoktur.

Kontrol noktası, literatür taramasının tamamlandığını söylüyorsa bile asistan, üzerinde düzenleme yapmadan önce kaydedilmiş dosyayı açmalıdır. “Tamamlandı” ifadesi ilerlemeye ilişkin bir iddiadır; gerçekten nelerin tamamlandığının kanıtı ise belgenin kendisidir. Dosyalara yönlendiren kalıcı referanslar, içeriklerinin tümünü yeniden üretmeye çalışan bir özetten daha kullanışlı olabilir.

Üçüncü Oturum: Her Şeyi Yeniden Yazmadan Bir İstisna Uygulama

Kullanıcı, hem metrik hem de İngiliz ölçü birimlerinin kullanıldığı bir müşteri sürümü ister. Mevcut görevde iki birim sistemi de kullanılmalıdır. Genel proje kuralının değişip değişmeyeceği, kullanıcının ifadesine ve talebin kapsamına bağlıdır: “bu sürüm için” ifadesi, “bundan sonra her zaman ikisini de kullan” ifadesinden daha dar kapsamlıdır.

Dikkatli bir asistan, yalnızca ilgili sürüm için geçerli bir istisna kaydeder. Aşırı genelleme yapan bir asistan ise genel tercihi değiştirerek sonraki raporlarda hatalara yol açar. Veritabanına yazma ve veri getirme işlemlerinin tümü başarıyla gerçekleşse bile bu bir bellek hatasıdır.

Dördüncü Oturum: İşi Bitirme ve Geçici Durumu Temizleme

Teslimin ardından dönüm noktası tamamlandı olarak işaretlenmelidir. “Raporu sürdür” talimatı, asistanı artık geçerliliğini yitirmiş bir kontrol listesini yeniden izlemeye değil, teslim edilen sürüme yönlendirmeli ve hangi değişikliğin gerektiğini sormasını sağlamalıdır. Geçici çalışma notlarının süresi proje politikasına göre dolabilir; nihai rapor ve önemli kararlar ise erişilebilir kalmalıdır.

Kalıcı belleğin faydası burada görülür: aynı açıklamaları tekrarlama ihtiyacı azalır ve süreklilik artar. Maliyeti de açıktır: uygulama; tercihler, istisnalar, dosyalar ve değişen görev durumu arasındaki ilişkileri sürdürmelidir.

Özetleme, Sıkıştırma ve İstisnanın Kaybolma Riski

Uzun etkileşimlerde, bir sonraki yanıt için yararlı olandan daha fazla içerik birikebilir. Sıkıştırma, bu geçmişin bir bölümünü daha küçük bir gösterimle değiştirir. Özet; amacı, kararları, çözümlenmemiş soruları ve asıl çalışmaya yönlendiren referansları koruyabilir.

Anthropic’in bağlam mühendisliği rehberi, uzun süreli çalışmalar boyunca sürekliliği korumaya yönelik yaklaşımlar olarak sıkıştırmayı ve bağlam penceresinin dışında saklanan notları ele alır. Her iki teknik de gelecekteki yanıtların erişebileceği içeriği değiştirir; bu nedenle kaliteleri önemlidir.

Sıkıştırma seçici biçimde yapılır. “Metrik birimleri kullan” özeti, “Her iki birim sisteminin de gerekli olduğu müşteri sürümü dışında metrik birimleri kullan” ifadesinden daha kısadır. Ancak projenin önemli durumlarından biri için yanlıştır. Kaybolan istisna, sonraki özetlerde fark edilmeden korunabilir ve izini sürmek giderek zorlaşabilir.

Cedar asistanımız için daha sağlam bir devir notu; genel kuralı, bu kuralın istisnasını, tamamlanan bölümleri, kalan doğrulama görevlerini ve en güncel dosyalara referansları korurdu. Onaylanan tutarlar veya tanımlayıcılar gibi kesin bilgiler, yaklaşık ifade edilmeleri zarara yol açabilecekse yapılandırılmış kayıtlarda ya da kaynak belgelerde tutulmalıdır.

Özetler belirsizliği de korumalıdır. “Survey B’yi kullanmayı değerlendirdik” ifadesi, “Survey B seçildi” hâline getirilmemelidir. Sıkıştırılmış geçmiş, geçici kararları kesinleşmiş gibi gösteriyorsa sistem, bağlamdan tasarruf etmeye çalışırken yanlış bir anı oluşturmuş demektir.

Yapay Zekâ Belleği Düzeltmeleri ve Çelişkileri Nasıl Ele Almalı?

Kalıcı bellek değişemiyorsa daha az kullanışlı hâle gelir. Projeler ilerler, tercihler değişir ve önceki bilgilerin yanlış olduğu anlaşılabilir. Bir düzeltmeyi, herhangi bir niteleme eklemeden yeni bir kayıt olarak eklemek, erişim sisteminin birbiriyle çelişen iki ifade arasında seçim yapmak zorunda kalmasına yol açabilir.

Daha yararlı bir güncelleme, yeni kanıtın önceki kayıtlardan hangisinin yerini aldığını belirtir. Proje sahibi lansman tarihini 15 Kasım’dan 29 Kasım’a alırsa eski kayıt geçersiz kılınmış olarak işaretlenip yeni karara bağlanabilir. Güncel son tarihle ilgili sorularda yeni sürüm kullanılır; ilk planla ilgili sorularda ise geçmiş sürüme başvurulabilir.

Her çelişki yalnızca güncelliğe bakılarak çözülemez. Yakın tarihli bir taslak notu, daha eski tarihli onaylı bir politikadan daha az yetkin bir kaynak olabilir. Bir kullanıcı, kişisel tercihini değiştirme yetkisine sahipken kurum genelinde geçerli bir kuralı değiştirme yetkisine sahip olmayabilir. Güncelleme politikası, bilginin türünü ve kaynağının yetki düzeyini dikkate almalıdır.

Bazı çelişkiler, bir kişi açıklık getirene kadar çözümsüz bırakılmalıdır. İki proje sahibi, önceki kararın yerini alan açık bir güncelleme olmaksızın birbiriyle uyuşmayan tarihler verirse asistan her iki kaynağı da gösterebilir ve hangisinin esas alınacağını sorabilir. En benzer ya da en güncel kaydı sessizce seçmek, sistemin verme yetkisi olmayabilecek bir kararı gizler.

Yapay Zekânın Unutması Ne Anlama Gelir?

Unutma tek bir düğmeden ibaret değildir. Bir ürün, bir bilgiyi istemlere eklemeyi durdurabilir, olağan aramalarda bu bilgiyi hariç tutabilir, güncelliğini yitirmiş olarak işaretleyebilir, bellek kaydını silebilir veya saklanan diğer kopyaları kaldırabilir. Bu işlemlerin her biri gelecekteki davranışları ve saklanan verileri farklı biçimlerde etkiler.

Etkin Bağlamın Dışına Çıkma

Eski mesajlar dışarıda bırakıldığı veya özetlendiği için bir bilgi bir sonraki model girdisinde yer almayabilir. Bu, modelin o anda kullanabileceği bilgileri azaltır. Özgün konuşma dökümü ya da bellek kaydı varlığını sürdürüyor olabilir ve daha sonraki bir erişim yoluyla yeniden getirilebilir.

Geri Çağırmayı Süreli Kılma veya Bastırma

Süresi dolmuş bir son tarih arşivde kalırken güncel çalışmalarla ilgili sorguların dışında tutulabilir. Geçmiş kayıtları saklamanın bir amacı olduğunda bastırma yararlıdır; ancak bu işlem, verilerin tamamen silinmesi olarak tanımlanmamalıdır. Geçmişe yönelik bir arama veya idari iş akışı kayda hâlâ erişebilir.

Saklanan Belleği Silme

Kalıcı bir kaydı silerken, ondan türetilen erişim temsilleri de ele alınmalıdır. Bir cümle profilden kaldırılıp aranabilir bir özette kalırsa asistan aynı tercihi daha sonra yeniden çıkarabilir. Mimariye bağlı olarak kaynak kayıtlar, gömmeler, özetler, önbellekler ve çoğaltılmış kopyalar ayrı ayrı kaldırılmayı gerektirebilir.

Yedekler ve günlükler kendi saklama takvimlerine tabi olabilir. Bir ürün bu sınırları açıkça belirtmeli ve silinen içeriğin geri yükleme sırasında yeniden etkinleşmesini önlemelidir. “Bu belleği artık kullanmayacağız” ve “saklanan tüm kopyalar kaldırıldı” birbirinden farklı taahhütlerdir.

Model Ağırlıklarını Değiştirme

Harici belleğin silinmesi, model parametrelerini kendiliğinden değiştirmez. Bilgi eğitimde kullanılmışsa, modelde bu bilginin ele alınması eğitim ve dağıtım sürecini kapsayan ayrı bir sorundur. Benzer şekilde kişisel bir belleği silmek, modelin genel bilgisinden veya yeni bir istemde sunulan ipuçlarından yola çıkarak benzer bir bilgiyi hiçbir zaman üretmeyeceğini garanti edemez.

Bu nedenle anlamlı bir unutma testi, hem sistemin bilgiyi hâlâ saklayıp saklamadığını hem de olağan erişim yollarının bu bilgiyi yeniden ortaya çıkarıp çıkaramayacağını sorgular. Sohbette verilen tek bir “Unuttum” yanıtı bunların hiçbirini kanıtlamaz.

Bellek, RAG, Eğitim ve Önbelleğe Alma: Sınırlar Nerede?

Erişim artırımlı üretim veya RAG, üretim sırasında modele harici kanıt sağlar. İlk RAG araştırması, model parametrelerini erişilebilir bir belge diziniyle birleştirmiştir. Kişisel bir bellek sistemi de erişimden yararlanabilir; ancak etkileşimlerden elde edilen kayıtların oluşturulması, güncellenmesi ve kullanım dışı bırakılması için politikalara da ihtiyaç duyar.

Bir şirket kılavuzuna, kullanıcıya ait bir anı olmadan da erişilebilir. Önceki bir etkileşimle ilgili bir not, vektör dizini olmaksızın basit bir dosyadan getirilebilir. Erişim bir mekanizmadır; oluşturulan sistemin türünü, temel kayıtların amacı ve yaşam döngüsü belirler.

Eğitim ve ince ayar model parametrelerini değiştirir. Buna karşılık, sıradan harici bellek modele sağlanan kanıtı değiştirir. Yeni kaydedilmiş bir tercihe uyan bir asistan, model ağırlıkları değişmeden de farklı davranabilir.

İstem ve çıkarım önbelleğe alma, desteklendiği durumlarda önceki hesaplamaları yeniden kullanır. Verimliliği artırabilirler; ancak hatırlanan bir iddianın güncel, yetkilendirilmiş veya gelecekteki görevler için uygun olup olmadığını tek başlarına belirlemezler. Bu katmanlar bir arada bulunabilir; sorun giderme için gözlemlenen davranıştan hangi katmanın sorumlu olduğunu saptamak gerekir.

MemGPT, etkili bir mimari örneği sunar: işletim sistemi benzetmesinden yararlanarak sınırlı bir bağlam ile harici bellek katmanları arasında bilgi taşınmasını araştırmıştır. Buradan çıkarılacak yararlı ders, depolamanın modelin anlık bağlamını kendiliğinden ve sınırsızca genişlettiğini varsaymak yerine bilgi akışını açıkça yönetmektir.

Kalıcı Bellek Hataları Nasıl Daha Kalıcı Hâle Getirebilir?

Hatalı bir yanıt tek bir etkileşimi etkileyebilir. Hatalı bir anıysa birçok etkileşimi etkileyebilir. Asistan, kullanıcının bir kararı onayladığı sonucuna varır, bu çıkarımı bir olgu olarak kaydeder ve daha sonra kaydedilmiş bu kaynağa atıfta bulunursa, kendi önceki hatası bağımsız bir kanıtmış gibi görünebilir.

Proje asistanımızda, özgün kaynak modelin yorumundan ayırt edilebilir olmalıdır. Bir kararın özeti, aradığını bulmayı kolaylaştırabilir; ancak sonuç doğurabilecek her türlü eylem, onaylanmış kararın kendisine dayanmalıdır. Birden çok oluşturulmuş notta tekrarlanması, desteklenmeyen tek bir çıkarımı birkaç bağımsız doğrulamaya dönüştürmez.

Kalıcı bellek, talimatların kirlenmesine de kapı açar. Güvenilmeyen bir belge, asistana gelecekteki davranışını değiştirmesini söyleyen bir cümle içerebilir. Bu cümleyi işleyiş kuralı olarak saklamak, harici içeriği bir yetki sınırının ötesine taşır. Uygulama, bir bellek deposunda yer aldığı için bu cümleyi güvenilir bir talimata yükseltmek yerine, kaynağına göre ele almalıdır.

Paylaşımlı ortamlar başka bir sınırı da gündeme getirir. Bir bilgi soruyla ilgili olabilir, ancak başka bir müşteriye ya da projeye ait olabilir. Erişim denetimleri, bilgi modele ulaşmadan önce erişimi kısıtlamalıdır. Yetkisiz kayıtlar modele sunulduktan sonra ondan bunları yok saymasını istemek, daha zayıf bir tasarımdır.

Belleğin Gerçekten İşe Yarıp Yaramadığı Nasıl Değerlendirilir?

İkna edici bir gösterimde asistandan çoğu zaman kaydedilmiş tek bir tercihi tekrarlaması istenir. Ciddi bir değerlendirmede ise değişen bilgiler birkaç oturum boyunca izlenir ve belleğin tamamlanan görevi iyileştirip iyileştirmediği kontrol edilir.

LongMemEval; bilgi çıkarımını, oturumlar arası akıl yürütmeyi, zamansal akıl yürütmeyi, bilgi güncellemelerini ve yanıt vermekten kaçınmayı değerlendirir. Bu kategoriler, uzun süreli bellek kalitesinin eşleşen tek bir cümleyi bulmaktan neden daha kapsamlı olduğunu gösterir. Yayımlanmış kıyaslama sonuçları, günümüzdeki her ürünü tanımladıkları varsayılmamalı; test edilen sistemler ve ayarlar çerçevesinde yorumlanmalıdır.

Cedar iş akışında bir değerlendirme; bir tercih ekleyebilir, projeyi sürdürebilir, bir istisna ekleyebilir, son tarihi değiştirebilir, bir notu silebilir ve ardından güncelliğini yitirmiş ya da dayanaksız hatırlamayı ortaya çıkarmak üzere tasarlanmış sorular sorabilir. Eklenen sistemin sonuçları iyileştirip iyileştirmediğini belirlemek için aynı model bellek özelliği olmadan da test edilmelidir.

• Yazma doğruluğu: Sistem, amaçlanan ifadeyi kapsamı ve nitelemeleriyle birlikte kaydetti mi?
• Erişimin faydası: Bağlamı ilgisiz geçmiş bilgilerle doldurmadan görev için gereken kanıtı buldu mu?
• Güncellemelerin ele alınması: Düzeltme, yararlı tarihsel ayrımları korurken güncel bilgiyi değiştirdi mi?
• Yanıt vermekten kaçınma: Asistan, destekleyici bir kayıt bulunmadığında bunu belirtti mi?
• Yalıtım: Kayıtlar doğru kullanıcı, kiracı ve projeyle sınırlı kaldı mı?
• Unutma: Silme veya sürenin dolması, türetilmiş özetler de dâhil olmak üzere, amaçlanan gelecekteki hatırlamayı engelledi mi?
• İşletim maliyeti: İyileştirmeler; ek gecikmeyi, model çağrılarını, depolama ve bakım maliyetlerini haklı çıkardı mı?

Hatalar, hangi aşamada ortaya çıktıklarına göre izlenmelidir. Bir yanıtın eksik olması; yazma işleminin başarısız olmasından, arama kapsamının yanlış belirlenmesinden, sıralama kararının kötü verilmesinden, bir koşulun atlanmasından ya da modelin doğru kanıtları yanlış yorumlamasından kaynaklanabilir. Bağlam boyutunu artırmak bu sorunların tümünü çözmez.

Doğru Bellek Tasarımını Seçmek

Tek seferlik bir belge özeti için yalnızca mevcut belge ve talimatlar yeterli olabilir. Kesintiye uğrayan bir analiz, görev kontrol noktasından yarar görür. Tekrarlanan projelerde çalışan bir asistanın sürüm bilgisi içeren kararlara ve proje çıktılarının referanslarına ihtiyacı olabilir. Çok sayıda kullanıcı oturumunda çalışan bir asistanın ise ayrı ve düzenlenebilir bir tercih deposuna ihtiyacı olabilir.

Önce, belleğin yanıtlaması beklenen gelecekteki soruyu belirleyin. “Neler hâlâ tamamlanmadı?” sorusu görev durumunun kaydedilmesini gerektirir. “Bu müşteri hangi biçimi istiyor?” sorusu kapsamı belirli bir tercih gerektirir. “Bu yaklaşımı neden reddettik?” sorusuysa dayanak oluşturan kanıtlarla birlikte bir karar kaydı gerektirir. Farklı sorular, farklı gösterim biçimleri gerektirir.

Kişiselleştirme olarak sunulan gelişigüzel bir arşiv yerine, sayısı az, açık ve kime ya da neye dayandığı belli kayıtları tercih edin. Mevcut durumu geçmiş olaylardan ayrı tutun, kaynak dosya ve çıktılara bağlantıları koruyun, düzeltme ve silme işlemlerini de en başından tasarımın parçası hâline getirin.

Etkin bellek, bir yapay zekâ sistemine tutarlı bir şimdiki zaman sunar. Kalıcı bellek ise zaman içinde süreklilik sağlayabilir. Bu sürekliliğin niteliği, ikisi arasında verilen kararlara bağlıdır: nelerin kaydedileceğine, nelerin geri getirileceğine, hangi sürümün geçerli olacağına ve nelerin silinmesine izin verileceğine.