Yapay zekâ yarım kalmış bir görevi devralmakta neden zorlanıyor?

Yapay zekâ ajanları karmaşık görevleri çözebilse de yeni bir araştırma, başka birinin başlattığı işi sürdürmekte zorlandıklarına işaret ediyor. Bu da işlerin yeniden yapılmasına, ilerlemenin yavaşlamasına ve maliyetlerin artmasına yol açıyor.

Yapay zekâ ajanları ve arayüzleriyle çalışmanın en yorucu ama vazgeçilmez yönlerinden biri, neredeyse her yeni etkileşimin başında yapay zekâya mevcut durumu yeniden anlatma gereğidir. ^[1]

Örneğin ChatGPT gibi popüler dil modelleri kalıcı, kişiye özel bazı anılara erişim sunsa da bu özellik genellikle tutarsız çalışır. Sonuçta, modelin eğitim sırasında oluşan gizil uzayından yanlış bir bağlam tahmin etmesini önlemek için bile olsa, görevin bağlamını yapay zekâya açıklama zahmetine katlanmak* genellikle daha güvenlidir.

Gerçek hayatta yarım kalan işleri devralmak

Bu sorun elbette yapay zekâdan önce de vardı. Pek çok şirket, çalışanlarından geliştirdikleri veya iyileştirdikleri süreçleri belgelemelerini ve belgeleri güncel tutmalarını ister. Bunun amacı kısmen yeni çalışanların işe uyumunu kolaylaştırmaktır; ancak çalışanların pazarlık gücü kazanmasını önlemek olduğu da ileri sürülebilir.

Ne var ki uygulamada, belgeleri oluşturma, güncelleme ve yaşatma sorumluluğunu çoğunlukla yalnızca büyük ve iyi finanse edilen kuruluşlar yerine getirir. Başkasının işini devralan çalışanlara sık sık bir dedektiflik görevi düşer: artık kendilerine verilen yarım kalmış işe yol açan olayların zaman içindeki akışını titizlikle yeniden kurmak zorunda kalırlar.

Kusursuz belgeler elbette günler, haftalar, hatta aylar süren çalışmayı kurtarabilir; yeter ki bunları hazırlamak ekonomik açıdan anlamlı olsun. ^[1]

Söz konusu işleri yapanlar yapay zekâ ajanları olduğunda ise sorunu çözmek için daha geniş bir imkân doğabilir.

İşin devri

ABD’de hazırlanan yeni bir araştırma, belgeleme eksikliğinin getirdiği bu yükü ölçüyor ve sorunu devir borcu olarak adlandırıyor.

Eğer teknik borç bugünün hızlı, özensiz ve ucuz teknik çözümlerinin gelecekte kırılgan ya da bakımı zor sistemlere dönüşmesini ifade ediyorsa, devir borcu da yeniden keşfin maliyetini tanımlar: İşin önceki adımlarını mevcut izlerden yeniden kurmak gerekir. İşi yapan kişi veya başka bir varlık, örneğin çatışmalı bir işten çıkarma, yoğunluk ya da ölüm nedeniyle danışılabilecek durumda olmayabilir. Başka nedenlerle de yardım edemeyebilir; mevcut çalışma durumuna yol açan bağlamı çoktan kaybetmiş bir dil modeli bunun bir örneğidir.

Yeni araştırma^† —bağımsız araştırmacılar ile Georgia State University bağlantılı araştırmacıların ortak çalışması— bir kod tabanında başka bir oturumun, kişinin veya varlığın bıraktığı yerden devam etmesi istenen programlama ajanlarında devir borcunu inceliyor.

Araştırmanın amaçlarından biri, devir borcunu azaltmak için ne kadar belgeleme gerektiğini ve sorunu en aza indirmek üzere gelecekte hangi usul ve protokollerin standart uygulama olarak önerilebileceğini belirlemek.

Bütçe meselesi

İdeal koşullarda, günlük kaydını ayrıntılı moda ayarlayıp görevi devralan yeni ajana yarım kalan işle ilgili günlükleri vermek yeterli olabilirdi.

Ancak bu kadar büyük bir veri yığınından yararlı bilgi çıkarmak zaman alır, token bütçesini tüketir ve depolama sınırlarıyla karşılaşılmasına neden olabilir.

Bu gerçekten bir bütçe sorunudur: Ham veri yığınlarını işlemek zahmetlidir. Ayıklanıp düzenlenmiş günlükler daha anlaşılırdır ama önceden kaynak ayrılmasını gerektirir.

İşi devralacak kişiyi veya ajanı bilgilendirmek için özel olarak hazırlanmış notlar çok etkili olabilir. Ancak bunlar daha da fazla hazırlık gerektirir. İşin mantığı sonunda kendiliğinden anlaşılırsa, iş terk edilirse veya bir daha gözden geçirilmezse bu hazırlığa hiç ihtiyaç duyulmayabilir.

Yeni araştırmanın yazarları, Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks başlıklı çalışmalarında bütün bu senaryoları değerlendirmiş ve mevcut görev modellerini devir borcunu ölçmek ve ele almak için yeni yöntemlere uyarlamış. Araştırma programlama ajanlarına odaklansa da daha geniş yapay zekâ uygulamalarında ve belgeleme politikalarının düzenlenmesinde ilerlemek için yararlı yollar gösterebilir.

Yazarlar şöyle açıklıyor:

“Devir borcu, bir ajan görünür ilerleme kaydetmesine rağmen ardında halefinin kolayca sürdüremeyeceği bir durum bıraktığında oluşur. Açıklanmamış değişiklikler, geçici çalışma dosyaları, gizli varsayımlar ve eksik doğrulama kanıtları buna örnektir.

“Yalnızca nihai çözüme dayanan bir ölçüt, maliyetli yeniden keşif ile verimli devamı ayırt edemez.

“İki öncül ajan aynı depo kontrol noktasını bırakabilir, ancak halefleri çok farklı devam maliyetleriyle karşılaşabilir: Biri hemen devam ederken diğeri geçici çalışma dosyaları ve eksik komut geçmişinden niyeti yeniden çıkarmak için çok sayıda araç etkileşimine ihtiyaç duyabilir.”

Yöntem

Yazarlar, öncülü işi başlatan ya da en son yürüten önceki ajan; halefi ise işi devralması istenen mevcut ajan olarak tanımlıyor.

Tamamlanmamış yazılım mühendisliği görevlerini ajanlar arasında devretmenin maliyetini ölçen bir karşılaştırma testi oluşturmak için SWE-bench Verifiedkapsamındaki 75 görev, 181 devir senaryosuna genişletildi. Her senaryo, işin durdurulup bir halef ajana verildiği bir noktayı temsil ediyordu. Ardından üç farklı halef modeli toplam 2.172 devralma denemesinde test edildi.

Bu devir testlerinde farklı biçimlerde eşleştirilen model aileleri Qwen, Gemma ve Devstral idi.

Deneylerde, önceki çalışmadan aktarılan bilgiler dört düzeyde incelendi. En kısıtlı koşulda halef yalnızca deponun mevcut durumunu aldı; adeta belgesiz bir felaket alanına girmiş oldu. Diğer koşullar, faaliyet ve komut geçmişinden daha önce nelerin denendiğini ve öğrenildiğini anlatan kısa özetlere kadar daha ayrıntılı bağlam sundu:

Araştırma yalnızca görevin sonunda çözülüp çözülmediğine değil, çalışmaya devam etmenin maliyetine odaklanacak biçimde tasarlandı. Araç kullanımı, token tüketimi ve önceki çalışmanın arkasındaki düşünceyi yeniden kurmak için gereken çaba ölçüldü.

Deneylerde üç devir tetikleyicisi ve üç devir anındaki durum tanımlandı:

Veri ve Testler

Gerçekçi devir senaryoları oluşturmak için yazarlar, SWE-bench Verified kapsamındaki 75 yazılım mühendisliği görevinden bir karşılaştırma testi hazırladı. Genellikle 15 dakika ile 4 saatte çözülen sorunlara odaklanıldı.

Araştırmacılar yalnızca bitirilmiş görevleri değerlendirmek yerine, işin ilerleyişi sırasında çeşitli ara kontrol noktaları kaydetti. Böylece bir yapay zekâ ajanının diğerinin işini devralması gereken durumlar oluşturuldu:

Devralma testinin oluşturulması. SWE-bench Verified kapsamındaki 75 görev, işin üç aşamasına yayılan 181 devir noktasına genişletildi. Bunlar, devralma anındaki depo durumuna göre etiketlenip dört bilgi paylaşımı koşulunda değerlendirildi. Sonuçta halef ajanlarla toplam 2.172 devralma denemesi yapıldı. Kaynak

Her görev birden fazla devir noktası oluşturabildiği ve her nokta dört farklı bilgi aktarımı koşulunda sınandığı için test kümesi hızla büyüdü. Son veri kümesi 181 ayrı devir ve her halef modeli için 724 değerlendirme içeriyordu. Üç yapay zekâ sistemiyle toplam 2.172 devralma denemesi yapıldı.

Bir OpenHands benzeri bir programlama ajanı ortamı kullanıldı. Bu ortam terminal işlemleri, devir noktalarında depo durumunun dondurulması, dosya düzenleme ve resmî SWE-bench doğrulaması içeriyordu.

Ana araştırmada bütün devir noktaları, öncül olarak Qwen kullanılan çalıştırmalardan alındı. Böylece farklı ajan eşleşmeleri ve senaryolar karşılaştırılırken başlangıç noktası sabit tutuldu.

Test edilen eşleşmeler Qwen → Qwen, Qwen → Gemma ve Qwen → Devstral oldu.

Ham faaliyet kaydı halefin çabasında en büyük düşüşü sağladı: Ajan olayları %57–59 azaldı. Özet notlar ve yapılandırılmış notlar ise olayları %20–46 azalttı. Üç yaklaşımda da girdi tokeni kullanımı %42–63 düştü:

Yalnızca depo koşulundaki devirlerde halefler, öncülün niyetini, önceki kanıtları ve başarısız yaklaşımları yeniden kurmak için ek etkileşimlere ihtiyaç duydu. Ham faaliyet kaydı, özet notlar ve yapılandırılmış notlar bu bilgilerin bir bölümünü doğrudan aktardı. Böylece yeniden keşif ihtiyacı azaldı; ancak başlangıç istemleri uzadı.

Kazanımların gerçek olup olmadığını sınamak için, daha fazla bağlam içeren her devir aynı noktadan başlayan bir yalnızca depo devriyle eşleştirildi. Bütün model eşleşmelerinde daha zengin bağlam, halefin yapması gereken işi tutarlı biçimde azalttı.

Tam olay geçmişleri en büyük azalmayı sağlarken özetler ve yapılandırılmış notlar da önemli tasarruflar getirdi. Etki test kümesinin genelinde görüldü; yalnızca az sayıdaki sıra dışı örnekten kaynaklanmadı:

Etkinin birkaç sıra dışı durumdan kaynaklanmadığını doğrulamak için araştırmacılar her devri aynı noktadan başlayan bir yalnızca depo devriyle karşılaştırdı. Azalmalar bütün model eşleşmelerinde tutarlıydı; bu da yararın birkaç istisnai örnekten değil, anlamlı bir örüntüden kaynaklandığını gösteriyor.

Buradan çıkarılacak ders…

Kısacası^†, yazarlar bir yapay zekâ ajanı görevi diğerine devrederken basit notların bile ikinci ajanın daha verimli devam etmesini sağladığını buldu.

Olayların tam kaydı en iyi sonucu verir; ancak herhangi bir devir bilgisi, halefin her şeyi yalnızca koddan yeniden kurmak zorunda kalmasından iyidir. Yukarıdaki sonuçlar ayrıca tam ham günlük yaklaşımının kaçınılmaz olarak daha yüksek token maliyeti getirdiğini gösteriyor.

Sonuç

Araştırma esasen diğer araştırmacılara yönelik ve genel okur açısından pek çekici olmasa da insanlar ile yapay zekâ arasındaki güncel arayüz ve protokollerin en ilginç ve acil sorunlarından birini ele alıyor.

Bu tür araştırmalarda geliştirilen yaklaşımların ve kazanılan bilgilerin, ajanlarla programlamanın ötesinde daha geniş yapay zekâ uygulamalarına da aktarılması umulabilir.

Bir başka araştırma yönü, gelecekteki projelerde projenin özelliklerine ve kullanım amacına göre gerekli asgari belgeleme düzeyini değerlendirmek olabilir. Ancak zaman ve para harcamalarını daha verimli yönetmeye yarayacak bu işlevin kendisi de zaman ve para gerektirir. Dolayısıyla belgelemenin bütçe açmazını aşmak hâlâ zordur.

* Şahsen, gecikme ve aşırı bağlam yükü yaşayan ChatGPT oturumlarında son zamanlarda, biraz uğraşarak konuşmanın temiz bir PDF’sini dışa aktarmaya başladım. Bunu, “2. bölüm” olacak yeni bir oturum için başlangıç noktası olarak kullanıyorum.

^† Ne yazık ki bu, bu yıl okuduğum en kolay anlaşılır araştırmalardan biri değil. Bu nedenle özgün çalışmayı okura öneremiyorum; yine de işlenip anlaşılır hâle getirilmiş sonuçları ilgi çekici.

İlk olarak Çarşamba, 3 Haziran 2026’da yayımlandı