Neden AI Ajanları QA’dan Geçer ancak Üretimde Başarısız Olur

Sürekli öğrenme, ajanların dağıtımdan sonra, zaten çalışan şeyi bozmadan gelişmelerini sağlayan mühendislik disiplini haline geliyor.

Bir AI ajansı, her ön-lansman değerlendirmesinden geçebilir ve bir hafta sonra üretimde yine de başarısız olabilir. Bu, bir çelişki değildir. Değerlendirme kümesi, lansmandan önce ekip tarafından test edilen şeyi yansıtır. Üretim, eksik durumların ortaya çıktığı yerdir: garip ifade, eksik bağlam, araç kenar durumları, sabırsız kullanıcılar, çelişen politikalar ve benchmark tasarımcısının hayal etmediği iş akışları.

Ajans, kullanıcılar tarafından her zaman düzeltilir. Kullanıcıları hayal kırıklığına uğratır. Sonra oturum biter, günlükler depolanır ve bir sonraki kullanıcı esasen aynı sistemi karşılar.

Bu, sürekli öğrenmenin ajans mühendisliğine neden merkezi hale geldiğinin nedeni. Bir ürünün özelliği değil, ajanların deneyimlerinden而 preservation what already works. Classic sürekli öğrenme araştırması, problemi zaman içinde öğrenme olarak çerçevelendirdi. without catastrophic forgetting. Ajanlar, bu problemi daha da genişletirler. Değişen şey, bir model olabilir, ancak aynı zamanda bir.prompt, bir araç, bir beceri, bir iş akışı veya bellek olabilir.

Bu ayrım önemlidir, çünkü çoğu ajans başarısızlığı, model eğitimi ile çözülmez.

İnceltme refleksi çok dar

Ekip, bir AI sistemini iyileştirmek istediğinde, default plan genellikle şöyle olur: başarısızlıkları toplamak, daha iyi cevapları etiketlemek, modeli ince ayar yapmak. Bu içgüdü anlaşılabilir. Denetimli ince ayar, Direct Preference Optimization, Group Relative Policy Optimization, ve parametre-verimli yöntemler gibi LoRA, modelin kendisi değişmesi gerektiğinde faydalı araçlardır.

Ancak birçok üretim başarısızlığı, model ağırlığı başarısızlığı değildir. Bunlar, sistem başarısızlıklarıdır.

Ajans, eski belleğe güvenebilir, gerekli onaylama adımlarını atlayabilir, bir aracı yanlış argümanla çağırabilir veya bir durumu yanlış iş akışına yönlendirebilir. Çoğu zaman, sorun, temel modelin yetenekleri değildir. Bağlam, bellek, araç arayüzü veya iş akışıdır.

Modern bir ajansın birçok katmanı vardır. Model, nedenler ve üretir. Ajansın etrafındaki harness,.promptları, araçları, becerileri, kodu, yönlendirmeyi ve iş akışını tanımlar. Bellek, olguları ve öğrenilen prosedürleri seanslar arasında taşır. Sürekli öğrenme, hangi katmanın değişmesi gerektiğine, değişikliğin ne kadar küçük olabileceğine ve değişikliğin gerçekten yardımcı olup olmadığına karar vermektir.

Bazen doğru düzeltme, bir bellek yazmaktır. Bazen bir.prompt düzenlemedir. Bazen bir araç sarmalayıcı, bir yönlendirme kuralı veya bir iş akışı yamadır. İnce ayar, her başarısızlığa ilk cevap olarak kalmamalıdır.

Benchmark’ler faydalıdır, ancak üretim nadiren size birini verir

Ajans harnessını kendisi optimize etme üzerine heyecan verici çalışmalar var. GEPA ve Meta-Harness gibi yöntemler, ajansı, değiştirilebilen ve test edilebilen bir sistem olarak ele alır. Ajansın çeşitli düzenleme önerilerini yapabilir, adayları çalıştırabilir ve daha iyi puan alanları koruyabilir.

Bu, doğru yön. İyileştirme, “ağırlıkları güncelle” dar çerçevesinden “ajansı geliştir” daha geniş çerçevesine taşınır.

Ancak bir sorun var: bu yöntemler genellikle bir benchmark varsayar. Bir görevin tekrar tekrar çalıştırılabileceği ve adayın A’dan daha iyi olup olmadığını söyleyebilen bir değerlendiricinin olduğu bir görev gerekir. Bunun olmadan, optimize etme, daha iyi araçlarla yapılan tahminlere dönüşür.

Bu, çoğu ekibin üretimde sahip olduğu şey değildir.

Onların sahip olduğu şey günlüklerdir. İzleri, kullanıcı düzeltmeleri, destek biletleri, aşağı oylama olayları, yükseltme notları ve ara sıra uzman geri bildirimi vardır. Bu sinyaller değerli, ancak henüz bir benchmark değildir. Bir şeyin meydana geldiğini söylerler, ancak nasıl yeniden oynanacağını, başarı nasıl görünmelidir veya önerilen bir düzeltmenin nasıl puanlanacağını otomatik olarak söyleyemezler.

Bu boşluk, birçok sürekli öğrenme girişiminin tıkandığı yerdir. Ekibin deneyimi vardır, ancak henüz bir öğrenme ortamı yoktur.

Günlükler Ders Değildir

Üretim günlüğü, bir etkileşim yoluyla bir yolu kaydeder. Bir kullanıcı uçuş için sordu. Ajans aradı. Kullanıcı tarihi yanlış dedi. Bu, bir başarısızlık kanıtı, ancak öğrenmek için yeterli değildir.

Günlük, karşıt olguyu tanımlamaz. Ajansın onaylama istemesi gerektiği, daha önceki bağlamdan tarihi çıkarsaması gerektiği, farklı bir aracı çağırması gerektiği, farklı bir iş akışına yönlendirmesi gerektiği veya belirsizliği çözülene kadar ilerlememesi gerektiği söylenmez. Bir insan, izi okuyarak cevabı bilebilir, ancak sistem bu yapıyı ücretsiz olarak almaz.

Sürekli öğrenme çalışması için, bir ham başarısızlık, yeniden oynanabilir bir şeye dönüştürülmelidir. Bu, ajansın tekrar karşılaştığı bir görev, bir kullanıcı veya simülatörün ilgili deseni yeniden yaratması, ajansın çağırabileceği araçlar ve başarıyı tanımlayan değerlendiriciler anlamına gelir. Değerlendirici, son cevabı, araç çağrısını, bir politika sınırını, gecikme, maliyet veya hepsini kontrol edebilir.

Bu, çalışmanın menos görünür kısmı, ancak geliştirme gerçekleştiren kısmıdır. Bir başarısızlık, yeniden oynanabilir bir ortama dönüştüğünde, somut bir soru sorulabilir: önerilen değişiklik gerçekten davranışı düzeltti mi?

Bu adım olmadan, ekipler esas olarak bellekten yama yapıyor.

David Silver ve Richard Sutton, deneyimin çağını tanımladı, burada ajanlar, statik insan verisi yerine, dünya ile etkileşimden öğrenir. Kurumsal ajanlar için bu vizyon, üretime expérienceini, yeniden oynanabilir, puanlanabilir ve yeniden kullanılabilir ortamlara dönüştürmekle bağlıdır.

Tecrübe alone yetmez. Test edilebilir hale getirilmelidir.

Geri Dönüş Gizli Maliyet

Bir başarısızlık, yeniden oynanabilir hale geldiğinde bile, en zor kısım kalır: bir şeyi onarmak, başka bir şeyi bozmamak.

Karmaşık bir ajansın bakımını yapan herkes, bu kalıbı görmüştür. Agresif iade taleplerini yükseltmek için bir talimat eklersiniz. Şimdi, hızlı bir şekilde ele alınması gereken rutin iadeleri de yükseltir. Bir iş akışında araç çağrılarını azaltırsınız. Şimdi, başka bir iş akışı, gerekli bir kontrolü atlar. Eski bir belleği düzeltirsiniz. Şimdi, ajan, düzeltmeyi farklı bir ürün hattına genelleyerek aşırı genelleme yapar.

Her yama, yerel olarak mantıklıdır. Sistem, küresel olarak yine de sürüklenir.

Bu, ajanların kabusidir. Sinir ağlarında, bu terim genellikle yeni eğitimin eski yetenekleri silmesi anlamına gelir. Ajanlarda, başarısızlık daha geniş ve genellikle daha zor görülebilir. Unutma, promptlarda, araçlarda, bellekte, yönlendirmede ve iş akışında meydana gelebilir. Temiz bir metriğe sahip bir eğitim eğrisi yerine, bir kullanıcı “Bu önce çalışıyordu” der.

Bu nedenle, geriye dönük kontrol, son inceleme adımının dışında olmalıdır. Öğrenme döngüsünün içinde olmalıdır.

Hedef, yalnızca en yeni başarısızlığı en iyi şekilde çözmek değildir. Hedef, yeni durumu iyileştirmek ve eski durumları korumaktır. Herhangi bir düzeltme, ajansın, bozulmadan çalışması gereken şeylerin artan belleğinin bir parçası olmalıdır. Uygulamada, bu, eski başarısızlıkların, geriye dönük testler haline gelmesi anlamına gelir. Ajansın geçmişi, bir arşiv değil, bir kısıtlamadır.

Bu, sürekli öğrenmenin, ciddi bir yazılım mühendisliğinden ziyade, bir.prompt düzenleme oyunundan daha fazla olduğu yerdir. Bir değişiklik, daha iyi olduğu için değil, ölçülen bir davranışı iyileştirdiği ve sistemi bozmadığı için iyidir.

Pratik Sürekli Öğrenme Ne Gerektirir

Üretim için hazırlanmış bir sürekli öğrenme döngüsü, dört özelliğe ihtiyaç duyar.

İlk olarak, başarısızlıklar yeniden oynanabilir olmalıdır. Bir kerelik başarısızlık, bir anekdottur. Bir yeniden oynanabilir, derecelendirilmiş ortam, bir testtir. Ajans, aynı deseni tekrar karşılayana kadar, kimse düzeltmenin işe yarayıp yaramadığını kanıtlamaz.

İkincisi, teşhis holistik olmalıdır. Düzeltme, modele ait olabilir, ancak aynı zamanda bellekte, promptta, araç katmanında veya iş akışında da olabilir. En iyi düzeltme, genellikle en küçük, dayanıklı değişikliktir ve başarısızlığı açıklar.

Üçüncüsü, öğrenme, ömür boyu olmalıdır. Ajans, bu hafta, geçen haftanın kazandığı davranışı sessizce geri almaktan daha iyi olmalıdır. Önceki başarılar, optimize etme sırasında kısıtlamalar olmalıdır, sürprizler değil.

Dördüncüsü, döngü verimlidir. Herhangi bir geliştirme, üç aylık bir yeniden eğitim projesi gerektiriyorsa, sistem üretimi takip edemez. Döngü, ucuz düzeltmeleri önce denemeli, yalnızca gerektiğinde yükseltmeli ve doğrulamayı değişikliğin yakınında tutmalıdır.

Hiçbiri, ajanların kendilerini kör bir şekilde güncellemesi gerektiği anlamına gelmez. Tersini anlamına gelir. İyileştirme, ölçülebilir olmalıdır. Her değişiklik, bir test, bir önce ve sonra puanı ve bir geriye dönük kontrolü olmalıdır.

Bu, sürekli öğrenmeyi, belirsiz bir özlemden, bir mühendislik disiplinine dönüştürür.

Ajanların geleceği, yalnızca daha büyük bağlam pencereleri, daha güçlü temel modeller veya daha fazla araç tarafından belirlenmeyecek. Bunların hepsi önemli olacak. Ancak şirketler için daha önemli soru, dağıtımdan sonra ne olacağıdır.

Ajans, yarın başarısız olursa, sistem bu başarısızlığı bir teste dönüştürebilir mi? Düzeltmeyi doğru katmana yönlendirebilir mi? Düzeltmenin yardımcı olduğunu kanıtlayabilir mi? Hiçbir şeyin bozulmadığını kanıtlayabilir mi?

Eğer cevap hayır ise, ajans üretimde gerçekten öğrenmiyor. Risk birikiyor.

Önemli olan ajanlar, daha iyisini yapacaklar. Birikimli olacaklar.