AgentOps ile Otonom Aracılar: Yapay Zeka Uygulamanız için Gözlemlenebilirlik, İzlenebilirlik ve Ötesi

Büyük Dil Modelleri (LLM'ler) gibi temel modeller (FM'ler) tarafından özerk ajanların büyümesi, karmaşık, çok adımlı sorunları çözme şeklimizi yeniden şekillendirdi. Bu ajanlar, akıl yürütme, araç kullanımı ve belleği birleştiren karmaşık iş akışlarında gezinerek müşteri desteğinden yazılım mühendisliğine kadar çeşitli görevleri gerçekleştirir.

Ancak bu sistemlerin yetenekleri ve karmaşıklıkları arttıkça, gözlemlenebilirlik, güvenilirlik ve uyumluluk konusunda zorluklar ortaya çıkmaktadır.

İşte AgentOps tam da bu noktada devreye giriyor; DevOps ve MLOps'tan modellenen ancak FM tabanlı ajanların yaşam döngüsünü yönetmek için özel olarak tasarlanmış bir kavram.

AgentOps nedir?

AgentOps, üretimde FM tabanlı otonom ajanları tasarlamak, dağıtmak, izlemek ve optimize etmek için gereken uçtan uca süreçleri, araçları ve çerçeveleri ifade eder. Hedefleri şunlardır:

• Gözlenebilirlik: Temsilcinin yürütme ve karar alma süreçlerine tam görünürlük sağlamak.
• İzlenebilirlik: Hata ayıklama, iyileştirme ve uyumluluk için aracının yaşam döngüsü boyunca ayrıntılı eserleri yakalama.
• Güvenilirlik: İzleme ve sağlam iş akışları ile tutarlı ve güvenilir çıktıların sağlanması.

AgentOps, özünde yinelemeli, çok adımlı iş akışlarını, araç entegrasyonunu ve uyarlanabilir belleği vurgulayarak geleneksel MLOps'un ötesine geçer ve tüm bunları yaparken titiz izleme ve gözlemlemeyi sürdürür.

AgentOps Tarafından Ele Alınan Temel Zorluklar

1. karmaşıklığı Temsilcilik Sistemleri

Otonom ajanlar, her adımda kararlar gerektiren geniş bir eylem alanında görevleri işler. Bu karmaşıklık, karmaşık planlama ve izleme mekanizmaları gerektirir.

2. Gözlemlenebilirlik Gereksinimleri

Yüksek riskli kullanım durumları (tıbbi teşhis veya yasal analiz gibi) ayrıntılı izlenebilirlik gerektirir. AB AI Yasası gibi düzenlemelere uyum, sağlam gözlemlenebilirlik çerçevelerine olan ihtiyacı daha da vurgular.

3. Hata Ayıklama ve Optimizasyon

Çok adımlı iş akışlarındaki hataları belirlemek veya ara çıktıları değerlendirmek, aracının eylemlerinin ayrıntılı izleri olmadan zordur.

4. Ölçeklenebilirlik ve Maliyet Yönetimi

Üretim için ajanların ölçeklendirilmesi, kaliteyi tehlikeye atmadan verimliliği garantilemek için gecikme, belirteç kullanımı ve operasyonel maliyetler gibi ölçümlerin izlenmesini gerektirir.

AgentOps Platformlarının Temel Özellikleri

1. Ajan Oluşturma ve Özelleştirme

Geliştiriciler, bileşenlerin bir kayıt defterini kullanarak aracıları yapılandırabilir:

• Roller: Sorumlulukları tanımlayın (örneğin araştırmacı, planlayıcı).
• Korkuluklar: Etik ve güvenilir davranışı garantilemek için kısıtlamalar belirleyin.
• Araç setleri: API'ler, veritabanları veya bilgi grafikleriyle entegrasyonu etkinleştirin.

Aracılar, önceden tanımlanmış kurallara uyumu korurken belirli veri kümeleri, araçlar ve istemlerle etkileşime girecek şekilde tasarlanmıştır.

2. Gözlemlenebilirlik ve İzleme

AgentOps ayrıntılı yürütme günlüklerini yakalar:

• İzler: LLM çağrılarından araç kullanımına kadar, aracınızın iş akışındaki her adımı kaydedin.
• açıklıklar: İzleri, alma, yerleştirme oluşturma veya araç çağırma gibi ayrıntılı adımlara bölün.
• Eserler: Hata ayıklamaya yardımcı olmak için ara çıktıları, bellek durumlarını ve istem şablonlarını izleyin.

Langfuse veya Arize gibi gözlemlenebilirlik araçları, bu izleri görselleştiren ve darboğazları veya hataları belirlemeye yardımcı olan gösterge panelleri sağlar.

3. Hızlı Yönetim

İstem mühendisliği, ajan davranışının oluşturulmasında önemli bir rol oynar. Temel özellikler şunlardır:

• Sürüm oluşturma: Performans karşılaştırması için istemlerin yinelemelerini izleyin.
• Enjeksiyon Tespiti: İstemlerdeki kötü amaçlı kodları veya girdi hatalarını belirleyin.
• Optimizasyon: Düşünce Zinciri (CoT) veya Düşünce Ağacı gibi teknikler muhakeme yeteneklerini geliştirir.

4. Geribildirim Entegrasyonu

Tekrarlanan iyileştirmeler için insan geri bildirimi kritik öneme sahip olmaya devam ediyor:

• Açık Geribildirim: Kullanıcılar çıktıları derecelendirir veya yorum yapar.
• Kapalı Geribildirim: Etkinliği ölçmek için görev süresi veya tıklama oranları gibi metrikler analiz edilir.

Bu geri bildirim döngüsü hem aracının performansını hem de test için kullanılan değerlendirme ölçütlerini iyileştirir.

5. Değerlendirme ve Test Etme

AgentOps platformları aşağıdakiler genelinde titiz testlerin yapılmasını kolaylaştırır:

• kriterler: Temsilci performansını sektör standartlarıyla karşılaştırın.
• Adım Adım Değerlendirmeler: İş akışlarındaki ara adımları değerlendirerek doğruluğundan emin olun.
• Yörünge Değerlendirmesi: Temsilcinin aldığı karar alma yolunu doğrulayın.

6. Bellek ve Bilgi Bütünleşmesi

Aracılar bağlam için kısa süreli belleği (örneğin, konuşma geçmişi) ve geçmiş görevlerden gelen içgörüleri depolamak için uzun süreli belleği kullanır. Bu, aracıların zaman içinde tutarlılığı korurken dinamik olarak uyum sağlamasını sağlar.

7. İzleme ve Metrikler

Kapsamlı izleme yolları:

• gecikme: Optimizasyon için yanıt sürelerini ölçün.
• Jeton Kullanımı: Maliyetleri kontrol altına almak için kaynak tüketimini izleyin.
• Kalite Ölçütleri: İlgililiği, doğruluğu ve toksisiteyi değerlendirin.

Bu metrikler, kullanıcı oturumları, istemler ve iş akışları gibi boyutlar genelinde görselleştirilerek gerçek zamanlı müdahalelere olanak tanır.

İzlenebilir Eserlerin Taksonomisi

Makalede AgentOps gözlemlenebilirliğinin temelini oluşturan eserlerin sistematik bir sınıflandırması tanıtılmaktadır:

• Aracı Oluşturma Eserleri: Roller, hedefler ve kısıtlamalarla ilgili meta veriler.
• Uygulama Eserleri: Araç çağrılarının, alt görev kuyruklarının ve akıl yürütme adımlarının günlükleri.
• Değerlendirme Eserleri: Ölçütler, geri bildirim döngüleri ve puanlama ölçümleri.
• Eserlerin İzlenmesi: Ayrıntılı izleme için oturum kimlikleri, izleme kimlikleri ve aralıklar.

Bu sınıflandırma, aracı yaşam döngüsü boyunca tutarlılık ve netlik sağlayarak hata ayıklamayı ve uyumluluğu daha yönetilebilir hale getirir.

AjanOps (araç) Rehber

Bu, AI ajanlarınızı izlemek ve optimize etmek için AgentOps'u kurma ve kullanma konusunda size rehberlik edecektir.

Adım 1: AgentOps SDK'sını yükleyin

Tercih ettiğiniz Python paket yöneticisini kullanarak AgentOps'u yükleyin:

pip install agentops

Adım 2: AgentOps'u Başlatın

İlk olarak AgentOps'u içe aktarın ve API anahtarınızı kullanarak başlatın. API anahtarını bir .env güvenlik dosyası:

# Initialize AgentOps with API Key
import agentops
import os
from dotenv import load_dotenv

# Load environment variables
load_dotenv()
AGENTOPS_API_KEY = os.getenv("AGENTOPS_API_KEY")

# Initialize the AgentOps client
agentops.init(api_key=AGENTOPS_API_KEY, default_tags=["my-first-agent"])

Bu adım, uygulamanızdaki tüm LLM etkileşimleri için gözlemlenebilirliği ayarlar.

Adım 3: Dekoratörlerle Eylemleri Kaydedin

Belirli işlevleri kullanarak enstrümanlar oluşturabilirsiniz. @record_action Parametrelerini, yürütme süresini ve çıktıyı izleyen bir dekoratör. İşte bir örnek:

from agentops import record_action

@record_action("custom-action-tracker")
def is_prime(number):
    """Check if a number is prime."""
    if number < 2:
        return False
    for i in range(2, int(number**0.5) + 1):
        if number % i == 0:
            return False
    return True

İşlev artık AgentOps panosuna kaydedilecek ve yürütme süresi ve girdi-çıktı takibi için ölçümler sağlayacak.

Adım 4: Adlandırılmış Aracıları Takip Et

Adlandırılmış aracılar kullanıyorsanız, şunu kullanın: @track_agent Tüm eylemleri ve olayları belirli etkenlere bağlamak için dekoratör.

from agentops import track_agent

@track_agent(name="math-agent")
class MathAgent:
    def __init__(self, name):
        self.name = name

    def factorial(self, n):
        """Calculate factorial recursively."""
        return 1 if n == 0 else n * self.factorial(n - 1)

Bu aracı içindeki herhangi bir eylem veya LLM çağrısı artık şurayla ilişkilendirilir: "math-agent" etiketi.

Adım 5: Çoklu Aracı Desteği

Birden fazla aracı kullanan sistemlerde, daha iyi gözlemlenebilirlik için olayları farklı aracılar arasında takip edebilirsiniz. İşte bir örnek:

@track_agent(name="qa-agent")
class QAAgent:
    def generate_response(self, prompt):
        return f"Responding to: {prompt}"

@track_agent(name="developer-agent")
class DeveloperAgent:
    def generate_code(self, task_description):
        return f"# Code to perform: {task_description}"

qa_agent = QAAgent()
developer_agent = DeveloperAgent()

response = qa_agent.generate_response("Explain observability in AI.")
code = developer_agent.generate_code("calculate Fibonacci sequence")

Her çağrı, AgentOps panosunda ilgili aracının izi altında görünecektir.

Adım 6: Oturumu Sonlandırın

Bir oturumun sonunu belirtmek için şunu kullanın: end_session yöntem. İsteğe bağlı olarak, oturum durumunu ekleyin (Success or Fail) ve bir sebep.

# End of session
agentops.end_session(state="Success", reason="Completed workflow")

Bu, tüm verilerin kaydedilmesini ve AgentOps panosundan erişilebilir olmasını sağlar.

Adım 7: AgentOps Pano'sunda görselleştirin

Türkiye Dental Sosyal Medya Hesaplarından bizi takip edebilirsiniz. AgentOps Panosu keşfetmek:

• Oturum Tekrarları: Adım adım yürütme izleri.
• Analytics: LLM maliyeti, token kullanımı ve gecikme ölçümleri.
• Hata Tespiti: Arızaları veya yinelemeli döngüleri belirleyin ve hata ayıklayın.

Geliştirilmiş Örnek: Tekrarlayan Düşünce Algılama

AgentOps ayrıca ajan iş akışlarındaki yinelemeli döngüleri algılamayı da destekler. Önceki örneği yinelemeli algılama ile genişletelim:

@track_agent(name="recursive-agent")
class RecursiveAgent:
    def solve(self, task, depth=0, max_depth=5):
        """Simulates recursive task solving with depth control."""
        if depth >= max_depth:
            return f"Max recursion depth reached for task: {task}"
        return self.solve(task, depth + 1)

recursive_agent = RecursiveAgent()
output = recursive_agent.solve("Optimize database queries")
print(output)