AgentOps를 통한 자율 에이전트: AI 애플리케이션을 위한 관찰성, 추적성 및 그 이상

대규모 언어 모델(LLM)과 같은 기초 모델(FM)에 의한 자율 에이전트의 성장은 우리가 복잡하고 여러 단계로 구성된 문제를 해결하는 방식을 개혁했습니다. 이러한 에이전트는 고객 지원에서 소프트웨어 엔지니어링에 이르기까지 다양한 작업을 수행하며 추론, 도구 사용 및 기억을 결합하는 복잡한 워크플로를 탐색합니다.

그러나 이러한 시스템의 기능과 복잡성이 커지면서 관찰성, 안정성 및 규정 준수 측면에서 문제가 발생합니다.

바로 여기서 AgentOps가 등장합니다. AgentOps는 DevOps와 MLOps를 모델로 한 개념이지만 FM 기반 에이전트의 수명 주기를 관리하도록 맞춤화되었습니다.

AgentOps란 무엇인가요?

AgentOps는 프로덕션에서 FM 기반 자율 에이전트를 설계, 배포, 모니터링 및 최적화하는 데 필요한 엔드투엔드 프로세스, 도구 및 프레임워크를 말합니다. 목표는 다음과 같습니다.

• 관찰 가능성: 에이전트의 실행 및 의사 결정 프로세스에 대한 완전한 가시성을 제공합니다.
• 추적성: 디버깅, 최적화 및 규정 준수를 위해 에이전트 라이프사이클 전반에 걸쳐 자세한 아티팩트를 캡처합니다.
• 신뢰성 : 모니터링과 견고한 워크플로를 통해 일관되고 신뢰할 수 있는 결과물을 보장합니다.

AgentOps의 핵심은 반복적이고 다단계 워크플로, 도구 통합, 적응형 메모리를 강조하는 동시에 엄격한 추적 및 모니터링을 유지함으로써 기존 MLOps를 뛰어넘는다는 것입니다.

AgentOps가 해결하는 주요 과제

1. 복잡성 에이전트 시스템

자율 에이전트는 광대한 액션 공간에서 작업을 처리하며, 모든 단계에서 의사 결정이 필요합니다. 이러한 복잡성은 정교한 계획 및 모니터링 메커니즘을 요구합니다.

2. 관찰 가능성 요구 사항

의료 진단이나 법적 분석과 같은 고위험 사용 사례는 세부적인 추적 가능성을 요구합니다. EU AI 법과 같은 규정을 준수하면 견고한 관찰 프레임워크의 필요성이 더욱 강조됩니다.

3. 디버깅 및 최적화

에이전트의 작업에 대한 자세한 추적 없이는 여러 단계로 구성된 작업 흐름에서 오류를 식별하거나 중간 결과를 평가하는 것은 어렵습니다.

4. 확장성 및 비용 관리

프로덕션을 위한 확장 에이전트에서는 품질을 떨어뜨리지 않으면서도 효율성을 보장하기 위해 지연 시간, 토큰 사용량, 운영 비용과 같은 측정 항목을 모니터링해야 합니다.

AgentOps 플랫폼의 핵심 기능

1. 에이전트 생성 및 사용자 정의

개발자는 구성 요소 레지스트리를 사용하여 에이전트를 구성할 수 있습니다.

• 역할 : 책임(예: 연구자, 계획자)을 정의합니다.
• 난간: 윤리적이고 신뢰할 수 있는 행동을 보장하기 위해 제약 조건을 설정합니다.
• 툴킷: API, 데이터베이스 또는 지식 그래프와의 통합을 활성화합니다.

에이전트는 사전 정의된 규칙을 준수하는 동시에 특정 데이터 세트, 도구 및 프롬프트와 상호 작용하도록 구축됩니다.

2. 관찰성과 추적

AgentOps는 자세한 실행 로그를 캡처합니다.

• 흔적: LLM 통화부터 도구 사용까지, 에이전트 워크플로의 모든 단계를 기록합니다.
• 스팬: 추적을 검색, 임베딩 생성, 도구 호출 등의 세부적인 단계로 구분합니다.
• 아티팩트 : 디버깅을 돕기 위해 중간 출력, 메모리 상태 및 프롬프트 템플릿을 추적합니다.

Langfuse나 Arize와 같은 관찰 도구는 이러한 추적 내용을 시각화하는 대시보드를 제공하여 병목 현상이나 오류를 식별하는 데 도움이 됩니다.

3. 신속한 관리

신속한 엔지니어링은 에이전트 행동 형성에 중요한 역할을 합니다. 주요 기능은 다음과 같습니다.

• 버전 관리: 성과 비교를 위해 프롬프트 반복을 추적합니다.
• 주입 감지: 프롬프트에서 악성 코드나 입력 오류를 식별합니다.
• 최적화 : Chain-of-Thought(CoT)나 Tree-of-Thought와 같은 기술은 추론 능력을 향상시킵니다.

4. 피드백 통합

반복적인 개선을 위해서는 인간의 피드백이 여전히 중요합니다.

• 명시적 피드백: 사용자는 결과물을 평가하거나 의견을 제공합니다.
• 암묵적 피드백: 작업 시간이나 클릭률과 같은 측정 항목을 분석하여 효과를 측정합니다.

이 피드백 루프는 에이전트의 성과와 테스트에 사용되는 평가 벤치마크를 모두 개선합니다.

5. 평가 및 테스트

AgentOps 플랫폼은 다음 분야에서 엄격한 테스트를 용이하게 합니다.

• 벤치 마크 : 업계 표준과 에이전트 성과를 비교합니다.
• 단계별 평가: 정확성을 보장하기 위해 워크플로의 중간 단계를 평가합니다.
• 궤적 평가: 에이전트가 취한 의사결정 경로를 검증합니다.

6. 기억과 지식 통합

에이전트는 맥락(예: 대화 기록)을 위해 단기 기억을 활용하고 과거 작업에서 얻은 통찰력을 저장하기 위해 장기 기억을 활용합니다. 이를 통해 에이전트는 시간이 지남에 따라 일관성을 유지하면서 동적으로 적응할 수 있습니다.

7. 모니터링 및 지표

포괄적인 모니터링 트랙:

• 대기 시간 : 최적화를 위해 응답 시간을 측정합니다.
• 토큰 사용법: 비용을 제어하기 위해 리소스 소비를 모니터링합니다.
• 품질 지표: 관련성, 정확성, 독성을 평가합니다.

이러한 측정 항목은 사용자 세션, 프롬프트, 워크플로 등의 차원에서 시각화되어 실시간 개입이 가능합니다.

추적 가능한 아티팩트의 분류

이 논문은 AgentOps 관찰 가능성을 뒷받침하는 아티팩트의 체계적인 분류법을 소개합니다.

• 에이전트 생성 아티팩트: 역할, 목표 및 제약에 대한 메타데이터.
• 실행 아티팩트: 도구 호출, 하위 작업 대기열, 추론 단계의 로그입니다.
• 평가 아티팩트: 벤치마크, 피드백 루프, 채점 지표.
• 유물 추적: 세부적인 모니터링을 위한 세션 ID, 추적 ID 및 스팬.

이러한 분류법은 에이전트 라이프사이클 전체에서 일관성과 명확성을 보장하여 디버깅과 규정 준수를 보다 쉽게 ​​관리할 수 있도록 합니다.

에이전트 운영 (도구) 연습

이 가이드에서는 AgentOps를 설정하고 사용하여 AI 에이전트를 모니터링하고 최적화하는 방법을 안내합니다.

1단계: AgentOps SDK 설치

원하는 Python 패키지 관리자를 사용하여 AgentOps를 설치하세요.

pip install agentops

2단계: AgentOps 초기화

먼저 AgentOps를 가져와 API 키를 사용하여 초기화합니다. API 키를 다음 위치에 저장합니다. .env 보안을 위한 파일:

# Initialize AgentOps with API Key
import agentops
import os
from dotenv import load_dotenv

# Load environment variables
load_dotenv()
AGENTOPS_API_KEY = os.getenv("AGENTOPS_API_KEY")

# Initialize the AgentOps client
agentops.init(api_key=AGENTOPS_API_KEY, default_tags=["my-first-agent"])

이 단계에서는 애플리케이션의 모든 LLM 상호작용에 대한 관찰 가능성을 설정합니다.

3단계: 데코레이터로 작업 기록

다음을 사용하여 특정 기능을 계측할 수 있습니다. @record_action 매개변수, 실행 시간 및 출력을 추적하는 데코레이터입니다. 다음은 예입니다.

from agentops import record_action

@record_action("custom-action-tracker")
def is_prime(number):
    """Check if a number is prime."""
    if number < 2:
        return False
    for i in range(2, int(number**0.5) + 1):
        if number % i == 0:
            return False
    return True

이제 이 기능은 AgentOps 대시보드에 기록되어 실행 시간과 입출력 추적에 대한 측정 항목을 제공합니다.

4단계: 지정된 에이전트 추적

명명된 에이전트를 사용하는 경우 다음을 사용하십시오. @track_agent 모든 작업과 이벤트를 특정 에이전트에 연결하는 데코레이터입니다.

from agentops import track_agent

@track_agent(name="math-agent")
class MathAgent:
    def __init__(self, name):
        self.name = name

    def factorial(self, n):
        """Calculate factorial recursively."""
        return 1 if n == 0 else n * self.factorial(n - 1)

이 에이전트 내의 모든 작업 또는 LLM 호출은 이제 다음과 연결됩니다. "math-agent" 꼬리표.

5단계: 다중 에이전트 지원

여러 에이전트를 사용하는 시스템의 경우, 더 나은 관찰성을 위해 에이전트 간에 이벤트를 추적할 수 있습니다. 다음은 예입니다.

@track_agent(name="qa-agent")
class QAAgent:
    def generate_response(self, prompt):
        return f"Responding to: {prompt}"

@track_agent(name="developer-agent")
class DeveloperAgent:
    def generate_code(self, task_description):
        return f"# Code to perform: {task_description}"

qa_agent = QAAgent()
developer_agent = DeveloperAgent()

response = qa_agent.generate_response("Explain observability in AI.")
code = developer_agent.generate_code("calculate Fibonacci sequence")

각 통화는 해당 에이전트의 추적 아래 AgentOps 대시보드에 나타납니다.

6단계: 세션 종료

세션 종료를 알리려면 다음을 사용하십시오. end_session 방법. 선택적으로 세션 상태를 포함합니다(Success or Fail) 그리고 이유.

# End of session
agentops.end_session(state="Success", reason="Completed workflow")

이렇게 하면 모든 데이터가 AgentOps 대시보드에 기록되고 접근이 가능합니다.

7단계: AgentOps 대시보드에서 시각화

방문 AgentOps 대시보드 탐구:

• 세션 리플레이: 단계별 실행 추적.
• 해석학: LLM 비용, 토큰 사용량 및 지연 시간 측정 항목.
• 오류 감지: 오류나 재귀 루프를 식별하여 디버깅합니다.

강화된 예: 재귀적 사고 감지

AgentOps는 또한 에이전트 워크플로에서 재귀 루프를 감지하는 것을 지원합니다. 이전 예제를 재귀 감지로 확장해 보겠습니다.

@track_agent(name="recursive-agent")
class RecursiveAgent:
    def solve(self, task, depth=0, max_depth=5):
        """Simulates recursive task solving with depth control."""
        if depth >= max_depth:
            return f"Max recursion depth reached for task: {task}"
        return self.solve(task, depth + 1)

recursive_agent = RecursiveAgent()
output = recursive_agent.solve("Optimize database queries")
print(output)