AWS, 프레임워크 간 AI 에이전트 평가를 위한 UAEF 상세 내용 공개

AWS는 2026년 11월 11일 Apache-2.0 라이선스로 제공되는 오픈소스 시스템인 Universal Agent Evaluation Framework (UAEF)에 관한 기술 소개 자료를 공개했다. 이 시스템은 7개 차원에 걸친 36개의 기본 제공 지표를 사용해 AI 에이전트를 평가한다.

UAEF는 LangGraph, LangChain, Strands Agents 및 Amazon Bedrock AgentCore 전반에서 평가 결과를 서로 비교할 수 있도록 설계됐다. 각 프레임워크는 메시지, 도구 호출, 에이전트 간 핸드오프를 서로 다른 방식으로 기록한다. 따라서 한 가지 형식에 맞춰 작성된 평가 코드에서는 프레임워크를 변경할 때 새 지표와 점수 산정 로직, 결과 저장 방식을 마련해야 할 수 있다. 이 때문에 프롬프트, 모델 또는 도구를 변경했을 때 에이전트가 개선됐는지 판단하기가 더 어려워진다.

AWS에 따르면 통신, 의료, 금융 서비스 분야의 12개 조직에 속한 고객들이 UAEF를 사용해 일관된 지표를 적용하고 출시 전에 에이전트 버전을 비교했다. awslabs/uaef 저장소에는 Python 라이브러리, 프레임워크 어댑터, 지표, AWS 배포 인프라, 웹 인터페이스 및 실행 가능한 노트북이 포함돼 있다.

표준화된 트레이스로 통합 점수 산정

어댑터는 각 에이전트의 메시지, 도구 호출 및 핸드오프를 표준화된 표현으로 정규화한다 AgentTrace이 표현은 점수 산정 엔진이 사용하는 유일한 형식이다. UAEF는 이전 실행, 로그 또는 관측 가능성 저장소에 있는 기존 트레이스를 변환하거나, 런타임 Amazon Resource Name 또는 HTTP 엔드포인트를 통해 에이전트를 호출한 뒤 실행 결과를 변환할 수 있다. 범용 JSON 어댑터를 사용하면 이 과정을 사용자 지정 프레임워크로 확장할 수 있다.

지표 카탈로그는 기본 제공 지표를 도구 호출, 응답 품질, 책임 있는 AI, 성능, 다중 턴 대화, 다중 에이전트 조정 및 추론으로 분류한다. 점수는 0~1의 정규화된 척도로 표시되며, 1이 가장 높은 점수다. 결정론적 지표는 트레이스와 정답 데이터를 직접 사용해 계산하는 반면, LLM 심사 지표는 Amazon Bedrock의 모델을 사용해 관련성 및 안전성과 같은 품질을 평가한다. 사용자 지정 지표와 RAGAS 및 DeepEval 통합도 지원한다.

전반적으로 정답 데이터는 선택 사항이지만, 참조 데이터와 비교하는 지표에는 정답 데이터가 필요하다. 도구 호출 평가에서는 예상 도구와 호출 순서, 인수도 정의할 수 있다. 지표 계산에 필요한 입력이 없으면 경고와 함께 점수를 반환하지 않으며, 이 빈 결과는 0점으로 계산되지 않고 차원별 평균에서 제외된다. 따라서 입력값을 사용할 수 있는 지표를 이용하면 일부에만 라벨이 붙은 데이터 세트와 라벨이 없는 실제 운영 트래픽도 평가할 수 있다.

저장된 실험으로 회귀 문제 파악

저장된 평가 결과는 실험 데이터가 된다. Amazon DynamoDB는 평가 횟수와 평균 점수 등 목록 조회 및 비교를 위한 메타데이터를 저장하고, Amazon S3에는 지표별 점수와 심사 모델의 추론이 포함된 전체 JSON 결과를 저장한다. 개별 실행 기록에는 프레임워크, 모델, 도구, 시스템 프롬프트, 매개변수, 구성 스냅샷 및 Git 커밋을 남길 수 있어 각 점수를 테스트 중인 에이전트 설계와 연결할 수 있다. UAEF는 저장 전에 트레이스에서 개인 정보를 검사하며, 저장된 결과를 익명 처리하는 기능도 제공한다.

두 실행에서 공통으로 사용된 지표에 대해 비교 엔진은 기준선과 비교한 절대 변화량 및 백분율 변화를 계산한다. 기본값이 5%인 설정 가능 임계값에 따라 결과를 개선, 회귀 또는 변화 없음으로 구분한다. 회귀는 경미, 보통 또는 심각으로 등급을 나누고 차원별로 분류한다. 이러한 분류를 통해 프롬프트 수정이 응답 품질은 바꾸지 않으면서 도구 호출에 영향을 미쳤는지 확인할 수 있다.

보고서에서는 재현 가능한 통계와 모델이 생성한 해석을 분리한다. 웹 인터페이스는 테스트 사례별 및 차원별 결과를 보여준다. 선택 사항인 통계 보고서에서는 LLM을 사용하지 않고 점수 분포, 신뢰 구간, 이상치, 지표 간 상관관계 및 실패한 테스트 사례를 다룬다. 이와 별도로 Bedrock이 생성하는 분석은 단일 실행이나 비교 결과에 대해 근본 원인과 우선순위가 지정된 다음 단계를 제안할 수 있다.

Python 라이브러리와 로우코드 웹 서비스는 동일한 평가 엔진과 저장소를 사용한다. 팀은 결과의 점수 산정 및 비교 방식을 바꾸지 않고 노트북, 스크립트, 지속적 통합 및 지속적 배포 파이프라인에서 평가를 실행하거나 브라우저를 통해 실행할 수 있다.

AWS 종속성 및 격리 경계

설치 안내서에 따르면 Python 3.10 이상과 uv 패키지 관리자가 필요하다. Bedrock 기반 심사와 DynamoDB/S3 저장 기능을 사용하려면 AWS 자격 증명이 필요하다. 따라서 이러한 심사 및 저장 기능을 사용하는 팀은 에이전트에 서로 다른 프레임워크를 사용하더라도 AWS 서비스에 계속 연결해야 한다.

UAEF는 평가 대상 에이전트의 출력을 심사 프롬프트에 입력되는 신뢰할 수 없는 데이터로 취급한다. 평가 기준을 별도로 전송하고, 콘텐츠를 이스케이프 처리하며, 심사 모델의 응답을 엄격하게 파싱하고, 점수를 승인하기 전에 증거가 되는 구절을 원문 그대로 제출하도록 요구한다. AWS는 심사 점수를 보안 제어의 통과 기준으로 삼아서는 안 된다고 밝혔다. 런타임 적용은 별도의 Amazon Bedrock Guardrails 호출 경로에서 이뤄져야 한다.

저장소는 UAEF를 사용자 및 테넌트 격리를 제공하는 플랫폼 내부에서 실행하도록 설계된 참조 아키텍처로 설명한다. 호스트 측에서 격리를 적용하지 않는 직접적인 다중 테넌트 배포는 지원되지 않는다. 각 테넌트에는 별도의 배포 환경이 필요하며, 자체 AWS 계정이나 최소한 자체 스택, DynamoDB 테이블, S3 버킷 및 Cognito 사용자 풀을 갖춰야 한다.

여러 에이전트 프레임워크를 운영하는 기업에 UAEF는 프롬프트, 모델, 도구 또는 구현 방식이 바뀌어도 유지될 수 있는 안정적인 평가 기준선을 제공합니다. 이러한 연속성을 실현하려면 라이브러리를 설치하는 것만으로는 부족합니다. 유의미한 비교를 하려면 적절한 지표와 데이터 세트가 필요하며, 멀티테넌트 사용에는 UAEF 외부에서 제공되는 격리가 필요합니다.