AI 에이전트는 어떻게 평가할까요? 작업, 실행 경로, 신뢰성, 비용

AI 에이전트 평가는 대표적인 작업을 안정적으로 완료하고, 허용 가능한 경로를 따르며, 정해진 경계를 지키고, 비용에 상응하는 가치를 제공하는지 시험하는 것을 뜻합니다. 최종 답변만으로는 충분하지 않습니다. 에이전트가 위험한 행동을 하거나, 근거 없는 주장을 하거나, 지나치게 여러 번 재시도하거나, 운이 좋아 그럴듯한 결과를 낼 수도 있기 때문입니다.

에이전트 평가는 시스템이 시간의 흐름에 따라 작동하기 때문에 어렵습니다. 모델은 도구를 선택하고, 변화하는 환경을 관찰하며, 실행할 때마다 다른 경로를 택할 수 있습니다. 따라서 효과적인 평가는 반복 시험을 통해 결과와 실행 경로를 측정합니다.

에이전트 평가의 기본 용어

Anthropic의 에이전트 평가의 개념을 쉽게 설명하는 가이드에는 다음과 같은 유용한 용어가 정리되어 있습니다.

• 작업: 목표, 환경, 입력, 성공 기준을 갖춘 하나의 테스트 사례입니다.
• 시도: 에이전트가 작업을 완료하기 위해 한 번 수행하는 시도입니다.
• 기록 또는 실행 경로: 시도 중에 오간 메시지, 결정, 도구 호출, 관찰, 행동의 순서입니다.
• 평가자: 성능의 일부를 점수화하는 규칙, 프로그램, 모델 또는 사람입니다.
• 평가 하네스: 환경을 준비하고, 시도를 실행하고, 추적 기록을 수집하고, 평가자를 호출하며, 결과를 보고하는 시스템입니다.

이러한 개념을 구분하면 흔히 저지르는 실수를 피할 수 있습니다. 한 번의 성공적인 시연을 에이전트가 안정적으로 성능을 발휘한다는 증거로 간주하는 실수입니다.

명확한 작업 명세부터 시작하기

유용한 평가 작업에는 초기 상태, 사용 가능한 도구, 제약 조건, 기대 결과, 반드시 금지해야 할 행동이 명시되어야 합니다. 테스트는 실제 업무와 비슷해야 하지만, 미리 정해 둔 단 하나의 경로를 그대로 따르도록 해서는 안 됩니다.

지원 에이전트에게 “티켓을 해결하라”고 지시하는 것만으로는 너무 모호합니다. 더 나은 작업 명세에는 고객 기록, 적용되는 정책, 허용되는 해결 방법, 필수 커뮤니케이션, 시스템 기록에 반영되어야 하는 변경 사항이 포함됩니다. 그러면 이를 객관적으로 평가할 수 있습니다.

에이전트 평가의 네 가지 계층

보고할 때는 이러한 계층을 서로 구분해야 합니다. 이를 하나의 평균으로 합치면 허용할 수 없는 행동이 가려질 수 있습니다. 예를 들어, 작업 성공률이 높더라도 권한이 없는 도구를 자주 사용하려 한 사실이 묻힐 수 있습니다. 팀은 먼저 엄격한 안전 통과 기준을 정한 다음, 해당 기준을 통과한 실행들의 결과 품질과 효율성을 비교할 수 있습니다.

1. 결과 품질

에이전트가 목표를 달성했나요? 결과 평가자는 정확한 상태 변경, 필수 필드, 테스트 결과, 사실의 정확성, 인용 근거 또는 평가 기준표에 따른 품질을 확인할 수 있습니다.

가능하다면 에이전트의 주장보다 환경의 최종 상태를 기준으로 평가하세요. 코딩 에이전트가 버그를 수정했다고 말하는 것만으로는 성공한 것이 아닙니다. 관련 테스트와 실제 동작으로 수정 여부를 확인해야 합니다.

2. 실행 경로의 품질

에이전트가 타당한 경로를 따랐나요? 실행 경로 평가는 불필요한 데이터 접근, 금지된 도구 사용, 반복되는 실패, 검증 누락, 조작된 관찰 결과, 승인 절차 위반을 찾아낼 수 있습니다.

기준 경로에서 벗어났다고 해서 모두 오류인 것은 아닙니다. 에이전트는 평가자가 예상하지 못한 유효한 해결책을 찾을 수 있습니다. 평가자는 실제 요구 사항은 엄격히 적용하되, 효율적인 대안도 허용해야 합니다.

3. 안전 및 정책 준수

에이전트가 권한 범위 안에서 행동했나요? 테스트에는 프롬프트 인젝션, 서로 상충하는 지시, 민감한 데이터, 모호한 사용자 의도, 거부하거나 상위 담당자에게 넘겨야 하는 요청이 포함되어야 합니다.

안전성 평가를 하려면 샌드박스 환경에서도 현실적인 결과를 반영해야 합니다. 에이전트가 이미 메시지를 보내거나, 기록을 변경하거나, 데이터를 노출했다면 정책을 준수하는 문장을 출력했다는 것만으로는 충분하지 않습니다.

4. 운영 효율성

성공에 시간과 비용이 얼마나 들었나요? 모델 토큰 수, 도구 호출 횟수, 실제 경과 시간, 재시도 횟수, 사람의 개입, 외부 서비스 비용을 추적하세요. 불필요한 작업을 100번이나 수행한 뒤 성공하는 에이전트는 더 단순한 작업 흐름보다 유용성이 떨어질 수 있습니다.

여러 유형의 평가자를 활용하기

결정론적 평가기는 테스트 통과 여부, 파일이 올바르게 변경되었는지, 데이터베이스 필드에 필수 값이 입력되었는지, 금지된 엔드포인트가 호출되었는지 등 정확한 속성을 검사합니다. 빠르고 일관적이지만 개발자가 정의한 항목만 평가할 수 있습니다.

모델 기반 평가기는 명확성, 완전성, 관련성, 세부 기준 준수 여부와 같은 특성을 평가합니다. 사람의 검토보다 규모를 확대하기 쉽지만, 편향되거나 일관성이 떨어질 수 있으므로 자체 검증이 필요합니다.

사람 평가자는 전문가의 판단이 필요한 경우, 모호한 사례, 자동 평가기 검증에 중요합니다. 평가 속도가 느리고 비용이 많이 들기 때문에, 팀에서는 주로 표본, 의견이 엇갈리는 사례, 영향이 큰 분야를 대상으로 사람 평가를 진행합니다.

가장 효과적인 평가 체계는 이러한 접근법을 결합합니다. OpenAI의 평가 플랫폼도 평가를 비공식적으로 살펴보는 일이 아니라 테스트와 평가기를 정의하고 실험을 반복하는 구조화된 과정으로 다룹니다.

신뢰성을 평가하려면 반복 시험이 필요합니다

샘플링, 도구 변경, 환경 상태에 따른 변동성을 관찰할 수 있을 만큼 각 작업을 충분히 반복 실행합니다. 평균 성능과 심각한 실패가 발생하는 빈도를 모두 보고합니다. 여러 단계가 서로 의존하는 워크플로에서는 단계별 정확도가 높아 보여도 전체 신뢰성은 낮을 수 있습니다. 한 번만 실패해도 작업 전체가 틀어질 수 있기 때문입니다.

에이전트의 동작은 확률적입니다. 같은 작업이라도 계획, 도구 호출, 결과가 달라질 수 있습니다. 중요한 작업은 여러 번 실행하고, 가장 좋은 사례만 보여 주는 대신 성공률이나 점수 분포를 보고합니다.

두 가지 신뢰성 지표는 서로 다른 질문에 답합니다.

• Pass@k: k번의 시도 중 적어도 한 번 성공할 확률입니다. 여러 번 시도해도 괜찮은 경우에 유용합니다.
• Pass^k: k번의 시도 모두 성공할 확률입니다. 매번 실행이 성공해야 하는 상황에서 일관성을 보여 주는 지표입니다.

시스템의 pass@k가 높아도 개별 실행의 신뢰성이 낮다면 자동 운영에는 적합하지 않을 수 있습니다.

대표성 있는 작업 세트 구축

실제 발생한 실패와 프로덕션 환경에서 흔히 접수되는 요청부터 살펴봅니다. 간단한 작업, 까다로운 예외 사례, 모호한 입력, 도구 오류, 오래된 데이터, 누락된 정보, 적대적 콘텐츠를 포함합니다.

작업 유형과 위험도에 따라 결과를 구분합니다. 전체 평균만 보면 금융 관련 조치, 장기 작업 또는 특정 애플리케이션의 심각한 취약점이 가려질 수 있습니다. 프롬프트를 반복적으로 조정해 평가 세트가 학습 세트로 변하지 않도록 별도의 보류 세트를 유지합니다.

모델뿐 아니라 환경도 평가해야 합니다

에이전트의 성능은 도구 정의, 권한, 메모리, 컨텍스트 관리, 사용자 인터페이스, 네트워크 동작, 오케스트레이션에 따라 달라집니다. 모델을 업그레이드하면 한 가지 오류가 줄어드는 대신 다른 오류가 드러날 수 있습니다.

각 실행에 사용된 전체 스택의 버전을 기록합니다. 모델, 프롬프트, 도구, 데이터 스냅샷, 환경, 예산, 평가기 버전을 기록해야 합니다. 그렇지 않으면 점수 변화의 의미 있는 원인을 추적할 수 없습니다.

흔히 저지르는 평가 실수

데이터 유출도 또 다른 위험입니다. 벤치마크 작업, 기대 답변 또는 채점 패턴이 모델의 학습 데이터나 프롬프트 맥락에 포함되어 있으면, 점수는 일반화 능력이 아니라 이미 알고 있는 내용을 알아보는 능력을 측정할 수 있습니다. 비공개 홀드아웃 작업을 유지하고, 시스템이 변경될 때마다 테스트 사례를 갱신하며, 실행할 때마다 사용한 모델, 프롬프트, 도구 버전과 환경을 정확히 기록해야 합니다.

• 데모 중심 평가: 에이전트가 잘하는 일을 확인한 뒤 평가 작업을 선택하는 것.
• 최종 답변만 평가: 안전하지 않거나 낭비가 심한 실행 과정을 무시하는 것.
• 단일 실행에 근거한 결론: 운 좋게 성공한 결과를 안정적인 역량으로 여기는 것.
• 유출된 테스트: 에이전트의 맥락에 정답이나 참조 실행 과정을 넣는 것.
• 검증되지 않은 모델 채점기: 자동 평가 결과가 전문가의 평가와 일치하는지 확인하지 않고 옳다고 가정하는 것.
• 고정된 환경: 하나의 인터페이스, 계정 상태 또는 데이터 구성만 테스트하는 것.
• 부정 테스트 없음: 에이전트가 적절히 거부하거나 상위 담당자에게 넘기는지 확인하지 않고 작업 완료 여부만 측정하는 것.
• 비용을 무시함: 성공률을 높이는 동안 비용과 지연 시간이 감당할 수 없는 수준이 되도록 하는 것.

오프라인 평가에서 프로덕션 모니터링까지

오프라인 평가는 통제된 환경에서 반복할 수 있습니다. 출시 전에 프롬프트, 모델, 도구, 정책을 비교하는 데 적합합니다. 프로덕션 모니터링을 통해서는 실제 사용자 행동의 다양한 양상과 환경 변화를 파악할 수 있습니다.

성숙한 프로그램은 이 두 가지를 연결합니다. 프로덕션에서 발생한 사고와 신뢰도가 낮은 실행 기록은 새로운 오프라인 평가 작업이 됩니다. 변경 후보는 회귀 테스트 모음을 통과해야 합니다. 배포 후에는 팀이 작업 성공률, 개입률, 정책 관련 이벤트, 도구 오류, 비용, 지연 시간, 사용자 피드백을 살핍니다.

실용적인 에이전트 평가표

평가표에서는 반드시 충족해야 하는 기준과 최적화 지표를 구분해야 합니다. 정책 준수, 권한 확인, 필수 증거 제출은 통과 또는 실패로 판정하는 기준으로 삼을 수 있습니다. 그다음 정확도, 지연 시간, 비용, 검토자의 작업량을 허용 가능한 실행 결과끼리 비교할 수 있습니다. 이렇게 하면 평균 점수에 가려질 수 있는 안전성 저하를 감수하면서 소폭의 효율성 향상을 얻으려는 일을 방지할 수 있습니다.

유용한 평가표에는 다음 항목을 포함할 수 있습니다.

• 작업 성공률 및 품질 점수;
• 반복 실행 간 일관성;
• 중대한 정책 위반율;
• 도구 선택 및 인수 정확도;
• 도구 또는 환경 오류 발생 후 복구율;
• 사람에게 상향 전달하거나 사람이 개입해 작업을 재정의하는 비율;
• 중앙값 및 최악 구간의 지연 시간;
• 작업 성공 1건당 모델, 도구 및 사람의 비용;
• 합리적인 기준선과 비교한 실행 과정의 효율성.

실행 1회당 비용뿐 아니라 작업 성공 1건당 비용을 보고해야 합니다. 반복해서 실패하는 저렴한 에이전트가 한 번에 성공하는 더 강력한 모델보다 비용이 많이 들 수 있습니다.

AI 에이전트 평가 방법에서 기억해야 할 점

에이전트 평가는 현실적인 조건에서 목표 지향 시스템 전체를 테스트하는 분야입니다. 작업이 정확한지, 수행 과정이 허용 가능한지, 동작을 반복할 수 있는지, 비용 대비 효과가 타당한지를 측정합니다.

중요도가 높은 소수의 작업부터 시작해 여러 차례 실행하고, 여러 단계의 채점기를 적용하며, 전체 실행 과정을 살펴보세요. 그런 다음 프로덕션에서 발생한 의미 있는 실패를 모두 회귀 테스트로 전환하세요. 에이전트의 역량은 빠르게 변합니다. 지속 가능한 평가 시스템이 있어야 팀은 실제 진전과 그럴듯한 데모를 구별할 수 있습니다.