IBM Research, 학습된 메모리로 τ²-Bench 고객 서비스 벤치마크 1위 기록 보고

2026년 10월 20일 Hugging Face 게시물에서 IBM Research는 에이전트가 자체 학습 과정에서 자동으로 습득한 지침을 시스템 프롬프트에 추가하자 기본 GPT-4.1 고객 서비스 에이전트의 τ²-bench 소매 부문 Pass^4 점수가 67.5%로 상승했으며, 이는 연구팀이 2026년 10월 12일 공개한 리더보드 스냅샷의 모든 소매 부문 참가 항목보다 높은 점수라고 밝혔다.

이 결과는 연구소가 저자들의 표현을 빌리자면 ‘학습된 플레이북’을 만드는 방법인 ALTK-Evolve를 통해 나왔다. 이 방법은 에이전트가 학습 작업을 수행한 결과를 분석하고, 같은 모델을 사용해 성공과 실패를 짧은 행동 규칙으로 추려낸다. 여기에는 고객 인증, 거래 확인, 반품 처리와 같은 상황이 포함된다. 게시물에 따르면 지침 추출과 에이전트 자체에 같은 모델이 사용되며, 이 과정에는 가중치 업데이트나 사람의 주석 작업이 필요하지 않다. 연구팀은 앞서 코딩 에이전트에 이 접근법을 적용해 시연했으며, 이번 연구에서는 고객 서비스에 적용했다. 게시물에는 Ashwath Vaithinathan Aravindan, Vatche Isahagian, Vinod Muthusamy를 비롯한 IBM Research 소속 저자 11명이 소개되어 있다.

연구 진행 방식

Sierra Research가 관리하는 τ²-bench는 여러 분야의 고객 서비스 에이전트를 평가하기 위한 시뮬레이션 프레임워크다. τ²-bench 저장소에 따르면 각 분야에는 에이전트가 따라야 하는 정책, 도구 모음, 평가 작업 모음이 정의되어 있으며, 벤치마크의 핵심 논문은 이 환경을 양방향 제어 환경으로 설명한다. IBM의 연구는 소매와 항공 분야를 사용한다. 각 작업에서는 에이전트가 LLM으로 시뮬레이션한 고객, 해당 분야의 도구, 문서로 작성된 정책과 함께 상호작용한다. 최종 데이터베이스 상태가 예상 결과와 일치해야만 작업을 해결한 것으로 간주하며, 게시물은 이를 엄격한 이진 보상이라고 설명한다.

평가에는 τ²-bench 자체 구현의 기본 ReAct 에이전트를 사용했다. 에이전트는 두 단계 THINK→ACT 루프로 작동했으며, 에이전트 모델로 gpt-4.1을, 고객 시뮬레이터 모델로 gpt-5.5를 사용하고 작업마다 네 차례씩 시험했다. 유일한 수정 사항은 해당 분야 정책 다음에 학습된 지침을 일반 마크다운 목록으로 시스템 프롬프트에 추가한 것이었다. 공개된 지침의 예로는 주문과 관련된 작업을 하기 전에 사용자를 인증하는 것, 데이터베이스를 변경하는 작업에 앞서 사용자의 명시적 승인을 요구하는 것, 환불 내역을 항목별로 제공하는 것, 단계마다 한 가지 작업만 수행하는 것, 사용자를 검색하기 전에 여러 이름이 결합된 핸들을 구문 분석하는 것이 있다.

지침은 gpt-4.1을 사용해 에이전트가 τ²-bench 학습 작업을 수행한 궤적에서 추출했으며, 별도의 수정 없이 학습에 사용하지 않은 테스트 세트에 적용했다. 각 지침에는 지지 횟수가 부여되며, 이는 해당 지침을 추출하는 데 사용된 서로 다른 학습 작업의 수를 뜻한다. 연구는 세 가지 구성을 비교한다. 지침을 사용하지 않는 기준 구성, 지지 횟수가 최소 3회인 지침만 남기는 sup3(소매 31개, 항공 14개), 그리고 선별된 지침을 모두 남기는 lossless(소매 292개, 항공 101개)다.

소매 및 항공 분야의 홀드아웃 평가 결과

연구는 작업마다 네 차례씩 진행한 시험에서 두 가지 지표를 추적한다. 평균 정확도는 평균 성공률로, 저자들은 이를 역량 축으로 규정한다. Pass^4는 네 차례 모두 작업을 해결한 비율로, 신뢰성 축으로 설명되며 τ²-bench 리더보드가 보고하는 지표다.

홀드아웃 소매 테스트 작업 40개에서 IBM이 보고한 기준 에이전트의 평균 정확도는 78.1%, Pass^4는 57.5%였다. sup3 핵심 구성은 각각 78.8%와 60.0%를 기록했고, lossless 구성은 82.5%와 67.5%를 기록했다. 이는 기준 구성보다 각각 4.4%포인트와 10.0%포인트 높은 수치다.

홀드아웃 항공 테스트 작업 20개에서 기준 구성은 정확도 57.5%, Pass^4 35.0%를 기록했다. sup3 핵심 구성은 정확도 60.0%, Pass^4 45.0%를 기록한 반면, lossless 구성은 정확도 65.0%, Pass^4 40.0%를 기록했다. 두 분야에서는 적절한 지침의 양이 달랐다. 소매 분야에서는 lossless 전체 세트를 사용했을 때 가장 크게 개선된 반면, 항공 분야에서는 간결한 sup3 핵심 구성이 Pass^4 최고 점수를 냈다. IBM은 지지 횟수를 고정된 값으로 정해 두기보다 분야별로 조정할 만한 변수라고 밝혔다.

비용, 프런티어 모델 재평가, 리더보드 현황

전체 기본 분할 데이터에서 대화당 총 LLM 비용은 프롬프트가 길어질수록 증가했다. 소매 분야에서는 기준 구성의 $0.084에서 lossless 구성의 $0.139로 늘어 65% 증가했고, 항공 분야에서는 $0.081에서 $0.107로 늘어 32% 증가했다. sup3 구성의 비용은 각각 $0.095와 $0.097이었다. 기준 설정과 지침 설정 모두에서 해결된 작업을 비교하면, 지침을 적용했을 때 대화는 약간 짧아졌다. lossless 구성에서 소매 분야의 어시스턴트 응답 횟수는 10.59회에서 10.16회로, 항공 분야에서는 9.15회에서 8.82회로 줄었으며, 응답 횟수가 늘어난 구성은 없었다. IBM은 응답 횟수가 줄면 고객이 경험하는 종단 간 지연 시간도 낮아진다고 밝혔다. 또한 지침 블록이 모든 호출에서 동일하므로 프롬프트 캐싱을 통해 프로덕션 환경에서 추가 입력 비용을 대부분 회수할 수 있다고 설명했다.

연구팀은 에이전트와 지침 추출 모델 모두에 gpt-5.5를 사용하고, 해당 에이전트의 자체 실행 기록에서 지침을 다시 추출해 항공 분야를 재평가했다. 추출된 지침 중 지지 횟수가 최소 3회에 이른 항목은 없었기 때문에, 지지 횟수가 높은 핵심 구성은 지침 103개를 포함한 sup2였으며 지침 146개를 포함한 lossless 구성도 함께 평가했다. 동일한 홀드아웃 항공 작업에서 gpt-5.5 기준 구성은 정확도 72.5%, Pass^4 55.0%를 기록했고, sup2는 각각 80.0%와 70.0%, lossless는 82.5%와 70.0%를 기록했다. 이는 정확도 10.0%포인트, Pass^4 15.0%포인트 향상된 수치다. IBM은 lossless 결과가 반복 평가에서도 정확히 재현됐다고 밝혔다.

리더보드 제출물은 학습 태스크와 테스트 태스크를 합친 전체 기본 분할에서 점수를 산출하고 Pass^4로 보고하므로, 이 수치는 앞서 제시한 홀드아웃 수치와 다르다. IBM은 2026년 10월 12일 기준 스냅샷에서 소매 에이전트가 67.5%로 1위를 차지했다고 보고했다. 이는 IBM이 합성 τ²-bench 소매 데이터로 미세 조정했다고 밝힌 모델인 RAFT-30B-A3B의 61.4%보다 6.1포인트 높은 수치다. 항공 부문에서는 gpt-5.5 에이전트가 82.0%로 1위에 올랐으며, IBM이 66~72%로 제시한 최첨단 모델들을 앞섰다. 한편 gpt-4.1 sup3 변형 모델은 44%로 8위에 올라 추론 기능을 사용하지 않고 실행한 GPT-5.2보다 높은 점수를 받았고 Claude Sonnet 4.5와도 거의 비슷한 성적을 냈다. IBM은 가중치 업데이트나 사람의 주석 작업, 테스트 세트 누출 없이도 이 접근 방식으로 기성 에이전트의 성능을 개선할 수 있다고 밝혔다.

소매 리더보드 제출물은 2026년 9월 14일 τ²-bench 풀 리퀘스트로 제출됐다. τ²-bench v1.0.1에서 기본 분할의 114개 태스크를 각각 네 번 시도해 Pass^1 81.14%부터 Pass^4 67.54%까지의 결과를 보고했으며, 대화당 평균 비용은 $0.1084였다. 또한 지침은 기본 평가 분할에 포함된 소매 학습 분할에서 학습했다고 밝혔다. 항공 리더보드 제출물은 2026년 9월 21일에 이어 제출됐으며, 50개 태스크에서 Pass^1 88.50%부터 Pass^4 82.00%까지의 결과와 대화당 평균 비용 $0.1690을 보고했다. 두 제출물 모두 프롬프트를 수정했다고 공개하고, 미검증(Unverified)으로 등재될 것으로 예상한다고 밝혔으며, 현재도 공개 상태다.