Crux Labs, 기업의 판단력을 더 나은 AI 에이전트로 구현하기 위해 600만 달러 이상 유치

AI 에이전트는 작업을 완수하고도 숙련된 직원이라면 받아들이지 않을 결정을 내릴 수 있다. 어려운 점은 흔히 문서화되지 않은 규칙을 파악하는 데 있다. 언제 추가 질문을 해야 하는지, 언제 상급자에게 넘겨야 하는지, 특정 기업에서 좋은 결과란 무엇인지 등을 알아야 한다.

Crux Labs는 이러한 전문가의 판단을 기업용 에이전트를 지속적으로 평가하고 개선하는 프로세스로 전환하는 플랫폼을 구축하고 있다. 뉴욕에 본사를 둔 이 스타트업은 Benchstrength와 Misneach가 공동 주도하고 Analog Ventures와 Pareto Holdings가 참여한 초과 청약 투자 라운드에서 600만 달러가 넘는 자금을 조달하며 비공개 개발 단계를 마치고 모습을 드러냈다.

회사는 이번 자금을 연구·엔지니어링 인력을 확충하고 기업 대상 배포를 가속하는 데 사용할 계획이다. 회사의 핵심 가설은 기업이 자사 전문가의 판단에 맞춰 보정된 평가 시스템과, 실제 운영 환경에서의 에이전트 행동을 에이전트 자체의 개선으로 연결하는 피드백 루프를 필요로 한다는 것이다.

에이전트 추적 데이터는 시작점에 불과한 이유

에이전트 관측 가능성을 통해 팀은 시스템이 어떤 작업을 수행했는지 살펴볼 수 있다. 여기에는 상호작용 과정에서 오간 메시지와 도구 호출, 그 밖의 단계가 순서대로 기록된다. 문제가 발생했을 때 이러한 기록은 유용하다. 그러나 상호작용이 충분히 만족스러웠는지 판단하려면 해당 작업과 기업의 특성을 반영하는 기준이 필요하다.

Crux는 대규모 배포 환경에서 수동 검토가 빠르게 늘어나는 규모를 따라갈 수 없다고 주장한다. 회사의 발표에 따르면 팀들은 에이전트 추적 데이터의 1%만 표본으로 확인하고 있어, 나머지 트래픽 상당 부분은 직접 검토되지 않는다. 이 수치는 공개된 업계 전체 조사 결과가 아니라 회사가 설명한 문제의 규모다.

중요한 실패가 드물게 발생하는 경우 표본 검사는 특히 한계가 뚜렷할 수 있다. 에이전트는 흔한 상황에서는 무난하게 작동하면서도 숙련된 직원이라면 즉시 알아챌 예외 상황에서는 어려움을 겪을 수 있다. 과제는 그러한 판단을 훨씬 더 많은 상호작용에 일관되게 적용할 수 있는 평가 방식으로 바꾸는 것이다.

Crux가 주목하는 기회는 해당 분야를 잘 아는 사람들과 에이전트를 구축하는 엔지니어들 사이에 있다. 도메인 전문가는 성공적인 상호작용이 어떤 모습인지 설명할 수 있지만, 그러한 이해를 시스템을 측정하고 개선하는 방식에 반복적으로 반영해야 한다.

전문가의 판단을 수집하고 평가를 보정하기

Crux가 설명하는 워크플로는 기업이 이미 사용 중인 도구와 프로세스 안에서 시작된다. Crux의 에이전트는 전문가의 판단을 수집해 맞춤형 평가를 보정하는 데 활용한다. 이어 이러한 평가는 실제 운영 환경의 모니터링과 알림을 지원하며, 그 결과는 이후 에이전트 개선에 반영된다.

보정 단계는 중요하다. 일반적인 평가 방식은 유창하지만 기업별 요구사항을 놓친 답변에 높은 점수를 줄 수 있다. 전문가의 판단을 바탕으로 한 평가는 그럴듯하게 들리는 답변과 조직의 기대를 충족하는 답변을 구별하도록 설계됐다.

Crux의 공동 창업자 겸 CEO인 Julie Kheyfets는 “에이전트는 목표를 달성하는 능력이 뛰어나지만, 인간이 오랜 세월 머릿속에 쌓아 온 경험적 규칙에는 접근할 수 없습니다”라며 “Crux는 모든 기업이 이러한 판단을 정리해 에이전트를 빠르게 개선하는 데 활용하도록 돕습니다”라고 말했다.

목표는 전문가들이 실제 상호작용을 통해 새롭게 파악한 내용을 반영해 평가 프로세스를 계속 바꾸는 것이다. 새로운 실패 유형이 나타나면 조직은 그 지식을 향후 행동 평가 방식에 반영할 수 있다. 이를 지원 티켓이나 개별 검토자의 판단 속에 흩어 둔 채로 두지 않아도 된다.

실제 운영 트래픽 전체 모니터링

Crux는 자사의 맞춤형 평가가 실제 운영 트래픽의 100%를 대상으로 실시간 모니터링과 알림을 제공하도록 최적화됐다고 밝혔다. 이는 트래픽 흐름 전체에 평가를 적용한다는 범위에 관한 주장이다. 평가가 가능한 모든 실패를 감지하거나 인간 전문가의 판단과 완벽하게 일치한다는 뜻은 아니다.

자동화된 평가에는 그 자체로 측정상의 어려움이 따르므로 이 차이는 중요하다. 모든 상호작용을 검토하는 시스템이라도 기준이 불완전하면 중요한 행동을 놓칠 수 있다. 따라서 이러한 기준을 도메인 전문 지식에 맞춰 보정하는 일은 모니터링을 시작하기 전에 선택적으로 거치는 단계가 아니라 Crux가 내세우는 제안의 핵심이다.

회사는 평가 결과가 실제 운영 환경에 적용되는 개선으로 이어진다고도 밝혔다. 그러나 회사의 발표에는 그 과정에서 프롬프트, 정책, 모델 또는 다른 구성 요소 중 무엇이 바뀌는지, 고객 승인은 어떻게 처리되는지 자세히 나와 있지 않다. 공개된 제안은 구체적인 모델 학습 기법이 아니라 평가와 개선을 아우르는 엔드투엔드 서비스다.

기업용 AI 경험을 갖춘 창업팀

Kheyfets와 공동 창업자 겸 CTO인 Krishna Kulkarni는 Princeton University에서 만났다. Kheyfets는 Tractable AI의 북미 사업을 이끌고 Block Renovation의 CEO를 지내는 등 복잡한 산업 분야에서 AI를 배포해 온 10년간의 경험을 갖고 있다.

회사에 따르면 쿨카르니는 이전에 Meta에서 브랜드 엔지니어링을 이끌었고, Checkr에서 AI 제품을 개발했으며, Healthify가 환자 수 0명에서 2,000만 명으로 성장하는 데 기여했다. Crux는 에이전트를 평가하고 개선하는 데 주력하는 연구자와 엔지니어로 팀을 꾸리고 있다.

쿨카르니는 “엔지니어링 팀은 AI 에이전트를 만드는 방법을 알고, 해당 분야 전문가들은 성공이 어떤 모습인지 알고 있지만, 기업에는 이 둘을 이어 줄 다리가 없습니다”라고 말했다. 이어 “Crux는 도메인 전문성을 에이전트의 지속적인 개선 과정에 접목해 엔지니어들이 비즈니스 목표에 진정으로 부합하는 에이전트를 만들 수 있도록 합니다”라고 덧붙였다.

회사는 의료, 사이버 보안, 금융 서비스 및 기타 복잡한 산업 분야의 포춘 500대 기업과 고성장 기업에서 초기 성과를 거두고 있다고 밝혔다. 이번 발표에서 해당 고객사의 이름이나 매출, 배포 건수, 측정된 개선 효과는 공개하지 않았다.

기업별 평가가 필요한 이유

Crux는 기업 내부의 전담 에이전트 평가·개선 팀과 같은 역할을 한다고 내세운다. 사업적 논리는 제품 및 엔지니어링 담당자들이 검토 프로세스를 마련하고 반복되는 실패 원인을 진단하는 데 쓰는 시간을 줄이는 한편, 전문가들에게는 자사 비즈니스를 대변하는 시스템에 실질적인 영향을 미칠 방법을 제공한다는 것이다.

도메인 전문성에 대한 수요는 전문가 주도의 AI 학습 및 평가를 위한 iMerit 플랫폼에서도 확인할 수 있다. 이 플랫폼에서는 전문 인력의 피드백을 체계화하는 과정이 모델 개선 워크플로의 일부다.

투자자들이 주목하는 기회는 에이전트가 실제 운영 환경에 도입된 뒤에 무엇이 일어나는지와 관련이 있다. 에이전트를 구축하면 그 행동을 지속적으로 측정하고, 부족한 부분을 찾아내며, 조직의 기준을 놓치지 않으면서 에이전트를 개선해야 할 필요가 새롭게 생긴다.

Crux의 투자 유치는 성공의 기준이 서로 다른 고객사 전반에 이러한 프로세스를 안정적으로 제공할 수 있는지를 검증하는 데 도움이 될 것이다. Crux의 제안은 명확하다. 회사에서 가장 뛰어난 인재들이 가진 판단 기준을 에이전트 평가에 반영하고, 그 평가 결과가 실제 운영 환경에서 더 나은 행동으로 이어져야 한다는 것이다. 자세한 내용은 Crux Labs에서 확인할 수 있다.