Reindeer 공동 창업자 겸 공동 CEO Yoav Naveh – 인터뷰 시리즈

Yoav Naveh는 Reindeer의 공동 창업자 겸 공동 CEO로, 기술 기업을 세우고 사업을 성장시키며 창업자에게 투자해 온 경험을 갖고 있습니다. Reindeer를 시작하기 전에는 ConvertMedia를 설립했고, Taboola에서 사업을 이어 갔으며, INT3를 통해 투자했습니다. 현재는 기업이 분산된 AI 도입 단계에서 벗어나 복잡한 운영 업무를 처리하고, 사람의 전문성을 바탕으로 학습하며, 비즈니스 프로세스가 바뀌어도 안정적으로 작동하는 에이전트를 도입하도록 돕는 데 주력하고 있습니다.

Reindeer는 금융, 공급망, 물류, 공통 서비스 등의 핵심 운영 업무를 위한 기업용 AI 에이전트를 개발합니다. Reindeer의 플랫폼은 워크플로 실행에 전문가 피드백과 평가, 사람의 승인을 결합해 에이전트가 예외 상황과 변화하는 정책에 적응할 수 있도록 합니다. 이번 인터뷰에서 Naveh는 엔지니어링 의존도가 높은 도입 모델의 한계, 조직의 지식이 에이전트의 맥락으로 전환되는 방식, 그리고 시간이 지날수록 사람의 전체 업무 부담을 줄이는 데 필요한 거버넌스와 측정 방법에 관해 이야기합니다.

ConvertMedia를 설립하고 Taboola에서 사업을 키웠으며 INT3를 통해 다른 창업자들에게 투자한 뒤, 다시 회사를 세우게 된 계기는 무엇이었나요? 그 문제는 Reindeer를 공동 창업하기로 한 결정에 어떤 영향을 주었나요?

AI 시장은 그저 지켜보기만 하기에는 너무나 흥미로웠습니다. 공동 창업자인 Yair와 저는 개인적으로 AI를 활용할 때는 매우 유용해졌지만 기업이 대규모로 도입하기는 여전히 어려운 현실 사이의 격차에 큰 관심을 갖게 됐습니다. 기술은 놀라울 만큼 빠르게 발전하고 있지만, 대부분의 조직은 여전히 그 잠재력을 실질적인 운영 변화로 이어 가는 데 어려움을 겪고 있습니다.

AI는 기업의 운영 방식을 바꾸겠지만, 이를 실현하려면 더 나은 기술만으로는 부족합니다. 업무 수행 방식을 기꺼이 다시 생각하려는 리더십과 새로운 복잡성을 더하지 않으면서 AI를 일상적인 운영에 도입할 실용적인 방법이 필요합니다.

Reindeer는 바로 이 과제를 해결하기 위해 탄생했습니다. 우리는 기업이 첫 번째 에이전트에서 시작해 사람의 피드백을 바탕으로 학습하고 시간이 지날수록 개선되는 에이전트 무리 전체를 운용할 수 있도록 하는 플랫폼을 만들었습니다. 우리의 목표는 AI의 잠재력과 실제 도입 사이의 격차를 좁혀, 기업이 모든 에이전트를 새로 구축하거나 끊임없이 유지 관리하지 않고도 핵심 운영 업무를 에이전트형 AI 인력으로 전환하도록 돕는 것입니다.

현장 배치 엔지니어링 모델이 기업용 AI를 노동집약적인 서비스 사업으로 만들 위험이 있다고 말씀하셨습니다. 엔지니어가 현장에 투입되는 방식은 어떤 경우에 지속적인 가치를 창출하며, 어떤 경우에는 고객의 확장을 가로막는 의존성을 만들어 내나요?

현장 배치 엔지니어는 복잡한 통합 작업을 수행하고 초기 에이전트를 운영 환경에 배포하는 데 유용합니다. 문제는 업무 프로세스 자체가 바뀌었는데도 에이전트가 해당 업무를 계속 수행하도록 하려면 현장 배치 엔지니어(FDE)가 상시 필요해지는 경우입니다. 특히 규모가 커질수록 그렇습니다. FDE 모델은 에이전트가 5개일 때는 작동합니다. 에이전트가 100개가 되면 한계에 부딪힙니다.

새로운 워크플로가 생기거나 예상치 못한 예외가 발생할 때마다 추가 엔지니어링이 필요하다면, 소프트웨어를 확장하는 것이 아니라 값비싼 인력을 늘리는 것입니다.

FDE를 도입하는 대부분의 기업은 엔지니어가 결국 다른 업무로 옮겨 간다고 주장합니다. 기업은 FDE가 필요한 계약을 체결하기 전에 실제로 그런지 입증하라고 요구해야 합니다. 비즈니스 프로세스가 변화하면서 RPA가 얼마나 취약해졌는지는 이미 확인했습니다. 직접 구축한 에이전트라고 다를 것이라고 기대해서는 안 됩니다.

기업의 워크플로에는 문서화되지 않은 예외 상황이 많고 팀마다 서로 충돌하는 업무 관행이 존재하는 경우가 흔합니다. Reindeer는 실제 업무 수행 방식을 어떻게 파악하고, 유용한 조직의 지식과 자동화해서는 안 될 습관을 어떻게 구분하나요?

대부분의 기업에는 어디에도 문서화되지 않은 방대한 조직 지식이 있습니다. 그 지식은 직원들의 머릿속에 담겨 있습니다. 에이전트는 불완전한 지식에서 출발해 실제 사례를 통해 학습하고, 낯선 상황에 맞닥뜨리면 해당 분야 전문가에게 지침을 요청합니다.

하지만 직원에게서 학습한다고 해서 그 사람의 행동을 무작정 그대로 따라 하는 것은 아닙니다. 시스템은 개별적인 예외와 반복되는 패턴을 구분하고, 더 폭넓게 적용할 변경 사항을 제안해 사람의 승인을 받습니다.

우리는 모든 습관을 자동화하려는 것이 아닙니다. 엔지니어가 모든 상황을 미리 예상할 필요 없이, 가치 있는 조직 지식을 신뢰할 수 있는 지능으로 전환하려는 것입니다.

대부분의 에이전트형 AI 기업은 먼저 업무를 문서화한 다음, 인터뷰를 진행하고 과거 데이터를 꼼꼼히 살펴 프로세스를 코드로 구현합니다. 하지만 실제로는 새 팀원이 합류할 때마다 프로세스를 익히는 방식이 가장 효과적입니다. 새 팀원은 1년치 데이터나 3,000페이지 분량의 표준운영절차(SOP)를 외우지 않습니다. 몇 가지 기술을 익히고 사례를 살펴본 뒤 업무를 시작하며, 이해하지 못하는 부분이 있으면 질문하고 지식을 쌓아 갑니다. 우리가 구축한 프로세스가 바로 이것입니다.

에이전트형 AI는 기업이 기존 프로세스를 그대로 자동화하는 대신 새롭게 구상할 기회도 제공합니다. 사람만으로 구성된 팀, 규칙 기반 자동화, 기존 소프트웨어는 각각 고유한 한계에 맞춰 프로세스를 형성해 왔습니다. 에이전트가 전문가와 함께 학습하는 환경에서 Reindeer는 기업이 어떤 관행을 유지하고 어떤 관행을 없앨지, 에이전트와 사람이 각각 어디에서 가장 큰 가치를 더하는지를 포함해 프로세스가 어떻게 작동해야 하는지 다시 생각하도록 돕습니다.

Reindeer의 에이전트가 운영 환경에서 지속적으로 학습한다고 하셨는데, 실제로 무엇이 바뀌나요? 모델 가중치, 메모리, 워크플로 로직, 아니면 명시적인 정책인가요? 예외 사례를 통해 에이전트가 앞으로 유사한 사례를 다르게 처리하도록 학습하는 과정을 설명해 주시겠어요?

바뀌는 것은 에이전트의 맥락과 역량, 즉 워크플로 로직과 정책, 그리고 각 정책을 언제 적용해야 하는지에 관한 지침입니다.

송장 처리 에이전트를 예로 들어 보겠습니다. 발주서 금액보다 4% 높은 송장을 받았는데, 이에 적용할 정책을 찾지 못합니다. 에이전트는 송장을 처리하는 대신 전문가에게 넘깁니다. 전문가는 해당 공급업체에 유류 할증료를 허용하는 승인된 예외가 있다고 설명합니다. 에이전트는 해당 사례를 해결하고, 그 설명은 그 공급업체에만 적용되는 맥락 정보로 저장됩니다.

다른 공급업체에서도 같은 유형의 예외가 다시 발생하고 다른 전문가들도 같은 방식으로 해결한다면, 시스템은 “계약에서 허용하는 경우 유류 할증료는 최대 5%까지 인정한다”와 같은 정책 변경을 제안합니다. 에이전트가 이 정책을 사용하기 전에 제안은 테스트와 사람의 승인을 거칩니다. 한 전문가의 답변은 한 사례를 해결합니다. 여러 사례에서 반복되는 패턴은 새로운 규칙의 후보가 됩니다.

직원이 내린 결정은 특정 고객이나 거래에는 적절할 수 있지만 일반 규칙으로 적용하기에는 부적절할 수 있습니다. 피드백을 일회성 예외로 남길지, 제안된 정책 변경으로 발전시킬지는 어떻게 판단하시나요?

개별 사례를 해결하는 일과 앞으로 에이전트의 작동 방식을 바꾸는 일을 구분합니다.

직원이 한 고객에게 예외를 허용할 수는 있지만, 그렇다고 같은 예외를 모든 경우에 적용해야 하는 것은 아닙니다. 같은 고객의 예외 상황이라도 직원 두 명이 서로 다른 해결책을 내릴 수 있다고까지 말하고 싶습니다. 저희 시스템은 상황을 평가하고, 반복되는 패턴을 파악하며, 상충하는 내용을 조정하고, 기존 정책과 충돌할 가능성이 있는지 확인합니다.

더 넓은 범위의 변경을 뒷받침하는 근거가 있으면, 에이전트 평가 플랫폼에서 에이전트를 실행합니다. 말하자면 에이전트를 위한 ‘트루먼 쇼’ 같은 환경입니다. 그런 다음 업데이트를 제안해 사람의 승인을 받습니다.

목표는 인간의 결정을 무작정 그대로 복제하는 것이 아니라 인간에게서 배우는 것입니다. 그렇지 않으면 실수를 자동화하는 데 그칠 뿐입니다.

에이전트는 최근 사례에서 성능이 나아지는 동시에, 이전에 정확하게 처리하던 상황에서는 신뢰도가 떨어질 수 있습니다. 제안된 변경 사항이 운영 환경에 적용되기 전에 어떤 테스트와 승인 절차를 거쳐야 하며, 성능 저하를 어떻게 감지하고 되돌리나요?

거버넌스 없는 지속적 학습은 위험합니다. 따라서 제안된 모든 변경 사항은 회귀 테스트, 사람의 승인, 그리고 에이전트의 자율 실행 시점을 제어하는 신뢰도 기준이라는 세 가지 안전장치를 거칩니다.

테스트가 먼저입니다. 운영 업무에는 정답표가 없기 때문에 말처럼 쉽지는 않습니다. 전문가의 피드백을 바탕으로 대표 사례를 선정하고, 결과를 비교할 기준을 정한 뒤, 현재 에이전트와 제안된 버전 모두에 해당 사례를 다시 적용합니다. 이메일 전송처럼 부수 효과가 있는 작업은 과거 실행 기록을 바탕으로 구축한 시뮬레이터에서 실행하고, 현재 정책과 더 이상 맞지 않는 테스트 사례는 폐기합니다. 변경의 실제 효과를 측정할 수 있으려면 에이전트가 자신이 현실 세계에 있다고 믿어야 하며, 에이전트의 행동은 실제로 중요한 결과를 낳아야 합니다. 예를 들어 SAP에 기록을 입력하거나 고객에게 이메일을 보내는 일입니다. 에이전트별로 제대로 된 평가 프레임워크를 구축하는 방법은 이것뿐입니다.

그런 다음 관리자가 변경 사항과 이를 뒷받침하는 근거, 테스트 결과를 검토하고 승인하거나 수정하거나 거부할 수 있습니다. 승인이 이뤄질 때까지 에이전트의 작동 방식은 바뀌지 않습니다.

변경 사항이 적용된 뒤에는 신뢰도 기준이 비즈니스를 보호합니다. 에이전트는 신뢰도가 기준을 넘을 때만 자율적으로 작업을 수행하고, 기준에 미치지 못하는 건은 모두 전문가에게 넘깁니다. 운영팀이 직접 기준을 조정하므로, 처음에는 보수적으로 시작한 뒤 에이전트의 실적이 쌓이면 자율성을 높일 수 있습니다.

변경 후 품질이 떨어지면 시스템은 검토 기준을 자동으로 강화해 더 많은 사례를 전문가에게 넘깁니다. 전문가의 피드백은 변경을 제안했던 동일한 순환 과정을 통해 문제를 드러냅니다. 모든 정책 변경에는 버전이 부여되고 변경 주체와 기록이 남으므로, 팀은 무엇이 바뀌었는지, 누가 승인했는지, 이유가 무엇인지 확인하고 이전 버전으로 되돌릴 수 있습니다.

엔지니어링 업무를 줄이더라도 예외를 검토하고 에이전트를 바로잡는 운영팀의 업무는 상당히 남을 수 있습니다. Reindeer가 그 업무를 다른 팀으로 옮기는 것이 아니라 전체적으로 사람의 업무량을 줄이는지는 어떻게 측정하나요?

현실적으로 대부분의 기업에는 이미 이 일을 수작업으로 처리하는 팀이 있습니다. 저희 목표는 그 업무를 다른 팀으로 넘기는 것이 아니라 시간이 지날수록 업무량을 줄이는 것입니다. 기존 팀에서 가장 경험이 많은 사람들에게 에이전트가 예외를 처리하고 더 나은 결정을 독립적으로 내리는 방법을 가르칠 수 있도록 지원합니다.

FDE 모델의 문제는 비교적 인건비가 낮은 운영 담당자에게서 비싼 엔지니어에게 업무가 넘어가는 경우가 많다는 점입니다. 이는 인력 문제를 해결하는 것이 아니라 비용을 더 키우는 일입니다. Reindeer는 그 과정에 엔지니어를 투입하지 않습니다. 대신 시간이 지남에 따라 에이전트가 독립적으로 처리할 수 있는 업무가 얼마나 늘어나는지, 전체 프로세스에서 사람의 개입이 얼마나 줄어드는지를 기준으로 성과를 측정합니다.

세 가지를 추적합니다. 사람이 개입하지 않고 에이전트가 처음부터 끝까지 처리하는 사례의 비율, 사례당 전문가가 개입하는 횟수, 그리고 에이전트와 사람이 함께 처리하는 사례당 총 소요 시간입니다. 세 번째 수치가 줄지 않는다면, 단지 업무를 이리저리 옮기고 있을 뿐입니다.

Hellmann Worldwide Logistics나 Papaya Global에서 진행한 배포 사례 하나를 들어, 출시부터 지속적인 운영에 이르기까지 무엇이 달라졌는지 설명해 주시겠어요? 정확도, 예외 발생률, 처리 시간, 그리고 필요한 사람의 개입 정도는 어떻게 달라졌나요?

Hellmann Worldwide Logistics는 에이전트가 실제 운영을 시간이 지남에 따라 어떻게 개선할 수 있는지 보여 주는 훌륭한 사례입니다. 이 회사의 가격 책정 팀은 이메일, 스프레드시트 및 기타 문서에 걸쳐 들어오는 운송 요청을 수작업으로 처리하느라 엄청난 시간을 쓰고 있었고, 견적을 작성하는 데 며칠씩 걸리는 경우도 많았습니다.

먼저 업무 흐름을 파악하고 에이전트를 훈련하기 위해 약 20건의 요청 샘플을 사용했습니다. 이후 Hellmann의 가격 책정 전문가들이 시스템을 직접 사용하기 시작해 피드백을 제공하고 예외 상황을 처리하도록 도왔습니다. 테스트 전반에 걸쳐 정확도와 속도를 추적했으며, 에이전트가 실제 운영에 투입된 뒤에도 성능을 계속 모니터링했습니다.

현재는 일상적인 요청을 자동으로 처리하고, 더 복잡한 사례는 팀으로 이관합니다. 중요한 점은 에이전트가 추측으로 빈틈을 메우는 대신 정보가 누락된 경우 이를 인식한다는 것입니다. 덕분에 직원들은 실제로 전문성이 필요한 부분에 개입할 수 있습니다.

그 결과 견적 처리 시간이 줄었고, 데이터 입력을 수작업으로 처리하는 일은 감소했으며, 고객 응대에 더 많은 시간을 쓸 수 있게 됐습니다. Hellmann은 견적 수주율도 개선됐습니다. 목표는 프로세스에서 사람을 배제하는 것이 아니라, 사람의 개입이 필요한 일상 업무를 지속해서 줄이는 것입니다.

이 접근 방식의 한계에 대해 무엇을 배웠나요? 어떤 업무 흐름의 특성을 보면 적응형 에이전트를 도입할 준비가 됐다고 판단할 수 있고, 어떤 특성을 보면 기업이 먼저 프로세스를 재설계하거나 기존 자동화를 유지해야 한다고 볼 수 있나요?

모든 프로세스에 AI 에이전트가 필요한 것은 아닙니다. 가장 유망한 대상은 맥락에 따른 판단이 필요하고 반복적으로 대량 처리되는 업무 흐름입니다. 특히 정보가 여러 시스템에 흩어져 있고 직원들이 예외 상황을 자주 처리하는 경우가 그렇습니다.

우리가 배포를 통해 얻은 가장 분명한 교훈은 기업 내에 새로운 기능이 생겨나고 있다는 점입니다. CRM과 함께 매출 운영이, 클라우드와 함께 데브옵스가 등장한 것과 비슷합니다. 기업이 소수의 에이전트에서 다수의 에이전트를 운영하는 단계로 넘어가면, 부서장이 인력을 관리하듯 에이전트를 관리하는 사람이나 팀이 필요합니다. 이들은 에이전트의 KPI와 ROI를 책임지고, 에이전트가 어떤 업무를 맡아야 하고 어떤 업무는 맡지 않아야 하는지 결정하며, 에이전트의 변경 사항을 승인해야 합니다. 이미 이 기능을 구축하고 있는 기업들이 가장 빠르게 앞서 나가고 있으며, 승리할 위치에 있는 것도 바로 이들입니다.

업무 방식이 서로 다르다고 해서 기다려야 하는 것은 아닙니다. 거의 모든 운영 업무에서 전문가들의 의견은 엇갈리며, 우리 시스템은 이러한 모순을 드러내고 정책 제안으로 전환하도록 설계돼 있습니다. 이를 해결하는 일은 해당 책임자의 업무이기도 합니다. 에이전트를 확대하기 전에 그 역할을 마련해야 하는 또 다른 이유입니다.

이 접근 방식 자체에도 한계는 있습니다. 핵심 운영 업무가 완전히 자동화되지는 않을 것이며, 우리도 그렇게 만들려는 것이 아닙니다. 에이전트가 처리하는 범위는 점진적으로 확대되고, 위험도가 높은 사례는 의도적으로 사람이 맡습니다.

기반 모델과 에이전트 구축 도구가 발전하면서 기업 환경에 배포할 때 어떤 부분이 범용화될 것으로 보시나요? 그리고 Reindeer는 실제 운영에 에이전트를 배포할 때마다 어떤 경쟁 우위를 더욱 강화하고 있나요?

기반 모델은 비용이 낮아지고 속도와 성능이 향상되면서 점점 더 서로 대체할 수 있게 될 것입니다. 기본적인 에이전트를 구축하고 기업 시스템에 연결하는 일도 이미 쉬워지고 있습니다.

하지만 에이전트를 구축하는 것과 복잡한 기업 환경에서 시간이 지나도 안정적으로 작동하게 만드는 것은 별개의 일입니다.

진정한 경쟁 우위는 기업이 실제로 운영되는 방식을 이해하는 독점적 지식에 있습니다. 그 방식은 계속 변합니다. 실제 운영에서 발생하는 모든 사례는 에이전트가 학습하고, 앞으로의 예외 상황을 해결하며, 사람의 개입을 줄일 기회가 됩니다.

모델은 더 저렴해질 것입니다. 에이전트 구축은 더 쉬워질 것입니다.

승자는 에이전트가 시간이 지나도 계속 작동하고 쓸모를 유지하도록 하는 데 필요한 값비싼 인간 엔지니어링 인프라를 없앨 것입니다.

훌륭한 인터뷰 감사합니다. 적응형 엔터프라이즈 AI 에이전트, 운영 자동화, 사람의 지도를 통한 학습에 대해 더 알아보고 싶은 독자라면 Reindeer를 방문해 보세요.