Kovant의 CEO 및 설립자 Ali Sarrafi – 인터뷰 시리즈

Kovant의 CEO이자 설립자인 Ali Sarrafi는 스톡홀름을 기반으로 고성장 AI 기업을 만들고 확장해 온 기술·AI 경영자다. 2024년 말 Kovant를 설립한 이후 기업 AI 전략, 시장 진출 전략의 실행, 운영 확장에 관한 풍부한 경험을 활용해 왔다. 그 전에는 AMD가 인수한 Silo AI에서 전략 부사장으로 기업 AI 전략과 대규모 도입을 이끌었다. 그보다 앞서 Combient Mix를 공동 설립해 빠르게 성장시키고 Silo AI에 매각했으며, 이후 교육 및 AI 스타트업에서 자문과 이사회 역할을 맡았다. 이는 첨단 AI를 실제 사업 성과로 전환하는 데 지속적으로 집중해 왔음을 보여 준다.

Kovant는 조직이 AI 실험에서 실제 운영되는 자율 비즈니스 프로세스로 이동하도록 돕는 기업 AI 회사다. 조달, 공급망, 규정 준수, 고객 운영 같은 복잡한 영역에서 AI 에이전트 팀을 오케스트레이션하는 플랫폼을 개발한다. 보안이 갖춰진 기업용 배포와 빠른 가치 실현을 강조하며, AI를 별도 도구나 파일럿으로 두지 않고 핵심 워크플로에 직접 넣는다.

Spotify에서 주요 AI 사업을 이끌고 Combient Mix를 성장시켜 매각했으며, Kovant를 설립하기 전에는 Silo AI에서 기업 AI 전략을 수립했습니다. 이 과정에서 어떤 구체적인 공백이나 어려움을 겪어 자율 기업 플랫폼을 만들 때가 됐다고 판단했으며, 그러한 경험이 Kovant의 핵심 설계 철학에 어떤 영향을 주었습니까?

이전 역할마다 같은 문제가 반복됐다. 대부분의 수직형 AI 도구는 한 소프트웨어 스택에 갇혀 그 경계 안의 한 기능만 조금 개선한다. 워크플로가 여러 시스템을 건너면 어려움을 겪는다. 기업 데이터는 많은 도구에 흩어져 있고, 자동화 솔루션이 접근하지 못하는 경우도 많다.

수년간 포인트 통합을 쌓으면 스파게티 아키텍처가 된다. 복잡성이 늘고 변화는 느려지며, 팀은 업무 전체를 재설계하는 대신 개별 단계만 자동화한다. 투자수익은 예상보다 늦고 작아진다.

Kovant는 이 현실에 대한 답이다. 에이전트는 직원처럼 여러 도구에서 일하고, 정해진 스크립트 한 개를 자동화하는 것이 아니라 하나의 직무를 수행하도록 고용돼야 한다. 그래서 통합과 오케스트레이션을 기본으로 넣고, 기업 데이터가 지저분하고 비정형적이라는 전제에서 예외와 모호성을 사람처럼 처리하도록 설계했다.

기반 에이전트로 속도와 규모를 확보하면서 데이터 주권을 중심에 둔다. 기업은 자체 데이터를 시설 밖으로 내보내지 않고도 여러 업무에서 활용할 수 있다.

Kovant가 말하는 기업의 자율성은 무엇이며 기존 자동화·에이전트 도구와 어떻게 다릅니까?

자율은 감독이 없다는 뜻이 아니다. 명확한 목표와 가드레일 안에서 AI 에이전트가 운영 전체의 실제 행동을 수행하고, 감독이 필요할 때 사람에게 에스컬레이션한다는 뜻이다.

Kovant의 차이는 기반 에이전트다. 하나의 고정 프로세스나 미리 만든 순서를 자동화하는 대신, 에이전트 팀 또는 군집이 지시와 blueprint라는 운영 개요만으로 전체 업무를 수행한다. 좁은 단일 작업용이 아니라 복잡한 워크플로를 협업해 해결하고, 조건 변화에 적응하며, 감독이 필요한 상황을 사람에게 넘긴다.

예를 들어 재고 관리 에이전트 팀은 새로 구축하지 않고도 이메일로 공급업체와 소통하고, 재고와 품절 신호를 감시하며, 배송과 구매주문을 추적하고, 여러 시스템의 상태를 갱신할 수 있다. 또한 재고 계획자 승인을 위한 불일치 티켓 생성, 창고 간 재배치, 재고 보고서 통합도 수행한다.

따라서 기업은 규모가 커질수록 깨지는 채팅+도구나 취약한 자동화 대신, 에이전트를 만드는 단계에서 에이전트를 대규모로 운영하는 단계로 이동한다.

에이전트 AI에 대한 관심이 매우 높지만 많은 조직이 여전히 파일럿 단계에 머물러 있습니다. 실제 배포 경험에서 볼 때 기업이 실험에서 대규모 운영 환경으로 전환하는 데 어려움을 겪는 주된 이유는 무엇입니까?

아이디어가 틀려서가 아니라 확장에 적대적인 환경 때문이다. 첫 장애물은 파편화된 기업 기술 환경이다. 워크플로는 수많은 시스템에 걸쳐 있고 데이터는 여러 곳에 있으며 이를 안정적으로 연결하기 어렵다. 에이전트 AI도 종단 업무를 재설계하는 수단이 아니라 기존 도구의 추가 기능으로 배포되는 경우가 많다.

아키텍처와 데이터 문제도 있다. SaaS 공급자는 데이터를 가두려 해 호환성을 떨어뜨리고 에이전트가 시스템을 넘나들며 할 수 있는 일을 제한한다. 기업 데이터 대부분은 이메일, 문서, 티켓, PDF, 채팅 로그 같은 비정형 자료인데 많은 팀이 이를 과소평가한다. 깨끗한 구조화 데이터만 가정하면 가치 실현은 오래 걸리고 고통스러우며 파일럿 밖으로 복제하기 어렵다.

결국 파편화, 종속성, 비정형 데이터가 마찰을 만들며, 이를 처음부터 설계하지 않으면 파일럿은 생산 시스템이 되지 못한다.

에이전트 시스템이 통제된 환경 밖에서 실패하는 이유와 Kovant가 환각·예측 불가능성을 줄이는 방식은 무엇입니까?

데모에서는 좋아 보이지만 실제 환경은 지저분하고 예측하기 어렵다. 데이터는 불완전하거나 불일치하고, 환불·분쟁·특별 승인 같은 예외가 계속 생긴다. 워크플로는 시간이 지나며 바뀌는 여러 도구와 통합에 걸쳐 있고 권한도 다양하다. 에이전트에 큰 과제와 과도한 맥락을 한꺼번에 주면 환각과 이상 행동 위험이 높아진다.

Kovant 아키텍처는 모델이 다루는 문제 공간, 결정 공간, 맥락을 좁힌다. 운영을 개별 에이전트와 단계가 맡을 작고 집중된 작업으로 나눈다. 행동이 더 예측 가능해지고 추적성과 제어력이 생긴다. 각 에이전트가 무엇을 했고 실패가 어디서 시작됐는지 확인해 개입하거나 에스컬레이션할 수 있다.

환각은 사라지지 않지만 책임과 맥락을 제한하면 빈도와 영향 범위를 줄일 수 있다. 이 좁은 작업/맥락 접근은 NVIDIA (NVDA ) 연구진의 최근 연구에서도 유사한 이점을 보였다.

AI 에이전트가 기업 시스템에서 실제 행동을 시작하면서 책임성이 중요한 문제로 떠오르고 있습니다. 상세 행동 로그는 신뢰, 규정 준수, 운영 위험에 관한 논의를 어떻게 바꿉니까?

상세 로그가 있으면 무엇이 일어났고 왜 일어났으며 다음에 무엇이 일어나는지 볼 수 있다. 기계 속에서 일하는 수수께끼 같은 봇을 검사 가능한 시스템으로 바꾼다.

Kovant의 모든 배포에는 조직이 대응할 수 있는 위험 지도가 있다. 위험한 행동에는 사람 게이트키핑을 내장해 검토와 승인 없이는 에이전트가 실행하지 못하게 한다. 모든 행동은 기록 시스템처럼 동일하게 로그로 남고 추적할 수 있다.

행동 로그, 인간 감독, 관찰 가능성을 결합하면 실제 운영을 수행하는 에이전트의 속도와 규모 이점을 유지하면서 위험을 줄일 수 있다.

불투명한 의사결정 때문에 AI 에이전트에 보험을 적용할 수 있는지를 둘러싼 논의가 늘고 있습니다. 에이전트 워크플로를 감사하고 재현할 수 있게 하면 블랙박스 문제를 해결하고 보험 적용 가능성을 높이는 데 어떻게 도움이 됩니까?

무엇을 했고 왜 했으며 어떤 통제가 있었는지 설명할 수 없으면 보험사는 위험을 가격화하기 어렵다. 그래서 블랙박스가 보험 가능성을 막는다.

Kovant는 결정 범위와 행동 영향을 작은 단위로 나눈다. 모델이 전체 운영을 뒤흔들 거대하고 불투명한 결정을 한 번에 내리지 않는다. 각 단계는 더 좁고 예측 가능하며 평가하기 쉽다. 이 접근은 앞서 설명한 책임성 체계를 확장한 것이다.

여기에 상세 로그, 관찰 가능성, 인간 감독을 더한다. 가장 중요하고 영향이 큰 결정은 사람이 검토하고 승인해야 진행할 수 있다. 따라서 워크플로가 실제로 어떻게 작동하는지 훨씬 명확하게 볼 수 있다.

감사와 재현 가능성은 마지막 조각이다. 문제가 생기면 당시 상황을 재현하고 빠르게 조사하며 수정 사항을 검증할 수 있다. 사람 승인이 얼마나 자주 필요한지, 안전장치가 어디에 있는지도 입증한다. 보험 심사 관점에서는 수수께끼 같은 AI 행동을 표준 운영 위험에 가까운 형태로 바꾼다.

Agentic AI Foundation 같은 공통 표준 노력의 가능성과 기업 운영에서의 부족한 점은 무엇입니까?

표준화는 대체로 좋다. AAIF는 에이전트 시스템이 같은 언어로 소통하게 만드는 눈에 띄지 않지만 필수적인 일을 할 수 있다. 장기적으로 통합이 쉬워지고 공급자 종속이 줄어든다.

다만 누구의 관점이 표준을 만드는지 주의해야 한다. 모델 제작자와 기술 스케일업이 대부분을 주도하면, 대기업이 매일 안전하게 에이전트를 운영하는 데 필요한 것보다 만들거나 시연하기 쉬운 것에 맞춰질 위험이 있다.

실제 기업 운영의 부족한 부분은 커넥터보다 통제에 가깝다. 에이전트가 접근·변경할 수 있는 범위, 고영향 행동 승인 흐름, 감사 가능한 로그, 행동 감시·사건 조사·규정 준수 입증을 위한 관찰 가능성이 필요하다.

예외 시험, 변하는 시스템 처리, 레거시 도구와 규제 데이터 환경에서 행동을 안전하게 중단·격리·롤백하는 현실적 표준도 필요하다. 기업 요구와 운영 위험 통제를 부차적으로 취급하면 표준의 영향은 제한될 것이다.

Kovant는 대부분 비공개로 운영하면서도 북유럽 대기업에서 이미 상당한 매출을 올렸습니다. 현재 어떤 유형의 업무나 워크플로가 자율 AI 에이전트를 도입할 준비가 가장 잘되어 있습니까?

실제 배포에서 가장 준비된 것은 감시, 재촉, 확인, 시스템 업데이트, 예외 처리처럼 여러 도구를 오가며 운영을 계속 움직이는 반응형 사무 업무다.

제조업과 더 넓은 기업 공급망에서는 다음 영역에 해당한다.

• 조달: 원자재 가용성, 지속가능 조달, 규정 준수, 두 곳 또는 여러 공급자를 활용하는 방식을 포함한 공급업체 선정, 계약 관리, 공급업체 위험, 입찰 관리.
• 생산: 용량 계획, 생산 일정, 유지보수, 품질, 병목, 손실 방지.
• 창고: 수령과 검사, 재고 관리, FIFO/FEFO 회전, 순환 실사와 감사.
• 운송·물류: 운송 방식과 업체 선택, 통관과 문서, 추적과 가시성, 배출 감시, 무역 규정.
• 판매·서비스: 제품 가용성, 품절 방지, 판매와 반품, 소비자 행동 분석, 수리, 수명 종료 추적, 작업장 운영, 서비스 계약.

중요 운영에 AI 에이전트를 배포할 때 자율성과 인간 감독을 어떻게 균형 잡아야 합니까?

해답은 거버넌스된 자율성이다. 명확한 가드레일 안의 저위험 업무는 빠르게 수행하게 하고, 정의한 위험 임계값을 넘으면 사람에게 올려야 한다.

많은 실패는 모델에 지나치게 넓은 범위와 맥락을 한꺼번에 주기 때문에 생긴다. 운영을 작고 좁은 결정으로 나누고 각 단계에 명확한 권한과 제한된 영향 반경을 부여해야 한다. 그러면 예측 불가능성이 줄고 감시와 개선이 쉬워진다.

관찰 가능성, 행동 로그, 인간 게이트키핑을 결합한다. 모든 행동은 추적 가능해야 한다. 영향이 크거나 위험한 행동에는 사람이 승인하는 단계를 넣어, 에이전트가 제안하고 준비하되 승인 전에는 실행하지 않게 한다.

중요한 승인 순간에만 조금 느려질 뿐, 사람은 모든 클릭을 감독하지 않는다. 안전한 곳에서는 속도를 내고 필요한 곳에서는 통제를 유지한다.

향후 몇 년 동안 대기업의 자율 AI 에이전트는 어떻게 발전하고 성공 기업과 실패 기업을 무엇이 가릅니까?

자율 에이전트는 흥미로운 실험에서 대기업의 실제 운영 계층으로 이동한다. 운영, 고객 서비스, 재무, 인사에서 쓰이고, 신뢰성·거버넌스·감독이 개선되면 고립된 파일럿 대신 종단 워크플로 전체에서 에이전트 팀을 운용하게 된다.

속도, 민첩성, 규모, 효율성, 비용이 더 직접적인 경쟁 수단이 된다. 기업을 위한 Uber 운동이 올 수 있다. 에이전트 AI를 제대로 익힌 조직은 뒤처진 기업보다 훨씬 빠르게 움직이고, 시장을 먼저 확보하며, 기존의 운영 마찰 없이 변화에 대응한다.

승패를 가르는 것은 배포 자체가 아니라 잘 배포하는 능력이다. 거버넌스된 자율성, 강한 관찰 가능성과 행동 로그, 결정 범위를 좁히는 아키텍처가 핵심이다. 적절한 통제·통합·책임 구조로 에이전트 AI를 핵심 운영 역량으로 삼으면 더 많은 일을 할 수 있고, 팀은 행정 업무에서 벗어나 성장과 혁신에 집중한다.

기업 규모에서 급격한 속도와 효율이 진정한 경쟁 우위가 된다.

훌륭한 인터뷰에 감사드린다. 더 자세한 내용을 알고 싶은 독자는 Kovant를 방문하기 바란다.