코반트(Kovant)의 CEO 겸 창립자인 알리 사라피와의 인터뷰 시리즈

알리 사라피, 코반트(Kovant)의 CEO 겸 창립자인 그는 스톡홀름에 거주하며 고성장 AI 기업을 구축하고 확장해 온 경험이 풍부한 기술 및 AI 전문가입니다. 2024년 말 코반트를 설립한 이후, 그는 기업 AI 전략, 시장 진출 실행, 운영 확장 분야에서 쌓아온 깊이 있는 경험을 활용해 왔습니다. 이전에는 AMD에 인수된 실로 AI(Silo AI)에서 전략 담당 부사장을 역임하며 기업 AI 전략 수립 및 대규모 도입을 주도했습니다. 그보다 앞서 콤비엔트 믹스(Combient Mix)를 공동 창립하여 회사의 급속한 성장을 이끌고 실로 AI에 성공적으로 인수되도록 했으며, 이후 교육 및 AI 스타트업 분야에서 자문 및 이사회 활동을 통해 첨단 AI를 실질적인 비즈니스 성과로 전환하는 데 지속적으로 집중해 왔습니다.

코반트 Kovant는 기업들이 실험적인 AI 활용 단계에서 벗어나 완전하고 자율적인 비즈니스 프로세스로 전환할 수 있도록 지원하는 데 주력하는 엔터프라이즈 AI 기업입니다. 이 회사는 조달, 공급망, 규정 준수, 고객 운영 등 복잡한 운영 영역 전반에 걸쳐 AI 에이전트 팀을 조율하도록 설계된 에이전트 기반 플랫폼을 개발합니다. Kovant는 안전하고 기업 수준의 배포 환경과 빠른 가치 실현을 강조함으로써, 전략적인 AI 목표와 일상적인 실행 사이의 가교 역할을 수행하며, 대규모 조직이 AI를 독립적인 도구나 시범 프로젝트로 취급하는 대신 핵심 워크플로에 직접 통합할 수 있도록 돕습니다.

Spotify에서 주요 AI 프로젝트를 이끌고, Combient Mix를 성장시켜 매각했으며, 이후 Silo AI에서 기업 AI 전략을 수립한 뒤 Kovant를 설립하셨습니다. 이러한 경력에서 어떤 구체적인 문제점이나 어려움을 겪으셨기에 자율적인 기업 플랫폼을 구축해야 할 적기라고 확신하게 되셨나요? 그리고 이러한 경험이 Kovant의 핵심 설계 철학에 어떤 영향을 미쳤습니까?

이전 직무들에서 공통적으로 몇 가지 문제점이 눈에 띄었습니다. 첫째, 대부분의 "특정" 분야에 특화된 AI 도구는 사실상 단일 소프트웨어 스택에 종속되어 있습니다. 해당 스택 내에서는 특정 기능을 조금 더 잘 수행하지만, 워크플로가 여러 시스템에 걸쳐 이루어져야 하는 순간 어려움을 겪습니다. 동시에 기업 데이터는 여러 도구에 분산되어 있고, 많은 자동화 솔루션은 이러한 데이터에 접근할 수 없습니다. 여기에 수년간의 부분적인 통합 작업이 더해지면 전형적인 스파게티 아키텍처가 형성됩니다. 복잡성은 증가하고, 변화는 느려지며, 팀은 워크플로 전체를 재구상하기보다는 개별 단계를 자동화하는 데 그치게 됩니다. 결과적으로 투자 수익(ROI)은 기업이 기대하는 것보다 더디게, 그리고 더 적게 나타나는 경우가 많습니다.

코반트는 바로 그러한 현실에 대한 해답으로 설계되었습니다. 저희의 핵심 철학은 에이전트가 직원처럼 행동해야 한다는 것입니다. 즉, 여러 도구를 활용하고, 단순히 정해진 스크립트 시퀀스를 자동화하는 것이 아니라 업무를 수행하기 위해 "고용"되어야 한다는 것입니다. 그렇기 때문에 통합 및 오케스트레이션 기능이 내장되어 있으며, 기업 데이터는 종종 정형화되지 않고 비정형적일 수 있다는 가정 하에 예외와 모호성을 처리하는 데 있어 보다 인간적인 접근 방식을 채택했습니다.

우리는 데이터 주권을 최우선으로 고려하면서 속도와 확장성을 확보하기 위해 파운데이션 에이전트를 사용합니다. 기업은 자사 데이터를 사내에서 외부로 유출하지 않고도 수평적으로 접근하고 활용할 수 있습니다.

코반트는 AI 에이전트를 통해 전체 운영 및 부서를 관리할 수 있는 자율형 엔터프라이즈 플랫폼으로 자리매김하고 있습니다. 엔터프라이즈 환경에서 "자율형"이란 무엇을 의미하며, 이는 기업들이 현재 실험적으로 사용하고 있는 자동화 및 에이전트 도구와는 어떻게 다른가요?

기업 환경에서 "자율적"이라고 할 때, "감독 없이"라는 의미가 아닙니다. AI 에이전트가 명확한 목표와 가이드라인을 가지고 운영 전반에 걸쳐 실질적인 조치를 취할 수 있으며, 감독이 필요할 경우 인간의 개입을 요청한다는 것을 의미합니다.

코반트의 차별점은 바로 기반 에이전트에 있습니다. 코반트 에이전트는 단일하고 고정된 프로세스를 자동화하거나 미리 구성된 순서를 따르는 대신, 지침과 청사진이라고 부르는 작업 개요만으로도 팀(또는 스웜)을 이루어 작업을 수행할 수 있습니다. 에이전트는 특정 작업만을 위해 설계된 것이 아니라, 복잡한 워크플로를 해결하기 위해 협력하고, 상황 변화에 적응하며, 감독이 필요한 경우 사람에게 작업을 인계합니다.

예를 들어, 재고 관리 담당자 팀은 공급업체와 이메일을 통해 소통하고, 재고 수준 및 품절 신호를 모니터링하고, 배송 및 구매 주문을 추적하고, 시스템 전반에 걸쳐 상태를 업데이트하고, 재고 계획 담당자의 승인을 위한 불일치 티켓을 생성하고, 창고 간 재고를 재분배하고, 재고 보고서를 통합하는 등 다음과 같은 모든 작업을 처음부터 다시 구축하지 않고 수행할 수 있습니다.

따라서 기업들은 "채팅과 도구"를 결합하거나 규모가 커지면 제대로 작동하지 않는 취약한 자동화 시스템을 사용하는 대신, 에이전트를 구축하는 것에서 대규모로 운영하는 것으로 전환하고 있습니다.

에이전트형 AI에 대한 엄청난 관심에도 불구하고, 많은 조직들이 여전히 시범 운영 단계에 머물러 있습니다. 실제 구축 사례를 보면, 기업들이 실험 단계에서 대규모 생산 단계로 넘어가는 데 어려움을 겪는 주요 원인은 무엇이라고 생각하십니까?

우리가 목격하고 있는 것은 대부분의 조직이 시범 운영 단계에 머무르는 이유가 아이디어 자체가 잘못되었기 때문이 아니라, 확장에 불리한 환경 때문이라는 점입니다.

첫 번째 걸림돌은 파편화된 기업 기술 환경입니다. 워크플로는 수많은 시스템에 걸쳐 있고, 데이터는 여러 곳에 흩어져 있으며, 이 모든 것을 안정적으로 통합하는 것은 어렵습니다. 또한, 에이전트형 AI는 워크플로의 전반적인 실행 방식을 재고하는 근본적인 해결책으로 활용되기보다는 기존 도구에 부가 기능으로 추가되는 경우가 많습니다.

또한 아키텍처 및 데이터 관련 문제도 심각합니다. 많은 SaaS 공급업체들이 여전히 데이터를 특정 플랫폼에 종속시키려 하기 때문에 시스템 간 호환성 문제가 발생하고 상담원이 실제로 수행할 수 있는 작업이 제한됩니다. 게다가 많은 팀들이 기업 데이터의 대부분이 비정형 데이터(이메일, 문서, 티켓, PDF, 채팅 기록)라는 사실을 간과하고 있습니다. 만약 접근 방식이 깔끔하고 정형화된 데이터를 전제로 한다면, 가치 실현까지 걸리는 시간이 길어지고, 어려움을 겪게 되며, 시범 운영 이후 재현하기도 어려워집니다.

요약하자면, 파편화, 벤더 종속성, 비정형 데이터는 성능 저하를 초래하며, 이러한 현실을 고려하여 설계되지 않으면 파일럿 프로젝트는 결코 실제 운영 환경으로 전환될 수 없습니다.

인공지능 에이전트를 현실 세계에 배포하는 데 있어 가장 큰 걸림돌로 꼽히는 것은 바로 신뢰성 문제입니다. 왜 그렇게 많은 에이전트 시스템이 통제된 환경을 벗어나면 제대로 작동하지 못하는 걸까요? 그리고 코반트의 접근 방식은 환각이나 예측 불가능한 행동과 같은 문제를 어떻게 해결할까요?

일부 에이전트 시스템은 데모에서는 훌륭해 보이지만, 실제 환경이 복잡하고 예측 불가능하기 때문에 제대로 작동하지 못하는 경우가 있습니다. 데이터는 불완전하거나 일관성이 없고, 환불, 분쟁, 특별 승인과 같은 예외 상황이 끊임없이 발생합니다. 워크플로는 여러 도구, 플랫폼 및 통합 기능을 아우르며, 이러한 요소들은 시간이 지남에 따라 변경되고 권한도 제각각입니다. AI 에이전트에게 대규모 작업을 처리하도록 요청하거나 한꺼번에 너무 많은 컨텍스트 정보를 제공하면, 오작동이나 이상 행동의 위험이 커집니다.

코반트는 설계 단계부터 이러한 문제를 줄입니다. 코반트의 독창적인 아키텍처는 모델이 작동하는 문제 영역, 의사 결정 영역 및 컨텍스트를 좁혀 오류 발생 가능성을 줄입니다. 또한, 작업을 개별 에이전트와 단계별로 세분화하여 특정 작업에 집중합니다. 이를 통해 동작 예측 가능성을 높이고 시스템의 추적성과 제어 가능성을 강화하며 오류 발생 가능성을 효과적으로 관리할 수 있습니다. 각 에이전트의 작업 내용과 오류 발생 지점을 파악하고 필요에 따라 개입하거나 문제를 상위 부서로 보고할 수 있습니다.

환각이 마법처럼 사라지는 것은 아니지만, 각 에이전트의 책임 범위를 제한하고 에이전트가 행동할 수 있는 맥락을 한정함으로써 환각의 발생 빈도와 영향을 줄일 수 있습니다. 이러한 "작업/맥락 축소" 접근 방식은 최근 엔비디아 연구팀의 연구에서도 지지를 받았는데, 그들은 에이전트의 의사결정을 제한함으로써 유사한 이점을 발견했습니다.

AI 에이전트가 비즈니스 시스템에서 실제 행동을 취하기 시작하면서 책임성은 중요한 문제로 대두되고 있습니다. 상세한 활동 로그는 신뢰, 규정 준수 및 운영 위험에 대한 논의를 어떻게 변화시킬까요?

상세한 활동 기록을 통해 무슨 일이 일어났는지, 왜 일어났는지, 그리고 다음에 무슨 일이 일어날지 확인할 수 있습니다.

상세한 로그를 통해 시스템 내에서 몰래 작동하는 정체불명의 봇을 사용자가 직접 검사할 수 있는 시스템으로 바꿀 수 있습니다.

코반트에서는 모든 AI 에이전트 배포 시 조직이 활용할 수 있는 위험 지도를 제공합니다. 위험한 행동에 대해서는 사람이 검토하고 승인해야 에이전트가 해당 작업을 수행할 수 있도록 하는 게이트키핑 시스템을 내장하고 있습니다. 이 모든 과정은 기록 시스템과 동일하게 기록되어 추적 가능합니다.

우리는 위험을 최소화하기 위해 작업 로그와 사람의 감독 및 관찰 가능성을 결합하는 것이 중요하다고 생각합니다. 이를 통해 실제 작업을 수행하는 에이전트의 속도와 확장성이라는 이점을 그대로 누릴 수 있습니다.

인공지능 에이전트의 불투명한 의사결정 과정 때문에 보험 가입이 가능한지에 대한 논의가 점점 커지고 있습니다. 에이전트 워크플로우를 감사 및 재현 가능하게 만드는 것이 어떻게 "블랙박스" 문제를 해결하고 보험 가입 가능성을 열어줄 수 있을까요?

보험 가입이 어려운 이유는 바로 '블랙박스' 문제 때문입니다. 담당자가 무엇을 했는지, 왜 했는지, 그리고 어떤 통제 장치가 마련되어 있었는지 명확하게 보여줄 수 없다면, 특히 보험사 입장에서는 위험을 평가하고 보험료를 책정하기가 어렵습니다.

저희 접근 방식은 기본적으로 이전 답변에서 제시된 책임 체계의 확장입니다. 의사 결정 범위와 행동의 영향을 더 작은 단위로 나누어, 전체 운영에 큰 영향을 미칠 수 있는 불투명한 단일 결정을 내리지 않도록 했습니다. 각 단계는 더 구체적이고 예측 가능하며 평가하기 쉽습니다.

그런 다음 상세 로그, 관찰 가능성 및 사람의 감독을 추가합니다. 가장 중요하고 영향력이 큰 결정의 경우, 담당자가 검토 및 승인을 받은 후에만 다음 단계로 진행할 수 있도록 사람이 직접 검토하고 승인합니다. 이를 통해 워크플로가 실제로 어떻게 작동하는지 훨씬 더 명확하게 파악할 수 있습니다.

워크플로우를 감사 및 재현 가능하게 만드는 것이 마지막 단계입니다. 문제가 발생하면 발생 원인을 재현하고 신속하게 조사하며 수정 사항을 검증하고 사람의 승인이 필요한 빈도와 안전장치가 어디에 있는지 입증할 수 있습니다. 보험 인수 심사 측면에서 이는 다음과 같은 의미를 갖습니다. 불가사의한 AI 동작 표준 운영 위험에 더 가까운 수준으로.

에이전트 시스템을 위한 공통 표준을 만들고자 하는 Agentic AI Foundation과 같은 이니셔티브가 있는데, 이러한 노력의 가장 유망한 측면은 무엇이라고 생각하시나요? 그리고 실제 기업 운영에 있어서는 어떤 부분이 아직 부족한가요?

표준화는 일반적으로 좋은 것입니다. AAIF는 눈에 띄지는 않지만 필수적인 작업인 에이전트 시스템들이 동일한 언어를 사용하도록 만드는 일을 할 수 있으며, 이는 통합을 더 쉽게 만들고 장기적으로 벤더 종속성을 줄이는 데 도움이 될 것입니다.

제가 우려하는 부분은 표준을 형성하는 관점이 누구의 것인지입니다. 만약 대부분의 작업이 모델 개발자와 기술 스타트업에 의해 주도된다면, "표준"이 대규모 조직이 에이전트를 안전하게 운영하는 데 실제로 필요한 것이 아니라, 구축이나 시연이 가장 쉬운 것에 최적화될 위험이 있습니다.

실제 기업 운영에서 격차는 커넥터 자체보다는 제어에 더 집중되는 경향이 있습니다. 즉, 에이전트가 접근하고 변경할 수 있는 범위, 영향력이 큰 작업에 대한 승인 워크플로, 감사 가능한 로그, 그리고 팀이 행동을 모니터링하고, 사건을 조사하고, 규정 준수를 입증할 수 있도록 하는 관찰 가능성 등이 중요합니다. 또한 기업은 복잡한 현실 속에서 운영하기 위한 실질적인 표준이 필요합니다. 예외 상황에 대한 테스트, 변화하는 시스템 처리, 그리고 기존 도구와 규제 대상 데이터 환경 전반에서 안전하게 작업을 일시 중지, 차단 또는 롤백할 수 있는 기능 등이 여기에 포함됩니다.

따라서 이는 유망한 방향이지만, 기업 요구사항과 운영 위험 통제를 부차적인 문제로 취급하지 않는다면 그 영향은 제한적일 것입니다.

코반트는 이미 북유럽 대기업들을 대상으로 상당한 매출을 올리면서도 대부분 비공개로 운영해 왔습니다. 오늘날 자율 AI 에이전트를 도입하기에 가장 적합한 비즈니스 기능이나 워크플로는 어떤 유형일까요?

실제 배포 사례를 통해 살펴본 결과, 현재 가장 "준비된" 워크플로는 모니터링, 추적, 점검, 시스템 업데이트, 예외 처리, 여러 도구를 활용한 운영 유지 등과 같은 반응형 사무직 업무로 구성되어 있습니다.

제조업 및 더 넓은 기업 공급망에서 이러한 현상은 다음과 같은 여러 측면에서 나타납니다.

• 소싱/조달원자재 확보, 지속 가능한 소싱, 규정 준수 운영, 공급업체 선정(이중/다중 소싱 포함), 계약 관리, 공급업체 위험 관리 및 입찰 관리.
• 생산용량 계획, 생산 일정 관리, 유지 보수 관리, 품질 관리, 병목 현상 관리 및 손실 방지.
• 창고: 입고 및 검사, 재고 관리, 재고 순환(FIFO/FEFO), 주기적 재고 조사/감사.
• 운송 물류: 운송 방식 및 운송업체 선정, 통관/서류 작업, 추적 및 가시성 확보, 배출량 모니터링, 무역 규정 준수.
• 영업 및 서비스제품 재고 관리, 재고 부족 방지, 판매/반품 관리, 소비자 행동 분석, 그리고 수리, 제품 수명 주기 추적, 정비소 운영, 서비스 계약과 같은 사후 서비스 영역까지 포함합니다.

기업이 핵심 운영 전반에 AI 에이전트를 배포할 때, 모든 작업 속도를 저하시키지 않으면서도 제어를 확보하기 위해 자율성과 인간의 감독 사이의 균형을 어떻게 맞추는 것이 좋을까요?

균형은 자율성에 달려 있습니다. 에이전트가 명확한 가이드라인 내에서 위험도가 낮은 작업을 신속하게 처리하도록 하고, 특정 위험 임계값을 넘어서면 사람이 개입하도록 해야 합니다.

모델에 너무 많은 범위와 맥락을 한꺼번에 부여하는 것이 많은 실패의 원인입니다. 작업을 더 작고 범위가 좁은 결정으로 나누고, 각 단계에 명확한 권한과 제한된 영향 범위를 부여하는 것이 좋습니다. 이렇게 하면 예측 불가능한 동작이 줄어들고 성능을 더 쉽게 모니터링하고 개선할 수 있습니다.

그런 다음 관찰 가능성, 작업 로그 및 사람의 승인이라는 세 가지 요소를 결합합니다. 에이전트가 수행하는 모든 작업은 추적 가능해야 하므로 발생한 상황을 검토하고 신속하게 조사할 수 있습니다. 영향력이 크거나 위험도가 높은 작업의 경우 워크플로에 사람 승인 단계를 추가하여 에이전트가 제안 및 준비만 할 수 있도록 하고, 담당자의 승인을 받은 후에만 실행되도록 합니다.

덕분에 작업 속도가 빠릅니다. 속도가 약간 느려지는 부분은 사람이 감독하는 단계뿐이지만, 그 단계는 매우 중요합니다. 사람이 모든 클릭을 일일이 감독하는 것은 아니지만, 중요한 순간에는 여전히 사람의 개입이 필요합니다. 결과적으로 안전한 부분에서는 속도를 유지하고, 필요한 부분에서는 감독이 이루어집니다.

향후 몇 년 동안 대규모 조직 내에서 자율 AI 에이전트의 역할이 어떻게 발전할 것으로 예상하시나요? 그리고 에이전트형 AI를 통해 성공하는 기업과 어려움을 겪는 기업을 구분하는 요소는 무엇일까요?

향후 몇 년 동안 자율 AI 에이전트는 흥미로운 실험 단계를 넘어 대규모 조직 내 실질적인 운영 계층으로 자리 잡을 것입니다. 운영, 고객 서비스, 재무 및 인사 관리 등 다양한 분야에서 활용될 것입니다. 신뢰성, 거버넌스 및 감독이 향상됨에 따라 기업들은 개별적인 시범 운영에서 벗어나 엔드투엔드 워크플로 전반에 걸쳐 에이전트 팀을 운영하는 단계로 나아갈 것입니다.

가장 큰 변화는 속도, 민첩성, 규모, 효율성 및 비용이 훨씬 더 직접적인 경쟁 요소가 될 것이라는 점입니다. 저는 기업에 "우버 열풍"이 불어닥칠 것이라고 생각합니다. 에이전트형 AI를 진정으로 마스터하는 기업은 뒤처진 기업보다 훨씬 빠른 속도로 운영하고, 시장을 더 빨리 점유하며, 일반적인 운영상의 제약 없이 변화에 대응할 수 있을 것입니다.

승자를 가르는 것은 단순히 에이전트를 배포하는 것이 아니라, 제대로 배포하는 것입니다. 관리되는 자율성, 강력한 관찰 가능성 및 활동 로그, 그리고 의사 결정 범위를 좁히는 아키텍처가 핵심이 될 것입니다. 에이전트 기반 AI를 적절한 제어, 통합 및 소유권을 갖춘 핵심 운영 역량으로 활용하는 기업은 AI를 통해 더 많은 일을 처리할 수 있을 것입니다. 이를 통해 팀은 관리 업무에 파묻히는 대신 성장과 혁신에 집중할 수 있게 됩니다. 요컨대, 기업 규모에서 획기적인 속도와 효율성은 진정한 경쟁 우위가 됩니다.

훌륭한 인터뷰 감사합니다. 자세한 내용을 알고 싶은 독자는 방문하세요. 코반트.