Prince Kohli, Sauce Labs 사장 겸 CEO – 인터뷰 시리즈

Prince Kohli는 Sauce Labs의 사장 겸 CEO로, 인공지능, 엔터프라이즈 소프트웨어, 클라우드 컴퓨팅, 자동화, 네트워킹 및 사이버 보안을 아우르는 폭넓은 경험을 가진 베테랑 기술 경영인이다. 2025년 2월 Sauce Labs에 합류하기 전에 그는 Automation Anywhere에서 6년 넘게 최고 기술 책임자(CTO)로 재직하며 대기업을 위한 AI 기반 자동화 기술을 발전시켰다. 이전에는 ThoughtSpot에서 엔지니어링 수석 부사장을 역임했으며, Ericsson에서는 10,000명 이상의 엔지니어로 구성된 글로벌 R&D 조직을 총괄하는 등 고위 리더십 역할을 맡았다. 또한 Citrix에서 거의 10년 동안 플랫폼, 클라우드 네트워킹, 엔지니어링 및 운영 이니셔티브를 이끌었다. 초기 경력에서는 애플리케이션 보안 회사인 Teros를 공동 설립하고 SGI에서 기술 리드로 일했다. 경영진 역할 외에도 Kohli는 Ethical AI Governance Group을 통해 기술 거버넌스 이니셔티브에 기여했으며, 이전에 세계경제포럼(World Economic Forum)의 Safe Systems and Technologies 작업 그룹에 참여한 바 있다.

Sauce Labs는 소프트웨어 품질 및 지속적 테스트 기업으로, 기업에게 브라우저, 운영 체제, 가상 환경 및 실제 디바이스 전반에 걸친 웹·모바일 애플리케이션 테스트를 위한 인프라와 도구를 제공한다. 이 플랫폼은 자동 및 수동 테스트, 시각적 테스트, 모바일 앱 배포, 오류 보고, AI 기반 테스트 작성 및 분석 등 기능을 지원하며 일반적인 지속적 통합·배포(CI/CD) 워크플로와도 통합된다. Sauce Labs는 AI 에이전트를 활용해 테스트를 생성·실행·분석하고 소프트웨어 릴리스 전 과정에 인간 감독을 유지하는 AI‑Unified Release Assurance 플랫폼인 AURA를 중심으로 기술을 점점 강화하고 있다. 회사에 따르면 자사의 인프라는 87억 건 이상의 테스트 실행과 30만 명 이상의 기업 사용자를 지원했으며, 거의 20년에 걸친 크로스‑플랫폼 테스트 데이터를 기반으로 한다.

Sauce Labs에 합류하기 전, Automation Anywhere에서 AI 기반 자동화를 이끌고 Ericsson과 Citrix 등에서 대규모 클라우드 및 엔지니어링 조직을 관리한 경험이 소프트웨어 품질 문제에 대한 당신의 관점을 어떻게 형성했으며, 무엇이 AI‑네이티브 릴리스 어슈어런스를 Sauce Labs의 핵심 우선순위로 만들게 했습니까?

Ericsson과 Citrix에서 저는 소프트웨어 결함이 얼마나 빠르게 전파되어 전 세계 인프라에 영향을 미치고, 보안·고객 운영·신뢰 및 매출에 큰 영향을 미치는지를 목격했습니다. Automation Anywhere를 통해 AI가 업무의 속도와 구조를 어떻게 변화시키는지를 알게 되었고, AI가 생성한 소프트웨어의 속도에 맞추어 테스트를 재구축해야 한다는 것이 분명해졌습니다. Sauce Labs는 테스트 자동화의 선구자였으며, 따라서 AI‑네이티브 릴리스 어슈어런스는 우리가 해결하도록 설계된 다음 주요 과제입니다.

Sauce Labs의 연구에 따르면 80%의 조직이 AI가 생성한 코드와 관련된 운영 사고, 서비스 중단 또는 고객에 영향을 주는 결함을 발견했다고 합니다. 이는 주로 AI가 만든 코드 자체의 약점 때문인가요, 아니면 기업이 테스트와 거버넌스 프로세스를 업데이트하지 않은 채 AI 코딩 도구를 도입했기 때문인가요?

80%라는 수치는 전체 소프트웨어 전달 시스템 전반에 걸친 문제를 나타냅니다. AI 산업은 1조 달러가 넘는 사모 자본을 끌어모았으며, 그 대부분은 AI가 기업의 생산성을 크게 높일 것이라는 기대에 기반합니다. 그러나 더 많은 코드를 생성하는 것이 가치가 되려면 기업이 해당 코드를 프로덕션에 투입하기 전에 품질과 보안에 대해 확신할 수 있어야 합니다.

AI가 생성한 코드는 미묘한 버그와 보안 문제를 초래할 수 있으며, 기업은 이미 따라잡기 힘들던 테스트 및 거버넌스 프로세스를 통해 해당 코드를 진행시켜야 하는 상황에 놓여 있습니다. 이는 1조 달러 규모의 실행 문제를 만들며: AI는 소프트웨어 생성 속도를 높이지만, 현대화된 릴리스 어슈어런스가 없으면 결함도 동일하게 가속화됩니다. 모든 버그는 결국 발견되기 마련이므로, 기업은 고객이나 공격자보다 먼저 이를 찾아내야 합니다.

보고서에 따르면 개발자들이 741% 더 많은 코드를 생산하고 있지만 릴리스 속도는 20% 미만 증가했다고 합니다. 검증 시스템이 따라잡지 못하게 하는 요인은 무엇이며, 소프트웨어 개발 라이프사이클에서 가장 큰 병목 현상은 보통 어디에서 발생합니까?

코드 생성은 테스트 작성·유지·분석보다 훨씬 앞서 나갔습니다. 가장 큰 병목은 일반적으로 코드가 작성된 후 사용자 여정(context)에서 검증이 필요할 때 발생합니다. 이는 종종 코드 자체보다도 복잡할 수 있는데, 코드 기능과 객체를 아우르는 엔드‑투‑엔드 경로를 고려해야 하며, 한 곳의 사소한 의미 변화가 큰 하위 영향을 미칠 수 있기 때문입니다. 애플리케이션 의도를 정확하고 완전하게 포착하는 테스트를 작성하는 것은 전통적으로 거의 불가능에 가깝고, 막대한 수동 작업과 유지보수가 필요합니다. 또한 테스트 실행 후 실패가 발생하면 팀은 문제가 제품에서 비롯된 것인지 오래된 테스트 때문인지를 판단하고 원인을 분석해야 합니다. 이러한 작업은 여전히 수동 검토와 엔지니어링 컨텍스트에 크게 의존합니다.

설문에 응답한 기업의 절반 이상이 중요한 결함이 있는 소프트웨어를 의도적으로 릴리스했다고 인정했으며, 66%는 마감일을 맞추기 위해 품질이나 테스트 기준을 포기했다고 답했습니다. 왜 조직이 이러한 위험을 받아들이는 것이며, 소프트웨어 품질이 최종 엔지니어링 검토 단계가 아니라 비즈니스 수준의 우선순위가 되려면 무엇이 바뀌어야 할까요?

조직이 위험을 감수하는 이유는 릴리스 목표가 즉각적인 고객, 매출 및 제품 약속과 연결되어 있으며, 결함 비용이 여러 팀에 걸쳐 나중에 발생하기 때문입니다. 품질이 비즈니스 우선순위가 되는 것은 리더가 릴리스 속도와 함께 프로덕션 사고, 고객 영향, 보안 노출, 재작업 비용 및 지연된 매출을 측정할 때입니다.

Sauce Labs는 AURA를 각 릴리스에서 학습하면서 테스트를 작성·실행·분석하는 폐쇄 루프 플랫폼으로 포지셔닝하고 있습니다. 이는 AI 지원 테스트 생성, 자체 복구 테스트 스크립트, 혹은 엔지니어링 팀이 이미 사용하고 있는 다른 자동화 도구와 기술적·운영상 어떻게 다릅니까?

대부분의 AI 테스트 도구는 테스트 생성이나 깨진 로케이터 수리와 같이 특정 작업만을 다룹니다. AURA는 애플리케이션 의도를 이해하고, 테스트를 작성·실행하며, 실패를 분석하고, 프로덕션 행동을 개발에 다시 반영함으로써 전체 프로세스를 연결합니다. 의미나 기대 동작이 변경될 때 자동으로 많은 변화를 처리하고, 필요시 사람을 프로세스에 참여시킵니다. 또한 AURA가 생성하는 테스트는 안정적이며, 애플리케이션·브라우저·디바이스 등에서 의미에 영향을 주지 않는 변경이 발생해도 수정이 필요하지 않습니다. 마지막으로 AURA는 자체 테스트 실행 클라우드를 내장하고 있어 개발자나 품질 엔지니어링 팀의 전체 작업을 오프로드할 수 있습니다.

AURA는 소프트웨어를 “비즈니스 의도”에 맞춰 검증하도록 설계되었습니다. 그 의도는 어떻게 정의되고 테스트 가능한 요구사항으로 변환되며, 누가 이를 승인하고, 모호하거나 불완전하거나 해석 여지가 있는 요구사항은 플랫폼에서 어떻게 처리됩니까?

비즈니스 의도는 제품 요구사항, 수용 기준, 비즈니스 규칙, 사용자 여정 및 고객이 실제로 애플리케이션을 사용하는 방식에서 비롯됩니다. 제품 리더가 기대 결과를 정의하고, 엔지니어링 및 품질 팀이 그 결과를 시스템이 검증할 수 있는 동작으로 변환합니다. 요구사항이 불완전하거나 모호할 경우, AURA는 불확실성을 드러내고 기대 결과를 변경하기 전에 인간의 승인을 요청합니다.

Sauce Labs는 AURA를 사용하는 기업이 프로덕션 사고가 90% 감소하고, 릴리스 주기가 47% 빨라지며, 엔지니어링 역량의 38%를 회수했다고 보고했습니다. 이러한 결과는 어떻게 측정되었으며, 어떤 배포 기간 동안 이루어졌고, AURA의 효과를 다른 조직·엔지니어링 변화와 구분하기 위해 어떤 독립적인 검증이 사용되었습니까?

기업 배포 전반에 걸쳐 팀이 AURA를 도입한 후 프로덕션 사고, 릴리스 주기 속도 및 엔지니어링 역량 변화를 측정했습니다. 해당 배포에서는 프로덕션 사고가 90% 이상 감소하고, 릴리스 주기가 47% 빨라지며, 엔지니어링 역량의 38%가 회수되었으며, 이 결과는 독립적으로 검증되었습니다. Walmart와 Keller Williams와 같은 고객도 릴리스 빈도, 테스트 커버리지 및 사이클 타임에서 상당한 향상을 보고했습니다.

연구에 따르면 사고가 계속 증가함에도 불구하고 64%의 조직이 품질 보증 인력을 늘렸다고 합니다. 기업이 단순히 테스터를 더 고용하는 것으로 검증 격차를 해소할 수 없는 이유는 무엇이며, 테스트가 보다 자율화됨에 따라 개발자, 품질 엔지니어, 사이트 신뢰성 팀의 책임은 어떻게 변할 것으로 보십니까?

AI는 코드 양을 기업이 테스트 인력을 늘리는 속도보다 훨씬 빠르게 증가시킬 수 있으며, 인력을 추가하면 인계와 조정이 더 많이 발생합니다. 개발자는 의도를 명확히 정의해야 하고, 품질 엔지니어는 위험·커버리지·거버넌스에 더 집중하게 되며, 사이트 신뢰성 팀은 프로덕션 행동을 릴리스 프로세스로 되돌려야 합니다. 에이전트는 이 새로운 개발 모델이 요구하는 규모에서 반복적인 실행 및 분석을 처리할 수 있습니다.

AI 에이전트가 테스트 작성·실행·해석에 대한 책임을 확대함에 따라, 인간이 의사결정 권한을 유지해야 하는 영역은 어디입니까? 어떤 종류의 불확실성, 보안 위험, 혹은 잠재적 고객 영향을 자동으로 릴리스를 중단하거나 인간 검토를 트리거해야 할까요?

인간은 특히 판단, 고객 영향 또는 비즈니스 위험이 수반될 때 릴리스 결정에 대한 최종 권한을 유지해야 합니다. AI 에이전트는 지루하고 반복적이며 명확히 정의된 테스트 작업을 자동화할 수 있지만, 코드나 테스트 결과를 완전히 이해하거나 설명·재현할 수 없을 경우 인간이 프로덕션 릴리스를 승인해야 합니다. 요구사항이 불명확하거나 보안 취약점이 존재할 가능성이 있거나, 서드파티 구성요소가 충분히 검증되지 않았거나, 실패가 매출, 민감 데이터, 고객 경험 또는 핵심 운영에 영향을 미칠 경우에도 검토가 필수적입니다.

이러한 상황에서는 설명되지 않은 동작, 일관성 없는 테스트 결과 또는 릴리스 준비가 충분히 입증되지 않은 경우 자동으로 릴리스를 중단해야 합니다.

고객 사례 중에는 “불안정”해 보이며 명확한 실패 패턴 없이 일관되지 않게 통과하는 테스트가 종종 무시되는 경우가 있었습니다. 그러나 일부 고객은 잘 관리된 프로세스를 통해 충분한 실사를 수행했으며, 당사 플랫폼의 도움으로 해당 실패를 미묘하지만 중요한 타이밍 기반 결함으로 추적할 수 있었습니다. 이 결함이 릴리스되었다면 큰 영향을 초래했을 것이며, 비용도 매우 높았을 것입니다.

귀하는 Ethical AI Governance Group 및 세계경제포럼(World Economic Forum)의 Safe Systems and Technologies 작업 그룹에도 참여한 바 있습니다. AI가 생성한 코드와 자율 테스트가 더욱 긴밀히 연결됨에 따라, 빠른 소프트웨어 생성이 새로운 시스템적·보안·책임 위험을 초래하지 않도록 기업이 따라야 할 거버넌스 표준은 무엇입니까?

AI가 소프트웨어를 빠르게 생성할수록 검증 및 거버넌스 계층은 더욱 강력해져야 합니다. 이 계층은 여러 요소로 구성됩니다. 기업은 에이전트가 자율적으로 결정할 수 있는 범위를 명확히 설정하고, 비즈니스 의도, 보안, 규정 준수 또는 의미 있는 의미 변화에 대한 불확실성이 있을 때 인간 검토를 요구해야 합니다. 또한 에이전트가 무엇을, 왜 변경했는지, 그리고 릴리스 결정을 뒷받침한 증거가 무엇인지에 대한 추적 가능성이 필요합니다. 궁극적으로 거버넌스는 AI가 코드를 얼마나 빠르게 생성하는지가 아니라, 프로덕션에 도달한 결과물의 품질과 예측 가능성으로 측정되어야 하며, 예를 들어 생성된 코드가 릴리스 후 90일 이내에 사고를 일으키는 빈도를 구체적으로 추적해야 합니다.

멋진 인터뷰에 감사드립니다. 더 알고 싶은 독자는 Sauce Labs를 방문하시기 바랍니다.