Shanea Leven, Empromptu AI의 설립자 및 CEO – 인터뷰 시리즈

Shanea Leven, Empromptu AI의 설립자 및 CEO는 주요 기술 회사에서 개발자 플랫폼과 AI 기반 제품을 구축하는 경험丰富한 베테랑 제품 리더입니다. Empromptu를 2025년에 설립하기 전에, 그녀는 CodeSee라는 AI 개발자 플랫폼을 설립했는데, 이는 팀이 복잡한 코드베이스를 시각화하고 이해하는 것을 도와주는 플랫폼으로, 2024년에 GitKraken에 인수되었습니다. 그녀의 경력 초기에는 Docker, Cloudflare, eBay, Google와 같은 회사에서 선임 제품 리더십 역할을 맡았으며, Google Assistant 결제 API부터 수십만 명의 학습자를 사용하는 개발자 교육 프로그램까지 다양한 이니셔티브에 참여했습니다.

Empromptu AI는 조직이 통합 AI 애플리케이션을 더 쉽게 구축하고 배포할 수 있도록 설계된 엔터프라이즈 플랫폼입니다. 이 플랫폼은 애플리케이션 개발, 데이터 통합, 거버넌스, 평가, 메모리, 모델 오케스트레이션을 하나의 환경으로 결합하여 기업이 빠른 AI 실험에서 생산급 시스템으로 이동할 수 있도록 합니다.

15년 이상 동안 Google, eBay, Cloudflare, Docker와 같은 회사에서 개발자 플랫폼을 구축한 후 CodeSee를 설립하여 GitKraken에 인수되었고, 이제 Empromptu AI를 이끌고 계십니다. 그 경험은 어떻게 AI 도구가 데모 단계를 넘어서 실패하는 이유에 대한您的 관점을 형성했나요? 그리고 Empromptu를 설립했을 때 어떤 문제를 해결하려고 했나요?

개발자 플랫폼을 구축하는 것에서 배울 수 있는 가장 어려운 문제는 데모에서 나타나는 문제가 아니라는 것입니다. 데모는 항상 작동합니다. 실제 테스트는 수천 명의 개발자가 시스템을 사용할 때, 데이터가 어지럽고, 통합이 깨지며, 실제 비즈니스에 의존할 때 발생합니다.

Google, Cloudflare, Docker, eBay에서 수년 동안 글로벌 규모의 플랫폼을 구축했으며, 이러한 환경은 신뢰성, 거버넌스, 관측 가능성이 후에 추가되는 기능이 아니라 아키텍처의 일부라는 것을 가르쳐줍니다.

AI 애플리케이션을 구축할 때, 모델이 좋지 않았지만, 모델이 개선되기 시작했을 때, 산업이 이전 소프트웨어 波에 있는 것과 같은 실수를 반복하고 있다는 것을 알게 되었습니다. 개발 도구에는 잊혀진 개념이 있습니다. “Hello World”에 도달하는 속도는 얼마나 빠른가요? 오늘날, 생성형 “Hello World”는 완전한 워킹 SaaS 프로토타입입니다. 그러나 우리는 더 이상 SaaS 애플리케이션만을 위한 코드를 작성하지 않습니다. 우리는 전체 AI 애플리케이션을 위한 코드를 작성합니다. AI를 구축하는 AI는 다른 시스템을 사용하여 그 AI를 프로덕션에 넣을 수 있어야 합니다.

작동하는 AI 애플리케이션 또는 기능을 빠르게 생성할 수 있습니다. 이것은 흥미롭고 실제로 유용합니다. 그러나 지배적인 시스템은 여전히 프로덕션 환경에 필요한 인프라를欠하고 있습니다. 구조화된 데이터 파이프라인, 평가 프레임워크, 거버넌스 제어, 모니터링, 장기 컨텍스트 관리와 같은 것들이 놓치고 있지만, 우리는 모두 놀라운 코드 작성의 모든 부분을 유지하면서 이것들을 넣었습니다.

Empromptu를 설립했을 때, 해결하고자 한 문제는 간단했습니다. 우리는 AI 애플리케이션이 처음부터 프로덕션 준비가 되도록 만들고 싶었습니다.

거버넌스, 데이터 준비, 평가, 최적화를 별도의 도구 또는事後 처리로 다루는 대신, chúng을 플랫폼에 직접 구축했습니다. 아이디어는 팀이 빠르게 AI 애플리케이션을 구축할 수 있어야 하지만, 엔터프라이즈 소프트웨어 시스템에서 기대하는 것과 같은 신뢰성, 품질, 제어를 갖추고 있어야 한다는 것입니다.

AI 데모와 프로덕션 준비 시스템 사이의 간격에 대해 공개적으로 말했습니다. 프로토타입을 신뢰할 수 있는 제품으로 전환하려고 할 때 팀이 가장 일반적으로 저지르는 아키텍처 실수를 무엇이라고 생각하나요?

가장 일반적인 실수는 모델이 제품이라고 가정하는 것입니다.

초기 프로토타입에서, 모델은 대부분의 가시적인 작업을 수행합니다. 모델에 프롬프트를 주면, 모델은 답변을 생성하며, 답변을 생성하면 시스템이 작동하는 것으로 보입니다. 이것은 모델을 개선하는 것이 주요 도전이라는 환상을 생성합니다.

그러나 프로덕션 시스템에서, 모델은 훨씬 더 큰 아키텍처의 한 구성 요소에 불과합니다.

첫 번째 실수는 데이터를事後 처리로 다루는 것입니다. 프로토타입에서, 팀은 종종 작은, 깨끗한 데이터셋으로 테스트합니다. 시스템이 실제 운영 데이터에 연결되면, 상황은 빠르게 변경됩니다. 데이터는 불완전하거나, 일관성이 없거나, 중복되거나, 예상하지 못한 형식으로 도착할 수 있습니다. 구조화된 데이터 파이프라인이 입력을 정규화하고 유효성 검사를 수행하지 않으면, 시스템은 모델이 얼마나 좋은지에 관계없이 신뢰할 수 없습니다.

두 번째 실수는 평가 프레임워크의 부재입니다. 많은 팀은 “좋은” 것이 무엇인지 정의하지 않고 AI 기능을 출시합니다. 개발 중에 수동으로 출력을 점검할 수 있지만, 시스템이 라이브되면 지속적으로 정확성, 드리프트, 에지 케이스를 측정하는 자동 평가 파이프라인을 구축하지 않습니다. 이러한 가드레일 없이, 실패는 종종 고객에 의해 발견됩니다.

세 번째 문제는 거버넌스 및 제어 메커니즘의 부재입니다. AI 시스템은 확률적이므로, 약간 다른 조건에서 다르게 행동할 수 있습니다. 규제되거나 높은 위험의 환경에서는, 이러한 예측 불가능성을 결정적 정책, 승인 워크플로, 감사 로그로 제한해야 합니다.

이것은 모두 프로덕션 AI 시스템이 모델만이 아니라 운영 시스템이라는 것을 의미합니다.

오늘날 AI에 성공하는 회사는 데이터 파이프라인, 평가, 거버넌스, 모니터링을 핵심 인프라로 다루는 회사입니다. 이러한 것을 선택적인 추가 기능으로 다루지 않습니다.

많은 AI 코딩 플랫폼은 단순한 프롬프트를 사용하여 누구나 애플리케이션을 구축할 수 있다고 약속합니다. 이러한 도구는 데모에서 잘 작동하지만, 회사들이 실제 프로덕션 환경에서 배포하려고 할 때 왜 어려움을 겪는지 설명해 주시겠습니까?

이러한 플랫폼은 데모에서 잘 작동합니다. 왜냐하면 생성의 순간에 최적화되어 있기 때문입니다. 시스템의 수명주기에는 그렇지 않습니다.

AI 애플리케이션을 구축하는 것은 랜딩 페이지를 생성하는 것과는 완전히 다릅니다. 랜딩 페이지는 대부분 정적인 소프트웨어입니다. 렌더링이 올바르게 되면, 작업은 대부분 완료됩니다. 시스템은 확률적 결정을 내리지 않으며, 끊임없이 변경되는 데이터를 처리하지 않으며, 예측할 수 없는 사용자 동작에 적응하지 않습니다.

AI 애플리케이션은 다릅니다. 데이터 파이프라인, 모델 동작, 평가 프레임워크, 지속적인 모니터링에 의존하는 동적인 시스템입니다. 애플리케이션은 컨텍스트를 관리하고, 출력이 드리프트하는 것을 감지하고, 에지 케이스를 처리하며, 모델이 전에 보지 못한 상황을 만났을 때 안전하게 작동해야 합니다.

대부분의 프롬프트 기반 코딩 도구는 이러한 계층을 다루지 않습니다. 왜냐하면 데모 환경에서 빠르게 작동하는 것을 생성하도록 설계되었기 때문입니다. 프로덕션 시스템에는 훨씬 더 많은 기능이 필요합니다. 구조화된 데이터 처리, 거버넌스 제어, 평가 파이프라인, 관측 가능성, 시간이 지남에 따라 안전하게 동작을 업데이트하는 메커니즘입니다.

따라서 회사들이 이러한 시스템을 실제 환경에서 배포하려고 할 때, 간격이 명백해집니다. 프로토타입은 환경이 제어되었기 때문에 작동했습니다. 프로덕션은 지저분합니다.

Empromptu는 기존 소프트웨어를 AI 네이티브 시스템으로 변환하는 것에 중점을 두고 있습니다. 실제로 이것은 어떤 의미인가요?

제품 수준에서, 모든 애플리케이션은 완전히 자체 포함되어 컨테이너화됩니다. 우리는 모든 것을 생성합니다. 프론트엔드, 백엔드, 데이터베이스, 모델, 평가, 규칙 및 모든 것이 기업의 필요에 따라 매우 유연합니다.

우리는 AI 앱에 대해 몇 가지 옵션을 가지고 있습니다.

“헤드리스”로, 고객이 이미 프론트엔드를 가지고 있다면, 우리는 시스템에 연결하고 데이터를 다시 보낼 수 있습니다.

완전히 컨테이너화되어 있으므로, 고객의 인프라에서 배포하거나, 온프레미스에서 기본적으로 배포할 수 있습니다.

또는 우리는 클라우드에서 가장 편리한 옵션으로 직접 생성하고 배포할 수 있습니다.

그들이 가지고 있는 코드는 모두 우리 시스템으로 직접 가져올 수 있으며, 이미 에이전트화되지 않은 경우 에이전트화할 수 있습니다. 예를 들어, Lovable, Replit, Bolt 또는 Base44와 같은 인기 있는 플랫폼에서 애플리케이션을 구축하려고 한 고객을 많이 보았습니다. 그러나 종종 작동하지 않습니다. 그러나 고객은 이미 이 애플리케이션에 많은 시간과 에너지를 투자했습니다. 따라서 우리는 이를 가져와서 다시 작성하고, 모든 AI가 작동하도록 합니다.

우리는 다음과 같은 사용자 정의, 독점 기술을 통해 이를 수행할 수 있습니다.

• 컨텍스트를 관리하는 적응형 컨텍스트 엔진
• 장기 실행 코드 애플리케이션을 처리하기 위한 무한 메모리
• 데이터를 청소하고 합성 레이블을 지정하는 데 필요한 모든 데이터를 처리할 수 있는 사용자 정의 데이터 모델 및 골든 데이터 파이프라인

Empromptu는 컨텍스트, 평가, 거버넌스, 구조화된 데이터를 AI 시스템의 핵심 구성 요소로 강조합니다. 이러한 요소가 빠르게 AI 기능을 추가하려고 하는 팀에서 왜 자주 무시되는가요?

그것은 어려운 일이기 때문입니다! 나의 공동 설립자 Sean Robinson 박사는 우리의 연구소를 이끌고 있으며, 그는計算 천체 물리학자로서 많은 기술을 발명했으며, 나의 미친 아이디어와 고객의 필요, 시장 동향에 영감을 받았습니다. 우리의 경험은 많은 에이전트 애플리케이션을 구축하고, 위성들을 우주에 올리고, 세계에서 가장 큰 기술 회사에서 일하면서 복잡한 문제를 더 잘 해결하도록 도와줍니다.

비기술적인 배경을 가진 많은 창업자를 만나보았습니다. 그들이 처음으로 AI 애플리케이션을 구축하려고 할 때, 가장 큰 오해는 무엇이라고 생각하나요?

두 가지 큰 오해가 있습니다.

첫 번째는 AI가 마법이라고 생각하는 것입니다. AI는 마법이 아닙니다. 그것은 단지 좋은 엔지니어링입니다. 그리고 결국, 플랫폼에서 실제 엔지니어가 필요할 때까지 한계에 도달합니다.

두 번째는 기술 제품 관리 기술이 좋다고 생각하는 것입니다. 나는 기술 제품 관리에 배경이 있으며, 비전, 때로는 매우 큰 비전을 작은 배포 가능한 조각으로 번역하고, 정확히 무엇을 원하는지 기술하기 위한 올바른 기술 사양을 작성하는 것은 실제로 매우 어려운 기술입니다.

예를 들어, PDF를 업로드하고 나중에 다시 보려고 저장하는 애플리케이션을 구축한다고 가정해 보겠습니다. 이것은 지속성이라는 개념입니다. PDF가 코드로 인코딩되고 데이터베이스에 저장됩니다.

그러나 지속성이란 것이 무엇인지 모른다면, 어떻게 지속성을 유지하도록 할 수 있나요? 기술 용어 선택은 다른 언어를 말하는 것과 같습니다. 자연어로 작성하는 것과 기술 언어로 작성하는 것에는 차이가 있습니다.

많은 스타트업은 AI 제품을 구축하는 솔루션이 단순히 더 많은 엔지니어를 고용하는 것이라고 가정합니다. 왜 이 접근법이 종종 실패하는지, 그리고 AI 기반 제품을 구축할 때 창업자는 무엇에 대해 생각해야 하는지 설명해 주시겠습니까?

더 많은 엔지니어를 고용하는 것은 때때로 올바른答案입니다. 깊이 기술적인 제품을 구축하거나 모델 연구의 최전선에서 일할 때, 강력한 엔지니어 팀이 필요합니다.

그러나 많은 스타트업이 저지르는 실수는 더 많은 엔지니어가 자동으로 도전을 해결한다고 가정하는 것입니다.

실제로 AI 제품에서 가장 어려운 문제는 순수한 엔지니어링 문제가 아닙니다. 시스템 문제입니다. 엔지니어는 시스템적으로 생각하도록 교육받습니다. 그러나 생성형 개발은 결정론적 개발과 다릅니다. 우리는 모두 객체 지향 프로그래밍에서 함수형 프로그래밍으로 전환했을 때, 이러한 전환을 만들었습니다. 프로그래밍은 동일합니까? 예, 절대적으로, 그러나 다르습니까? 다른 생각의 방식입니까? 예, 물론입니다.

AI 애플리케이션은 데이터, 제품 디자인, 운영 워크플로, 모델 동작의 교차점에 있습니다.您可以 놀라운 엔지니어 팀을 고용할 수 있지만, 데이터 파이프라인이 신뢰할 수 없거나, 평가 기준이 불분명하거나, 시스템이 거버넌스 및 모니터링을欠한다면, 제품은 실제 사용자에게 도달했을 때 여전히 어려움을 겪을 것입니다.

또 다른 문제는 팀이 프로덕션에서 시스템이 어떻게 작동할지 정의하기 전에 바로 구축에 뛰어드는 것입니다. 시스템이 평가되는 방법, 에지 케이스가 처리되는 방법, 결정이 로깅되는 방법, 모델이 시간이 지남에 따라 어떻게 업데이트되는지와 같은 질문은 종종 나중에 등장합니다. 그때까지 아키텍처는 이미 변경하기 어렵습니다.

창업자는 실제로 무엇에 대해 생각해야 합니까? AI 시스템의 운영 모델입니다.

데이터 파이프라인을誰が 소유합니까?

개발 중에만 아니라 지속적으로 모델 성능을 어떻게 측정합니까?

시스템이 전에 보지 못한 상황을 만나면 어떻게 합니까?

다운스트림 워크플로를 깨지 않고 안전하게 동작을 업데이트하는 방법은 무엇입니까?

때때로 이러한 문제를 해결하는 것은 더 많은 엔지니어를 고용하는 것을 의미합니다. 그러나 올바른 인프라를 선택하고, 강력한 제품 제약을 정의하며, 작은 팀이 신뢰성 있게 확장할 수 있는 시스템을 구축하는 것을 의미할 수도 있습니다.

오늘날 AI에 성공하는 회사는 반드시 가장 큰 엔지니어 팀을 가지고 있는 회사가 아닙니다. 데이터 규율, 평가, 거버넌스, 지속적인 개선을 처음부터 구축하여 AI를 긴 시간 동안 운영하는 회사가 성공하는 것입니다.

현재 AI 툴링 생태계에서 어떤 인센티브가 회사를 잘못된 방향으로 이끌고 있다고 생각하나요?

가장 큰 인센티브 불일치는 현재 많은 AI 개발자 도구가 성장 지표에 최적화되어 있지만, 제품의 내구성에는 최적화되어 있지 않다는 것입니다.

이 공간의 많은 회사들은 사용자가 무엇인가를 생성할 수 있는 속도에 대해 보상받습니다. 도구가 몇 분 안에 작동하는 애플리케이션, 기능 또는 데모를 생성할 수 있다면, 이것은 가입, 소셜 공유, 투자자 흥분을駆動합니다. 제품 채택 관점에서 이것은 의미가 있습니다.

그러나 이러한 인센티브는 생성의 순간에서 끝납니다.

AI 소프트웨어에서 더 어려운 작업은 그 이후에 발생합니다. 그것은 신뢰가 구축되는 곳입니다. 품질이 기대되는 곳입니다. 사용자가 다시 돌아오고 싶은 곳입니다.

또 다른 문제는 많은 도구가 코드 생성에 최적화되어 있지만, 시스템 디자인에는 최적화되어 있지 않다는 것입니다. 코드를 빠르게 생성하는 것은 도움이 됩니다. 그러나 AI 제품을 구축하는 것은 코드를 생성하는 것 이상을 포함합니다. 시스템이 컨텍스트를 관리하고, 결정을 평가하고, 실패를 처리하며, 시간이 지남에 따라 안전하게 동작을 업데이트하는 방법을 정의하는 것을 포함합니다.

고객이 신뢰성 있게 AI 시스템을 실행하도록 도와주는 회사, 즉 빠르게 구축하는 것보다 신뢰성 있게 구축하는 것을 우선하는 회사는 이 생태계에서 지속적인 가치를 창출할 것입니다.

특수한 제품을 구축하는 창업자, 예를 들어 특수한 건강 도구 또는 지속 가능성에 중점을 둔 비즈니스, 종종 전통적인 엔지니어링 팀 없이, 이러한 아이디어를 작동하는 AI 제품으로 전환하는 데 성공한 창업자에게서 어떤 패턴을 보았나요?

가장 흥미로운 패턴 중 하나는 성공한 창업자가 기술적으로 가장 강하지는 않지만, 해결하려고 하는 문제를非常히 잘 이해하고 있다는 것입니다.

Empromptu를 사용하는 많은 창업자는 도메인 전문가입니다. 그들은 의료, 금융, 지속 가능성 또는 다른 전문 산업에서 왔을 수 있습니다. 그들은 그 환경에서 존재하는 워크플로, 규제, 결정에 대한 깊은 지식을 가지고 있습니다. 이러한 컨텍스트는 AI 제품을 설계할 때非常히 유용합니다. 시스템이 실제로 해야 할 일을 정의하기 때문입니다.

성공한 창업자는 AI를 기술 실험처럼 접근하기보다는 제품 시스템처럼 접근하는 경향이 있습니다. 그들은 구체적인 질문을합니다. AI가 사용자에게 어떤 결정을 도와야 합니까? 어떤 데이터 소스를 접근해야 합니까? 이 도메인에서 올바른 대답이 실제로 무엇입니까? 시스템이 책임 있게 동작하도록 어떤 가드레일이 있어야 합니까?

또 다른 패턴은 그들이 구조에 대해 신중하게 생각한다는 것입니다. 성공한 팀은 빠르게 실현합니다. AI 출력은 컨텍스트와 데이터에만큼 좋은 것입니다. 그들은 데이터 파이프라인, 지식 소스, 평가 기준을 정의하는 시간을 투자합니다.

우리는 또한 성공한 창업자가 인간-AI 협력을 즉시 모든 것을 자동화하려고 하는 것보다 더 많이 채택하는 것을 보았습니다. 그들은 AI가 반복적인 분석 또는 데이터 합성을 처리하는 워크플로를 설계합니다. 인간은 판단과 최종 결정을 담당합니다. 이러한 균형은 특히 의료 또는 금융과 같은 분야에서 시스템을 훨씬 더 신뢰할 수 있게 만듭니다.

많은 방면에서 가장 큰 변화는 마인드셋입니다. 성공한 창업자는 AI를 제품에 추가하는 기능으로 생각하지 않습니다. 그들은 AI를 제품이 작동하는 새로운 운영 계층으로 생각합니다.

AI 시스템이 핵심 비즈니스 운영에 더 많이 통합됨에 따라, 다음 세대의 AI 애플리케이션 플랫폼을 정의할 기능은 무엇일까요?

저는 미친 소리라고 생각하고, 저는 신성모독적인 말을 할 수도 있지만, 사람들은 자신의 사용자 정의 모델을 vibe-code할 수 있을 것입니다. 우리 연구소에서 전문가 나노 모델이라고 부르는 것은 비용을 제어하는 데 도움이 될 것입니다.

감사합니다. 더 많은 정보를 원하는 독자는 Empromptu AI를 방문할 수 있습니다.