제이 미슈라, 아스테라 소프트웨어의 COO – 인터뷰 시리즈

Jay Mishra는 기업용 데이터 솔루션 제공업체 Astera Software의 최고운영책임자(COO)입니다. 빠르게 성장하는 Astera는 사용하기 쉬우면서도 성능이 높은 데이터 추출, 품질 관리, 통합, 웨어하우징, 전자문서교환 솔루션으로 기업 사용자가 데이터에서 인사이트를 얻도록 돕습니다. 여러 산업의 중견기업부터 Fortune 500 기업까지 이 제품들을 사용합니다.

처음 컴퓨터 과학에 관심을 갖게 된 계기는 무엇인가요?

저는 늘 수학을 좋아했고 컴퓨터 과학으로의 진출도 그 연장선이었습니다. 학부에서 수학과 컴퓨터 과학을 공부하면서 두 분야가 논리적으로 연결되는 점에 매력을 느꼈습니다. 특히 알고리즘의 복잡한 작동 방식과 고급 알고리즘 처리에 관심이 있어 컴퓨터 과학 석사 과정에서 알고리즘을 전공했습니다. 이후에도 이 분야와 긴밀한 관계를 유지하며 최신 발전을 따라가려고 노력하고 있습니다.

Astera의 COO로서 일상적으로 어떤 일을 하나요?

회사의 역동적인 성격만큼 제 역할도 다양합니다. 설립 초기부터 함께했으며 제품 개발과 코딩에 직접 참여하는 일부터 고객의 변화하는 요구에 기능이 부합하는지 확인하는 일까지 맡아 왔습니다. 고객과 긴밀히 협력해 솔루션을 개선합니다. 제품 개발뿐 아니라 제품을 시장에 내놓는 영업과 마케팅에도 관여합니다.

성장 단계인 만큼 매출 목표를 관리하고 새로운 시장에 진출하도록 제품군을 전략적으로 확장하는 책임도 맡았습니다. 훌륭한 제품을 만드는 데 그치지 않고 성공적으로 출시하고 사업 목표를 달성하도록 운영 전반에 참여합니다.

용어가 낯선 독자를 위해 데이터 웨어하우징을 설명해 주세요.

데이터 웨어하우징은 기업의 데이터를 중앙 저장소에 통합하는 아키텍처 패턴입니다. 이 저장소를 기반으로 분석, 보고서, 대시보드를 만들어 사업의 현재 모습을 파악하고 미래를 예측합니다. 이러한 목적에 맞게 데이터를 모으고 설계한 구조를 데이터 웨어하우스라고 합니다.

제품을 정리된 선반에 보관하는 실제 창고에서 나온 표현입니다. 데이터 환경에서는 생산, 웹사이트, 고객, 영업·마케팅, 재무, 인사 등 여러 원천의 데이터를 한곳에 모읍니다. 특히 시간 흐름에 따른 보고를 쉽게 하도록 설계하는 것이 핵심 목적입니다.

현재 데이터 웨어하우징의 주요 추세는 무엇인가요?

지난 20~25년간 크게 발전했습니다. 약 10년 전 자동화된 데이터 웨어하우징이 등장해 데이터 모델과 웨어하우스 구축을 가속했습니다. 최근에는 반복 업무를 간소화하고 시간과 자원을 절약하는 자동화가 중심이 됐습니다.

예를 들어 Astera Data Warehouse Builder는 ETL(추출·변환·적재) 파이프라인과 데이터 모델링부터 스타 스키마나 데이터 볼트 구조로의 자동 적재까지 포괄합니다. 변경 데이터 캡처(CDC)를 통해 구조를 효율적으로 유지하는 기능도 제공합니다. 이러한 종합 자동화가 중요한 추세입니다.

또 하나의 최신 흐름은 데이터 웨어하우징과 AI의 결합입니다. 특히 생성형 AI는 업무 자동화뿐 아니라 의사결정도 지원합니다. AI가 구성요소, 파이프라인, 의사결정 지점의 설정을 안내할 수 있어 더 강력하고 효율적인 웨어하우징이 가능합니다. 자동화를 한층 강화하는 이 결합은 앞으로의 가능성이 큽니다.

기업이 데이터 웨어하우스를 개발할 때 고려해야 할 네 가지 원칙은 무엇인가요?

1. 명확한 목표 정의

무엇이 필요한지 정확히 이해하는 것부터 시작해야 합니다. 목적 없이 과도한 데이터를 수집하지 말고, 원하는 보고서와 인사이트를 구체적으로 정하세요. 목표에 집중하면 무작정 정보를 쌓는 대신 관련 데이터만 가져올 수 있습니다. 저장 공간과 연산 비용이 낮아지고 있어도 자원은 현명하고 윤리적으로 사용해야 합니다.

2. 적합한 아키텍처 패턴 선택

아키텍처는 솔루션의 성공을 좌우합니다. Inmon 방식, Ralph Kimball의 스타 스키마, 데이터 볼트(Data Vault), 컬럼형 데이터베이스 업체들이 제안하는 하나의 큰 테이블 방식 등 여러 선택지가 있습니다. 모든 패턴이 모든 상황에 맞지는 않습니다.

저희는 데이터 볼트 위에 스타 스키마를 두는 조합을 많이 봅니다. 두 방식의 결합이 여전히 널리 사용되지만 요구사항과 상황에 따라 답은 달라집니다. 전문가와 검토해 적합한 패턴을 선택하세요.

3. 적절한 도구 선택

사용하는 제품은 구축 시간과 자원, 결과의 정확성과 품질, 유지보수에 큰 영향을 줍니다. 가능한 많은 요구를 하나의 제품에서 충족할 수 있는지 살펴야 합니다. ETL, 데이터 품질, 모델링, 적재, 데이터 제공·배포가 모두 중요합니다. 각 영역마다 별도 제품을 쓰면 어려워지므로 여러 구성요소를 대부분 또는 모두 처리하는 도구를 고려하세요.

4. 팀 구성

실제로 솔루션을 구축하는 팀이 가장 중요합니다. 데이터 아키텍처 패턴을 잘 아는 전문가가 있어야 합니다. 업무 사용자와 프로그래밍 또는 데이터 전문지식을 갖춘 사람이 함께하는 부서 간 협업팀이 좋습니다. 데이터 관리 담당자와 데이터 책임자, 현업이 긴밀히 협력하면 구축과 유지보수를 책임지는 일관되고 효과적인 팀을 만들 수 있습니다.

성공하려면 네 원칙 사이의 균형이 필요합니다. 저희 경험상 이를 신중히 따르면 좋은 결과를 얻을 수 있었습니다.

기업에는 왜 현대적인 데이터 스택이 필요한가요?

‘현대적’이라는 정의는 해마다, 매달, 때로는 매일 바뀝니다. 데이터 환경의 변화를 염두에 둔 도구가 필요합니다. 최근 몇 년간 데이터의 양과 성격이 크게 달라졌습니다. 전자상거래 웹사이트, 생산 데이터베이스, 기업의 여러 부문에서 들어오는 빅데이터가 환경을 바꿨습니다.

과거에는 정형 데이터가 중심이었지만 이제는 비정형 데이터도 중요합니다. 데이터 생성과 이용 가능 속도도 높아졌습니다. 이러한 변화에 대응하려면 도구를 지속적으로 평가하고 조정해야 합니다. 현대적인 스택은 다양한 구조와 속도를 처리하고 최근 발전한 아키텍처 패턴에 적응하도록 설계됩니다. 데이터를 최대한 활용하려면 스택 현대화를 검토해야 합니다.

기업은 잘 작동해 보이는 기존 솔루션을 유지하려는 경향이 있습니다. 그러나 데이터는 본질적으로 역동적이며 계속 새로운 문제와 기회를 만듭니다. 기존 도구가 이에 적응하지 못할 수 있습니다. 현대화는 작동하는 것을 무작정 없애는 일이 아니라 데이터 변화에 민첩하게 대응하는 일입니다. 데이터 기술을 지속적으로 평가하고 도입하면 경쟁력을 유지하고 더 나은 의사결정을 할 수 있습니다.

업계가 겪는 데이터 관리 문제는 무엇인가요?

1. 데이터 유입 속도와 통합

많은 애플리케이션에서 쏟아지는 데이터가 큰 과제입니다. 일반적인 IT 조직, 특히 중견기업에서도 해마다 수십 또는 수백 개의 새 앱이 등장합니다. 모두 유용한 데이터를 만들지만, 새 원천을 기존 파이프라인에 신속히 통합해 하나의 관점으로 모으기 어렵습니다. 새로운 데이터 흐름을 얼마나 빨리 받아들일 수 있느냐가 핵심입니다.

2. 다양한 데이터 형식

비정형 데이터가 늘면서 처리 방식에 대한 판단도 중요해졌습니다. 나중에 쓰도록 데이터 레이크에 바로 저장할지, 즉시 활용하도록 추출하고 정형화할지 결정해야 합니다. 중견기업과 소기업도 영향을 받으므로 효과적인 비정형 데이터 전략이 필요합니다.

3. 데이터 제공과 공유

통합만큼 공유도 중요합니다. 내부 부서, 외부 공급업체, 파트너와 이해관계자에게 데이터를 제공하고 배포하는 체계가 필요합니다. 단순한 접근 허용을 넘어 보안, 개인정보 보호, 규정 준수도 보장해야 합니다. 모든 규모의 기업에서 공유가 필수가 되면서 관련 기술과 제품이 빠르게 발전하고 있습니다.

Astera는 고객 워크플로에 AI를 어떻게 통합했나요?

데이터 관리와 AI의 접점을 두 가지로 보고 있습니다.

1. 생성형 AI를 통한 사용성 향상

사용성은 제품 개발 철학의 핵심입니다. 지난 12~13년 동안 학습 부담이 적은 제품을 설계해 비기술 사용자도 짧은 교육 후 의미 있는 데이터 작업을 할 수 있도록 해 왔습니다. 생성형 AI로 자연어 명령을 통해 제품과 상호작용하는 인터페이스를 만들면서 설정을 더 직관적이고 효율적으로 바꿨습니다.

이전에는 수시간 수작업이 필요했던 데이터 관리 제품의 설정도 AI로 자동화했습니다. 솔루션 구축의 큰 비용은 제품 구매뿐 아니라 설정에 드는 시간과 노력이었습니다. AI로 이를 줄이려 합니다.

예를 들어 ReportMiner는 규칙 기반 추출 템플릿을 만들어 비정형 문서에서 데이터를 가져오게 합니다. 예전에는 일반 사용자가 2~3시간 들였던 초기 템플릿을 AI가 몇 초 만에 만들 수 있습니다. 첫 결과가 완벽하지는 않아도 작업량의 약 90%를 처리하므로 사용자가 빠르게 수정해 몇 분 안에 끝낼 수 있습니다. 전체 데이터 스택에서도 비슷한 방식으로 사용성을 개선하고 있습니다.

2. 도구 모음으로서의 AI 기능

Astera의 통합 데이터 스택은 수집, 변환, 품질, 웨어하우징, API, 데이터 배포를 다룹니다. 사용자는 머신러닝 모델 구축과 배포부터 MLOps(머신러닝 운영)까지 AI 도구를 활용할 수 있습니다. LLM을 포함한 오픈소스 모델과 특정 용도를 위한 미세 조정도 지원합니다.

이를 통해 여러 데이터 업무에 AI를 적용할 수 있습니다. 벡터 데이터베이스, 유사도 검색, 임베딩 등으로 지원 범위를 계속 넓히고 있습니다.

대기업이 데이터 관리에서 AI·ML 모델을 잘 활용하려면 어떻게 해야 하나요?

1. 최신 AI·ML 발전 파악

LLM은 빠르게 발전하므로 경쟁력을 얻으려면 최신 동향을 알아야 합니다. Astera는 OpenAI와 LLaMA 같은 모델을 활용하며 생성형 AI를 일찍 도입했습니다. 새 기술을 꾸준히 살펴야 효과적으로 활용할 준비를 할 수 있습니다.

2. 여러 모델과 구성 실험

저희는 LLM 미세 조정으로 80억~130억 개 매개변수의 비교적 작은 모델을 로컬에 배포해 좋은 결과를 얻었습니다. 한 모델만 고집하지 말고 여러 기본 모델과 구성을 시험해 자신에게 맞는 것을 찾으라고 권합니다.

모델마다 능력이 다릅니다. 개발자와 데이터 과학자가 여러 선택지를 실험하듯 다양한 옵션을 선택할 수 있는 구성이 필요합니다. 저희는 오픈소스 라이브러리를 사용하는 전문가가 접하는 폭넓은 옵션을 제품에 통합해 사용자에게 유연하고 적응 가능한 환경을 제공하려 합니다.

3. API보다 로컬 배포 우선 검토

데이터 중심 제품에서는 지연을 줄이는 것이 중요합니다. 특히 대량 데이터를 처리할 때 AI·ML 접근을 API에만 의존하면 받아들이기 어려운 지연이 생길 수 있습니다. 특정 상황에 맞게 미세 조정한 모델을 로컬에 배포하면 응답 시간과 전체 성능을 개선할 수 있습니다.

Astera가 경쟁 플랫폼보다 낫다고 보는 이유는 무엇인가요?

• 코딩 없이 사용하는 직관적인 시각적 인터페이스와 AI 기반 사용성 개선으로 기술 수준에 관계없이 복잡한 데이터 처리를 수행하도록 돕습니다.
• 데이터 스택의 자동화가 반복 수작업을 줄여 시간과 개발 자원을 절약합니다.
• 통합 플랫폼에서 솔루션을 전환하지 않고 처음부터 끝까지 데이터 프로세스를 처리하므로 여러 분리된 시스템을 배우고 관리하는 비용을 줄일 수 있습니다.

인터뷰에 응해 주셔서 감사합니다. 자세한 내용은 Astera Software에서 확인할 수 있습니다.