트레이 도이그, Pathlight 공동 창립자 겸 최고기술책임자 — 인터뷰 시리즈

Trey Doig는 Pathlight의 공동 창립자이자 최고기술책임자(CTO)입니다. IBM, Creative Commons, Yelp에서 엔지니어로 일하며 기술 업계에서 10년 넘게 경력을 쌓았습니다. Yelp Reservations의 수석 엔지니어로서 SeatMe 기능을 Yelp.com에 통합하는 일을 담당했습니다. 고객 수가 10배 늘어나는 상황에 대응해 회사가 확장할 때 SeatMe 웹 애플리케이션 개발도 이끌었습니다.

Pathlight는 고객을 상대하는 팀이 고객 대화와 팀 성과에 대한 실시간 인사이트로 성과와 효율을 높이도록 돕습니다. 플랫폼은 수백만 개의 데이터 포인트를 자율적으로 분석해 조직의 모든 계층이 비즈니스 현장에서 일어나는 일을 이해하고 반복 가능한 성공을 위한 최선의 조치를 결정하도록 합니다.

처음 컴퓨터 과학에 관심을 갖게 된 계기는 무엇입니까?

기억이 닿는 어린 시절부터 컴퓨터를 만지며 놀았습니다. 열두 살 때 프로그래밍을 시작해 Scheme과 Lisp를 독학했고, 얼마 뒤부터 주로 웹 개발을 통해 저와 친구들을 위한 여러 가지를 만들었습니다.

훨씬 나중에 대학에 지원할 때는 오히려 컴퓨터에 싫증이 나 디자인 학교에 가려고 했습니다. 몇몇 학교에서 불합격하거나 대기 명단에 오른 뒤 컴퓨터 과학 과정에 등록했고, 이후 뒤돌아보지 않았습니다. 디자인 학교에 들어가지 못한 것은 제 인생에서 가장 큰 보람으로 이어진 거절 중 하나였습니다!

IBM과 Yelp 등에서 일하셨습니다. 특히 Yelp에서 가장 흥미로웠던 프로젝트와 그 경험에서 얻은 핵심 교훈은 무엇입니까?

이전 회사인 SeatMe가 인수되면서 Yelp에 합류했습니다. 첫날부터 저희 예약 검색 엔진을 Yelp.com 첫 화면에 통합하는 일을 맡았습니다.

불과 몇 달 만에 Yelp 규모에서 검색 엔진을 성공적으로 운영할 수 있었습니다. Yelp가 Elasticsearch를 위해 내부에 구축해 둔 탄탄한 인프라 덕분이 컸습니다. 뛰어난 엔지니어링 리더십 덕분에 자유롭게 움직이며 저희가 가장 잘하는 일, 즉 빠르게 제품을 출시하는 일에 집중할 수 있었습니다.

대화 분석 회사 Pathlight의 CTO이자 공동 창립자로서 LLMOps 인프라를 처음부터 구축하고 계십니다. 프롬프트 관리 계층, 메모리 스트림 계층, 모델 관리 계층 등 어떤 요소를 조합해야 하는지 설명해 주시겠습니까?

2022년 말 대규모 언어 모델(LLM)을 본격적으로 개발하고 실험하기 시작했습니다. 그 결과 불과 4개월 뒤 생성형 AI를 기반으로 설계한 Conversation Intelligence 제품을 성공적으로 출시했습니다. 텍스트·음성·영상 등 여러 채널의 고객 상호작용을 하나의 포괄적인 플랫폼에 모아 고객 감정을 전례 없이 깊게 분석하고 이해할 수 있게 합니다.

이 복잡한 과정에서 데이터를 꼼꼼히 전사하고 정제하며 최적화해 LLM 처리에 맞춥니다. 전사한 텍스트에서 임베딩을 생성하는 것이 중요한 단계입니다. 이는 RAG 기반 태깅, 분류 모델과 정교한 요약의 효과를 뒷받침합니다.

이 시도를 특별하게 만드는 것은 분야 자체가 새롭고 미개척 상태라는 점입니다. 저희는 더 넓은 커뮤니티와 함께 모범 사례를 개척하고 발견하고 있습니다. 대표적인 예가 애플리케이션이 만든 프롬프트를 모니터링·디버깅하고 품질을 관리하는 프롬프트 엔지니어링입니다. 이런 상위 수준의 요구에 맞춰 협업 기능과 고급 로깅·인덱싱 기능을 제공하는 상용 도구를 만드는 스타트업도 빠르게 늘고 있습니다.

그러나 저희의 일관된 초점은 LLMOps 인프라의 기초 계층을 강화하는 데 있습니다. 파인튜닝 오케스트레이션, 모델 호스팅, 견고한 추론 API 구축 같은 하위 수준 구성 요소가 핵심입니다. 여기에 자원과 엔지니어링 역량을 집중하면 제품을 신속히 출시하면서도 안정적이고 신뢰할 수 있는 기반을 갖출 수 있습니다.

분야가 발전하고 상위 수준의 복잡한 문제를 다루는 상용 도구가 늘어나면, 저희 전략은 이런 솔루션을 자연스럽게 통합하도록 해 줍니다. 제품을 더 발전시키고 대화 분석을 새롭게 정의하는 여정을 가속할 수 있습니다.

Pathlight CI는 여러 LLM을 활용하는 백엔드로 작동합니다. 복수의 LLM과 서로 다른 요청 속도 제한을 다룰 때 어떤 어려움이 있습니까?

LLM과 생성형 AI는 매우 빠르게 발전합니다. 이런 기술에 크게 의존하는 비즈니스 애플리케이션은 최신이면서 가장 뛰어난 학습 모델을 따라갈 수 있어야 합니다. 독점적인 관리형 서비스를 쓰든, 자체 인프라에 자유·오픈소스 소프트웨어(FOSS) 모델을 배포하든 마찬가지입니다. 특히 서비스 수요가 증가하고 요청 속도 제한 때문에 필요한 처리량을 확보할 수 없을 때 이 점이 중요합니다.

LLM을 구축하고 배포하는 기업에는 환각이 흔한 문제입니다. Pathlight는 어떻게 대응합니까?

사람들이 일반적으로 말하는 의미의 환각은 LLM을 본격적으로 활용할 때 큰 과제입니다. 완전히 같은 프롬프트를 입력해도 결과에는 어느 정도 불확실성과 예측 불가능성이 있습니다. 대응 방법은 여러 가지이며 파인튜닝도 그중 하나입니다. 이때는 파인튜닝 데이터를 생성하기 위해 이용 가능한 최고 품질 모델을 최대한 활용합니다.

Pathlight는 여행·숙박, 금융, 게임, 소매·전자상거래, 컨택센터 등 여러 시장에 솔루션을 제공합니다. 각 시장에서 사용하는 생성형 AI는 내부적으로 어떻게 다릅니까?

이처럼 폭넓은 시장에 즉시 대응할 수 있다는 점은 생성형 AI의 독특하고 가치 있는 특징입니다. 인터넷 전체를 학습해 여러 분야에 광범위한 지식을 가진 모델을 이용할 수 있다는 것은 지금의 기술적 도약이 가진 특별한 성질입니다. AI는 결국 널리 쓰이면서 자신의 가치를 증명할 것이며, 현재의 발전 경로를 보면 그 시점은 머지않아 보입니다.

Pathlight는 머신러닝으로 데이터 분석을 자동화하고 숨겨진 인사이트를 어떻게 찾습니까?

물론입니다! 저희는 오랫동안 여러 머신러닝 프로젝트를 만들고 출시해 왔습니다. 최신 기능인 Insight Streams의 생성 모델은 고객에 대해 아직 모르는 것을 드러내도록 설계한 좋은 사례입니다. AI 에이전트 개념을 활용해 계속 발전하는 인사이트를 만들며, 그 최신성과 깊이는 수작업 분석으로는 따라갈 수 없습니다. 시간이 흐르면 이런 스트림은 스스로 학습할 수 있습니다.

데이터 분석 담당자, 데이터 과학자, 비즈니스 분석가, 영업·고객 운영팀 등 고객 지원 데이터 분석을 맡은 사람들은 늘 중요한 요청에 압도됩니다. 깊이 있는 분석에는 보통 복잡한 시스템과 데이터가 여러 겹으로 필요합니다.

앞으로 LLM과 AI 전반에서 어떤 돌파구가 나타날 것으로 보십니까?

저는 LLM 학습과 튜닝 방법이 매우 빠르게 발전하고, 더 넓은 영역에서 진전을 이루며, 멀티모달이 표준이 될 것이라고 매우 낙관적으로 봅니다. FOSS는 이미 여러 측면에서 GPT4만큼 좋다고 생각합니다. 다만 이런 모델의 호스팅 비용은 대부분의 기업에 계속 고민거리가 될 것입니다.