Trey Doig, CTO & Co-Founder at Pathlight – 인터뷰 시리즈

Trey Doig는 Pathlight의 공동 창립자이자 CTO입니다. Trey는 IBM, Creative Commons, Yelp에서 엔지니어로 일한 10년 이상의 기술 산업 경험을 가지고 있습니다. Trey는 Yelp Reservations의 리드 엔지니어였으며 Yelp.com에 SeatMe 기능을 통합하는 것을 담당했습니다. Trey는 또한 SeatMe 웹 애플리케이션의 개발을 이끌었으며 회사가 10배의 고객 성장으로 확장하는 것을 지원했습니다.

Pathlight는 고객과 대면하는 팀이 실시간으로 고객 대화와 팀 성과를 분석하여 성능을 향상시키고 효율성을 높여줍니다. Pathlight 플랫폼은 자동으로 수백만 개의 데이터 포인트를 분석하여 조직의 모든 계층이 비즈니스의 최전선에서 무슨 일이 발생하고 있는지 이해하고 반복 가능한 성공을 창조하기 위한 최상의 조치를 결정하도록 합니다.

컴퓨터 과학에 처음 관심을 갖게 된 것은 무엇인가?

저는 기억할 수 있는 한 컴퓨터와 놀아왔습니다. 12살이 되자 프로그래밍을 시작했고 Scheme과 Lisp를 가르쳤으며 곧 웹 개발을 주로 하는 다양한 것을 만들기 시작했습니다.

나중에 대학에 지원할 때, 저는 컴퓨터에 질려서 디자인 학교에 가려고 했습니다. 그러나 몇몇 학교에서 거절되고 대기자 명단에 오른 후, 저는 CS 프로그램에 등록하기로 결정했고 다시는 뒤돌아보지 않았습니다. 디자인 학교에 입학을 거절당한 것은 제 인생에서 가장 보람찬 거절 중 하나였습니다!

IBM, Yelp 및 기타 회사에서 역할을 수행했습니다. 특히 Yelp에서 어떤 가장 интерес 있는 프로젝트를 작업했으며 이 경험에서 어떤 주요 교훈을 얻었나요?

저는 SeatMe의 인수를 통해 Yelp에 합류했으며 첫날부터 저는 Yelp.com의 프론트 페이지에 우리의 예약 검색 엔진을 통합하는 책임을 맡았습니다.

몇 개월 만에 우리는 Yelp의 규모에서 검색 엔진을 성공적으로 구동할 수 있었으며 이는 주로 Yelp 내부에서 구축한 Elasticsearch의 강력한 인프라스트럭처 덕분이었습니다. 또한 거기서의 훌륭한 엔지니어링 리더십 덕분에 우리는 자유롭게 움직이고 우리가 하는 것을 할 수 있었습니다: 빠르게 출하했습니다.

Pathlight의 CTO 및 공동 창립자로서, 저는 대화 인텔리전스 회사에서 LLM Ops 인프라를 처음부터 구축하고 있습니다. LLM Ops 인프라를 배포할 때 조립해야 하는 다양한 요소에 대해 논의할 수 있나요? 예를 들어, 프롬프트 관리 계층, 메모리 스트림 계층, 모델 관리 계층 등을 어떻게 관리합니까?

2022년 말, 우리는 Large Language Models(LLMs)을 개발하고 실험하는 것을 ciddi하게 수행하기로 결정했으며 이는 우리의 GenAI 네이티브 대화 인텔리전스 제품을 성공적으로 4개월 만에 출시하는 것으로 이어졌습니다. 이 혁신적인 제품은 다양한 채널(텍스트, 오디오, 비디오 등)의 고객 상호작용을 하나의 포괄적인 플랫폼으로 통합하여 고객 감정에 대한 분석과 이해의 새로운 깊이를 제공합니다.

이 복잡한 프로세스를 탐색하면서, 우리는 데이터를 LLM 처리에 최적화하도록 신중하게 전사, 정화, 최적화합니다. 이 워크플로의 중요한 측면은 전사본에서 임베딩을 생성하는 것입니다. 이는 우리의 RAG 기반 태깅, 분류 모델 및 세부 요약의 효율성에 기본적인 단계입니다.

이 벤처를真正로 구별하는 것은 분야의 새로운성과 미탐험성입니다. 우리는 더 넓은 커뮤니티와 함께 최선의 관행을 개척하고 동시에 발견하고 있는 독특한 위치에 있습니다. 이러한 탐험의 대표적인 예는 프롬프트 엔지니어링입니다. 즉, 우리의 애플리케이션에서 생성된 프롬프트의 모니터링, 디버깅 및 품질 관리입니다. 놀랍게도, 우리는 이러한 더 높은 수준의 요구를 위한 협업 기능, 고급 로깅 및 인덱싱 기능을 포함하는 상업용 도구를 제공하는 많은 스타트업의 급부상을 목격하고 있습니다.

그러나 우리에게는 LLMOps 인프라의 기초 계층을 강화하는 데 중점을 두는 것입니다. 모델을 미세 조정하고 호스팅하고, 강력한 추론 API를 설정하는 것과 같은 이러한 하위 수준의 구성 요소는 우리의 임무에 중요합니다. 여기에서 우리의 자원을 채널링하고 엔지니어링 전문성을 투입함으로써, 우리의 제품은 시장에 신속하게 출시되는 것뿐만 아니라 안정적이고 신뢰할 수 있는 기반 위에 서 있음을 보장합니다.

랜드스케이프가 진화하고 더 많은 상업용 도구가 이러한 더 높은 수준의 복잡성을 해결하기 위해 이용 가능해짐에 따라, 우리의 전략은 이러한 솔루션을 무결하게 통합하여 우리의 제품을 더욱 향상시키고 대화 인텔리전스를 재정의하는 우리의 여정을 가속화하는 데 도움이 됩니다.

Pathlight CI의 기초는 멀티 LLM 백엔드로 구동됩니다. 여러 LLM을 사용하고 그들의 다른 속도 제한을 처리하는 어려움은 무엇인가?

LLMs와 GenAI는 경쟁의 속도로 진행되고 있기 때문에, 이러한 기술에 크게 의존하는 모든 비즈니스 애플리케이션이 최신 훈련 모델, 즉 관리 서비스 또는 자체 인프라에서 배포된 FOSS 모델과 함께 유지할 수 있어야 합니다. 특히 서비스의 요구 사항이 증가하고 속도 제한으로 인해 필요한 처리량을 방해할 때입니다.

Pathlight는 LLMs와 GenAI를 구축하고 배포할 때 일반적으로 발생하는 문제인 환각을 어떻게 해결합니까?

환각, 즉 사람들이 일반적으로 말하는 의미에서, 이는 LLMs를 심각한 용도로 작업할 때巨大한 도전입니다. 동일한 프롬프트에서 예상할 수 있는 결과에 대한 불확실성/예측 불가능성이 발생합니다. 이 문제에 접근하는 방법은 여러 가지가 있으며, 일부에는 미세 조정이 포함됩니다(가용한 최고의 모델을 사용하여 조정 데이터를 생성하기 위한 최대 사용).

Pathlight는 여행 및 호스피탈리티, 금융, 게임, 소매 및 전자 상거래, 연락 센터 등 다양한 시장 세분으로 솔루션을 제공합니다. 이러한 시장 각각에서 사용되는 생성 AI가 어떻게 다른지 뒤에서 논의할 수 있나요?

이렇게 광범위한 세그먼트를 즉시 해결할 수 있는 능력은 생성 AI의 가장 독특하게 가치 있는 측면 중 하나입니다. 인터넷 전체에 대한 지식과 모든 종류의 도메인에 대한如此 광범위한 지식을 가진 모델에 접근할 수 있다는 것은 이러한 혁신의 독특한 품질입니다. 이것은 AI가 궁극적으로 자신을 입증하는 방식이며, 이는 곧 그들의 普遍性에 의해 입증될 것입니다.

Pathlight는 기계 학습을 사용하여 데이터 분석을 자동화하고 숨겨진 통찰력을 발견하는 방법에 대해 논의할 수 있나요?

네, 확실히! 우리는 수년 동안 여러 기계 학습 프로젝트를 구축하고 출하하는 긴 역사를 가지고 있습니다. 우리의 최신 기능 인사이트 스트림을 위한 생성 모델은 우리가 ML을 사용하여 직접 고객에 대해 모르는 것을 발견하도록 설계된 제품을 생성한 방법의 훌륭한 예입니다. 이 기술은 AI 에이전트 개념을 사용하여 수동 분석의 최근성과 깊이를 불가능하게 만드는 지속적으로 진화하는 통찰력 세트를 생성할 수 있습니다. 시간이 지남에 따라 이러한 스트림은 스스로에서 학습할 수 있으며

고객 지원 데이터를 분석하기 위해 책임이 있는 데이터 분석가, 데이터 과학자, 비즈니스 분석가, 판매 또는 고객 오퍼레이션 팀은 항상 중요한 요청으로忙합니다. 일반적으로 복잡한 시스템과 데이터의 여러 계층이 필요한 깊은 분석입니다.

LLMs와 AI 일반적으로 웨이브에서 기대할 수 있는 유형의 돌파구에 대한 귀하의 개인적인 견해는 무엇인가?

제 개인적인 견해는 LLM 훈련 및 튜닝 방법론의 발전이 매우 빠르게 계속 진행될 것이라는 점에 매우 낙관적입니다. 또한 더 넓은 도메인에서 발전을 이루고 멀티 모달이 표준이 될 것입니다. 저는 FOSS가 이미 많은 방면에서 GPT4와 동일하다고 생각하지만 이러한 모델을 호스팅하는 비용은 대부분의 회사에게 계속해서 문제가 될 것입니다.