트레이 도이그, 패스라이트의 공동 창립자 및 기술長 – 인터뷰 시리즈

트레이 도이그는 패스라이트의 공동 창립자이자 기술長이다. 트레이는 IBM, 크리에이티브 커먼즈, 엘프에서 엔지니어로 일한 10년 이상의 경험을 가지고 있다. 트레이는 엘프의 리저브션을 위한 리드 엔지니어였으며, 시트미의 기능을 엘프닷컴에 통합하는 책임을 맡았다. 트레이는 또한 시트미 웹 애플리케이션의 개발을 이끌었으며, 회사가 10배의 고객 성장에 대응하기 위해 확장했다.

패스라이트는 고객을 대면하는 팀이 실시간 고객 대화와 팀 성과에 대한洞察력을 통해 성능을 높이고 효율성을 높여준다. 패스라이트 플랫폼은 조직의 모든 계층이 비즈니스의 최전선에서 발생하는 일을 이해하고 반복 가능한 성공을 창조하기 위한 최선의 행동을 결정할 수 있도록 수백만 개의 데이터 포인트를 자동으로 분석한다.

컴퓨터 과학에 처음 관심을 가졌던 것은 무엇인가?

나는 컴퓨터를 사용하기 시작한 이후로 컴퓨터와 관련된 일에 관심을 가졌다. 12살 때 프로그래밍을 시작했고, 스킴과 리습을 배우고, 웹 개발에 관심을 가졌다.

나중에 대학에 지원할 때, 나는 컴퓨터에 대한 관심을 잃었고 디자인 학교에 지원했다. 그러나 거부되고 대기열에 들어간 후, 나는 컴퓨터 과학 프로그램에 입학했고, 결코 후회하지 않았다. 디자인 학교에 지원이 거부된 것은 내 인생에서 가장 보람찬 거부였다!

IBM, 엘프, 기타 회사에서 일한 경험은 무엇인가?

나는 시트미의 인수를 통해 엘프에 입사했고, 첫날부터 엘프닷컴의 첫 페이지에 우리의 예약 검색 엔진을 통합하는 책임을 맡았다.

몇 개월 만에, 우리는 엘프의 규모에서 검색 엔진을 성공적으로 구동할 수 있었고, 이는 엘프의 내부 인프라와 엘라스틱서치의 강력한 인프라 덕분이었다. 또한 엘프의 엔지니어링 리더십이 우리에게 자유롭게 움직일 수 있도록 해주었고, 우리는 우리가 가장 잘하는 일을 할 수 있었다.

패스라이트의 기술長이자 공동 창립자로서, 당신은 대화 지능 회사에서 LLM 옵스 인프라를 구축하고 있다. LLM 옵스 인프라를 구축할 때 필요한 요소에 대해 설명해 줄 수 있는가?

2022년 말, 우리는 대규모 언어 모델(Large Language Model, LLM)을 개발하고 실험하는 것을 시작했고, 이는 우리의 제네레이티브 AI 네이티브 대화 지능 제품을 성공적으로 출시하는 데 4개월 만에 이어졌다. 이 제품은 다양한 채널의 고객 상호작용을 하나의 플랫폼으로 통합하여 고객의 감정과 의도를 분석하고 이해하는 데 도움이 된다.

이 과정에서, 우리는 데이터를 정제하고 최적화하여 LLM 처리에 적합하도록 한다. 이는 우리의 태깅, 분류 모델, 요약 모델의 효율성을 높이는 데 중요한 역할을 한다.

이 분야는 매우 새로운 분야이며, 우리는 이 분야에서 최고의 관행을 찾아내는 과정에 있다. 예를 들어, 프롬프트 엔지니어링은 우리의 애플리케이션이 생성하는 프롬프트를 모니터링하고 디버깅하고 품질을 보장하는 데 중요하다.

그러나 우리의重点은 여전히 LLM 옵스 인프라의 기초적인 계층을 강화하는 데 있다. 모델을 미세 조정하고 호스팅하고, 강력한 추론 API를 설정하는 것은 우리의 제품을 신속하게 출시하고 안정적인 기반을 제공하는 데 중요하다.

이러한 하위 계층을 강화함으로써, 우리는 상위 계층에서 발생하는 복잡성을 해결하는 데 도움이 되는 상업용 도구를 쉽게 통합할 수 있다. 이는 우리의 제품을 더욱 강화하고 대화 지능 분야에서 우리의 위치를 강화하는 데 도움이 된다.

패스라이트의 대화 지능은 여러 개의 LLM 백엔드를 사용한다. 이러한 백엔드의 사용에 따른 도전은 무엇인가?

LLM과 제네레이티브 AI는 매우 빠르게 발전하고 있다. 따라서 이러한 기술에 의존하는 비즈니스 애플리케이션은 최신 모델을 따라가야 한다. 특히, 비즈니스의 요구가 증가하고, 비용이 증가하는 경우에 이러한 모델을 호스팅하는 비용을 고려해야 한다.

홀루시네이션은 LLM을 사용하는 회사에서 흔히 발생하는 문제이다. 패스라이트는 어떻게 이 문제를 해결하는가?

홀루시네이션은 LLM을 사용하는 회사에서 발생하는重大한 도전이다. 동일한 프롬프트에 대한 반응이 예측할 수 없는 경우가 있다. 이러한 문제를 해결하는 방법은 여러 가지가 있지만, 모델을 미세 조정하는 것이 하나의 방법이다.

패스라이트는 여행 및 호텔, 금융, 게임, 소매 및 전자상거래, 고객 서비스 센터 등 다양한 시장 세분으로 솔루션을 제공한다. 이러한 시장에서 제네레이티브 AI를 사용하는 방법은 무엇인가?

제네레이티브 AI는 매우 다양한 시장에서 사용될 수 있다. 이는 인터넷 전체에서 학습된 모델을 사용하여 다양한 도메인에서 지식을 생성할 수 있기 때문이다. 이는 매우 유용한 기능이며, 이는 AI가 궁극적으로 비즈니스에서 성공을 거두는 데 도움이 될 것이다.

패스라이트는 기계 학습을 사용하여 데이터 분석을 자동화하고 숨겨진洞察력을 발견하는 방법은 무엇인가?

네, 우리는 기계 학습을 사용하여 데이터 분석을 자동화하고 숨겨진洞察력을 발견하는 데 도움이 된다. 우리의 최신 기능 인사이트 스트림은 이러한 기술을 사용하여 고객에 대한 새로운洞察력을 제공한다. 이는 고객 지원 데이터를 분석하여 비즈니스에 대한 새로운 이해를 제공하는 데 도움이 된다.

데이터 분석이나 데이터 과학자, 비즈니스 분석가, 판매 또는 고객 운영 담당자는 고객 지원 데이터를 분석하는 데 매우 바쁘다. 그러나 이러한 분석은 매우 복잡하고, 많은 시간과 노력이 필요하다.

LLM과 AI의 발전에 대한 당신의 개인적인 견해는 무엇인가?

내 개인적인 견해는 LLM 훈련과 튜닝 방법론이 매우 빠르게 발전할 것이라는 것이다. 또한, 더广い 도메인에서 발전하고, 멀티 모달이 표준이 될 것이라고 생각한다. 나는 이미 FOSS가 GPT4와 비슷한 수준의 성능을 보이는 데 성공했다고 생각하지만, 이러한 모델을 호스팅하는 비용은 대부분의 회사에서 계속해서 문제가 될 것이다.