Trey Doig，Pathlight 的联合创始人和首席技术官 – 采访系列

Trey Doig 是 Pathlight 的联合创始人和首席技术官。Trey 在科技行业拥有超过十年的经验，曾在 IBM、Creative Commons 和 Yelp 任职。Trey 曾是 Yelp 预订的首席工程师，并负责将 SeatMe 功能集成到 Yelp.com 上。Trey 还领导了 SeatMe 网站应用程序的开发，当时公司正在扩大以支持 10 倍的客户增长。

Pathlight 帮助客户面向团队提高性能和效率，通过实时洞察客户对话和团队绩效。Pathlight 平台自主分析数百万个数据点，以使组织的每一层都能够理解其业务的前沿发生了什么，并确定创建可重复成功的最佳行动。

是什么最初吸引你学习计算机科学？

我从记事以来就一直在摆弄电脑。当我 12 岁时，我开始学习编程，并自学 Scheme 和 Lisp，不久之后，我就开始为自己和朋友构建各种东西，主要是在 web 开发方面。

后来，当我申请大学时，我已经对电脑感到厌倦，并将目光投向了设计学校。被几所学校拒绝和被列入等待名单后，我决定报名参加计算机科学课程，并从未回头。被设计学校拒绝证明是我一生中最有价值的拒绝之一！

您曾在 IBM、Yelp 和其他公司任职。在 Yelp 特别是，您参与过哪些最有趣的项目？您从这段经历中得到了什么关键的收获？

我通过 SeatMe 的收购加入了 Yelp，从第一天开始，我就被委托将我们的预订搜索引擎集成到 Yelp.com 的首页上。

仅仅几个月后，我们就能够在 Yelp 的规模上成功地支持该搜索引擎，这在很大程度上归功于 Yelp 内部为 Elasticsearch 建立的强大的基础设施。同时，也归功于 Yelp 的优秀工程领导，他们允许我们自由地做我们最擅长的事情：快速交付。

作为 Pathlight 的联合创始人和首席技术官，您正在从头开始构建 LLM Ops 基础设施。您能否讨论一下部署 LLM Ops 基础设施时需要组装的不同元素？例如，如何管理提示管理层、内存流层、模型管理层等。

2022 年底，我们致力于开发和实验大型语言模型（LLM），这迅速导致我们成功推出了基于 GenAI 的对话智能产品，仅仅四个月后。该创新产品将来自不同渠道的客户互动（无论是文本、音频还是视频）整合到一个单一的综合平台中，实现了对客户情绪的无与伦比的分析和理解深度。

在这个复杂的过程中，我们仔细地转录、净化和优化数据，以使其适合 LLM 处理。工作流中的一个关键方面是从转录中生成嵌入，这对于我们的 RAG 基础标记、分类模型和复杂摘要至关重要。

真正使这项事业与众不同的是其新颖性和未知性。我们发现自己处于一个独特的位置，正在与更广泛的社区一起开创和发现最佳实践。一个显著的例子是提示工程——监控、调试和确保我们应用程序生成的提示的质量。令人惊讶的是，我们正在看到一波初创公司提供商业工具来满足这些更高层次的需求，包括协作功能、先进的日志记录和索引功能。

然而，对于我们来说，重点仍然放在加强我们 LLM Ops 基础设施的基础层。从微调编排、托管模型到建立强大的推理 API，这些底层组件对于我们的使命至关重要。通过将资源和工程专业知识投入到这里，我们确保我们的产品不仅能够快速推向市场，还能建立在坚实可靠的基础上。

随着格局的演变和更多商业工具变得可用以解决更高层次的复杂性，我们的战略使我们能够无缝地集成这些解决方案，从而进一步增强我们的产品并加速我们在重新定义对话智能方面的旅程。

Pathlight CI 的基础是由多个 LLM 后端提供支持的。使用多个 LLM 的挑战是什么？如何处理它们不同的速率限制？

LLM 和 GenAI 正在以极快的速度发展，这使得任何严重依赖这些技术的业务应用程序都必须能够跟上最新的训练模型，无论是专有的托管服务还是在自己的基础设施中部署 FOSS 模型。尤其是当您的服务需求增加时，速率限制会阻止所需的吞吐量。

幻觉是任何构建和部署 LLM 的公司都面临的共同问题。Pathlight 如何解决这个问题？

幻觉，在人们通常所说的意义上，是在严肃地使用 LLM 时面临的一个巨大的挑战。使用相同的提示时，总会有一定的不确定性或不可预测性。解决这个问题有很多方法，包括微调（最大限度地使用最高质量的模型来生成微调数据）。

Pathlight 提供了针对不同市场的解决方案，例如旅行和酒店、金融、游戏、零售和电子商务、呼叫中心等。您能否讨论一下为这些市场使用的生成式 AI 的区别？

能够立即解决如此广泛的市场段的能力是生成式 AI 最独特的方面之一。能够访问在整个互联网上训练的模型，拥有如此广泛的知识领域，这是我们正在经历的突破的独特品质。这种品质将最终证明 AI 的价值，并且它很快就会被证明，因为它正走在这条路上。

您能否讨论一下 Pathlight 如何使用机器学习来自动化数据分析和发现隐藏的洞察力？

是的，当然！我们有着长期的历史，构建和发布了多个机器学习项目。我们最新功能 Insight Streams 背后的生成模型是一个很好的例子，展示了我们如何利用机器学习来创建直接针对发现您不知道的客户信息的产品。该技术利用了 AI 代理的概念，可以产生不断演变的洞察力集合，使得手动分析的及时性和深度变得不可能。随着时间的推移，这些流可以自然地从中学习，并且可以从自身中学习。

数据分析或数据科学家、业务分析师、销售或客户运营或公司指定负责分析客户支持数据的人通常会被重要的请求淹没。需要多层复杂系统和数据的深入分析通常需要手动进行。

您对 LLM 和 AI 的突破预期是什么？

我的个人观点是，对于 LLM 训练和调优方法来说，保持快速进步的乐观态度，以及在更广泛的领域和多模态成为常态方面取得进展。然而，我相信 FOSS 在很多方面已经和 GPT4 一样好，但托管这些模型的成本将继续成为大多数公司的关注点。