Trey Doig, CTO & Co-Founder da Pathlight – Série de Entrevistas

Trey Doig é o Co-Founder e CTO da Pathlight. Trey tem mais de dez anos de experiência na indústria de tecnologia, tendo trabalhado como engenheiro na IBM, Creative Commons e Yelp. Trey foi o engenheiro líder para Yelp Reservations e foi responsável pela integração da funcionalidade SeatMe no site da Yelp. Trey também liderou o desenvolvimento do aplicativo web SeatMe à medida que a empresa cresceu para suportar um aumento de 10 vezes no número de clientes.

Pathlight ajuda equipes que atendem clientes a melhorar o desempenho e aumentar a eficiência com insights em tempo real sobre conversas com clientes e desempenho da equipe. A plataforma Pathlight analisa autonomamente milhões de pontos de dados para permitir que todos os níveis da organização entendam o que está acontecendo na linha de frente do negócio e determinem as melhores ações para criar sucesso repetível.

O que o atraiu inicialmente para a ciência da computação?

Eu brinco com computadores desde que me lembro. Quando eu tinha 12 anos, comecei a programar e me ensinei Scheme e Lisp, e logo após comecei a construir todas as coisas para mim e meus amigos, principalmente em desenvolvimento web.

Muito mais tarde, quando eu estava me candidatando à faculdade, eu havia me tornado entediado com computadores e mudei meu foco para a escola de design. Depois de ser rejeitado e ficar na lista de espera de algumas dessas escolas, eu decidi me matricular em um programa de CS e nunca olhei para trás. Ser rejeitado pela escola de design acabou se tornando uma das rejeições mais gratificantes da minha vida!

Você ocupou cargos na IBM, Yelp e outras empresas. Especificamente na Yelp, quais foram alguns dos projetos mais interessantes em que você trabalhou e quais foram as principais lições que você tirou dessa experiência?

Eu me juntei à Yelp por meio da aquisição da SeatMe, nossa empresa anterior, e desde o primeiro dia, eu fui encarregado de integrar nosso mecanismo de busca de reservas na página inicial do site da Yelp.

Depois de apenas alguns meses, conseguimos integrar com sucesso esse mecanismo de busca na escala da Yelp, graças em grande parte à infraestrutura robusta que a Yelp havia construído internamente para Elasticsearch. Também foi devido à excelente liderança de engenharia lá que nos permitiu mover-nos livremente e fazer o que fazíamos melhor: entregar rapidamente.

Como CTO e Co-Founder de uma empresa de inteligência conversacional, Pathlight, você está ajudando a construir uma infraestrutura de LLM Ops do zero. Você pode discutir alguns dos diferentes elementos que precisam ser montados ao implantar uma infraestrutura de LLMOps, por exemplo, como você gerencia a camada de gerenciamento de prompts, a camada de fluxo de memória, a camada de gerenciamento de modelos, etc.

No final de 2022, nos dedicamos à tarefa séria de desenvolver e experimentar com Large Language Models (LLMs), uma empreitada que rapidamente levou ao lançamento bem-sucedido de nosso produto de Inteligência de Conversação nativo em GenAI, apenas quatro meses depois. Esse produto inovador consolida interações de clientes de diversos canais – seja texto, áudio ou vídeo – em uma plataforma única e abrangente, permitindo uma profundidade de análise e compreensão dos sentimentos dos clientes sem precedentes.

Ao navegar por esse processo complexo, transcrevemos, purificamos e otimizamos os dados para serem idealmente adequados para o processamento de LLM. Um aspecto crítico desse fluxo de trabalho é a geração de embeddings a partir das transcrições, um passo fundamental para a eficácia de nossos modelos de marcação, classificação e resumo baseados em RAG.

O que realmente distingue essa empreitada é a novidade e a natureza inexplorada do campo. Encontramo-nos em uma posição única, pioneira e descobrindo as melhores práticas ao mesmo tempo que a comunidade mais ampla. Um exemplo proeminente dessa exploração é a engenharia de prompts – monitoramento, depuração e garantia de controle de qualidade dos prompts gerados por nosso aplicativo. É notável que estamos testemunhando um surto de startups que agora fornecem ferramentas comerciais personalizadas para essas necessidades de nível superior, incluindo recursos de colaboração, capacidades de registro e indexação avançadas.

No entanto, para nós, o foco permanece inabalável nas camadas fundamentais de nossa infraestrutura de LLMOps. Desde a orquestração de fine-tuning, hospedagem de modelos, até o estabelecimento de APIs de inferência robustas, esses componentes de nível inferior são críticos para nossa missão. Ao canalizar nossos recursos e habilidades de engenharia aqui, garantimos que nosso produto não apenas chegue ao mercado rapidamente, mas também se apoie em uma base sólida e confiável.

À medida que o cenário evolui e mais ferramentas comerciais se tornam disponíveis para atender às complexidades de nível superior, nossa estratégia nos posiciona para integrar suavemente essas soluções, aprimorando ainda mais nosso produto e acelerando nossa jornada em redefinir a Inteligência de Conversação.

A base da CI da Pathlight é alimentada por um backend de multi-LLM, quais são alguns dos desafios de usar mais de um LLM e lidar com seus diferentes limites de taxa?

LLMs e GenAI estão se movendo a uma velocidade incrível, o que torna absolutamente crítico que qualquer aplicação de negócios que dependa fortemente dessas tecnologias seja capaz de acompanhar os modelos treinados mais recentes, seja por meio de serviços gerenciados proprietários ou implantando modelos FOSS em sua própria infraestrutura. Especialmente à medida que as demandas do seu serviço aumentam e os limites de taxa impedem o throughput necessário.

Alucinações são um problema comum para qualquer empresa que está construindo e implantando LLMs, como a Pathlight lida com esse problema?

Alucinações, no sentido de como as pessoas geralmente se referem a elas, são um desafio enorme ao trabalhar com LLMs de forma séria. Há certamente um nível de incerteza/imprevisibilidade que ocorre no que é esperado de um prompt idêntico. Há muitas maneiras de abordar esse problema, incluindo fine-tuning (onde maximizar o uso dos modelos de mais alta qualidade disponíveis para gerar dados de ajuste).

A Pathlight oferece várias soluções que atendem a diferentes segmentos de mercado, como viagens e hospitalidade, finanças, jogos, varejo e comércio eletrônico, centros de contato, etc. Você pode discutir como o GenAI usado difere nos bastidores para cada um desses mercados?

A capacidade instantânea de atender a uma ampla gama de segmentos é um dos aspectos mais valiosos e únicos da GenAI. Ter acesso a modelos treinados em toda a internet, com uma gama tão ampla de conhecimento em todos os tipos de domínios, é uma qualidade única da quebra que estamos passando agora. É assim que a IA se provará ao longo do tempo, em sua onipresença, e certamente está bem posicionada para ser assim em breve, dado seu caminho atual.

Você pode discutir como a Pathlight usa aprendizado de máquina para automatizar a análise de dados e descobrir insights ocultos?

Sim, definitivamente! Temos uma longa história de construir e entregar vários projetos de aprendizado de máquina ao longo dos anos. O modelo gerador por trás de nosso recurso mais recente, Insight Streams, é um excelente exemplo de como aproveitamos o ML para criar um produto diretamente posicionado para descobrir o que você não sabe sobre seus clientes. Essa tecnologia utiliza o conceito de Agente de IA, capaz de produzir um conjunto de Insights que evolui constantemente, tornando a recência e a profundidade da análise manual impossíveis. Com o tempo, esses fluxos podem aprender naturalmente consigo mesmos e

Análise de dados ou cientistas de dados, analistas de negócios, vendas ou operações de cliente ou qualquer que seja o pessoal designado para analisar dados de suporte ao cliente estão completamente sobrecarregados com solicitações importantes o tempo todo. O tipo profundo de análise, aquele que normalmente requer camadas e camadas de sistemas complexos e dados.

Qual é sua visão pessoal sobre os tipos de avanços que devemos esperar na onda de LLMs e IA em geral?

Minha visão pessoal é incrivelmente otimista sobre o campo de treinamento e metodologias de ajuste de LLMs para continuar avançando muito rapidamente, bem como fazer ganhos em domínios mais amplos, e multi-modal se tornando uma norma. Acredito que a FOSS já é “tão boa quanto” a GPT4 em muitos aspectos, mas o custo de hospedar esses modelos continuará a ser uma preocupação para a maioria das empresas.