Trey Doig, CTO & Co-Founder at Pathlight – Interview Series

Trey Doig é o Co-Founder & CTO da Pathlight. Trey tem mais de dez anos de experiência na indústria de tecnologia, tendo trabalhado como engenheiro para IBM, Creative Commons e Yelp. Trey foi o lead engineer para Yelp Reservations e foi responsável pela integração da funcionalidade do SeatMe no Yelp.com. Trey também liderou o desenvolvimento do aplicativo web do SeatMe, à medida que a empresa cresceu para suportar um crescimento de 10x dos clientes.

Pathlight ajuda equipes que atendem clientes a melhorar o desempenho e aumentar a eficiência com insights em tempo real sobre conversas com clientes e desempenho da equipe. A plataforma Pathlight analisa autonomamente milhões de pontos de dados para capacitar cada camada da organização a entender o que está acontecendo na linha de frente do negócio e determinar as melhores ações para criar sucesso repetível.

O que o atraiu inicialmente para a ciência da computação?

Eu brinco com computadores desde que me lembro. Quando eu tinha 12 anos, comecei a programar e me ensinei Scheme e Lisp, e logo após comecei a construir todo tipo de coisas para mim e meus amigos, principalmente em desenvolvimento web.

Muito mais tarde, quando eu estava me candidatando à faculdade, eu havia me entediado com os computadores e estava mirando em entrar em uma escola de design. Depois de ser rejeitado e ficar na lista de espera de algumas dessas escolas, eu decidi me matricular em um programa de CS e nunca olhei para trás. Ser rejeitado pela escola de design acabou se provando uma das rejeições mais gratificantes da minha vida!

Você ocupou cargos na IBM, Yelp e outras empresas. Especificamente na Yelp, quais foram alguns dos projetos mais interessantes que você trabalhou e quais foram suas principais lições aprendidas com essa experiência?

Eu me juntei à Yelp por meio da aquisição da SeatMe, nossa empresa anterior, e desde o primeiro dia, eu fui encarregado de integrar nosso mecanismo de busca de reservas na página inicial do Yelp.com.

Depois de apenas alguns meses, conseguimos alimentar com sucesso esse mecanismo de busca na escala do Yelp, graças principalmente à infraestrutura robusta que o Yelp havia construído internamente para Elasticsearch. Isso também foi devido à excelente liderança de engenharia lá, que nos permitiu nos mover livremente e fazer o que fazíamos melhor: entregar rapidamente.

Como CTO & Co-Founder de uma empresa de inteligência conversacional, Pathlight, você está ajudando a construir uma infraestrutura de LLM Ops do zero. Pode discutir alguns dos diferentes elementos que precisam ser montados ao implantar uma infraestrutura de LLMOps, por exemplo, como você gerencia a camada de gerenciamento de prompts, camada de stream de memória, camada de gerenciamento de modelo, etc.

No final de 2022, nos dedicamos à tarefa séria de desenvolver e experimentar com Large Language Models (LLMs), uma empreitada que rapidamente levou ao lançamento bem-sucedido de nosso produto de Inteligência Conversacional nativo em GenAI, apenas quatro meses depois. Esse produto inovador consolida interações de clientes de diversos canais — seja texto, áudio ou vídeo — em uma plataforma única e abrangente, permitindo uma profundidade de análise e compreensão dos sentimentos dos clientes sem precedentes.

Ao navegar por esse processo complexo, transcrevemos, purificamos e otimizamos os dados para que sejam ideais para o processamento de LLM. Um aspecto crítico desse fluxo de trabalho é a geração de embeddings a partir das transcrições, uma etapa fundamental para a eficácia de nossos modelos de marcação baseados em RAG, classificação e resumo intricados.

O que realmente distingue essa empreitada é a novidade e a natureza inexplorada do campo. Encontramo-nos em uma posição única, pioneira e descobrindo as melhores práticas ao mesmo tempo que a comunidade mais ampla. Um exemplo proeminente dessa exploração é a engenharia de prompts — monitoramento, depuração e garantia de controle de qualidade dos prompts gerados por nosso aplicativo. Notavelmente, estamos testemunhando um surto de startups que agora fornecem ferramentas comerciais personalizadas para essas necessidades de nível superior, incluindo recursos colaborativos e capacidades avançadas de registro e indexação.

No entanto, para nós, o foco permanece inabalável na fortificação das camadas fundamentais de nossa infraestrutura de LLMOps. Desde a fine-tuning da orquestração, hospedagem de modelos, até o estabelecimento de APIs de inferência robustas, esses componentes de nível inferior são críticos para nossa missão. Ao canalizar nossos recursos e habilidades de engenharia aqui, garantimos que nosso produto não apenas chegue ao mercado rapidamente, mas também se baseie em uma fundação sólida e confiável.

À medida que o cenário evolui e mais ferramentas comerciais se tornam disponíveis para atender às complexidades de nível superior, nossa estratégia nos posiciona para integrar suavemente essas soluções, aprimorando ainda mais nosso produto e acelerando nossa jornada em redefinir a Inteligência Conversacional.

A base da Pathlight CI é alimentada por um backend multi-LLM, quais são alguns dos desafios de usar mais de um LLM e lidar com seus diferentes limites de taxa?

LLMs e GenAI estão se movendo a uma velocidade incrível, o que torna absolutamente crítico que qualquer aplicação de negócios que dependa fortemente dessas tecnologias seja capaz de acompanhar os últimos e melhores modelos treinados, seja por meio de serviços gerenciados proprietários ou implantando modelos FOSS em sua própria infraestrutura. Especialmente à medida que as demandas do serviço aumentam e os limites de taxa impedem o throughput necessário.

Alucinações são um problema comum para qualquer empresa que está construindo e implantando LLMs, como a Pathlight lida com esse problema?

Alucinações, no sentido do que acho que as pessoas estão se referindo em geral, são um grande desafio ao trabalhar com LLMs de forma séria. Há certamente um nível de incerteza/imprevisibilidade que ocorre no que é esperado de um prompt idêntico. Há muitas maneiras de abordar esse problema, algumas incluem fine-tuning (onde maximizar o uso dos modelos de mais alta qualidade disponíveis para o propósito de gerar dados de ajuste).

A Pathlight oferece várias soluções que atendem a diferentes segmentos de mercado, como viagens e hospitalidade, finanças, jogos, varejo e comércio eletrônico, centros de contato, etc. Pode discutir como o Generative AI usado difere nos bastidores para cada um desses mercados?

A capacidade instantânea de atender a uma ampla gama de segmentos é um dos aspectos mais valiosos e únicos do GenerativeAI. Ter acesso a modelos treinados em toda a internet, com uma gama tão ampla de conhecimento em todos os tipos de domínios, é uma qualidade tão única do avanço que estamos passando agora. É assim que a IA se provará ao longo do tempo, em sua ubiquidade, e certamente está bem posicionada para ser assim em breve, dado seu caminho atual.

Pode discutir como a Pathlight usa aprendizado de máquina para automatizar a análise de dados e descobrir insights ocultos?

Sim, definitivamente! Temos uma longa história de construir e entregar vários projetos de aprendizado de máquina ao longo dos anos. O modelo gerador por trás de nosso recurso mais recente, Insight Streams, é um excelente exemplo de como aproveitamos o ML para criar um produto diretamente posicionado para descobrir o que você não sabe sobre seus clientes. Essa tecnologia utiliza o conceito de Agente de IA, que é capaz de produzir um conjunto de Insights que evolui constantemente, tornando a recência e a profundidade da análise manual impossíveis. Com o tempo, esses fluxos podem aprender naturalmente consigo mesmos e

Análise de dados ou cientistas de dados, analistas de negócios, vendas ou operações de cliente ou qualquer coisa que uma empresa designe como as pessoas responsáveis por analisar dados de suporte ao cliente estão completamente inundados com solicitações importantes o tempo todo. A análise profunda, aquela que normalmente requer camadas e camadas de sistemas e dados complexos.

Qual é sua visão pessoal para o tipo de avanços que devemos esperar na onda de LLMs e IA em geral?

Minha visão pessoal é incrivelmente otimista sobre o campo de treinamento e metodologias de ajuste de LLMs para continuar avançando muito rapidamente, bem como fazer ganhos em domínios mais amplos, e multi-modal se tornando a norma. Acredito que o FOSS já é “tão bom quanto” o GPT4 em muitos aspectos, mas o custo de hospedar esses modelos continuará a ser uma preocupação para a maioria das empresas.