Trey Doig, CTO & Co-Founder at Pathlight – Interview Series

Trey Doig é o Co-Founder & CTO da Pathlight. Trey tem mais de dez anos de experiência na indústria de tecnologia, tendo trabalhado como engenheiro na IBM, Creative Commons e Yelp. Trey foi o lead engineer do Yelp Reservations e foi responsável pela integração da funcionalidade do SeatMe no Yelp.com. Trey também liderou o desenvolvimento do aplicativo web do SeatMe, à medida que a empresa cresceu para dar suporte a 10x mais clientes.

Pathlight ajuda equipes que atendem clientes a aumentar o desempenho e impulsionar a eficiência com insights em tempo real sobre conversas com clientes e desempenho da equipe. A plataforma Pathlight analisa autonomamente milhões de pontos de dados para capacitar cada camada da organização a entender o que está acontecendo na linha de frente dos negócios e determinar as melhores ações para criar sucesso repetível.

O que o atraiu inicialmente para a ciência da computação?

Eu brinco com computadores desde que me lembro. Quando eu tinha 12 anos, comecei a programar e me ensinei Scheme e Lisp, e logo após comecei a construir todas as espécies de coisas para mim e meus amigos, principalmente em desenvolvimento web.

Muito mais tarde, quando eu estava me candidatando à faculdade, eu havia me entediado com os computadores e estava mirando em entrar na escola de design. Depois de ser rejeitado e ficar na lista de espera de algumas dessas escolas, eu decidi me matricular em um programa de CS e nunca olhei para trás. Ser rejeitado pela escola de design acabou se provando uma das rejeições mais gratificantes da minha vida!

Você ocupou cargos na IBM, Yelp e outras empresas. Especificamente na Yelp, quais foram alguns dos projetos mais interessantes em que você trabalhou e quais foram as principais lições que você tirou dessa experiência?

Eu me juntei à Yelp por meio da aquisição da SeatMe, nossa empresa anterior, e desde o primeiro dia, eu fui confiada com a responsabilidade de integrar nosso mecanismo de busca de reservas na página inicial do Yelp.com.

Após apenas alguns meses, conseguimos alimentar com sucesso esse mecanismo de busca na escala do Yelp, graças em grande parte à infraestrutura robusta que o Yelp havia construído internamente para o Elasticsearch. Isso também se deveu à excelente liderança de engenharia lá, que nos permitiu nos mover livremente e fazer o que fazíamos melhor: entregar rapidamente.

Como CTO & Co-Founder de uma empresa de inteligência conversacional, Pathlight, você está ajudando a construir uma infraestrutura de LLM Ops do zero. Você pode discutir alguns dos diferentes elementos que precisam ser montados ao implantar uma infraestrutura de LLMOps, por exemplo, como você gerencia a camada de gerenciamento de prompts, camada de stream de memória, camada de gerenciamento de modelos, etc.

No final de 2022, nos dedicamos à tarefa séria de desenvolver e experimentar com Large Language Models (LLMs), uma empreitada que rapidamente levou ao lançamento bem-sucedido de nosso produto de Inteligência Conversacional nativo da GenAI, apenas quatro meses depois. Esse produto inovador consolida interações do cliente de vários canais – seja texto, áudio ou vídeo – em uma plataforma única e abrangente, permitindo uma profundidade de análise e compreensão dos sentimentos do cliente sem precedentes.

Ao navegar por esse processo complexo, transcrevemos, purificamos e otimizamos os dados para que sejam ideais para o processamento de LLM. Um aspecto crítico desse fluxo de trabalho é a geração de embeddings a partir das transcrições, uma etapa fundamental para a eficácia de nossos modelos de marcação baseados em RAG, classificação e resumo intricados.

O que realmente distingue essa empreitada é a novidade e a natureza inexplorada do campo. Encontramo-nos em uma posição única, pioneira e descobrindo as melhores práticas ao mesmo tempo que a comunidade mais ampla. Um exemplo proeminente dessa exploração é a engenharia de prompts – monitoramento, depuração e garantia de controle de qualidade dos prompts gerados por nosso aplicativo. Notavelmente, estamos testemunhando um surto de startups que agora fornecem ferramentas comerciais personalizadas para essas necessidades de nível superior, incluindo recursos colaborativos e capacidades avançadas de registro e indexação.

No entanto, para nós, o foco permanece inabalável na fortificação das camadas fundamentais de nossa infraestrutura de LLMOps. Desde a fine-tuning da orquestração, hospedagem de modelos, até o estabelecimento de APIs de inferência robustas, esses componentes de nível inferior são críticos para nossa missão. Ao canalizar nossos recursos e habilidades de engenharia aqui, garantimos que nosso produto não apenas chegue ao mercado rapidamente, mas também se apoie em uma base sólida e confiável.

À medida que o cenário evolui e mais ferramentas comerciais se tornam disponíveis para atender às complexidades de nível superior, nossa estratégia nos posiciona para integrar essas soluções de forma transparente, aprimorando ainda mais nosso produto e acelerando nossa jornada em redefinir a Inteligência Conversacional.

A base da Pathlight CI é alimentada por um backend multi-LLM, quais são alguns dos desafios de usar mais de um LLM e lidar com seus diferentes limites de taxa?

LLMs e GenAI estão se movendo a uma velocidade incrível, o que torna absolutamente crítico que qualquer aplicação de negócios que dependa fortemente dessas tecnologias seja capaz de acompanhar os últimos e melhores modelos treinados, seja por meio de serviços gerenciados proprietários ou implantando modelos FOSS em sua própria infraestrutura. Especialmente à medida que as demandas do seu serviço aumentam e os limites de taxa impedem o throughput necessário.

Alucinações são um problema comum para qualquer empresa que está construindo e implantando LLMs, como a Pathlight lida com esse problema?

Alucinações, no sentido do que eu acho que as pessoas estão se referindo em geral, são um grande desafio ao trabalhar com LLMs de forma séria. Há certamente um nível de incerteza/imprevisibilidade que ocorre no que é esperado de um prompt idêntico. Há muitas maneiras de abordar esse problema, algumas incluem fine-tuning (onde maximizar o uso dos modelos de mais alta qualidade disponíveis para você para a geração de dados de ajuste).

A Pathlight oferece várias soluções que atendem a diferentes segmentos de mercado, como viagens e hospitalidade, finanças, jogos, varejo e comércio eletrônico, centros de contato, etc. Você pode discutir como o Generative AI usado difere nos bastidores para cada um desses mercados?

A capacidade instantânea de atender a uma ampla gama de segmentos é um dos aspectos mais valiosos e exclusivos do GenerativeAI. Ter acesso a modelos treinados em toda a internet, com uma gama tão ampla de conhecimento em todos os domínios, é uma qualidade única do avanço que estamos passando agora. É assim que a IA se provará com o tempo, em sua ubiquidade, e certamente está bem posicionada para ser assim em breve, dado seu caminho atual.

Você pode discutir como a Pathlight usa aprendizado de máquina para automatizar a análise de dados e descobrir insights ocultos?

Sim, definitivamente! Temos uma longa história de construir e entregar vários projetos de aprendizado de máquina ao longo dos anos. O modelo gerador por trás de nosso recurso mais recente, Insight Streams, é um excelente exemplo de como aproveitamos o ML para criar um produto diretamente posicionado para descobrir o que você não sabe sobre seus clientes. Essa tecnologia utiliza o conceito de Agente de IA, que é capaz de produzir um conjunto de Insights em constante evolução, tornando a recência e a profundidade da análise manual impossível. Com o tempo, esses fluxos podem aprender naturalmente consigo mesmos e

A análise de dados ou cientistas de dados, analistas de negócios, vendas ou operações de cliente ou qualquer que seja o designado pela empresa para analisar os dados de suporte ao cliente estão completamente inundados com solicitações importantes o tempo todo. O tipo profundo de análise, aquela que normalmente requer camadas e camadas de sistemas e dados complexos.

Qual é sua visão pessoal para o tipo de avanços que devemos esperar na onda de LLMs e IA em geral?

Minha visão pessoal é incrivelmente otimista sobre o campo de treinamento e métodos de ajuste de LLMs para continuar avançando muito rapidamente, bem como fazer ganhos em domínios mais amplos, e multi-modal se tornando a norma. Acredito que o FOSS já é “tão bom quanto” o GPT4 em muitos aspectos, mas o custo de hospedar esses modelos continuará a ser uma preocupação para a maioria das empresas.