Trey Doig, CTO & Co-Founder at Pathlight – Interview Series

Trey Doig est le co-fondateur et le CTO de Pathlight. Trey a plus de dix ans d’expérience dans l’industrie technologique, ayant travaillé en tant qu’ingénieur pour IBM, Creative Commons et Yelp. Trey était l’ingénieur principal pour Yelp Reservations et était responsable de l’intégration de la fonctionnalité SeatMe sur Yelp.com. Trey a également dirigé le développement de l’application web SeatMe lorsque l’entreprise a augmenté son soutien à 10 fois la croissance des clients.

Pathlight aide les équipes axées sur les clients à améliorer leur performance et à stimuler l’efficacité avec des insights en temps réel sur les conversations client et la performance de l’équipe. La plateforme Pathlight analyse de manière autonome des millions de points de données pour permettre à chaque niveau de l’organisation de comprendre ce qui se passe sur le front de son entreprise et de déterminer les meilleures actions pour créer un succès répétitif.

Qu’est-ce qui vous a initialement attiré vers l’informatique ?

Je joue avec les ordinateurs depuis que je me souviens. Lorsque j’ai eu 12 ans, j’ai commencé à programmer et j’ai appris Scheme et Lisp, et peu après, j’ai commencé à construire toutes sortes de choses pour moi et mes amis, principalement dans le développement web.

Beaucoup plus tard, lors de ma demande d’admission à l’université, j’avais en fait perdu intérêt pour les ordinateurs et j’avais mis mes sights sur l’obtention d’une école de design. Après avoir été rejeté et mis sur liste d’attente par plusieurs de ces écoles, j’ai décidé de m’inscrire à un programme de sciences informatiques et je n’ai jamais regardé en arrière. Le fait d’avoir été refusé à l’admission à l’école de design s’est avéré être l’une des réjections les plus gratifiantes de ma vie !

Vous avez occupé des postes chez IBM, Yelp et d’autres entreprises. Chez Yelp en particulier, quels étaient certains des projets les plus intéressants sur lesquels vous avez travaillé et quels étaient vos principaux enseignements tirés de cette expérience ?

Je me suis joint à Yelp par le biais de l’acquisition de SeatMe, notre entreprise précédente, et dès le premier jour, j’ai été chargé de la responsabilité d’intégrer notre moteur de recherche de réservations sur la page d’accueil de Yelp.com.

Après seulement quelques mois, nous avons pu alimenter avec succès ce moteur de recherche à l’échelle de Yelp, en grande partie grâce à l’infrastructure robuste que Yelp avait construite en interne pour Elasticsearch. C’était également dû au excellent leadership en ingénierie qui nous a permis de nous déplacer librement et de faire ce que nous faisions de mieux : expédier rapidement.

En tant que CTO et co-fondateur d’une entreprise d’intelligence conversationnelle, Pathlight, vous aidez à construire une infrastructure LLM Ops à partir de zéro. Pouvez-vous discuter des différents éléments qui doivent être assemblés lors du déploiement d’une infrastructure LLM Ops, par exemple, comment gérez-vous la couche de gestion des invites, la couche de flux de mémoire, la couche de gestion de modèle, etc. ?

À la fin de 2022, nous nous sommes engagés dans l’entreprise sérieuse de développer et d’expérimenter les grands modèles de langage (LLM), une entreprise qui a rapidement conduit au lancement réussi de notre produit de conversation intelligente natif GenAI, seulement quatre mois plus tard. Ce produit innovant consolide les interactions client à partir de divers canaux – qu’il s’agisse de texte, d’audio ou de vidéo – dans une plateforme unique et complète, permettant une analyse et une compréhension sans précédent des sentiments des clients.

En naviguant dans ce processus complexe, nous transcrivons, purifions et optimisons soigneusement les données pour qu’elles soient idéalement adaptées au traitement LLM. Un aspect critique de ce flux de travail est la génération d’incrustations à partir des transcriptions, une étape fondamentale pour l’efficacité de nos modèles de classification et de résumé basés sur RAG.

Ce qui rend vraiment cette entreprise unique, c’est la nouveauté et la nature inexplorée du domaine. Nous nous trouvons dans une position unique, en tant que pionniers et en découvrant des meilleures pratiques en parallèle avec la communauté plus large. Un exemple notable de cette exploration est l’ingénierie d’invites – la surveillance, le débogage et l’assurance de la qualité des invites générées par notre application. De manière remarquable, nous assistons à une vague de startups qui fournissent désormais des outils commerciaux conçus pour ces besoins de niveau supérieur, y compris des fonctionnalités collaboratives et des capacités de journalisation et d’indexation avancées.

Cependant, pour nous, l’accent reste inchangé sur le renforcement des couches fondamentales de notre infrastructure LLM Ops. De la fine-tuning de l’orchestration, de l’hébergement de modèles à l’établissement de robustes API d’inférence, ces composants de niveau inférieur sont critiques pour notre mission. En canaliant nos ressources et notre ingénierie ici, nous nous assurons que notre produit non seulement atteint le marché rapidement mais également repose sur une base solide et fiable.

À mesure que le paysage évolue et que davantage d’outils commerciaux deviennent disponibles pour répondre aux complexités de niveau supérieur, notre stratégie nous permet d’intégrer sans effort ces solutions, améliorant ainsi notre produit et accélérant notre parcours dans la redéfinition de l’intelligence conversationnelle.

La fondation de Pathlight CI est alimentée par un backend multi-LLM, quels sont certains des défis de l’utilisation de plusieurs LLM et de la gestion de leurs limites de taux différents ?

Les LLM et le GenAI évoluent à une vitesse fulgurante, ce qui rend absolument critique que toute application commerciale reposant lourdement sur ces technologies soit capable de suivre le rythme des derniers modèles formés, qu’il s’agisse de services gérés propriétaires ou de modèles FOSS déployés dans votre propre infrastructure. Surtout à mesure que les exigences de votre service augmentent et que les limites de taux empêchent le débit nécessaire.

Les hallucinations sont un problème courant pour toute entreprise qui construit et déploie des LLM, comment Pathlight aborde-t-elle ce problème ?

Les hallucinations, dans le sens de ce que je pense que les gens appellent généralement ainsi, sont un défi énorme lorsqu’il s’agit de travailler avec des LLM de manière sérieuse. Il y a certainement un niveau d’incertitude/imprévisibilité qui se produit dans ce qui est censé être attendu d’une invite même identique. Il existe de nombreuses façons d’aborder ce problème, certaines incluant la fine-tuning (où la maximisation de l’utilisation des modèles de la plus haute qualité disponibles à cette fin pour générer des données de réglage).

Pathlight propose diverses solutions qui s’adressent à différents segments de marché tels que les voyages et l’hôtellerie, la finance, les jeux, le détail et le commerce électronique, les centres de contact, etc. Pouvez-vous discuter de la façon dont le Generative AI utilisé diffère dans les coulisses pour chacun de ces marchés ?

La capacité instantanée de répondre à une telle large gamme de segments est l’un des aspects les plus précieux de GenerativeAI. Pouvoir avoir accès à des modèles formés sur l’ensemble d’Internet, avec une telle gamme de connaissances dans tous les domaines, est une qualité unique de la percée que nous traversons actuellement. C’est ainsi que l’IA se prouvera avec le temps, dans sa pervasivité, et elle est certainement sur le point de le faire étant donné son parcours actuel.

Pouvez-vous discuter de la façon dont Pathlight utilise l’apprentissage automatique pour automatiser l’analyse des données et découvrir des insights cachés ?

Oui, définitivement ! Nous avons une longue histoire de construction et d’expédition de plusieurs projets d’apprentissage automatique pendant de nombreuses années. Le modèle génératif derrière notre fonctionnalité Insight Streams est un excellent exemple de la façon dont nous avons exploité l’apprentissage automatique pour créer un produit directement positionné pour découvrir ce que vous ne savez pas sur vos clients. Cette technologie utilise le concept d’agent IA capable de produire un ensemble d’insights en constante évolution qui rendent à la fois la récence et la profondeur de l’analyse manuelle impossibles. Au fil du temps, ces flux peuvent apprendre naturellement d’eux-mêmes et

L’analyse de données ou les data scientists, les analystes commerciaux, les ventes ou les opérations client ou tout ce qu’une entreprise désigne comme les personnes responsables de l’analyse des données de support client sont complètement submergés de demandes importantes tout le temps. L’analyse profonde, celle qui nécessite normalement des couches et des couches de systèmes et de données complexes.

Quelle est votre opinion personnelle sur les types de percées que nous devrions attendre dans la vague des LLM et de l’IA en général ?

Mon point de vue personnel est incroyablement optimiste sur le domaine de la formation et de la méthode de réglage des LLM pour continuer à avancer très rapidement, ainsi que pour réaliser des progrès dans des domaines plus larges et devenir multimodaux comme la norme. Je crois que FOSS est déjà “aussi bon que” GPT4 de nombreuses manières, mais le coût d’hébergement de ces modèles continuera d’être une préoccupation pour la plupart des entreprises.