Trey Doig, CTO & Co-Fondateur de Pathlight – Série d’entretiens

Trey Doig est le co-fondateur et le CTO de Pathlight. Trey a plus de dix ans d’expérience dans l’industrie technologique, ayant travaillé en tant qu’ingénieur pour IBM, Creative Commons et Yelp. Trey était l’ingénieur principal pour Yelp Réservations et était responsable de l’intégration de la fonctionnalité SeatMe sur Yelp.com. Trey a également dirigé le développement de l’application Web SeatMe alors que l’entreprise se développait pour soutenir une croissance de 10 fois le nombre de clients.

Pathlight aide les équipes orientées client à améliorer leur performance et à accroître leur efficacité grâce à des insights en temps réel sur les conversations client et la performance de l’équipe. La plateforme Pathlight analyse de manière autonome des millions de points de données pour permettre à chaque niveau de l’organisation de comprendre ce qui se passe à la ligne de front de leur entreprise et de déterminer les meilleures actions pour créer un succès répétitif.

Qu’est-ce qui vous a initialement attiré vers l’informatique ?

J’ai commencé à jouer avec les ordinateurs dès que je me souviens. Lorsque j’ai eu 12 ans, j’ai appris la programmation et j’ai enseigné à moi-même Scheme et Lisp, et peu de temps après, j’ai commencé à construire toutes sortes de choses pour moi et mes amis, principalement dans le développement Web.

Beaucoup plus tard, lors de ma candidature à l’université, j’avais en fait perdu intérêt pour les ordinateurs et j’avais mis mes sights sur l’entrée à l’école de design. Après avoir été rejeté et mis sur liste d’attente par plusieurs de ces écoles, j’ai décidé de m’inscrire à un programme d’informatique et je n’ai jamais regardé en arrière. Le fait d’avoir été rejeté à l’école de design s’est avéré être l’une des réjections les plus gratifiantes de ma vie !

Vous avez occupé des postes chez IBM, Yelp et d’autres entreprises. Chez Yelp en particulier, quels étaient certains des projets les plus intéressants sur lesquels vous avez travaillé et quels étaient vos principaux enseignements tirés de cette expérience ?

J’ai rejoint Yelp par le biais de l’acquisition de SeatMe, notre entreprise précédente, et dès le premier jour, j’ai été chargé de la responsabilité d’intégrer notre moteur de recherche de réservations dans la page d’accueil de Yelp.com.

Au bout de quelques mois seulement, nous avons réussi à alimenter ce moteur de recherche à l’échelle de Yelp, en grande partie grâce à l’infrastructure robuste que Yelp avait construite à l’interne pour Elasticsearch. C’était également dû au leadership d’ingénierie exceptionnel qui nous a permis de nous déplacer librement et de faire ce que nous faisions le mieux : livrer rapidement.

En tant que CTO et co-fondateur d’une entreprise d’intelligence conversationnelle, Pathlight, vous aidez à construire une infrastructure LLMOps à partir de zéro. Pouvez-vous discuter des différents éléments qui doivent être assemblés lors du déploiement d’une infrastructure LLMOps, par exemple comment gérez-vous la couche de gestion des invites, la couche de flux de mémoire, la couche de gestion de modèle, etc.

À la fin de 2022, nous nous sommes engagés dans le développement et l’expérimentation de grands modèles de langage (LLM), une entreprise qui a rapidement conduit au lancement réussi de notre produit Conversation Intelligence natif GenAI, seulement quatre mois plus tard. Ce produit innovant consolide les interactions client à partir de divers canaux – qu’il s’agisse de texte, d’audio ou de vidéo – dans une plateforme unique et complète, permettant une analyse et une compréhension sans précédent des sentiments des clients.

Lors de la navigation dans ce processus complexe, nous transcrivons, purifions et optimisons soigneusement les données pour qu’elles soient idéalement adaptées au traitement LLM. Un aspect critique de ce flux de travail est la génération d’incrustations à partir des transcriptions, une étape fondamentale pour l’efficacité de notre modèle de classification et de résumé basé sur RAG.

Ce qui rend vraiment cette entreprise unique est la nouveauté et la nature inexplorée du domaine. Nous nous trouvons dans une position unique, en tant que pionniers et en découvrant des meilleures pratiques en même temps que la communauté plus large. Un exemple notable de cette exploration est dans l’ingénierie d’invites – la surveillance, le débogage et l’assurance de la qualité des invites générées par notre application. De manière remarquable, nous assistons à une vague de startups qui fournissent désormais des outils commerciaux adaptés à ces besoins de niveau supérieur, y compris des fonctionnalités collaboratives et des capacités de journalisation et d’indexation avancées.

Cependant, pour nous, l’accent reste inébranlablement sur le renforcement des couches fondamentales de notre infrastructure LLMOps. De l’orchestration de l’affinage, de l’hébergement de modèles, à l’établissement d’API d’inférence robustes, ces composants de niveau inférieur sont essentiels à notre mission. En canaliant nos ressources et notre expertise d’ingénierie ici, nous nous assurons que notre produit ne se contente pas d’arriver sur le marché rapidement, mais qu’il repose également sur une fondation solide et fiable.

À mesure que le paysage évolue et que davantage d’outils commerciaux deviennent disponibles pour répondre aux complexités de niveau supérieur, notre stratégie nous permet d’intégrer sans effort ces solutions, améliorant ainsi notre produit et accélérant notre parcours dans la redéfinition de l’intelligence conversationnelle.

La fondation de Pathlight CI est alimentée par une infrastructure multi-LLM, quels sont certains des défis de l’utilisation de plusieurs LLM et de la gestion de leurs limites de taux différents ?

Les LLM et le GenAI avancent à une vitesse fulgurante, ce qui rend absolument critique que toute application commerciale reposant fortement sur ces technologies soit capable de suivre les derniers modèles formés, qu’il s’agisse de services gérés propriétaires ou de déploiement de modèles FOSS dans votre propre infrastructure. Surtout à mesure que les exigences de votre service augmentent et que les limites de taux empêchent le débit nécessaire.

Les hallucinations sont un problème courant pour toute entreprise qui construit et déploie des LLM, comment Pathlight aborde-t-il ce problème ?

Les hallucinations, dans le sens de ce que je pense que les gens réfèrent généralement comme telles, sont un défi énorme lorsqu’on travaille avec des LLM de manière sérieuse. Il y a certainement un niveau d’incertitude/imprévisibilité qui se produit dans ce qui est censé être attendu d’une invite même identique. Il y a de nombreuses façons d’aborder ce problème, notamment l’affinage (où la maximisation de l’utilisation des modèles de la plus haute qualité disponibles pour vous pour la génération de données d’affinage).

Pathlight propose diverses solutions qui s’adressent à différents segments de marché tels que les voyages et l’hôtellerie, la finance, les jeux, le commerce de détail et le commerce électronique, les centres de contact, etc. Pouvez-vous discuter de la manière dont le GenAI utilisé diffère en coulisses pour chacun de ces marchés ?

La capacité immédiate de répondre à une telle gamme de segments est l’un des aspects les plus précieux de la GenAI. Pouvoir avoir accès à des modèles formés sur l’ensemble d’Internet, avec une telle étendue de connaissances dans tous les domaines, est une qualité unique de la percée que nous traversons actuellement. C’est ainsi que l’IA se prouvera à long terme, dans sa pervasivité, et elle est certainement sur le point de le faire étant donné son parcours actuel.

Pouvez-vous discuter de la manière dont Pathlight utilise l’apprentissage automatique pour automatiser l’analyse des données et découvrir des insights cachés ?

Oui, bien sûr ! Nous avons une longue histoire de construction et de livraison de plusieurs projets d’apprentissage automatique au fil des ans. Le modèle génératif derrière notre dernière fonctionnalité Insight Streams est un excellent exemple de la manière dont nous avons exploité l’apprentissage automatique pour créer un produit directement positionné pour découvrir ce que vous ne savez pas sur vos clients. Cette technologie utilise le concept d’agent IA capable de produire un ensemble d’insights en constante évolution qui rendent à la fois la récence et la profondeur de l’analyse manuelle impossibles. Au fil du temps, ces flux peuvent naturellement apprendre d’eux-mêmes et

Les analystes de données ou les data scientists, les analystes commerciaux, les ventes ou les opérations client ou tout ce qu’une entreprise désigne comme les personnes responsables de l’analyse des données de support client sont complètement submergés de demandes importantes en permanence. L’analyse profonde, celle qui nécessite normalement des couches et des couches de systèmes et de données complexes.

Quelle est votre vision personnelle des percées que nous devrions attendre dans la vague des LLM et de l’IA en général ?

Ma vision personnelle est incroyablement optimiste sur le domaine de la formation et de l’affinage des LLM pour continuer à avancer très rapidement, ainsi que pour réaliser des gains dans des domaines plus larges, et pour que le multimodal devienne la norme. Je crois que la FOSS est déjà « aussi bonne que » GPT4 de nombreuses manières, mais le coût d’hébergement de ces modèles continuera d’être une préoccupation pour la plupart des entreprises.