Trey Doig, CTO y Co-Fundador de Pathlight – Serie de Entrevistas

Trey Doig es el Co-Fundador y CTO de Pathlight. Trey tiene más de diez años de experiencia en la industria tecnológica, habiendo trabajado como ingeniero para IBM, Creative Commons y Yelp. Trey fue el ingeniero líder para Yelp Reservations y fue responsable de la integración de la funcionalidad de SeatMe en Yelp.com. Trey también lideró el desarrollo de la aplicación web de SeatMe mientras la empresa crecía para apoyar un crecimiento de clientes de 10 veces.

Pathlight ayuda a los equipos que se enfrentan a los clientes a mejorar su rendimiento y eficiencia con información en tiempo real sobre las conversaciones de los clientes y el rendimiento del equipo. La plataforma de Pathlight analiza millones de puntos de datos de manera autónoma para permitir que cada capa de la organización comprenda lo que sucede en la primera línea de su negocio y determine las mejores acciones para crear éxitos repetidos.

¿Qué te atrajo inicialmente a la informática?

He estado jugando con computadoras desde que tengo memoria. Cuando tenía 12 años, comencé a programar y me enseñé Scheme y Lisp, y pronto comencé a construir todo tipo de cosas para mí y mis amigos, principalmente en desarrollo web.

Mucho más tarde, cuando me inscribí en la universidad, en realidad me había aburrido de las computadoras y me puse como objetivo ingresar a la escuela de diseño. Después de ser rechazado y poner en lista de espera por algunas de esas escuelas, decidí inscribirme en un programa de CS y nunca miré hacia atrás. Ser rechazado para la escuela de diseño resultó ser una de las rechazos más gratificantes de mi vida.

Has ocupado puestos en IBM, Yelp y otras empresas. En Yelp, específicamente, ¿cuáles fueron algunos de los proyectos más interesantes en los que trabajaste y cuáles fueron tus conclusiones clave de esta experiencia?

Me uní a Yelp a través de la adquisición de SeatMe, nuestra empresa anterior, y desde el primer día, se me confió la responsabilidad de integrar nuestro motor de búsqueda de reservas en la página principal de Yelp.com.

Después de solo unos meses, pudimos integrar con éxito ese motor de búsqueda en la escala de Yelp, en gran medida gracias a la infraestructura robusta que Yelp había construido internamente para Elasticsearch. También se debió al gran liderazgo de ingeniería allí que nos permitió movernos libremente y hacer lo que hacíamos mejor: enviar rápidamente.

Como CTO y Co-Fundador de una empresa de inteligencia conversacional, Pathlight, estás ayudando a construir una infraestructura de LLM Ops desde cero. ¿Puedes hablar sobre los diferentes elementos que necesitan ser ensamblados al implementar una infraestructura de LLMOps, por ejemplo, cómo manejas la capa de gestión de prompts, la capa de flujo de memoria, la capa de gestión de modelos, etc.

Al cierre de 2022, nos dedicamos a la tarea seria de desarrollar y experimentar con Modelos de Lenguaje Grande (LLMs), una empresa que rápidamente condujo al lanzamiento exitoso de nuestro producto de Inteligencia de Conversación nativo de GenAI, apenas cuatro meses después. Este producto innovador consolida las interacciones del cliente de diversos canales, ya sea texto, audio o video, en una plataforma única y completa, lo que permite una profundidad de análisis y comprensión de los sentimientos del cliente sin precedentes.

Al navegar este proceso complejo, transcribimos, purificamos y optimizamos los datos para que sean ideales para el procesamiento de LLM. Un aspecto crítico de este flujo de trabajo es la generación de incrustaciones a partir de las transcripciones, un paso fundamental para la eficacia de nuestro etiquetado basado en RAG, modelos de clasificación y resúmenes intrincados.

Lo que realmente distingue a esta empresa es la novedad y la naturaleza inexplorada del campo. Nos encontramos en una posición única, al mismo tiempo que estamos descubriendo y estableciendo las mejores prácticas con la comunidad en general. Un ejemplo destacado de esta exploración es la ingeniería de prompts: monitorear, depurar y garantizar el control de calidad de los prompts generados por nuestra aplicación. Es notable que estemos presenciando un auge de startups que ahora ofrecen herramientas comerciales adaptadas a estas necesidades de nivel superior, incluyendo características de colaboración y capacidades de registro y indexación avanzadas.

Sin embargo, para nosotros, el énfasis sigue siendo inquebrantable en fortalecer las capas fundamentales de nuestra infraestructura de LLMOps. Desde la orquestación de afinación, el alojamiento de modelos, hasta el establecimiento de API de inferencia robustas, estos componentes de nivel inferior son críticos para nuestra misión. Al canalizar nuestros recursos y habilidades de ingeniería aquí, nos aseguramos de que nuestro producto no solo llegue al mercado rápidamente, sino que también se base en una base sólida y confiable.

Como el panorama evoluciona y más herramientas comerciales están disponibles para abordar las complejidades de nivel superior, nuestra estrategia nos permite integrar sin esfuerzo estas soluciones, lo que mejora aún más nuestro producto y acelera nuestro viaje en la redefinición de la Inteligencia de Conversación.

La base de Pathlight CI está impulsada por un backend de múltiples LLM, ¿cuáles son algunos de los desafíos de utilizar más de un LLM y lidiar con sus diferentes límites de tasa?

Los LLM y el GenAI están avanzando a un ritmo vertiginoso, lo que hace que sea absolutamente crítico que cualquier aplicación empresarial que dependa en gran medida de estas tecnologías sea capaz de mantenerse al día con los modelos entrenados más recientes, ya sean servicios administrados propietarios o modelos de FOSS implementados en su propia infraestructura. Especialmente a medida que aumentan las demandas de su servicio y los límites de tasa impiden el rendimiento necesario.

Las alucinaciones son un problema común para cualquier empresa que esté construyendo y desplegando LLM, ¿cómo aborda Pathlight este problema?

Las alucinaciones, en el sentido en que creo que la gente generalmente se refiere a ellas, son un desafío enorme al trabajar con LLM en una capacidad seria. Hay cierto nivel de incertidumbre / imprevisibilidad que ocurre en lo que se espera de un prompt idéntico. Hay muchas formas de abordar este problema, algunas de las cuales incluyen la afinación (donde se maximiza el uso de los modelos de mayor calidad disponibles para generar datos de afinación).

Pathlight ofrece varias soluciones que atienden a diferentes segmentos de mercado, como viajes y hospitalidad, finanzas, juegos, comercio electrónico y centros de contacto, etc. ¿Puedes hablar sobre cómo el GenAI utilizado difiere detrás de escena para cada uno de estos mercados?

La capacidad instantánea de abordar tal amplia gama de segmentos es uno de los aspectos más valiosos de GenAI. Tener acceso a modelos entrenados en toda la internet, con tal cantidad de conocimiento en todos los dominios, es una cualidad única del avance que estamos experimentando ahora. Esta es la forma en que el AI demostrará su valor con el tiempo, en su omnipresencia, y ciertamente está en camino de hacerlo pronto, dada su trayectoria actual.

¿Puedes hablar sobre cómo Pathlight utiliza el aprendizaje automático para automatizar el análisis de datos y descubrir información oculta?

Sí, definitivamente. Tenemos una larga historia de construir y enviar varios proyectos de aprendizaje automático durante muchos años. El modelo generativo detrás de nuestra última característica, Insight Streams, es un gran ejemplo de cómo hemos aprovechado el ML para crear un producto directamente posicionado para descubrir lo que no sabes sobre tus clientes. Esta tecnología utiliza el concepto de Agente de IA, que es capaz de producir un conjunto de ideas que evoluciona constantemente, lo que hace que la recencia y la profundidad del análisis manual sean imposibles. Con el tiempo, estos flujos pueden aprender de sí mismos y

El análisis de datos o los científicos de datos, los analistas comerciales, las ventas o las operaciones del cliente, o lo que una empresa designe como las personas responsables de analizar los datos de soporte del cliente, están completamente abrumados con solicitudes importantes todo el tiempo. El tipo de análisis profundo, el que normalmente requiere capas y capas de sistemas y datos complejos.

¿Cuál es tu visión personal sobre el tipo de avances que debemos esperar en la ola de LLM y AI en general?

Mi visión personal es increíblemente optimista sobre el campo de la formación y la afinación de LLM para seguir avanzando muy rápidamente, así como lograr avances en dominios más amplios, y la multimodalidad se convierte en la norma. Creo que FOSS ya es “tan bueno como” GPT4 en muchos sentidos, pero el costo de alojar esos modelos seguirá siendo una preocupación para la mayoría de las empresas.