Trey Doig, CTO & Co-Founder en Pathlight – Serie de entrevistas

Trey Doig es el Co-Fundador y CTO en Pathlight. Trey tiene más de diez años de experiencia en la industria tecnológica, habiendo trabajado como ingeniero para IBM, Creative Commons y Yelp. Trey fue el ingeniero principal para Yelp Reservations y fue responsable de la integración de la funcionalidad de SeatMe en Yelp.com. Trey también lideró el desarrollo de la aplicación web de SeatMe mientras la empresa escalaba para apoyar un crecimiento de clientes 10 veces mayor.

Pathlight ayuda a los equipos que se enfrentan a los clientes a mejorar el rendimiento y impulsar la eficiencia con información en tiempo real sobre las conversaciones de los clientes y el rendimiento del equipo. La plataforma de Pathlight analiza millones de puntos de datos de forma autónoma para empoderar a cada capa de la organización para entender qué está sucediendo en la primera línea de su negocio y determinar las mejores acciones para crear éxitos repetibles.

¿Qué te atrajo inicialmente a la informática?

He estado jugando con computadoras desde que tengo memoria. Cuando tenía 12 años, comencé a programar y me enseñé Scheme y Lisp, y pronto después comencé a construir todo tipo de cosas para mí y mis amigos, principalmente en desarrollo web.

Mucho más tarde, cuando me inscribí en la universidad, en realidad me había aburrido de las computadoras y me puse como objetivo ingresar a la escuela de diseño. Después de ser rechazado y ponerme en lista de espera en algunas de esas escuelas, decidí inscribirme en un programa de CS y nunca miré atrás. Ser rechazado para la escuela de diseño resultó ser una de las rechazos más gratificantes de mi vida.

Has ocupado puestos en IBM, Yelp y otras empresas. En Yelp específicamente, ¿cuáles fueron algunos de los proyectos más interesantes en los que trabajaste y cuáles fueron tus conclusiones clave de esta experiencia?

Me uní a Yelp a través de la adquisición de SeatMe, nuestra empresa anterior, y desde el primer día, se me confió la responsabilidad de integrar nuestro motor de búsqueda de reservas en la página principal de Yelp.com.

Después de solo unos pocos meses, pudimos alimentar con éxito ese motor de búsqueda a escala de Yelp, en gran medida gracias a la infraestructura robusta que Yelp había construido internamente para Elasticsearch. También se debió al gran liderazgo de ingeniería allí que nos permitió movernos libremente y hacer lo que hacíamos mejor: enviar rápidamente.

Como CTO y Co-Fundador de una empresa de inteligencia conversacional, Pathlight, estás ayudando a construir una infraestructura de LLM Ops desde cero. ¿Puedes discutir algunos de los diferentes elementos que necesitan ser ensamblados al implementar una infraestructura de LLMOps, por ejemplo, cómo se gestiona la capa de gestión de prompts, la capa de flujo de memoria, la capa de gestión de modelos, etc.

Al cierre de 2022, nos dedicamos a la seria tarea de desarrollar y experimentar con Modelos de Lenguaje Grande (LLMs), una empresa que rápidamente condujo al lanzamiento exitoso de nuestro producto de Inteligencia Conversacional nativo de GenAI Conversation Intelligence solo cuatro meses después. Este producto innovador consolida las interacciones de los clientes de diversos canales, ya sea texto, audio o video, en una plataforma única y completa, permitiendo un análisis y comprensión sin precedentes de los sentimientos de los clientes.

Al navegar este proceso complejo, transcribimos, purificamos y optimizamos los datos para que sean ideales para el procesamiento de LLM. Un aspecto crítico de este flujo de trabajo es la generación de incrustaciones a partir de las transcripciones, un paso fundamental para la eficacia de nuestros modelos de etiquetado RAG, modelos de clasificación y resúmenes intrincados.

Lo que realmente distingue a esta empresa es la novedad y la naturaleza inexplorada del campo. Nos encontramos en una posición única, pionera y descubriendo las mejores prácticas al mismo tiempo que la comunidad más amplia. Un ejemplo destacado de esta exploración es la ingeniería de prompts: monitorear, depurar y garantizar el control de calidad de los prompts generados por nuestra aplicación. Es notable que estemos presenciando un auge de startups que ahora proporcionan herramientas comerciales adaptadas a estas necesidades de nivel superior, incluidas características de colaboración y capacidades de registro y indexación avanzadas.

Sin embargo, para nosotros, el énfasis sigue siendo inquebrantable en fortalecer las capas fundamentales de nuestra infraestructura de LLMOps. Desde la afinación de la orquestación, el alojamiento de modelos, hasta el establecimiento de API de inferencia robustas, estos componentes de nivel inferior son críticos para nuestra misión. Al canalizar nuestros recursos y habilidades de ingeniería aquí, nos aseguramos de que nuestro producto no solo llegue al mercado rápidamente, sino que también se base en una base sólida y confiable.

A medida que evoluciona el panorama y se vuelven disponibles más herramientas comerciales para abordar las complejidades de nivel superior, nuestra estrategia nos permite integrar estas soluciones de manera fluida, mejorando aún más nuestro producto y acelerando nuestro viaje en la redefinición de la Inteligencia Conversacional.

La base de Pathlight CI está impulsada por un backend de multi-LLM, ¿cuáles son algunos de los desafíos de usar más de un LLM y lidiar con sus diferentes límites de velocidad?

Los LLM y el GenAI están avanzando a un ritmo vertiginoso, lo que hace que sea absolutamente crítico que cualquier aplicación empresarial que dependa en gran medida de estas tecnologías sea capaz de mantenerse al día con los modelos entrenados más recientes, ya sean servicios administrados propietarios o modelos FOSS implementados en su propia infraestructura. Especialmente a medida que aumentan las demandas de su servicio y los límites de velocidad impiden el rendimiento necesario.

Las alucinaciones son un problema común para cualquier empresa que esté construyendo y desplegando LLM, ¿cómo aborda Pathlight este problema?

Las alucinaciones, en el sentido de lo que creo que la gente generalmente se refiere a como tal, son un desafío enorme al trabajar con LLM de manera seria. Hay cierto nivel de incertidumbre / imprevisibilidad que ocurre en lo que se espera de un prompt idéntico. Hay muchas formas de abordar este problema, algunas incluyen la afinación (donde se maximiza el uso de los modelos de mayor calidad disponibles para el propósito de generar datos de afinación).

Pathlight ofrece varias soluciones que atienden a diferentes segmentos de mercado, como viajes y hospedaje, finanzas, juegos, minoristas y comercio electrónico, centros de contacto, etc. ¿Puedes discutir cómo el GenAI utilizado difiere detrás de escena para cada uno de estos mercados?

La capacidad instantánea de abordar tal amplio rango de segmentos es uno de los aspectos más valiosos de GenAI. Tener acceso a modelos entrenados en la totalidad de Internet, con tal rango de conocimientos en todos los dominios, es una cualidad única del avance que estamos experimentando ahora. Esto es cómo el AI se demostrará con el tiempo, en su omnipresencia, y ciertamente está bien posicionado para ser así pronto, dado su camino actual.

¿Puedes discutir cómo Pathlight utiliza el aprendizaje automático para automatizar el análisis de datos y descubrir información oculta?

¡Sí, definitivamente! Tenemos una historia profunda de construir y enviar varios proyectos de aprendizaje automático durante muchos años. El modelo generativo detrás de nuestra última característica, Insight Streams, es un gran ejemplo de cómo hemos aprovechado el ML para crear un producto directamente posicionado para descubrir lo que no sabes sobre tus clientes. Esta tecnología utiliza el concepto de Agente de IA, que es capaz de producir un conjunto de ideas que evoluciona constantemente, lo que hace que la recencia y la profundidad del análisis manual sean imposibles. Con el tiempo, estos flujos pueden aprender naturalmente de sí mismos y

El análisis de datos o los científicos de datos, los analistas de negocios, las ventas o las operaciones de clientes, o lo que una empresa designe como las personas responsables de analizar los datos de soporte de clientes están completamente abrumados con solicitudes importantes todo el tiempo. El tipo de análisis profundo, el que normalmente requiere capas y capas de sistemas y datos complejos.

¿Cuál es tu visión personal sobre el tipo de avances que debemos esperar en la ola de LLM y AI en general?

Mi visión personal es increíblemente optimista sobre el campo de la formación y afinación de LLM para continuar avanzando muy rápidamente, así como lograr avances en dominios más amplios y multi modales que se conviertan en la norma. Creo que FOSS ya es “tan bueno como” GPT4 en muchos sentidos, pero el costo de alojar esos modelos seguirá siendo una preocupación para la mayoría de las empresas.