Trey Doig, CTO & Mitgründer von Pathlight – Interview-Serie

Trey Doig ist der Mitgründer und CTO von Pathlight. Trey hat über zehn Jahre Erfahrung in der Technologiebranche und hat als Ingenieur für IBM, Creative Commons und Yelp gearbeitet. Trey war der leitende Ingenieur für Yelp-Reservierungen und war für die Integration von SeatMe-Funktionen auf Yelp.com verantwortlich. Trey leitete auch die Entwicklung der SeatMe-Webanwendung, als das Unternehmen auf 10-mal mehr Kunden wuchs.

Pathlight hilft kundenorientierten Teams, ihre Leistung zu steigern und Effizienz zu verbessern, indem es Echtzeit-Einblicke in Kundenkonversationen und Teamleistung bietet. Die Pathlight-Plattform analysiert autonom Millionen von Datenpunkten, um jedem Teil der Organisation zu ermöglichen, zu verstehen, was an der Frontlinie ihres Geschäfts passiert, und die besten Aktionen für wiederholbaren Erfolg zu bestimmen.

Was hat Sie ursprünglich zur Informatik hingezogen?

Ich habe mich schon seit ich mich erinnern kann mit Computern beschäftigt. Als ich 12 Jahre alt war, begann ich mit der Programmierung und lehrte mich Scheme und Lisp, und bald darauf baute ich allerlei Dinge für mich und meine Freunde, hauptsächlich in der Webentwicklung.

Viel später, als ich mich für die Universität bewarb, war ich tatsächlich gelangweilt von Computern und richtete mein Augenmerk auf die Aufnahme in eine Designschule. Nachdem ich von einigen dieser Schulen abgelehnt und auf die Warteliste gesetzt worden war, entschied ich mich, mich für ein Informatik-Programm einzuschreiben, und sah nie zurück. Die Ablehnung der Aufnahme in die Designschule erwies sich als eine der lohnendsten Ablehnungen meines Lebens!

Sie haben Positionen bei IBM, Yelp und anderen Unternehmen innegehabt. Bei Yelp insbesondere, welche waren einige der interessantesten Projekte, an denen Sie gearbeitet haben, und welche waren Ihre wichtigsten Erkenntnisse aus dieser Erfahrung?

Ich kam zu Yelp durch die Übernahme von SeatMe, unserem vorherigen Unternehmen, und wurde von Anfang an mit der Verantwortung betraut, unsere Reservierungssuchmaschine in die Startseite von Yelp.com zu integrieren.

Nach nur wenigen Monaten konnten wir diese Suchmaschine erfolgreich auf Yelps Maßstab umsetzen, größtenteils dank der robusten Infrastruktur, die Yelp intern für Elasticsearch aufgebaut hatte. Es war auch dank der großartigen technischen Führung dort, die es uns ermöglichte, frei zu handeln und das zu tun, was wir am besten konnten: schnell ausliefern.

Als CTO und Mitgründer eines Unternehmens für konversationelle Intelligenz, Pathlight, helfen Sie dabei, eine LLM-Ops-Infrastruktur von Grund auf aufzubauen. Können Sie einige der verschiedenen Elemente besprechen, die zusammengebaut werden müssen, wenn man eine LLM-Ops-Infrastruktur bereitstellt, zum Beispiel, wie man die Prompt-Management-Ebene, die Memory-Stream-Ebene, die Modell-Management-Ebene usw. handhabt.

Am Ende des Jahres 2022 widmeten wir uns dem ernsthaften Vorhaben, Large Language Models (LLMs) zu entwickeln und zu experimentieren, ein Vorhaben, das schnell zum erfolgreichen Launch unseres GenAI-nativen Conversation-Intelligence-Produkts führte, nur vier Monate später. Dieses innovative Produkt konsolidiert Kundeninteraktionen aus verschiedenen Kanälen – sei es Text, Audio oder Video – in eine einzige, umfassende Plattform, die eine beispielslose Tiefe an Analyse und Verständnis von Kundensentiments ermöglicht.

Bei der Navigation durch diesen komplexen Prozess transkribieren, reinigen und optimieren wir die Daten sorgfältig, um sie ideal für die LLM-Verarbeitung zu machen. Ein kritischer Aspekt dieser Arbeitsabläufe ist die Generierung von Embeddings aus den Transkripten, ein Schritt, der für die Effektivität unserer RAG-basierten Tagging-, Klassifizierungsmodelle und komplexen Zusammenfassungen von entscheidender Bedeutung ist.

Was dieses Vorhaben wirklich auszeichnet, ist die Neuheit und das unerforschte Gebiet. Wir befinden uns in einer einzigartigen Position, in der wir gleichzeitig Pionierarbeit leisten und bewährte Verfahren entdecken. Ein prominentes Beispiel für diese Erforschung ist die Prompt-Engineering – die Überwachung, Fehlersuche und Qualitätssicherung der von unserer Anwendung generierten Prompts. Bemerkenswerterweise erleben wir einen Aufschwung von Start-ups, die nun kommerzielle Tools für diese höheren Bedürfnisse anbieten, einschließlich kollaborativer Funktionen und erweiterter Protokollierungs- und Indizierungs-Funktionen.

Unser Schwerpunkt bleibt jedoch unverändert auf der Stärkung der grundlegenden Schichten unserer LLM-Ops-Infrastruktur. Von der Feinabstimmung der Orchestrierung, der Modell-Hosting, bis hin zur Einrichtung robuster Inferenz-APIs sind diese unteren Komponenten für unsere Mission von entscheidender Bedeutung. Indem wir unsere Ressourcen und ingenieurstechnisches Know-how hier einsetzen, stellen wir sicher, dass unser Produkt nicht nur schnell auf den Markt kommt, sondern auch auf einer soliden, zuverlässigen Grundlage steht.

Wenn sich das Landschaftsbild weiterentwickelt und mehr kommerzielle Tools verfügbar werden, um die höheren Komplexitäten zu bewältigen, positioniert unsere Strategie uns, um diese Lösungen nahtlos zu integrieren, unser Produkt weiter zu verbessern und unsere Reise bei der Neufassung der konversationellen Intelligenz zu beschleunigen.

Die Grundlage von Pathlight CI wird von einer Multi-LLM-Back-end-Infrastruktur angetrieben, welche sind einige der Herausforderungen bei der Verwendung von mehr als einem LLM und der Bewältigung ihrer unterschiedlichen Rate-Limits?

LLMs und GenAI entwickeln sich mit atemberaubender Geschwindigkeit, was es absolut kritisch macht, dass jede Geschäftsanwendung, die stark auf diese Technologien angewiesen ist, in der Lage sein muss, Schritt zu halten mit den neuesten und besten trainierten Modellen, sei es durch den Einsatz von proprietären Managed Services oder die Bereitstellung von FOSS-Modellen in der eigenen Infrastruktur. Insbesondere, wenn die Anforderungen des Dienstes steigen und die Rate-Limits den erforderlichen Durchsatz verhindern.

Halluzinationen sind ein häufiges Problem für jedes Unternehmen, das LLMs aufbaut und bereitstellt, wie geht Pathlight dieses Problem an?

Halluzinationen, im Sinne dessen, was ich denke, dass die Leute allgemein damit meinen, sind eine enorme Herausforderung bei der Arbeit mit LLMs in einem ernsthaften Umfeld. Es gibt sicherlich ein Level an Unsicherheit/Unvorhersehbarkeit, das auftritt, wenn man mit einer sogar identischen Aufforderung arbeitet. Es gibt viele Wege, dieses Problem anzugehen, einige davon beinhalten Feinabstimmung (wobei die maximale Nutzung der höchsten Qualität der verfügbaren Modelle für die Generierung von Feinabstimmungsdaten erfolgt).

Pathlight bietet verschiedene Lösungen an, die auf unterschiedliche Marktsegmente wie Reise und Gastgewerbe, Finanzen, Gaming, Einzelhandel und E-Commerce, Kontaktcenter usw. zugeschnitten sind. Können Sie besprechen, wie die generative KI, die hinter den Kulissen für jedes dieser Märkte eingesetzt wird, unterschiedlich ist?

Die Fähigkeit, ein so breites Spektrum an Segmenten anzusprechen, ist einer der einzigartigsten Aspekte der generativen KI. Die Möglichkeit, auf Modelle zuzugreifen, die auf dem gesamten Internet trainiert wurden, mit einem so umfassenden Wissen in allen möglichen Bereichen, ist eine einzigartige Eigenschaft des Durchbruchs, den wir gerade erleben. Dies ist, wie die KI sich im Laufe der Zeit beweisen wird, in ihrer Allgegenwart und sie ist zweifellos bald darauf vorbereitet, angesichts ihres aktuellen Pfades.

Können Sie besprechen, wie Pathlight maschinelles Lernen einsetzt, um Datenanalyse zu automatisieren und verborgene Erkenntnisse zu entdecken?

Ja, definitiv! Wir haben eine lange Geschichte darin, mehrere maschinelle Lernprojekte über viele Jahre hinweg aufzubauen und bereitzustellen. Das generative Modell hinter unserem neuesten Feature Insight Streams ist ein großartiges Beispiel dafür, wie wir maschinelles Lernen eingesetzt haben, um ein Produkt zu schaffen, das direkt darauf abzielt, zu entdecken, was Sie nicht über Ihre Kunden wissen. Diese Technologie nutzt das Konzept des AI-Agents, das in der Lage ist, eine ständig wachsende Reihe von Erkenntnissen zu produzieren, die sowohl die Aktualität als auch die Tiefe der manuellen Analyse unmöglich machen. Im Laufe der Zeit können diese Streams von selbst lernen und

Datenanalyse oder Datenwissenschaftler, Business-Analysten, Vertriebs- oder Kundenbetreuer oder was auch immer ein Unternehmen als die Personen bezeichnet, die für die Analyse von Kundendaten verantwortlich sind, sind vollkommen überfordert von wichtigen Anfragen. Die tiefe Art der Analyse, die normalerweise mehrere Schichten komplexer Systeme und Daten erfordert.

Was ist Ihre persönliche Meinung zu den Durchbrüchen, die wir in der Welle der LLMs und der KI im Allgemeinen erwarten sollten?

Meine persönliche Meinung ist unglaublich optimistisch hinsichtlich des Feldes der LLM-Trainings- und Feinabstimmungsmethoden, die sehr schnell voranschreiten werden, sowie hinsichtlich der Gewinne in breiteren Bereichen und der Multi-Modalität, die zur Norm wird. Ich glaube, dass FOSS bereits in vielen Aspekten so gut wie GPT4 ist, aber die Kosten für die Bereitstellung dieser Modelle werden für die meisten Unternehmen weiterhin ein Anliegen sein.