Trey Doig, CTO & Co-Founder at Pathlight – Wywiad

Trey Doig jest współzałożycielem i CTO w Pathlight. Trey ma ponad dziesięcioletnie doświadczenie w branży technologicznej, pracując jako inżynier w firmach IBM, Creative Commons i Yelp. Trey był głównym inżynierem w Yelp Reservations i odpowiedzialnym za integrację funkcjonalności SeatMe na Yelp.com. Trey również kierował rozwojem aplikacji webowej SeatMe, gdy firma zwiększyła się, aby obsłużyć 10-krotny wzrost liczby klientów.

Pathlight pomaga zespołom skierowanym na klienta zwiększyć wydajność i efektywność dzięki analizie danych w czasie rzeczywistym oraz informacjom o rozmowach z klientami i wydajności zespołu. Platforma Pathlight automatycznie analizuje miliony punktów danych, aby umożliwić każdej warstwie organizacji zrozumienie tego, co dzieje się na pierwszej linii ich biznesu, oraz określenie najlepszych działań w celu osiągnięcia powtarzalnego sukcesu.

Czym pierwotnie zainteresował się pan komputerami?

Od najmłodszych lat interesowałem się komputerami. Gdy miałem 12 lat, zacząłem się uczyć programowania i nauczyłem się Scheme i Lisp, a następnie zacząłem budować różne rzeczy dla siebie i swoich przyjaciół, głównie w zakresie rozwoju webowego.

Wieki później, gdy aplikowałem na studia, straciłem zainteresowanie komputerami i postanowiłem aplikować na studia projektowe. Po odrzuceniu i umieszczeniu na liście oczekujących przez kilka szkół, postanowiłem zapisać się na studia informatyczne i nie oglądałem się za siebie. Odrzucenie ze studiów projektowych okazało się jednym z najbardziej satysfakcjonujących odrzuceń w moim życiu!

Pan pracował w IBM, Yelp i innych firmach. W Yelp konkretnie, jakie były najciekawsze projekty, nad którymi pan pracował, i jakie były Pana najważniejsze wnioski z tego doświadczenia?

Dołączyłem do Yelp poprzez przejęcie SeatMe, naszej poprzedniej firmy, i od samego początku zostałem powierzony odpowiedzialności za integrację naszego silnika rezerwacji do głównej strony Yelp.com.

Already po kilku miesiącach udało nam się pomyślnie uruchomić ten silnik na skalę Yelp, głównie dzięki solidnej infrastrukturze, którą Yelp zbudował wewnętrznie dla Elasticsearch. Było to również dzięki wspaniałemu przywództwu inżynierskiemu, które pozwoliło nam swobodnie działać i robić to, co robimy najlepiej: wdrażać szybko.

Jako CTO i współzałożyciel firmy Pathlight, pan pomaga budować infrastrukturę LLM Ops od podstaw. Czy mógłby pan omówić niektóre z różnych elementów, które muszą być zmontowane podczas wdrażania infrastruktury LLM Ops, na przykład jak pan zarządza warstwą zarządzania promptami, warstwą strumienia pamięci, warstwą zarządzania modelami itp.

Na koniec 2022 roku poświęciliśmy się poważnemu przedsięwzięciu rozwoju i eksperymentowania z Large Language Models (LLM), co szybko doprowadziło do udanej premiery naszego produktu Conversation Intelligence, rodzimego dla GenAI, zaledwie cztery miesiące później. Ten innowacyjny produkt konsoliduje interakcje klientów z różnych kanałów – czy to tekst, audio, czy wideo – w jedną, kompleksową platformę, umożliwiając niezrównaną głębokość analizy i zrozumienia nastrojów klientów.

Przy nawigowaniu tego skomplikowanego procesu, starannie transkrybujemy, oczyszczamy i optymalizujemy dane, aby były idealnie dopasowane do przetwarzania LLM. Krytycznym aspektem tego przepływu jest generowanie embeddings z transkryptów, co jest niezbędne dla skuteczności naszych modeli tagowania, klasyfikacji i złożonych podsumowań opartych na RAG.

Czym naprawdę wyróżnia się to przedsięwzięcie, jest nowość i niezbadana natura tej dziedziny. Znajdujemy się w unikalnej sytuacji, gdy jednocześnie jesteśmy pionierami i odkrywamy najlepsze praktyki wraz z szerszą społecznością. Wzorcowym przykładem tego poszukiwania jest inżynieria promptów – monitorowanie, debugowanie i zapewnianie kontroli jakości promptów generowanych przez naszą aplikację. Zdumiewające jest, że obserwujemy falę startupów, które teraz dostarczają komercyjne narzędzia dostosowane do tych wyższych potrzeb, w tym funkcji współpracy, zaawansowanego logowania i możliwości indeksowania.

Jednak dla nas nacisk pozostaje niezmienny na umocnieniu podstawowych warstw naszej infrastruktury LLM Ops. Od fine-tuningu, orchestracji, hostowania modeli, po ustanowienie solidnych API inferencyjnych, te niższe komponenty są kluczowe dla naszej misji. Kierując nasze zasoby i inżynierską sprawność tutaj, zapewniamy, że nasz produkt nie tylko wejdzie na rynek szybko, ale również stanie na solidnej, niezawodnej podstawie.

Gdy krajobraz ewoluuje i więcej komercyjnych narzędzi staje się dostępnych, aby rozwiązać wyższe złożoności, nasza strategia pozwala nam na bezproblemową integrację tych rozwiązań, dalej udoskonalając nasz produkt i przyspieszając naszą podróż w переопределении Conversation Intelligence.

Podstawą Pathlight CI jest wielowarstwowa infrastruktura LLM, jakie są niektóre z wyzwań związanych z używaniem więcej niż jednego LLM i radzeniem sobie z ich różnymi limitami stawek?

LLM i GenAI rozwijają się w szybkim tempie, co sprawia, że jest absolutnie kluczowe, aby każda aplikacja biznesowa, która silnie polega na tych technologiach, była w stanie nadążyć za najnowszymi i najlepszymi wytrenowanymi modelami, niezależnie od tego, czy są to zarządzane usługi, czy wdrożone modele FOSS we własnej infrastrukturze. Szczególnie gdy wymagania usługi rosną, a limity stawek uniemożliwiają wymagany przepływ.

Hallucynacje są powszechnym problemem dla każdej firmy, która buduje i wdraża LLM. Jak Pathlight rozwiązuje ten problem?

Hallucynacje, w tym sensie, w jakim ludzie je zwykle rozumieją, są ogromnym wyzwaniem przy poważnej pracy z LLM. Istnieje pewien poziom niepewności/nieprzewidywalności, który pojawia się w tym, czego można oczekiwać od identycznego promptu. Istnieje wiele sposobów podejścia do tego problemu, w tym fine-tuning (gdzie maksymalizacja użycia najwyższej jakości modeli dostępnych do generowania danych dostrajania).

Pathlight oferuje różne rozwiązania dostosowane do różnych segmentów rynkowych, takich jak podróże i hotelarstwo, finanse, gry, handel detaliczny i e-commerce, centra kontaktowe itp. Czy mógłby pan omówić, w jaki sposób Generative AI używany w tych różnych segmentach rynkowych różni się za kulisami?

Natychmiastowa zdolność do zaadresowania tak szerokiej gamy segmentów jest jednym z najbardziej unikalnych aspektów Generative AI. Możliwość dostępu do modeli wytrenowanych na cały Internet, z tak ogromną gamą wiedzy we wszystkich rodzajach dziedzin, jest wyjątkową cechą tego przełomu, którego doświadczamy teraz. To jest sposób, w jaki AI udowodni swoją wartość w czasie, w swojej wszechobecności, i jest na dobrej drodze do osiągnięcia tego wkrótce, biorąc pod uwagę jego obecny tor.

Czy mógłby pan omówić, w jaki sposób Pathlight wykorzystuje uczenie maszynowe do automatyzacji analizy danych i odkrywania ukrytych spostrzeżeń?

Tak, absolutnie! Mamy długą historię budowania i wdrażania wielu projektów związanych z uczeniem maszynowym przez wiele lat. Model generatywny za naszą najnowszą funkcją Insight Streams jest doskonałym przykładem, w jaki sposób wykorzystujemy ML do stworzenia produktu, który bezpośrednio ukierunkowany jest na odkrywanie tego, czego nie wiecie o swoich klientach. Ta technologia wykorzystuje koncepcję agenta AI, który jest w stanie produkować stale ewoluujący zestaw spostrzeżeń, co czyni zarówno świeżość, jak i głębokość ręcznej analizy niemożliwą. Z czasem te strumienie mogą naturalnie uczyć się same i

Analitycy danych lub analitycy biznesowi, osoby odpowiedzialne za analizę danych wsparcia klienta, sprzedaży lub operacji klienta, są całkowicie zalewani ważnymi prośbami przez cały czas. Głęboka analiza, ta, która normalnie wymaga warstw i warstw skomplikowanych systemów i danych.

Jakie jest Pana osobiste zdanie na temat rodzaju przełomów, których możemy oczekiwać w fali LLM i AI ogólnie?

Moje osobiste zdanie jest niezwykle optymistyczne co do pola szkolenia LLM i metodologii dostrajania, które będą nadal szybko postępować, a także osiągać zdobycze w szerszych dziedzinach, a wielomodalność stanie się normą. Uważam, że FOSS jest już „tak samo dobry jak” GPT4 na wiele sposobów, ale koszt hostowania tych modeli będzie nadal problemem dla większości firm.