Trey Doig, CTO și co-fondator la Pathlight – Seria de interviuri

Trey Doig este co-fondatorul și CTO la Pathlight. Trey are peste zece ani de experiență în industria tehnologiei, după ce a lucrat ca inginer pentru IBM, Creative Commons și Yelp. Trey a fost inginer principal pentru Yelp Reservations și a fost responsabil pentru integrarea funcționalității SeatMe pe Yelp.com. Trey a condus și dezvoltarea aplicației web SeatMe, pe măsură ce compania s-a extins pentru a sprijini creșterea de 10 ori a clienților.

Lumina cărării ajută echipele orientate către clienți să mărească performanța și să creeze eficiență cu informații în timp real asupra conversațiilor cu clienții și a performanței echipei. Platforma Pathlight analizează în mod autonom milioane de puncte de date pentru a permite fiecărui strat al organizației să înțeleagă ce se întâmplă în primele linii ale afacerii lor și să determine cele mai bune acțiuni pentru a crea succes repetabil.

Ce te-a atras inițial către informatică?

M-am jucat cu computerele din câte îmi amintesc. Când am împlinit 12 ani, am început programarea și m-am învățat singur Scheme și Lisp, iar curând după aceea am început să construiesc tot felul de lucruri pentru mine și prietenii mei, în primul rând în dezvoltarea web.

Mult mai târziu, când am aplicat la facultate, m-am plictisit de computere și mi-am pus ochiul să intru la școala de design. După ce am fost respins și pus pe lista de așteptare de câteva dintre acele școli, am decis să mă înscriu într-un program CS și nu m-am uitat niciodată înapoi. Mi s-a refuzat acceptarea la scoala de design s-a dovedit a fi una dintre cele mai pline de satisfactii respingeri din viata mea!

Ați ocupat funcții la IBM, Yelp și alte companii. În special, la Yelp, care au fost unele dintre cele mai interesante proiecte la care ați lucrat și care au fost concluziile principale din această experiență?

M-am alăturat lui Yelp prin achiziția SeatMe, compania noastră anterioară, iar din prima zi mi s-a încredințat responsabilitatea integrării motorului nostru de căutare a rezervărilor în prima pagină a Yelp.com.

După doar câteva luni, suntem capabili să propulsăm cu succes acel motor de căutare la scara Yelp, în mare parte datorită infrastructurii robuste pe care Yelp a construit-o intern pentru Elasticsearch. De asemenea, s-a datorat marelui lider ingineresc de acolo, care ne-a permis să ne mișcăm liber și să facem ceea ce am făcut cel mai bine: să expediem rapid.

În calitate de CTO și cofondator al unei companii de informații conversaționale, Pathlight, contribuiți la construirea unei infrastructuri LLM Ops de la zero. Puteți discuta câteva dintre diferitele elemente care trebuie asamblate atunci când implementați o infrastructură LLMOps, de exemplu cum gestionați stratul de gestionare promptă, stratul de flux de memorie, stratul de gestionare a modelului etc.

La sfârșitul anului 2022, ne-am dedicat demersului serios de dezvoltare și experimentare cu modele de limbaj mari (LLM), o acțiune care a condus rapid la lansarea cu succes a nativului nostru GenAI. Inteligența conversației produs doar patru luni mai târziu. Acest produs inovator consolidează interacțiunile clienților de la diverse canale – fie că este text, audio sau video – într-o platformă singulară și cuprinzătoare, permițând o analiză și o înțelegere aprofundată fără egal a sentimentelor clienților.

În navigarea acestui proces complicat, transcriem, purificăm și optimizăm cu meticulozitate datele pentru a fi potrivite în mod ideal pentru procesarea LLM. O fațetă critică a acestui flux de lucru este generarea de înglobări din transcrieri, un pas fundamental pentru eficacitatea etichetării noastre bazate pe RAG, a modelelor de clasificare și a rezumatelor complexe.

Ceea ce deosebește cu adevărat această afacere este noutatea și natura neexploatată a domeniului. Ne aflăm într-o poziție unică, fiind pionieri și descoperind cele mai bune practici concomitent cu comunitatea mai largă. Un exemplu proeminent al acestei explorări este în ingineria promptă - monitorizarea, depanarea și asigurarea controlului calității solicitărilor generate de aplicația noastră. În mod remarcabil, asistăm la o creștere a startup-urilor care oferă acum instrumente comerciale adaptate acestor nevoi de nivel superior, inclusiv funcții de colaborare și capabilități avansate de înregistrare și indexare.

Cu toate acestea, pentru noi, accentul rămâne neclintit pe fortificarea straturilor de bază ale infrastructurii noastre LLMOps. De la reglarea fină a orchestrației, modele de găzduire până la stabilirea de API-uri de inferență robuste, aceste componente de nivel inferior sunt esențiale pentru misiunea noastră. Canalizându-ne aici resursele și priceperea inginerească, ne asigurăm că produsul nostru nu numai că ajunge rapid pe piață, dar se află și pe o bază solidă și de încredere.

Pe măsură ce peisajul evoluează și mai multe instrumente comerciale devin disponibile pentru a aborda complexitățile de nivel superior, strategia noastră ne poziționează să integrăm perfect aceste soluții, îmbunătățindu-ne și mai mult produsul și accelerând călătoria noastră în redefinirea Inteligenței conversației.

Fundamentul Pathlight CI este alimentat de un backend multi-LLM, care sunt unele dintre provocările de a utiliza mai mult de un LLM și de a face față diferitelor limite ale ratei?

LLM-urile și GenAI se mișcă cu o viteză vertiginoasă, ceea ce face absolut esențial ca orice aplicație de afaceri care se bazează în mare măsură pe aceste tehnologii să fie capabilă să rămână în pas cu cele mai noi și mai bune modele instruite, fie că acestea sunt servicii gestionate de proprietate sau implementare. Modele FOSS în propria infra. Mai ales că cerințele serviciului dvs. cresc și limitele ratei împiedică debitul necesar.

Halucinațiile sunt o problemă comună pentru orice companie care construiește și implementează LLM-uri, cum abordează Pathlight această problemă?

Halucinațiile, în sensul a ceea ce cred că oamenii se referă în general ca atare, reprezintă o provocare uriașă în a lucra cu LLM într-o capacitate serioasă. Există cu siguranță un nivel de incertitudine/impredictibilitate care apare în ceea ce este de așteptat de la un prompt chiar identic. Există o mulțime de modalități de abordare a acestei probleme, unele incluzând reglarea fină (în cazul în care maximizarea utilizării modelelor de cea mai înaltă calitate disponibile pentru dvs. în scopul de a genera date de reglare).

Pathlight oferă diverse soluții care se adresează diferitelor segmente de piață, cum ar fi călătorii și ospitalitate, finanțe, jocuri, retail și comerț electronic, centre de contact etc. Puteți discuta despre modul în care AI generativ care este utilizat diferă în culise pentru fiecare dintre aceste piețe?

Capacitatea instantanee de a aborda o gamă atât de largă de segmente este unul dintre cele mai valoroase aspecte ale GenerativeAI. A putea avea acces la modele instruite pe întregul internet, cu o gamă atât de extinsă de cunoștințe în tot felul de domenii, este o calitate atât de unică a descoperirii prin care trecem acum. Acesta este modul în care AI se va dovedi de-a lungul timpului, în cele din urmă, în amploarea sa și cu siguranță este gata să fie atât de curând având în vedere calea sa actuală.

Puteți discuta despre modul în care Pathlight utilizează învățarea automată pentru a automatiza analiza datelor și a descoperi informații ascunse?

Da cu siguranta! Avem o istorie profundă în construirea și livrarea mai multor proiecte de învățare automată de mulți ani. Modelul generativ din spatele ultimei noastre caracteristici Fluxuri de informații, este un exemplu excelent al modului în care am folosit ML pentru a crea un produs poziționat direct pentru a descoperi ceea ce nu știți despre clienții dvs. Această tehnologie folosește conceptul AI Agent, care este capabil să producă un set de informații în continuă evoluție, care face imposibilă atât recentitatea, cât și profunzimea analizei manuale. În timp, aceste fluxuri pot învăța în mod natural de la sine și

Analiza datelor sau oamenii de știință ai datelor, analiștii de afaceri, operațiunile de vânzări sau clienți sau orice altceva desemnează o companie ca fiind responsabili pentru analiza datelor de asistență pentru clienți sunt complet inundați de solicitări importante tot timpul. Genul de analiză profundă, cea care necesită în mod normal straturi și straturi de sisteme și date complexe.

Care este opinia dumneavoastră personală despre tipul de descoperiri la care ar trebui să ne așteptăm în valul de LLM și AI în general?

Viziunea mea personală este incredibil de optimistă în ceea ce privește formarea LLM și metodologiile de reglare pentru a continua să avanseze foarte rapid, precum și pentru a obține câștiguri în domenii mai largi, iar multimodalul devine o normă. Cred că FOSS este deja „la fel de bun ca” GPT4 în multe privințe, dar costul găzduirii acelor modele va continua să fie o preocupare pentru majoritatea companiilor.