Trey Doig, CTO & Co-Fondator la Pathlight – Seria de Interviuri

Trey Doig este Co-Fondator și CTO la Pathlight. Trey are peste zece ani de experiență în industria tehnologiei, lucrând ca inginer pentru IBM, Creative Commons și Yelp. Trey a fost inginerul principal pentru Yelp Rezervări și a fost responsabil pentru integrarea funcționalității SeatMe pe Yelp.com. Trey a condus, de asemenea, dezvoltarea aplicației web SeatMe, pe măsură ce compania a crescut pentru a susține o creștere de 10 ori a numărului de clienți.

Pathlight ajută echipele care interacționează cu clienții să își îmbunătățească performanța și să crească eficiența cu insight-uri în timp real despre conversațiile cu clienții și performanța echipei. Platforma Pathlight analizează în mod autonom milioane de puncte de date pentru a permite fiecărui nivel al organizației să înțeleagă ce se întâmplă la nivelul clienților și să determine cele mai bune acțiuni pentru a crea succese repetabile.

Ce v-a atras inițial către știința calculatoarelor?

Am jucat cu calculatoarele de când mă știu. Când aveam 12 ani, am început să învăț programare și am învățat Scheme și Lisp, și curând după aceea am început să construiesc tot felul de lucruri pentru mine și prietenii mei, în principal în dezvoltarea web.

Mult mai târziu, când am aplicat la facultate, de fapt mă plictisisem de calculatoare și îmi propusesem să intru la școala de design. După ce am fost refuzat și am fost pus pe lista de așteptare de către câteva dintre aceste școli, am decis să mă înscriu la un program de știință a calculatoarelor și nu m-am mai uitat înapoi. Faptul că am fost refuzat la școala de design s-a dovedit a fi una dintre cele mai valoroase refuzuri din viața mea!

Ați ocupat roluri la IBM, Yelp și alte companii. La Yelp, în special, care au fost cele mai interesante proiecte la care ați lucrat și care au fost principalele concluzii pe care le-ați tras din această experiență?

M-am alăturat Yelp prin achiziționarea SeatMe, compania noastră anterioară, și de la început, am fost însărcinat cu responsabilitatea de a integra motorul nostru de căutare a rezervărilor în pagina principală a Yelp.com.

După doar câteva luni, am reușit să punem în funcțiune acest motor de căutare la scară Yelp, în mare măsură datorită infrastructurii robuste pe care Yelp o construisese intern pentru Elasticsearch. A fost, de asemenea, datorită conducerii tehnice excelente de acolo, care ne-a permis să ne mișcăm liber și să facem ceea ce știam mai bine: să lansăm rapid.

Ca CTO și Co-Fondator al unei companii de inteligență conversațională, Pathlight, sunteți implicat în construirea unei infrastructuri LLM Ops de la zero. Puteți discuta despre diferitele elemente care trebuie asamblate atunci când se implementează o infrastructură LLM Ops, de exemplu, cum gestionați stratul de management al prompturilor, stratul de flux de memorie, stratul de management al modelului etc.

La sfârșitul anului 2022, ne-am dedicat dezvoltării și experimentării cu Modelele Limbajului Mare (LLM), un proiect care a condus rapid la lansarea cu succes a produsului nostru nativ GenAI, Conversația Inteligentă, doar patru luni mai târziu. Acest produs inovator consolidează interacțiunile cu clienții de pe diverse canale – fie text, audio sau video – într-o singură platformă cuprinzătoare, permițând o analiză și o înțelegere fără precedent a sentimentelor clienților.

În navigarea acestui proces complex, transcriem, purificăm și optimizăm datele pentru a fi ideale pentru procesarea LLM. Un aspect critic al acestui flux de lucru este generarea de încorporări din transcrieri, un pas fundamental pentru eficacitatea modelului nostru RAG bazat pe etichetare, clasificare și rezumare complexă.

Ceea ce face ca acest proiect să fie cu adevărat distinct este noutatea și natura neexplorată a domeniului. Ne aflăm într-o poziție unică, în care descoperim și dezvoltăm practici optime în același timp cu comunitatea mai largă. Un exemplu remarcabil al acestei explorări este în ingineria prompturilor – monitorizarea, depanarea și asigurarea controlului calității prompturilor generate de aplicația noastră. În mod remarcabil, asistăm la o explozie de startup-uri care oferă acum instrumente comerciale specializate pentru aceste nevoi de nivel superior, inclusiv funcții de colaborare și capacitate avansată de logare și indexare.

Însă, pentru noi, accentul rămâne ferm pe consolidarea straturilor fundamentale ale infrastructurii noastre LLM Ops. De la orchestrarea fină, găzduirea modelelor, la stabilirea unor API-uri de inferență robuste, aceste componente de nivel inferior sunt critice pentru misiunea noastră. Canalizând resursele și expertiza noastră tehnologică aici, ne asigurăm că produsul nostru nu numai că ajunge pe piață rapid, dar se și sprijină pe o fundație solidă și de încredere.

Pe măsură ce peisajul evoluează și mai multe instrumente comerciale devin disponibile pentru a aborda complexitățile de nivel superior, strategia noastră ne poziționează pentru a integra cu ușurință aceste soluții, îmbunătățind astfel produsul nostru și accelerând drumul nostru în redefinirea Inteligenței Conversaționale.

Baza Pathlight CI este alimentată de un backend multi-LLM, care sunt unele dintre provocările utilizării a mai mult de un LLM și a gestionării ratelor lor limită diferite?

LLM-urile și GenAI-ul se mișcă cu o viteză incredibilă, ceea ce face ca orice aplicație de business care se bazează puternic pe aceste tehnologii să fie capabilă să țină pasul cu cele mai recente și mai bune modele antrenate, fie că sunt servicii gestionate proprietare sau modele FOSS implementate în propria infrastructură. În special, pe măsură ce cerințele serviciului dumneavoastră cresc și ratele limită împiedică debitul necesar.

Hallucinațiile sunt o problemă comună pentru orice companie care construiește și implementează LLM-uri, cum abordează Pathlight această problemă?

Hallucinațiile, în sensul în care oamenii se referă de obicei la ele, sunt o provocare uriașă în lucrul cu LLM-urile într-un mod serios. Există cu siguranță un nivel de incertitudine/nepredictibilitate care apare în ceea ce se așteaptă de la un prompt identic. Sunt multe moduri de abordare a acestei probleme, inclusiv finisarea (unde se maximizează utilizarea modelelor de calitate superioară disponibile pentru generarea datelor de ajustare).

Pathlight oferă diverse soluții care se adresează diferitelor segmente de piață, cum ar fi călătorii și ospitalitate, finanțe, jocuri, retail și comerț electronic, centre de contact etc. Puteți discuta cum se diferențiază Inteligența Generativă utilizată în spatele cortinei pentru fiecare dintre aceste piețe?

Capacitatea instantanee de a aborda un spectru atât de larg de segmente este unul dintre cele mai valoroase aspecte ale GenerativeAI. A avea acces la modele antrenate pe întregul internet, cu o gamă atât de vastă de cunoștințe în toate domeniile, este o calitate unică a acestei descoperiri pe care o traversăm acum. Acesta este modul în care AI-ului își va dovedi valoarea în timp, prin pervazivitatea și este, de asemenea, pregătit să o facă în curând, dată fiind calea sa actuală.

Puteți discuta cum Pathlight utilizează învățarea automată pentru a automatiza analiza datelor și a descoperi insight-uri ascunse?

Da, cu siguranță! Avem o istorie profundă de construire și lansare a mai multor proiecte de învățare automată de-a lungul anilor. Modelul generativ din spatele noii noastre funcții, Insight Streams, este un exemplu excelent de modul în care am utilizat învățarea automată pentru a crea un produs poziționat direct pentru a descoperi ceea ce nu știți despre clienții dvs. Această tehnologie utilizează conceptul de agent AI care poate produce un flux de insight-uri în continuă evoluție, făcând atât recentitatea, cât și profunzimea analizei manuale imposibile. În timp, aceste fluxuri pot învăța de la ele însele și

Analiza datelor sau oamenii de știință din domeniul datelor, analiștii de business, vânzări sau operațiunile cu clienții sau oricine este desemnat de companie pentru a analiza datele de suport clienți sunt complet copleșiți de solicitări importante tot timpul. Analiza profundă, cea care de obicei necesită straturi și straturi de sisteme complexe și date.

Care este punctul dvs. de vedere personal cu privire la tipul de descoperiri pe care ar trebui să le așteptăm în valul LLM-urilor și AI în general?

Punctul meu de vedere este incredibil de optimist cu privire la domeniul formării și ajustării LLM-urilor pentru a continua să progreseze foarte rapid, precum și pentru a face progrese în domenii mai largi, și pentru ca multimodalitatea să devină o normă. Cred că FOSS este deja “la fel de bun ca” GPT4 în multe moduri, dar costul găzduirii acestor modele va continua să fie o preocupare pentru majoritatea companiilor.