Trey Doig, CTO & Co-Founder at Pathlight – Haastattelusarja

Trey Doig on Pathlightin perustaja ja CTO. Treyllä on yli kymmenen vuoden kokemus teknologia-alalta, ja hän on työskennellyt insinöörinä IBM:llä, Creative Commonsilla ja Yelpillä. Trey oli johtava insinööri Yelpin varausjärjestelmässä ja vastasi SeatMe-toiminnallisuuden integroimisesta Yelp.comiin. Trey myös johti SeatMen web-sovelluksen kehittämistä, kun yritys laajeni tukemaan 10-kertaista asiakas kasvua.

Pathlight auttaa asiakaspalvelutiimejä parantamaan suorituskykyä ja ajamaan tehokkuutta reaaliaikaisilla näkymillä asiakas keskusteluista ja tiimin suorituskyvystä. Pathlight-alusta analysoi autonomisesti miljoonia tietopisteitä, jotta jokainen organisaation taso voisi ymmärtää, mitä tapahtuu liiketoiminnan eturintamassa, ja määritellä parhaat toimenpiteet toistettavien onnistumisten luomiseksi.

Mikä aluksi veti sinut tietokoneisiin?

Olen leikkinyt tietokoneiden kanssa niin kauan kuin muistan. Kun täytin 12, aloin ohjelmoida ja opetin itselleni Scheme- ja Lisp-kielen, ja pian sen jälkeen aloin rakentaa erilaisia asioita itselleni ja ystävilleni, pääasiassa web-kehityksessä.

Myöhemmin, kun hakiin yliopistoon, olin todella kyllästynyt tietokoneisiin ja suunnittelin pääseväni sisään muotoilukouluun. Kun minut hylättiin ja odotettiin useissa näistä kouluista, päättelin ilmoittautua tietojenkäsittelyohjelmaan ja en katsonut taaksepäin. Muotoilukoulun hylkäys osoittautui yhdeksi elämäni palkitsevimmista hylkäyksistä!

Olet työskennellyt rooleissa IBM:llä, Yelpillä ja muissa yrityksissä. Erityisesti Yelpillä, mitkä olivat joistain mielenkiintoisimmista projekteista, joissa työskentelit, ja mitkä olivat avainopetuksesi tästä kokemuksesta?

Liityin Yelpiin SeatMen hankinnan kautta, ja ensimmäisestä päivästä lähtien minulle annettiin vastuu integroida varaus hakukoneemme Yelp.comin etusivulle.

Vain muutaman kuukauden kuluttua onnistuimme voimakkaasti Elasticsearchin sisäisesti rakennetun robustin infrastruktuurin ansiosta ja myös johtavien insinöörien johdolla, joka salli meidän toimia vapaasti ja tehdä sitä, mitä teimme parhaiten: toimittaa nopeasti.

Pathlightin CTO & Cofounderina, joka on keskustelun älykkyys yritys, autat rakentamaan LLM Ops -infrastruktuuria alusta alkaen. Voitko keskustella eri elementeistä, jotka on koottava, kun otetaan käyttöön LLMOps-infrastruktuuri, esimerkiksi miten hallitset kyselyhallintakerrosta, muistivirtaustasoa, mallinhallintakerrosta jne.

Vuoden 2022 lopussa omistimme itsemme vakavaan yritykseen kehittää ja kokeilla Large Language -malleja (LLM), joka nopeasti johti menestyksekkäästi GenAI-käyttöön perustuvan Keskustelun Älykkyys -tuotteen lanseeraukseen vain neljän kuukauden kuluttua. Tämä innovatiivinen tuote konsolidoi asiakas vuorovaikutukset monista kanavista – olipa se teksti, ääni tai video – yhden, kattavan alustan, joka mahdollistaa ennennäkemättömän syvän analyysin ja ymmärtämisen asiakastunteista.

Navigoidessamme tässä monimutkaisessa prosessissa, meidän on tarkkaan transkriboitava, puhdistettava ja optimoitava dataa LLM-käsittelyyn. Kriittinen osa tästä työnkulusta on upotusten generointi transkriptioista, joka on välttämätöntä RAG-pohjaisen taggaamisen, luokittelumallien ja monimutkaisten yhteenvetojen tehokkuudelle.

Mitä todella erottaa tämän yrityksen on uuden ja karttamattoman alan luonteen. Olemme ainutlaatuisessa asemassa, jossa keksimme ja löydämme parhaimmat käytännöt yhdessä laajemman yhteisön kanssa. Esimerkki tästä tutkimuksesta on kyselyinsinöörit, jossa seurataan, debugataan ja varmistetaan laatua sovelluksessamme generoituista kyselyistä. Huomattavasti, näemme nyt aloittavien yritysten rynnäkkön, jotka tarjoavat kaupallisia työkaluja näille korkeamman tason tarpeille, mukaan lukien yhteistyöominaisuudet, edistyneet lokaus- ja indeksointiominaisuudet.

Kuitenkin meille, painopiste on edelleen vankkumattomasti perustavanlaatuisten kerrosten vahvistamisessa LLMOps-infrastruktuurissamme. Orkestraation hienosäätelystä, mallien isännöinnistä robustiin inference -rajapintoihin, nämä alempien tason komponentit ovat kriittisiä tehtävällemme. Kanaloidessamme resurssejamme ja insinööritaitojamme tänne, varmistamme, että tuotteemme ei vain tule markkinoille nopeasti, vaan myös seisoo vankalla, luotettavalla perustalla.

Kun maisema kehittyy ja enemmän kaupallisia työkaluja tulee saataville korkeamman tason monimutkaisuuksien ratkaisemiseksi, strategiamme asettaa meidät sulauttamaan nämä ratkaisut, parantamaan tuotettamme ja kiihdyttämään matkaamme Keskustelun Älykkyyden uudelleen määrittelyssä.

Pathlight CI:n perusta on monen LLM-takaisen moottorin varassa, mitkä ovat haasteita käytettäessä useampaa kuin yhtä LLM:ää ja käsiteltäessä niiden erilaisia siirtomääriä?

LLM:t ja GenAI kehittyvät kaulan kohdalla, mikä tekee siitä äärimmäisen tärkeää, että kaikki liiketoimintasovellukset, jotka riippuvat näistä teknologioista, kykenevät pysymään ajan tasalla viimeisimmillä ja parhaimmilla koulutetuilla malleilla, olivatpa ne omia hallittuja palveluita tai käyttöön otettuja FOSS-malleja oman infrastruktuurin sisällä. Erityisesti asiakaspalvelun vaatimusten kasvaessa ja siirtomäärärajoitusten estäessä tarvittavan läpipääsyn.

Hallusinaatiot ovat yleinen ongelma kaikille yrityksille, jotka rakentavat ja ottavat käyttöön LLM:itä, miten Pathlight ottaa tämän ongelman haltuun?

Hallusinaatiot, siinä mielessä, mitä ihmiset yleensä tarkoittavat niillä, ovat valtava haaste LLM:ien vakavassa käytössä. On varmasti tietty epävarmuuden / ennustamattomuuden taso, joka ilmenee siinä, mitä voidaan odottaa samanlaisesta kyselystä. On monia tapoja lähestyä tätä ongelmaa, joista osa käsittää hienosäätöä (jossa maksimoidaan korkealaatuisimpien mallien käyttöä tarkoituksiin, kuten generoimalla säätödataa).

Pathlight tarjoaa erilaisia ratkaisuja, jotka palvelevat eri markkinasegmenttejä, kuten matkailu & hotelliala, rahoitus, pelit, vähittäiskauppa & verkkokauppa, asiakaspalvelukeskukset jne. Voitko keskustella siitä, miten Generative AI, jota käytetään, eroaa taustalla näissä markkinoissa?

Välittömästi pystyvätkö osoittamaan niin laajan valikoiman segmenttejä, on yksi Generative AI:n ainutlaatuisesti arvokkaimmista puolista. Pystyäksemme käyttämään malleja, jotka on koulutettu koko internetin kokemuksella, ja joilla on laaja tietämys kaikilla aloilla, on todella ainutlaatuinen ominaisuus tässä murroksessa, jonka kautta mennään. Tämä on tapa, jolla AI todistaa itsensä ajan myötä, sen läpäisyydessä, ja se on varmasti sellainen pian, ottaen huomioon sen nykyisen polun.

Voitko keskustella siitä, miten Pathlight käyttää koneoppimista automatisoidakseen data-analyysin ja löytääkseen piileviä oivalluksia?

Kyllä! Meillä on syvä historia rakentaa ja toimittaa useita koneoppimishankkeita monien vuosien ajan. Generatiivinen malli viimeisimmän ominaisuutemme Insight Streams taustalla on erinomainen esimerkki siitä, miten olemme hyödyntäneet koneoppimista luodaksemme tuotteen, joka on suoraan sijoitettu paljastamaan, mitä et tiedä asiakkaistasi. Tämä teknologia hyödyntää AI-välinkonseptia, joka pystyy tuottamaan jatkuvasti kehittyvän joukon oivalluksia, mikä tekee sekä ajankohtaisuuden että manuaalisen analyysin syvyyden mahdottomaksi. Ajan myötä nämä virrat voivat oppia itsestään ja

Data-analyysi tai data-tutkijat, liiketoimintatutkijat, myynti- tai asiakasoperaatiot tai mitä tahansa yritys määrittää asiakastukea analysoiviksi henkilöiksi, ovat täysin vyörytyneitä tärkeillä pyynnöillä koko ajan. Syvä analyysi, joka normaalisti vaatii kerroksia ja kerroksia monimutkaisia järjestelmiä ja dataa.

Mikä on sinun henkilökohtainen näkemyksesi siitä, mitä läpimurtoja odotamme LLM:a ja AI:ta yleensä koskevassa aallossa?

Minun henkilökohtainen näkemykseni on äärimmäisen optimistinen LLM-koulutus- ja säätömenetelmien jatkuvasta edistymisestä, sekä edistymisestä laajemmissa aloissa ja monitilamuodossa, josta tulee normi. Uskon, että FOSS on jo “yhtä hyvä kuin” GPT4 monilla tavoilla, mutta isäntien kustannukset näille malleille tulee edelleen olemaan huolenaihe useimmille yrityksille.