Trey Doig, Pathlightin CTO ja Co-Founder – Haastattelu

Trey Doig on Pathlightin CTO ja Co-Founder. Treyllä on yli kymmenen vuoden kokemus teknologia-alalta, ja hän on työskennellyt insinöörinä IBM:llä, Creative Commonsilla ja Yelpillä. Trey oli Yelp Reservationsin johtava insinööri ja vastasi SeatMe-funktion integroimisesta Yelp.comiin. Trey myös johti SeatMe-verkko-sovelluksen kehittämistä, kun yritys laajeni tukemaan 10-kertaista asiakas kasvua.

Pathlight auttaa asiakaspalvelutiimejä parantamaan suorituskykyä ja tehostamaan toimintaa reaaliaikaisilla näkymillä asiakas keskusteluista ja tiimin suorituskyvystä. Pathlight-alusta analysoi autonomisesti miljoonia tietoja, jotta jokainen organisaation taso voisi ymmärtää, mitä tapahtuu liiketoiminnan eturintamalla, ja määritellä parhaat toimenpiteet luomaan toistettavaa menestystä.

Mikä alun perin houkutteli sinua tietokoneisiin?

Olen leikkinyt tietokoneiden kanssa niin kauan kuin muistan. Kun täytin 12, aloin opiskella ohjelmointia ja opetin itselleni Scheme- ja Lisp-ohjelmointikieliä, ja pian sen jälkeen aloin rakentaa erilaisia asioita itselleni ja ystävilleni, pääasiassa web-kehityksessä.

Myöhemmin, kun hakiessani yliopistoon, olin todella kyllästynyt tietokoneisiin ja suunnittelin pääseväni sisäänmuotoilukouluun. Kun minut hylättiin ja odotettiin useista koulusta, päättelin käydä tietojenkäsittelyohjelmassa ja en katunnut taaksepäin. Sisäänmuotoilukoulun hylkääminen osoittautui yhdeksi elämäni parhaista hylkäyksistä!

Olet toiminut rooleissa IBM:llä, Yelpillä ja muissa yrityksissä. Erityisesti Yelpillä, mitkä olivat johtavimmat projektit, joissa työskentelit, ja mitkä olivat avain havaintosi tästä kokemuksesta?

Liityin Yelpiin SeatMe-nimisen edellisen yrityksemme kautta, ja ensimmäisestä päivästä lähtien minut asetettiin vastuuseen integroimasta varaus hakukoneemme Yelp.comin etusivulle.

Vain muutaman kuukauden kuluttua onnistuimme käyttämään hakukoneemme Yelpin mittakaavassa, suurelta osin kiitos Yelpin sisäisesti rakentaman Elasticsearch-infrastruktuurin. Se oli myös johtuvaa siitä, että Yelpin insinöörijohto antoi meille vapauden toimia vapaasti ja tehdä parhaamme: toimittaa nopeasti.

Pathlightin CTO & Co-Founderina, joka auttaa rakentamaan keskustelun älykkyys infrastruktuuria alusta, voitko keskustella eri elementeistä, jotka on koottava LLMOps-infrastruktuurin käyttöönottoon, esimerkiksi miten hallitset kysymys hallintakerrosta, muisti virta kerrosta, mallin hallintakerrosta jne.

Vuoden 2022 lopussa omistimme itsellemme vakavan tehtävän kehittää ja kokeilla Large Language -malleja (LLM), joka nopeasti johti menestyksekkäästi GenAI-käyttöön ottamaamme Keskustelun Älykkyys -tuotteeseen vain neljän kuukauden kuluttua. Tämä innovatiivinen tuote kokoaa asiakas vuorovaikutukset monista kanavista – olipa se teksti, ääni tai video – yhteen, kattavaan alustaan, joka mahdollistaa ennennäkemättömän syvän analyysin ja ymmärtämisen asiakkaan mielipiteistä.

Navigoidessamme tässä monimutkaisessa prosessissa, meidän on tarkkaan transkriboitava, puhdistettava ja optimoitava dataa LLM-käsittelyyn. Kriittinen osa-alue tässä työssä on sisäkkäiden luominen transkriptioista, joka on välttämätöntä RAG-pohjaisen taggaamisen, luokittelumallien ja monimutkaisten yhteenvetojen tehokkuudelle.

Mikä todella erottaa tämän yrityksen on uuden ja tutkimattoman alan luominen. Olemme ainutlaatuisessa asemassa, jossa keksimme ja löydämme parhaat käytännöt yhdessä laajemman yhteisön kanssa. Esimerkki tästä tutkimuksesta on kysymys insinööritöistä – seuranta, virheenkorjaus ja laadunvarmistus sovelluksessamme generoituja kysymyksiä. Havaitsemme nyt aloittavan aallon startup-yrityksiä, jotka tarjoavat kaupallisia työkaluja näille korkeamman tason tarpeille, mukaan lukien yhteistyöominaisuuksia, edistyneitä lokaus- ja indeksointiominaisuuksia.

Kuitenkin meillä painopiste on vahvistaa perusrakenteita LLMOps-infrastruktuurissamme. Orkestraatiosta, mallien isännöinnistä, vahvasta inference-rajapinnasta, nämä alempien tason komponentit ovat kriittisiä tehtävissämme. Kanaloidessamme resurssejamme ja insinööritaitojamme tänne, varmistamme, että tuotteemme ei vain tule nopeasti markkinoille, vaan myös seisoo vankalla, luotettavalla perustalla.

Kun maisema kehittyy ja enemmän kaupallisia työkaluja tulee saataville korkeamman tason monimutkaisuuksien ratkaisemiseksi, strategiamme asettaa meidät sulauttamaan nämä ratkaisut, edelleen parantaen tuotettamme ja kiihdyttäen matkaamme keskustelun älykkyyden uudelleen määrittelyssä.

Pathlight CI:n perusta on monen LLM-takaisen perusta, mitkä ovat haasteita käytettäessä useampaa LLM:ää ja ratkaisemalla niiden erilaisia siirtomääriä?

LLM:t ja GenAI kehittyvät nopeasti, mikä tekee siitä äärimmäisen tärkeää, että kaikki liiketoimintasovellukset, jotka riippuvat näistä teknologioista, voivat pysyä ajan tasalla viimeisimmillä koulutetuilla malleilla, olivat ne sitten hallittuja palveluita tai käyttöön otettuja FOSS-malleja omassa infrastruktuurissasi. Erityisesti kun palvelun vaatimukset kasvavat ja siirtomäärät estävät tarvittavan läpäisyn.

Harhat ovat yleinen ongelma kaikille yrityksille, jotka rakentavat ja ottavat käyttöön LLM:itä, miten Pathlight ratkaisee tämän ongelman?

Harhat, siinä mielessä, mitä ihmiset yleensä tarkoittavat, ovat valtava haaste LLM:ien vakavassa käytössä. On tietty epävarmuus / ennustamattomuus siinä, mitä voidaan odottaa samanlaisesta kysymyksestä. On monia tapoja lähestyä tätä ongelmaa, jotkut mukaan lukien hienosäätö (jossa maksimoidaan korkealaatuisten mallien käyttöä tarkoituksessa generoida säätödataa).

Pathlight tarjoaa ratkaisuja, jotka palvelevat eri markkinasegmenttejä, kuten matkailu & hotelliala, rahoitus, pelit, vähittäiskauppa & sähkökauppa, asiakaspalvelukeskukset jne. Voitko keskustella, miten Generative AI, jota käytetään, eroaa taustalla näissä markkinoissa?

Vuorovaikutus kykyä osoittaa noin laaja-alaisesti eri segmenteihin on yksi Generative AI:n ainutlaatuisimmista arvoista. Pystyäksesi käsittelemään kokonaisuuden internetiä, jolla on laaja tietojen valikoima eri aloista, on ainutlaatuinen ominaisuus tämän läpimurron kautta. Tämä on tapa, jolla AI todistaa itsensä ajan myötä, sen yleisyydessä, ja se on varmasti sellainen pian, kun se on nykyisellä polullaan.

Voitko keskustella, miten Pathlight käyttää koneoppimista automatisoidakseen data-analyysin ja löytääkseen piileviä oivalluksia?

Kyllä! Meillä on syvä historia rakentamisesta ja toimittamisesta useista koneoppimisprojekteista monien vuosien ajan. Generatiivinen malli viimeisimmän ominaisuutemme Insight Streamsissa on erinomainen esimerkki siitä, miten olemme hyödyntäneet koneoppimista luomaan tuotteen, joka on suoraan sijoitettu paljastamaan, mitä et tiedä asiakkaistasi. Tämä teknologia hyödyntää AI-välinkonseptia, joka pystyy tuottamaan jatkuvasti kehittyvän oivallusten joukon, joka tekee sekä ajankohdan että manuaalisen analyysin syvyyden mahdottomaksi. Ajan myötä nämä virrat voivat oppia itsestään ja

Data-analyysi tai data-tutkijat, liiketoimintaanalyytikot, myynti- tai asiakas operaatiot tai mitä tahansa yritys määrittää henkilöstöksi, joka on vastuussa asiakastukea analysoimisesta, ovat täysin vyörytyneitä tärkeillä pyynnöillä koko ajan. Syvä analyysi, joka normaalisti vaatii kerroksia ja kerroksia monimutkaisia järjestelmiä ja dataa.

Mikä on sinun henkilökohtainen näkemyksesi siitä, mitä läpimurtoja odotamme LLM:aissa ja yleensä AI:ssa?

Minun henkilökohtainen näkemykseni on erittäin optimistinen LLM-koulutus- ja säätömenetelmien jatkuvasta edistymisestä sekä edistymisestä laajemmissa aloissa ja monimodaalisuuden tulemisesta normiksi. Uskon, että FOSS on jo monissa tapauksissa yhtä hyvä kuin GPT4, mutta mallien isännöinnin kustannukset jäävät monille yrityksille huolenaiheeksi.