Trey Doig, CTO & spoluzakladatel společnosti Pathlight – rozhovor

Trey Doig je spoluzakladatel a technický ředitel společnosti Pathlight. Trey má více než deset let zkušeností v technologickém průmyslu, kde pracoval jako inženýr pro IBM, Creative Commons a Yelp. Trey byl vedoucím inženýrem pro Yelp Rezervace a byl zodpovědný za integraci funkcionalit SeatMe na Yelp.com. Trey také vedl vývoj webové aplikace SeatMe, když společnost rostla a podporovala 10x růst zákazníků.

Pathlight pomáhá týmům, které komunikují se zákazníky, zvýšit výkon a efektivitu díky okamžitému přehledu o rozhovorech se zákazníky a výkonu týmu. Platforma Pathlight autonomně analyzuje miliony datových bodů, aby umožnila každé vrstvě organizace pochopit, co se děje na přední linii jejich podnikání, a určit nejlepší akce pro vytváření opakovaného úspěchu.

Co vás původně přitáhlo k počítačovým vědám?

Já jsem si hrál s počítači, co jsem si pamatoval. Když mi bylo 12, začal jsem se učit programovat a sám jsem se naučil Scheme a Lisp, a brzy poté jsem začal stavět všechny druhy věcí pro sebe a své přátele, především ve webovém vývoji.

Mnohem později, když jsem se hlásil na vysokou školu, jsem vlastně ztratil zájem o počítače a chtěl jsem jít na designovou školu. Po tom, co mě několik škol odmítlo a umístilo na čekatelé, jsem se rozhodl zapsat se do programu počítačových věd a nikdy jsem se neohlédl. Byt odmítnutý na designové škole se ukázal být jednou z nejvíce obohacujících odmítnutí mého života!

Měli jste role v IBM, Yelp a dalších společnostech. Konkrétně v Yelp, na jakých zajímavých projektech jste pracoval a co jste z této zkušenosti získal?

Připojil jsem se k Yelp prostřednictvím akvizice SeatMe, naší předchozí společnosti, a od prvního dne jsem byl pověřen odpovědností za integraci našeho rezervačního vyhledávače do úvodní stránky Yelp.com.

Already po několika měsících jsme byli schopni úspěšně spustit tento vyhledávač ve velkém měřítku, a to díky robustní infrastruktuře, kterou Yelp vyvinul pro Elasticsearch. Bylo to také díky skvělému vedení inženýrů, kteří nám umožnili pracovat svobodně a dělat to, co jsme dělali nejlépe: rychle dodávat.

Jako CTO a spoluzakladatel společnosti Pathlight, která se zabývá konverzační inteligencí, pomáháte budovat infrastrukturu LLM Ops od začátku. Můžete diskutovat o různých prvcích, které je třeba sestavit při nasazení infrastruktury LLM Ops, například jak spravujete vrstvu řízení promptů, vrstvu paměťového proudu, vrstvu správy modelů atd.

Na konci roku 2022 jsme se vážně pustili do vývoje a experimentování s velkými jazykovými modely (LLM), což nás rychle vedlo k úspěšnému spuštění našeho produktu Conversation Intelligence, který je rodinější pro GenAI, pouze čtyři měsíce později. Tento inovativní produkt kombinuje interakce zákazníků z různých kanálů – ať už text, audio nebo video – do jediné, komplexní platformy, která umožňuje bezprecedentní hloubku analýzy a porozumění sentimentům zákazníků.

Při navigaci v tomto složitém procesu pečlivě přepisujeme, purifikujeme a optimalizujeme data, aby byla ideálně přizpůsobena pro zpracování LLM. Kritickým aspektem tohoto pracovního postupu je generování vnoření z přepisů, což je základní krok pro efektivní naši RAG-založenou značkování, klasifikaci modelů a komplexní souhrny.

Co skutečně odlišuje tuto iniciativu je novinka a neznámá povaha tohoto oboru. Nacházíme se v jedinečné pozici, kdy současně objevujeme a zavádíme nejlepší postupy s širší komunitou. Příkladem tohoto průzkumu je inženýrství promptů – monitorování, ladění a zajišťování kvality kontrolních promptů generovaných нашей aplikací. Pozoruhodně, svědky jsme vzestupu startupů, které nyní poskytují komerční nástroje přizpůsobené pro tyto vyšší úrovně potřeb, včetně spolupráce, pokročilého protokolování a indexování.

Avšak pro nás zůstává důraz na posilování základních vrstev naší infrastruktury LLM Ops. Od jemného ladění orchestrace, hostování modelů, až po vytváření robustních inferenčních API, tyto nižší úrovně komponent jsou zásadní pro naši misi. Směřováním našich zdrojů a inženýrských schopností sem zajišťujeme, že náš produkt nejen rychle vstoupí na trh, ale také stojí na pevném, spolehlivém základě.

Základna Pathlight CI je poháněna vícevrstevným backendem LLM, jaké jsou některé výzvy spojené s používáním více než jednoho LLM a řešením jejich různých limitů?

LLM a GenAI se pohybují rychlostí, která činí absolutně kritickým, aby jakékoli podnikové aplikace, které silně závisí na těchto technologiích, byly schopny držet krok s nejnovějšími a nejlepšími trénovanými modely, ať už se jedná o proprietární spravované služby nebo nasazení modelů FOSS ve vlastní infrastruktuře. Zvláště když požadavky vaší služby rostou a limity rychlosti brání požadovanému průtoku.

Hallucinace jsou běžným problémem pro jakoukoli společnost, která buduje a nasazuje LLM, jak Pathlight řeší tuto otázku?

Hallucinace, ve smyslu toho, co si lidé obecně myslí, jsou obrovskou výzvou při práci s LLM v vážném smyslu. Existuje určitá úroveň nejistoty/nepředvídatelnosti, která nastává v tom, co se očekává od stejného promptu. Existuje mnoho způsobů, jak přistupovat k tomuto problému, některé zahrnují jemné ladění (kde se maximalizuje využití nejvyšší kvality modelů dostupných pro účely generování ladění dat).

Pathlight nabízí různé řešení, která jsou přizpůsobena pro různé tržní segmenty, jako je cestovní ruch a hospitalita, finance, hry, maloobchod a e-commerce, kontaktní centra atd. Můžete diskutovat o tom, jak se Generativní AI, která se používá, liší za scénami pro každý z těchto trhů?

Schopnost okamžitě řešit tak široký rozsah segmentů je jednou z nejvíce unikátně cenných aspektů Generative AI. Mít přístup k modelům, které byly trénovány na celém internetu, s tak rozsáhlým rozsahem znalostí ve všech typech domén, je tak jedinečnou vlastností průlomu, kterým procházíme nyní. To je způsob, jakým se AI v budoucnu prokáže, ve své všudypřítomnosti, a je jistě připravena být tak brzy, vzhledem k její současné cestě.

Můžete diskutovat o tom, jak Pathlight používá strojové učení k automatizaci analýzy dat a objevování skrytých informací?

Ano, určitě! Máme dlouhou historii budování a vydávání několika projektů strojového učení po mnoho let. Generativní model za naší poslední funkcí Insight Streams je skvělým příkladem toho, jak jsme využili strojové učení k vytvoření produktu, který je přímo zaměřen na odhalení toho, co nevíte o svých zákaznících. Tato technologie využívá koncept AI Agent, který je schopen produkovat neustále se vyvíjející sadu informací, které činí jakékoli ruční analýzy nemožné. S časem se tyto proudy mohou přirozeně naučit sami a

Data analýza nebo data vědci, obchodní analytici, prodej nebo zákaznické operace nebo cokoli, co společnost označuje jako lidi odpovědné za analýzu dat zákaznické podpory, jsou zcela zahlceni důležitými požadavky neustále. Hluboká analýza, ta, která obvykle vyžaduje vrstvy a vrstvy komplexních systémů a dat.

Jaký je váš osobní názor na typ průlomů, které bychom měli očekávat v rámci vlny LLM a AI obecně?

Můj osobní názor je neuvěřitelně optimistický ohledně oboru LLM školení a metodologií ladění, aby pokračovaly ve velmi rychlém pokroku, a také aby dosáhly zisků v širších doménách, a multimodální se staly normou. Věřím, že FOSS je již “tak dobrý jako” GPT4 ve mnoha ohledech, ale náklady na hostování těchto modelů budou pokračovat v představování obav pro většinu společností.