Trey Doig, Pathlight’ın Kurucu Ortağı ve Teknik Müdürü – Röportaj Serisi

Trey Doig, Pathlight’ın kurucu ortaklarından ve teknik müdürüdür. Trey, IBM, Creative Commons ve Yelp gibi şirketlerde mühendis olarak çalışarak teknoloji sektöründe 10 yılı aşkın deneyim kazanmıştır. Trey, Yelp Reservations’ın baş mühendisi olarak görev yaptı ve SeatMe işlevselliğini Yelp.com’a entegre etmekten sorumluydu. Ayrıca, şirket 10 kat büyürken SeatMe web uygulamasının geliştirilmesine liderlik etti.

Pathlight, müşteri ile yüz yüze gelen ekiplere gerçek zamanlı müşteri konuşmaları ve ekip performansı hakkında içgörüler sağlayarak performanslarını artırma ve verimliliği artırma konusunda yardımcı olur. Pathlight platformu, milyonlarca veri noktasını otomatik olarak analiz ederek, organizasyonun her katmanının işin ön cephesinde neler olduğu hakkında bilgi edinmesini ve tekrar edilebilir başarı yaratmak için en iyi eylemleri belirlemesini sağlar.

Bilgisayar bilimine ilk olarak neler sizi çekti?

Bilgisayarlarla oynamaya 12 yaşından beri devam ediyorum. 12 yaşına geldiğimde programlamayı öğrendim ve Scheme ve Lisp’i öğrendim, ardından web geliştirme alanında çeşitli şeyler yapmaya başladım.

Daha sonra, üniversiteye başvurduğumda, bilgisayarlarla ilgili ilgimi kaybetmiştim ve tasarım okuluna gitmeye karar verdim. Ancak tasarım okullarından reddedilip beklemeye alındıktan sonra, bir bilgisayar bilimi programına kaydoldum ve geri dönmedim. Tasarım okuluna kabul edilmemem, hayatımın en ödüllü reddedişlerinden biri oldu!

IBM, Yelp ve diğer şirketlerde çeşitli rollerde çalıştınız. Özellikle Yelp’te, en ilginç projeleriniz nelerdi ve bu deneyimden neler öğrendiniz?

Yelp’e, SeatMe’nin satın alınmasının ardından katıldım ve ilk günden itibaren, rezervasyon arama motorumuzu Yelp.com’un ana sayfasına entegre etmekle görevlendirildim.

Yelp’in içlerinde kurduğu güçlü altyapı ve Elasticsearch sayesinde, sadece birkaç ay içinde, arama motorunu Yelp’in ölçeğinde başarıyla çalıştırabildik. Ayrıca, orada olan harika mühendislik liderliği, bize hızlı bir şekilde hareket etmemize ve en iyisini yapmamıza izin verdi.

Pathlight’ın kurucu ortaklarından ve teknik müdürüsünüz. LLM altyapısını sıfırdan inşa etmeye çalışırken, LLMOps altyapısını oluştururken bir araya getirilmesi gereken farklı unsurlar hakkında konuşabilir misiniz? Örneğin, nasıl bir.prompt yönetim katmanı, bellek akışı katmanı, model yönetim katmanı oluşturursunuz?

2022 yılı sonunda, büyük dil modelleri (LLM) ile çalışmaya ve deneysel çalışmalar yapmaya başladık ve sadece dört ay sonra, GenAI tabanlı Konuşma Zekası ürünümüzü başarıyla piyasaya sürdük. Bu yenilikçi ürün, müşteri etkileşimlerini çeşitli kanallardan – metin, ses veya video – tek bir platforma toplar ve müşteri duyguları hakkında eşsiz bir analiz ve anlayış sağlar.

Bu süreci yönetirken, verileri LLM işleme için ideal hale getirmek için titizlikle transkribe eder, temizler ve optimize ederiz. Bu iş akışının kritik bir yönü, transkriptlerden embeddings oluşturmaktır, bu da RAG tabanlı etiketleme, sınıflandırma modelleri ve karmaşık özetlemelerin etkinliği için temel bir adımdır.

Bu girişimi gerçekten ayıran şey, alanın yeni ve keşfedilmeyen doğasıdır. Kendimizi, en iyi uygulamaları aynı anda keşfederken, bu alanda öncü ve keşfetme konumunda buluyoruz. Bir örnek,.prompt mühendisliğidir – uygulamamız tarafından oluşturulan prompt’ları izleme, hata ayıklama ve kalite kontrolü sağlama. Şaşırtıcı bir şekilde, bu daha yüksek düzeydeki gereksinimleri karşılamak için ticari araçlar sunan birçok startup görüyoruz.

Ancak bizim için odak, LLMOps altyapımızın temel katmanlarını güçlendirmeye kalıyor. Model orchestrasyonu, model barındırma, güçlü inference API’leri kurma – bu alt düzey bileşenler, misyonumuz için kritiktir. Kaynaklarımızı ve mühendislik uzmanlığımızı burada yönlendirerek, ürünümüzün sadece hızlı bir şekilde piyasaya sürülmesini değil, aynı zamanda sağlam ve güvenilir bir temel üzerinde durmasını sağlıyoruz.

Manzara evrilip daha fazla ticari araç piyasaya sürüldükçe, stratejimiz, bu çözümleri sorunsuz bir şekilde entegre etmemize ve ürünümüzü daha da geliştirmemize, konuşma zekası alanında yolculuğumuzu hızlandırmamıza olanak tanır.

Pathlight CI, çoklu LLM arka ucuyla çalışıyor. Birden fazla LLM kullanmanın ve farklı hız sınırlarıyla başa çıkmanın zorlukları nelerdir?

LLM’ler ve GenAI, çok hızlı bir şekilde ilerliyor, bu nedenle bu teknolojilere bağlı herhangi bir iş uygulamasının, en son eğitimli modellerle birlikte çalışabilmesi çok önemlidir – ister yönetilen hizmetler olsun, ister kendi altyapınızda FOSS modelleri çalıştırın. Özellikle hizmetinizin talepleri arttıkça ve hız sınırları gereken aktarımı engeller.

Hallüsinasyonlar, LLM’leri inşa eden ve dağıtan herhangi bir şirket için ortak bir sorundur. Pathlight bu sorunu nasıl ele alıyor?

Hallüsinasyonlar, ciddi bir LLM çalışması yapan herkes için büyük bir zorluktur. Biraz belirsizlik ve öngörülemezlik vardır, aynı anda verilen bir.prompt’tan ne bekleneceği konusunda. Bu sorunu ele almak için birçok yol vardır, bazıları fine-tuning’i (maksimum kaliteli modelleri kullanarak eğitim verilerini oluşturmayı) içerir.

Pathlight, seyahat ve konaklama, finans, oyun, perakende ve e-ticaret, çağrı merkezleri gibi farklı pazar segmentlerine hitap eden çeşitli çözümler sunar. Bu pazarların her biri için kullanılan Generatif AI’nin arkasındaki farklılıkları tartışabilir misiniz?

Genel olarak, bu kadar geniş bir segment yelpazesine hitap edebilme yeteneği, Generatif AI’nin en değerli yönlerinden biridir. İnternetin tamamına spread edilmiş bilgiyle eğitilmiş modellere erişebilmek, birçok farklı alanda uzmanlık sunabilmek, bu dönemin gerçek bir avantajıdır.

Pathlight, makine öğrenimi kullanarak veri analizini otomatikleştirmek ve gizli içgörüler keşfetmek için nasıl çalışır?

Evet, kesinlikle! Makine öğrenimi projeleri geliştirme ve sunma konusunda uzun bir geçmişimiz var. Insight Streams adlı son özelliklerimizdeki generatif model, müşteri hakkında bilinmeyenleri keşfetmeye yönelik olarak tasarlanmış bir üründür. Bu teknoloji, AI ajan kavramını kullanır ve müşteri hakkında sürekli olarak gelişen bir içgörüler akışı üretir. Bu akış, zaman içinde kendini öğrenebilir ve

Veri analizi veya veri bilimcileri, iş analistleri, satış veya müşteri operasyonları gibi şirketlerin müşteri destek verilerini analiz etmekten sorumlu kişiler, her zaman önemli taleplerle karşı karşıyadır. Derin analiz, genellikle karmaşık sistemler ve veri katmanları gerektirir.

LLM ve genel olarak AI’de bekleyebileceğimiz türden atılımlar hakkında kişisel görüşünüz nedir?

Kişisel olarak, LLM eğitim ve ayar metodolojilerinin çok hızlı bir şekilde ilerlemeye devam edeceğine ve daha geniş alanlarda kazançlar sağlayacağına, çok modlu kullanımın norm haline geleceğine inanıyorum. FOSS’un zaten birçok方面te GPT4 ile aynı düzeyde olduğuna inanıyorum, ancak bu modelleri barındırmak için gereken maliyet, çoğu şirket için devam eden bir endişe kaynağı olacak.