Trey Doig, CTO & Co-Founder di Pathlight – Seri Wawancara

Trey Doig adalah Co-Founder & CTO di Pathlight. Trey memiliki lebih dari sepuluh tahun pengalaman di industri teknologi, telah bekerja sebagai insinyur untuk IBM, Creative Commons, dan Yelp. Trey adalah insinyur utama untuk Yelp Reservations dan bertanggung jawab atas integrasi SeatMe ke Yelp.com. Trey juga memimpin pengembangan aplikasi web SeatMe saat perusahaan berkembang untuk mendukung pertumbuhan pelanggan 10x.

Pathlight membantu tim yang berfokus pada pelanggan meningkatkan kinerja dan menghemat waktu dengan wawasan waktu nyata tentang percakapan pelanggan dan kinerja tim. Platform Pathlight menganalisis jutaan poin data secara otomatis untuk memberdayakan setiap lapisan organisasi memahami apa yang terjadi di garis depan bisnis mereka, dan menentukan tindakan terbaik untuk menciptakan kesuksesan yang dapat diulang.

Apa yang awalnya menarik Anda ke ilmu komputer?

Saya telah bermain dengan komputer sejak saya ingat. Ketika saya berusia 12 tahun, saya memulai programming dan mengajar diri saya sendiri Scheme dan Lisp, dan tidak lama kemudian memulai membangun berbagai hal untuk saya dan teman-teman saya, terutama dalam pengembangan web.

Banyak kemudian, ketika saya mendaftar ke kuliah, saya telah bosan dengan komputer dan memilih untuk masuk ke sekolah desain. Setelah ditolak dan dimasukkan ke daftar tunggu oleh beberapa sekolah tersebut, saya memutuskan untuk mendaftar ke program CS dan tidak pernah menyesali keputusan itu. Ditolak dari sekolah desain ternyata menjadi salah satu penolakan yang paling bermanfaat dalam hidup saya!

Anda telah menjabat di beberapa perusahaan, termasuk IBM, Yelp, dan lain-lain. Di Yelp, apa saja proyek yang paling menarik yang Anda kerjakan dan apa yang Anda pelajari dari pengalaman tersebut?

Saya bergabung dengan Yelp melalui akuisisi SeatMe, perusahaan sebelumnya, dan dari hari pertama, saya dipercaya dengan tanggung jawab untuk mengintegrasikan mesin pencari reservasi kami ke halaman depan Yelp.com.

Setelah beberapa bulan, kami berhasil mengaktifkan mesin pencari tersebut di skala Yelp, terutama berkat infrastruktur yang kuat yang dibangun Yelp secara internal untuk Elasticsearch. Ini juga karena kepemimpinan teknis yang baik di sana yang memungkinkan kami untuk bergerak dengan cepat dan melakukan apa yang kami lakukan dengan baik: mengirimkan dengan cepat.

Sebagai CTO & Co-Founder dari perusahaan kecerdasan percakapan, Pathlight, Anda membantu membangun infrastruktur LLM Ops dari awal. Apa saja elemen yang berbeda yang perlu dirakit saat menggelar infrastruktur LLMOps, misalnya bagaimana Anda mengelola lapisan manajemen prompt, lapisan aliran memori, lapisan manajemen model, dan lain-lain.

Di akhir 2022, kami memulai proyek serius untuk mengembangkan dan bereksperimen dengan Model Bahasa Besar (LLM), yang kemudian memimpin ke peluncuran sukses produk Kecerdasan Percakapan asli GenAI kami hanya empat bulan kemudian. Produk inovatif ini menggabungkan interaksi pelanggan dari berbagai saluran—baik teks, audio, atau video—ke dalam satu platform komprehensif, memungkinkan analisis dan pemahaman yang lebih dalam tentang sentimen pelanggan.

Dalam menavigasi proses ini, kami dengan hati-hati menerjemahkan, membersihkan, dan mengoptimalkan data untuk disesuaikan dengan pemrosesan LLM. Langkah kunci dalam alur kerja ini adalah pembuatan embedding dari transkrip, yang fundamental untuk efektivitas model tagging, klasifikasi, dan ringkasan yang kompleks.

Apa yang benar-benar membedakan upaya ini adalah keunikan dan sifat yang belum dipetakan dari bidang ini. Kami menemukan diri kami dalam posisi unik, mempelopori dan menemukan praktik terbaik secara bersamaan dengan komunitas yang lebih luas. Contoh menonjol dari eksplorasi ini adalah dalam teknik prompt—memantau, debugging, dan memastikan kontrol kualitas prompt yang dihasilkan oleh aplikasi kami.

Namun, bagi kami, fokus tetap pada memperkuat lapisan dasar infrastruktur LLMOps kami. Dari penyetelan orkestrasi, hosting model, hingga pembuatan API inferensi yang kuat, komponen tingkat rendah ini kritis untuk misi kami. Dengan mengalokasikan sumber daya dan keahlian teknis kami di sini, kami memastikan bahwa produk kami tidak hanya diluncurkan dengan cepat tetapi juga berdiri di atas fondasi yang solid dan dapat diandalkan.

Dasar Pathlight CI ditenagai oleh backend multi-LLM, apa saja tantangan menggunakan lebih dari satu LLM dan menghadapi batas tarif yang berbeda?

LLM dan GenAI berkembang dengan kecepatan yang luar biasa, membuatnya sangat kritis bahwa setiap aplikasi bisnis yang sangat bergantung pada teknologi ini harus dapat mengikuti model terlatih terbaru, apakah itu layanan managed proprietary atau menggelar model FOSS di infrastruktur Anda sendiri. Terutama ketika permintaan layanan Anda meningkat dan batas tarif mencegah throughput yang dibutuhkan.

Hallusinasi adalah masalah umum bagi perusahaan yang membangun dan menggelar LLM, bagaimana Pathlight menangani masalah ini?

Hallusinasi, dalam arti apa yang saya pikir orang umumnya maksud, adalah tantangan besar dalam bekerja dengan LLM dengan kapasitas serius. Ada tingkat ketidakpastian yang tidak terduga yang terjadi dalam apa yang diharapkan dari prompt yang identik. Ada banyak cara untuk mendekati masalah ini, termasuk penyetelan halus (di mana memaksimalkan penggunaan model kualitas tertinggi yang tersedia untuk Anda untuk menghasilkan data penyetelan).

Pathlight menawarkan berbagai solusi yang memenuhi segmen pasar yang berbeda seperti perjalanan & hospitalitas, keuangan, gaming, retail & e-commerce, pusat kontak, dan lain-lain. Apa yang dapat Anda diskusikan tentang bagaimana Generative AI yang digunakan berbeda di balik layar untuk setiap segmen ini?

Kemampuan instan untuk menangani segmen yang begitu luas adalah salah satu aspek paling berharga dari GenerativeAI. Untuk memiliki akses ke model yang dilatih pada keseluruhan internet, dengan pengetahuan yang begitu luas dalam berbagai domain, adalah kualitas unik dari terobosan yang kita alami sekarang. Ini adalah bagaimana AI akan membuktikan dirinya dari waktu ke waktu, dalam keberadaannya yang meluas dan pasti akan terjadi segera mengingat jalur saat ini.

Apakah Anda dapat mendiskusikan bagaimana Pathlight menggunakan pembelajaran mesin untuk mengotomatisasi analisis data dan menemukan wawasan tersembunyi?

Tentu! Kami memiliki sejarah panjang membangun dan mengirimkan beberapa proyek pembelajaran mesin selama bertahun-tahun. Model generatif di balik fitur Insight Streams kami adalah contoh bagus tentang bagaimana kami telah menggunakan ML untuk menciptakan produk yang langsung ditujukan untuk mengungkap apa yang tidak Anda ketahui tentang pelanggan Anda. Teknologi ini menggunakan konsep AI Agent yang dapat menghasilkan serangkaian Wawasan yang berkembang secara terus-menerus, membuat analisis manual yang mendalam dan kompleks menjadi mustahil. Seiring waktu, aliran ini dapat belajar dari dirinya sendiri dan

Analisis data atau ilmuwan data, analis bisnis, penjualan atau operasional pelanggan, atau apa pun yang perusahaan tetapkan sebagai orang yang bertanggung jawab untuk menganalisis data dukungan pelanggan, sepenuhnya dibanjiri oleh permintaan penting sepanjang waktu. Analisis yang mendalam, yang biasanya memerlukan lapisan dan lapisan sistem dan data yang kompleks.

Apa pandangan pribadi Anda tentang terobosan yang dapat kita harapkan dalam gelombang LLM dan AI secara umum?

Pandangan pribadi saya sangat optimis tentang bidang pelatihan dan penyetelan LLM untuk terus berkembang dengan sangat cepat, serta membuat kemajuan dalam domain yang lebih luas, dan multimodal menjadi norma. Saya percaya bahwa FOSS sudah “sebaik” GPT4 dalam banyak hal, tetapi biaya hosting model tersebut akan terus menjadi kekhawatiran bagi sebagian besar perusahaan.