เทรย์ ดอยก์ CTO และผู้ร่วมก่อตั้ง Pathlight – ซีรีส์สัมภาษณ์

เทรย์ ดอยก์ เป็น CTO และผู้ร่วมก่อตั้ง Pathlight เทรย์มีประสบการณ์มากกว่า 10 ปีในอุตสาหกรรมเทคโนโลยี โดย曾ทำงานเป็นนักวิศวกรที่ IBM Creative Commons และ Yelp เทรย์เป็นหัวหน้าวิศวกรสำหรับ Yelp Reservations และรับผิดชอบในการรวมฟังก์ชัน SeatMe เข้ากับ Yelp.com เทรย์ยังเป็นผู้นำในการพัฒนาเว็บแอปพลิเคชัน SeatMe เมื่อบริษัทเติบโตขึ้นเพื่อรองรับการเติบโตของลูกค้า 10 เท่า

Pathlight ช่วยให้ทีมที่ติดต่อลูกค้าเพิ่มประสิทธิภาพและขับเคลื่อนประสิทธิภาพด้วยข้อมูลเชิงลึกแบบเรียลไทม์เกี่ยวกับการสนทนาของลูกค้าและประสิทธิภาพของทีม แพลตฟอร์ม Pathlight วิเคราะห์ข้อมูลหลายล้านจุดเพื่อให้ทุกๆ ระดับขององค์กรเข้าใจสิ่งที่เกิดขึ้นที่แนวหน้าของธุรกิจ และกำหนดการดำเนินการที่ดีที่สุดในการสร้างความสำเร็จที่ซ้ำกัน

สิ่งใดที่ดึงดูดคุณเข้าสู่วิชาวิทยาการคอมพิวเตอร์?

ฉันเล่นกับคอมพิวเตอร์ตั้งแต่ฉันจำได้ เมื่อฉันอายุ 12 ปี ฉันเริ่มเขียนโปรแกรมและเรียนรู้ Scheme และ Lisp และเริ่มสร้างสิ่งต่างๆ สำหรับฉันและเพื่อนๆ ของฉัน โดยเฉพาะอย่างยิ่งในการพัฒนาเว็บ

เมื่อฉันเข้าเรียนมหาวิทยาลัย ฉันเบื่อกับคอมพิวเตอร์และตั้งเป้าที่จะเข้าเรียนในโรงเรียนออกแบบ หลังจากถูกปฏิเสธและถูกวางในรายชื่อรอจากหลายๆ โรงเรียน ฉัน决定เข้าเรียนในโปรแกรม CS และไม่เคยหันหลังกลับมา การถูกปฏิเสธเข้าเรียนในโรงเรียนออกแบบกลายเป็นหนึ่งในการปฏิเสธที่น่าพึงพอใจที่สุดในชีวิตของฉัน!

คุณเคยทำงานที่ IBM, Yelp และบริษัทอื่นๆ โดยเฉพาะที่ Yelp คุณทำงานในโครงการที่น่าสนใจอะไรบ้าง และคุณได้รับข้อคิดเห็นอะไรจากประสบการณ์นี้?

ฉันเข้าร่วม Yelp ผ่านการซื้อกิจการของ SeatMe บริษัทก่อนหน้าของเรา และตั้งแต่วันแรก ฉันได้รับมอบหมายให้รับผิดชอบในการรวมเครื่องมือจองของเราเข้ากับหน้าแรกของ Yelp.com

หลังจากเพียงไม่กี่เดือน เราสามารถเปิดใช้งานเครื่องมือค้นหาจองได้สำเร็จที่ขนาดของ Yelp ซึ่งเป็นผลมาจากโครงสร้างพื้นฐานที่แข็งแกร่งที่ Yelp สร้างขึ้นภายในสำหรับ Elasticsearch นอกจากนี้ยังเป็นผลมาจากการ lãnh đạoวิศวกรรมที่ดีเยี่ยมที่ Yelp ที่ทำให้เราได้รับอนุญาตให้เคลื่อนไหวได้อย่างอิสระและทำสิ่งที่เราทำได้ดีที่สุด: ส่งมอบผลิตภัณฑ์อย่างรวดเร็ว

ในฐานะ CTO และผู้ร่วมก่อตั้ง Pathlight คุณช่วยสร้างโครงสร้างพื้นฐาน LLM Ops ตั้งแต่ต้น คุณสามารถพูดถึงองค์ประกอบต่างๆ ที่ต้องถูกจัดเตรียมเมื่อใช้งาน LLM Ops เช่น การจัดการ layer ของ prompt, layer ของ memory stream, layer ของ model management ฯลฯ

เมื่อปลายปี 2022 เราได้เริ่มพัฒนาและทดลองใช้ Large Language Models (LLMs) ซึ่งนำไปสู่การเปิดตัวผลิตภัณฑ์ Conversation Intelligence ของเราได้สำเร็จภายใน 4 เดือน ผลิตภัณฑ์นี้รวมการโต้ตอบของลูกค้าจากช่องทางต่างๆ เช่น ข้อความ เสียง และวิดีโอ เข้าด้วยกันในแพลตฟอร์มเดียว ทำให้สามารถวิเคราะห์และเข้าใจความรู้สึกของลูกค้าได้อย่างลึกซึ้ง

ในการดำเนินกระบวนการนี้ เราได้ทำการถอดรหัส ขจัดความเสี่ยง และเพิ่มประสิทธิภาพของข้อมูลเพื่อให้เหมาะสมกับการประมวลผล LLM ซึ่งเป็นขั้นตอนที่สำคัญในการสร้างความสำเร็จของผลิตภัณฑ์ของเรา

สิ่งที่ทำให้ผลิตภัณฑ์นี้แตกต่างคือความใหม่และไม่เคยมีมาก่อนของสาขานี้ เราได้พบว่าตัวเองอยู่ในตำแหน่งที่เป็นผู้บุกเบิกและค้นพบแนวทางปฏิบัติที่ดีที่สุดพร้อมๆ กับชุมชนในวงกว้าง ตัวอย่างหนึ่งของการสำรวจนี้คือในด้าน prompt engineering ซึ่งเป็นกระบวนการที่ซับซ้อนและต้องการความเชี่ยวชาญ

อย่างไรก็ตาม สำหรับเรา จุดเน้นยังคงอยู่ที่การเสริมสร้างโครงสร้างพื้นฐานของ LLM Ops ของเรา ตั้งแต่การปรับแต่งการทำงาน การจัดเตรียมแบบจำลอง และการสร้าง API การอนุมานที่แข็งแกร่ง ส่วนประกอบเหล่านี้เป็นปัจจัยสำคัญในการบรรลุเป้าหมายของเรา

พื้นฐานของ Pathlight CI ถูกขับเคลื่อนโดย LLM หลายตัว คุณสามารถพูดถึงความท้าทายในการใช้ LLM หลายตัวและจัดการกับอัตราการจำกัดที่แตกต่างกัน

LLMs และ GenAI กำลังพัฒนาไปอย่างรวดเร็ว ซึ่งทำให้ธุรกิจที่พึ่งพาเทคโนโลยีเหล่านี้ต้องสามารถปรับตัวและพัฒนาไปพร้อมๆ กับเทคโนโลยีใหม่ๆ

การหลอกลวง (hallucinations) เป็นปัญหาที่พบบ่อยสำหรับบริษัทที่สร้างและใช้งาน LLMs คุณสามารถพูดถึงวิธีการที่ Pathlight จัดการกับปัญหานี้ได้ไหม?

การหลอกลวงเป็นปัญหาที่สำคัญในการทำงานกับ LLMs ในระดับที่จริงจัง มีความไม่แน่นอนและไม่สามารถคาดเดาได้ในการทำงานกับ LLMs ซึ่งทำให้การทำงานกับ LLMs เป็นเรื่องที่ท้าทาย

Pathlight มีผลิตภัณฑ์ที่หลากหลายซึ่งรองรับหลายๆ อุตสาหกรรม เช่น การเดินทางและการท่องเที่ยว การเงิน การเล่นเกม การค้าปลีก และอื่นๆ คุณสามารถพูดถึงวิธีการที่ Generative AI ที่ใช้ในผลิตภัณฑ์เหล่านี้แตกต่างกันไปในแต่ละอุตสาหกรรมได้ไหม?

ความสามารถในการตอบสนองต่อหลายๆ อุตสาหกรรมนี้เป็นคุณสมบัติที่มีคุณค่าของ Generative AI การมีแบบจำลองที่ได้รับการฝึกฝนจากข้อมูลที่หลากหลายและครอบคลุมหลายๆ โดเมนเป็นคุณสมบัติที่สำคัญของเทคโนโลยีนี้

คุณสามารถพูดถึงวิธีการที่ Pathlight ใช้การเรียนรู้ของเครื่องจักรเพื่อทำให้การวิเคราะห์ข้อมูลเป็นแบบอัตโนมัติและค้นพบข้อมูลที่ซ่อนอยู่ได้ไหม?

ใช่แล้ว! เรามีประสบการณ์ยาวนานในการสร้างและจัดส่งโครงการ machine learning มาหลายปีแล้ว แบบจำลองที่สร้างขึ้นสำหรับผลิตภัณฑ์ Insight Streams ของเรานั้นเป็นตัวอย่างที่ดีของวิธีการที่เราใช้ machine learning เพื่อสร้างผลิตภัณฑ์ที่สามารถค้นพบข้อมูลที่ไม่ทราบเกี่ยวกับลูกค้าได้

การวิเคราะห์ข้อมูลหรือนักวิเคราะห์ธุรกิจ ผู้จัดการการขายหรือผู้จัดการลูกค้าเป็นคนๆ หนึ่งที่มีความสำคัญในการวิเคราะห์ข้อมูลการสนับสนุนลูกค้า แต่การวิเคราะห์ข้อมูลเหล่านี้มักจะซับซ้อนและต้องการความเชี่ยวชาญ

คุณมีมุมมองอย่างไรเกี่ยวกับการพัฒนา LLMs และ AI ในอนาคต?

มุมมองของฉันคือมีความหวังมากในการพัฒนา LLMs และ AI ในอนาคต ฉันเชื่อว่า FOSS มีคุณภาพที่ดีเท่ากับ GPT4 ในหลายๆ ด้าน แต่ต้นทุนในการใช้งานแบบจำลองเหล่านี้ยังคงเป็นปัญหาหลักสำหรับหลายๆ บริษัท