เทรย์ ดอยก์ CTO และผู้ร่วมก่อตั้ง Pathlight – ซีรีส์สัมภาษณ์

เทรย์ ดอยก์ เป็น CTO และผู้ร่วมก่อตั้ง Pathlight เทรย์มีประสบการณ์มากกว่า 10 ปีในอุตสาหกรรมเทคโนโลยี โดยเคยทำงานเป็นนักวิศวกรที่ IBM Creative Commons และ Yelp เทรย์เป็นหัวหน้าวิศวกรสำหรับ Yelp Reservations และรับผิดชอบในการรวมฟังก์ชัน SeatMe เข้ากับ Yelp.com เทรย์ยังเป็นผู้นำในการพัฒนาเว็บแอปพลิเคชัน SeatMe เมื่อบริษัทเติบโตขึ้นเพื่อรองรับการเติบโตของลูกค้า 10 เท่า

Pathlight ช่วยให้ทีมที่ติดต่อลูกค้าเพิ่มประสิทธิภาพและขับเคลื่อนประสิทธิภาพด้วยข้อมูลเชิงลึกแบบเรียลไทม์เกี่ยวกับการสนทนาของลูกค้าและประสิทธิภาพของทีม แพลตฟอร์ม Pathlight วิเคราะห์ข้อมูลหลายล้านจุดเพื่อให้ทุกๆ ระดับขององค์กรเข้าใจสิ่งที่เกิดขึ้นที่แนวหน้าของธุรกิจ และกำหนดการดำเนินการที่ดีที่สุดในการสร้างความสำเร็จที่ซ้ำกัน

สิ่งใดที่ดึงดูดคุณเข้าสู่วิชาวิทยาการคอมพิวเตอร์?

ฉันเล่นกับคอมพิวเตอร์ตั้งแต่ฉันจำได้ เมื่อฉันอายุ 12 ปี ฉันเริ่มเขียนโปรแกรมและเรียนรู้ Scheme และ Lisp และเริ่มสร้างสิ่งต่างๆ สำหรับฉันและเพื่อนๆ ของฉัน โดยเฉพาะอย่างยิ่งในการพัฒนาเว็บ

เมื่อฉันเข้าเรียนมหาวิทยาลัย ฉันเบื่อกับคอมพิวเตอร์และตั้งเป้าที่จะเข้าเรียนในโรงเรียนออกแบบ หลังจากถูกปฏิเสธและถูกวางในรายชื่อรอจากหลายๆ โรงเรียน ฉันตัดสินใจเข้าเรียนในโปรแกรม CS และไม่เคยหันหลังกลับมา การถูกปฏิเสธเข้าเรียนในโรงเรียนออกแบบกลายเป็นหนึ่งในการปฏิเสธที่น่าพึงพอใจที่สุดในชีวิตของฉัน!

คุณเคยทำงานที่ IBM, Yelp และบริษัทอื่นๆ โดยเฉพาะที่ Yelp คุณทำงานในโครงการที่น่าสนใจอะไรบ้าง และคุณได้รับข้อคิดเห็นอะไรจากประสบการณ์นี้?

ฉันเข้าร่วม Yelp ผ่านการซื้อกิจการของ SeatMe บริษัทก่อนหน้าของเรา และตั้งแต่วันแรก ฉันได้รับมอบหมายให้รับผิดชอบในการรวมเครื่องมือจองของเราเข้ากับหน้าแรกของ Yelp.com

หลังจากเพียงไม่กี่เดือน เราสามารถเปิดใช้งานเครื่องมือค้นหาจองได้สำเร็จที่ขนาดของ Yelp ซึ่งเป็นผลมาจากโครงสร้างพื้นฐานที่แข็งแกร่งที่ Yelp สร้างขึ้นภายในสำหรับ Elasticsearch นอกจากนี้ยังเป็นผลมาจากการ ผู้นำด้านวิศวกรรมที่ดีเยี่ยมที่ Yelp ที่ทำให้เราได้รับอนุญาตให้เคลื่อนไหวได้อย่างอิสระและทำสิ่งที่เราทำได้ดีที่สุด: ส่งมอบผลิตภัณฑ์อย่างรวดเร็ว

ในฐานะ CTO และผู้ร่วมก่อตั้ง Pathlight คุณช่วยสร้างโครงสร้างพื้นฐาน LLM Ops ตั้งแต่ต้น คุณสามารถพูดถึงองค์ประกอบต่างๆ ที่ต้องถูกจัดเตรียมเมื่อใช้งาน LLM Ops เช่น การจัดการ layer ของ prompt, layer ของ memory stream, layer ของ model management ฯลฯ

เมื่อปลายปี 2022 เราได้เริ่มพัฒนาและทดลองใช้ Large Language Models (LLMs) ซึ่งนำไปสู่การเปิดตัวผลิตภัณฑ์ Conversation Intelligence ที่สร้างขึ้นบน GenAI โดยตรงของเราได้สำเร็จภายใน 4 เดือน ผลิตภัณฑ์นี้รวมการโต้ตอบของลูกค้าจากช่องทางต่างๆ เช่น ข้อความ เสียง และวิดีโอ เข้าด้วยกันในแพลตฟอร์มเดียว ทำให้สามารถวิเคราะห์และเข้าใจความรู้สึกของลูกค้าได้อย่างลึกซึ้ง

ในการดำเนินกระบวนการนี้ เราได้ถอดเสียง ทำความสะอาด และปรับข้อมูลให้เหมาะสมเพื่อให้เหมาะสมกับการประมวลผล LLM ขั้นตอนสำคัญคือการสร้างเวกเตอร์แทนความหมาย (embeddings) จากข้อความถอดเสียง ซึ่งเป็นพื้นฐานของการติดป้ายกำกับแบบ RAG โมเดลจำแนกประเภท และการสรุปที่ซับซ้อนของเรา

สิ่งที่ทำให้ผลิตภัณฑ์นี้แตกต่างคือความใหม่และไม่เคยมีมาก่อนของสาขานี้ เราได้พบว่าตัวเองอยู่ในตำแหน่งที่เป็นผู้บุกเบิกและค้นพบแนวทางปฏิบัติที่ดีที่สุดพร้อมๆ กับชุมชนในวงกว้าง ตัวอย่างหนึ่งของการสำรวจนี้คือในด้าน prompt engineering โดยติดตาม ตรวจแก้ข้อผิดพลาด และควบคุมคุณภาพของพรอมป์ต์ที่แอปพลิเคชันสร้างขึ้น เราเห็นสตาร์ตอัปจำนวนมากเริ่มนำเสนอเครื่องมือเชิงพาณิชย์สำหรับความต้องการระดับสูงเหล่านี้ ทั้งการทำงานร่วมกัน การบันทึกเหตุการณ์ขั้นสูง และการทำดัชนี

อย่างไรก็ตาม สำหรับเรา จุดเน้นยังคงอยู่ที่การเสริมสร้างโครงสร้างพื้นฐานของ LLM Ops ของเรา ตั้งแต่การปรับแต่งการทำงาน การจัดเตรียมแบบจำลอง และการสร้าง API การอนุมานที่แข็งแกร่ง ส่วนประกอบระดับพื้นฐานเหล่านี้สำคัญต่อภารกิจของเรา การทุ่มทรัพยากรและความสามารถทางวิศวกรรมตรงนี้ช่วยให้ผลิตภัณฑ์ออกสู่ตลาดได้เร็วและมีฐานที่มั่นคงเชื่อถือได้ เมื่อมีเครื่องมือเชิงพาณิชย์มารองรับงานระดับสูงมากขึ้น กลยุทธ์นี้ช่วยให้เราผสานเครื่องมือเหล่านั้นได้อย่างราบรื่น พัฒนาผลิตภัณฑ์ และเร่งการเปลี่ยนแปลงด้านการวิเคราะห์บทสนทนา

พื้นฐานของ Pathlight CI ถูกขับเคลื่อนโดย LLM หลายตัว คุณสามารถพูดถึงความท้าทายในการใช้ LLM หลายตัวและจัดการกับอัตราการจำกัดที่แตกต่างกัน

LLMs และ GenAI กำลังพัฒนาไปอย่างรวดเร็ว ซึ่งทำให้ธุรกิจที่พึ่งพาเทคโนโลยีเหล่านี้ต้องตามให้ทันโมเดลที่ฝึกแล้วรุ่นใหม่และดีที่สุด ไม่ว่าจะเป็นบริการกรรมสิทธิ์ที่มีผู้ดูแลหรือโมเดล FOSS ที่นำมาใช้งานในโครงสร้างพื้นฐานของตนเอง โดยเฉพาะเมื่อความต้องการของบริการเพิ่มขึ้นและขีดจำกัดอัตราการเรียกใช้งานขัดขวางปริมาณงานที่ต้องการ

ภาวะหลอน (hallucinations) เป็นปัญหาที่พบบ่อยสำหรับบริษัทที่สร้างและใช้งาน LLMs คุณสามารถพูดถึงวิธีการที่ Pathlight จัดการกับปัญหานี้ได้ไหม?

ภาวะหลอนเป็นปัญหาที่สำคัญในการทำงานกับ LLMs ในระดับที่จริงจัง มีความไม่แน่นอนและไม่สามารถคาดเดาได้ในการทำงานกับ LLMs แม้ใช้พรอมป์ต์ที่เหมือนกันทุกประการก็อาจคาดการณ์ผลลัพธ์ไม่ได้ มีหลายวิธีรับมือ รวมถึงการปรับแต่งโมเดลโดยใช้โมเดลคุณภาพสูงที่สุดที่มีอยู่ให้มากที่สุดในการสร้างข้อมูลสำหรับการปรับแต่ง

Pathlight มีผลิตภัณฑ์ที่หลากหลายซึ่งรองรับหลายๆ อุตสาหกรรม เช่น การท่องเที่ยวและการบริการ การเงิน เกม การค้าปลีกและอีคอมเมิร์ซ ศูนย์บริการลูกค้า และอื่นๆ คุณสามารถพูดถึงวิธีการที่ Generative AI ที่ใช้ในผลิตภัณฑ์เหล่านี้แตกต่างกันไปในแต่ละอุตสาหกรรมได้ไหม?

ความสามารถในการตอบสนองต่อหลายๆ อุตสาหกรรมนี้เป็นคุณสมบัติที่มีคุณค่าของ Generative AI การมีแบบจำลองที่ได้รับการฝึกฝนจากข้อมูลที่หลากหลายและครอบคลุมหลายๆ โดเมนโดยโมเดลที่ฝึกจากอินเทอร์เน็ตทั้งหมดมีความรู้กว้างขวางในหลากหลายสาขา นี่เป็นลักษณะเฉพาะของความก้าวหน้าที่เกิดขึ้น AI จะพิสูจน์คุณค่าผ่านการใช้งานที่แพร่หลาย และจากทิศทางปัจจุบันก็น่าจะเกิดขึ้นในไม่ช้า

คุณสามารถพูดถึงวิธีการที่ Pathlight ใช้การเรียนรู้ของเครื่องจักรเพื่อทำให้การวิเคราะห์ข้อมูลเป็นแบบอัตโนมัติและค้นพบข้อมูลที่ซ่อนอยู่ได้ไหม?

ใช่แล้ว! เรามีประสบการณ์ยาวนานในการสร้างและจัดส่งโครงการ machine learning มาหลายปีแล้ว แบบจำลองที่สร้างขึ้นสำหรับผลิตภัณฑ์ Insight Streams ของเรานั้นเป็นตัวอย่างที่ดีของวิธีการที่เราใช้ machine learning เพื่อสร้างผลิตภัณฑ์ที่สามารถค้นพบสิ่งที่คุณยังไม่รู้เกี่ยวกับลูกค้าได้ เทคโนโลยีนี้ใช้แนวคิดเอเจนต์ AI เพื่อสร้างชุดข้อมูลเชิงลึกที่พัฒนาอย่างต่อเนื่อง โดยมีความทันต่อเหตุการณ์และความลึกที่การวิเคราะห์ด้วยมือไม่อาจเทียบได้ เมื่อเวลาผ่านไป กระแสข้อมูลเหล่านี้สามารถเรียนรู้จากตนเองได้

ผู้วิเคราะห์ข้อมูล นักวิทยาศาสตร์ข้อมูล นักวิเคราะห์ธุรกิจ ฝ่ายขาย ฝ่ายปฏิบัติการลูกค้า หรือใครก็ตามที่บริษัทมอบหมายให้วิเคราะห์ข้อมูลบริการลูกค้า ต่างได้รับคำขอสำคัญจำนวนมากอยู่ตลอดเวลา การวิเคราะห์เชิงลึกมักต้องใช้ระบบและข้อมูลที่ซับซ้อนหลายชั้น

คุณมีมุมมองอย่างไรเกี่ยวกับการพัฒนา LLMs และ AI ในอนาคต?

ฉันมองโลกในแง่ดีอย่างมากว่าวิธีฝึกและปรับแต่ง LLM จะพัฒนาอย่างรวดเร็วต่อไป รวมทั้งก้าวหน้าในสาขาที่กว้างขึ้น และการใช้งานแบบหลายรูปแบบข้อมูลจะกลายเป็นมาตรฐาน ฉันเชื่อว่า FOSS มีคุณภาพที่ดีเท่ากับ GPT4 ในหลายๆ ด้าน แต่ต้นทุนในการใช้งานแบบจำลองเหล่านี้ยังคงเป็นปัญหาหลักสำหรับหลายๆ บริษัท