Edo Liberty, ผู้ก่อตั้งและหัวหน้านักวิทยาศาสตร์ที่ Pinecone – สัมภาษณ์ซีรีส์

Edo Liberty ผู้ก่อตั้งและหัวหน้านักวิทยาศาสตร์ที่ Pinecone เป็นผู้เชี่ยวชาญชั้นนำด้านระบบข้อมูลขนาดใหญ่และปัญญาประดิษฐ์ ก่อนที่จะเริ่ม Pinecone ซึ่งเป็นฐานข้อมูลเวกเตอร์ที่สร้างขึ้นสำหรับการแสดงผลและขนาด เขาเคยดำรงตำแหน่งผู้อำนวยการฝ่ายวิจัยที่ AWS และหัวหน้า Amazon (AMZN ) AI Labs โดยที่ทีมของเขาได้พัฒนาเทคโนโลยีหลักๆ ที่อยู่เบื้องหลัง SageMaker, OpenSearch, Kinesis และอื่นๆ เขาเคยเป็นผู้นำห้องวิจัยของ Yahoo ที่นิวยอร์ก โดยพัฒนาระบบและแอปพลิเคชันปัญญาประดิษฐ์ข้ามการค้นหา การโฆษณา และความปลอดภัย งานของเขาเน้นไปที่อัลกอริทึมและรากฐานทางคณิตศาสตร์สำหรับการจัดการข้อมูลขนาดใหญ่ ซึ่งครอบคลุมถึงการลดขนาด ความคล้ายคลึงกัน การสตรีม และคณิตศาสตร์เชิงเส้นขนาดใหญ่

Pinecone เป็นฐานข้อมูลเวกเตอร์ที่จัดการอย่างเต็มรูปแบบ ซึ่งสร้างขึ้นเพื่อสนับสนุนการค้นหาที่มีประสิทธิภาพและปรับขนาดได้ข้ามข้อมูลแบบไดนามิกขนาดใหญ่ มันสนับสนุนเวกเตอร์ที่หนาแน่นและเวกเตอร์ที่กระจาย การสร้างดัชนีแบบเรียลไทม์ และการกรองตามเมตาดาต้า ในขณะที่รวมเข้ากับคลาวด์ โมเดล และเฟรมเวิร์กชั้นนำได้อย่างไร้ข้อผูกมัด ด้วยการปรับขนาดอัตโนมัติแบบเซิร์ฟเวอร์เลส ความปลอดภัยระดับองค์กร และมาตรฐานความปลอดภัย เช่น SOC 2, ISO 27001, GDPR และ HIPAA Pinecone ให้พื้นฐานที่เชื่อถือได้สำหรับการใช้งาน AI ขนาดใหญ่

คุณก่อตั้ง Pinecone ในปี 2019 หลังจากที่คุณเป็นผู้นำการวิจัยที่ Amazon AI Labs และสร้างระบบอย่าง SageMaker สิ่งใดที่สร้างแรงบันดาลใจให้คุณเริ่ม Pinecone และมุ่งเน้นไปที่ฐานข้อมูลเวกเตอร์โดยเฉพาะ?

ที่ AWS ทีม ML ของเราสร้างระบบที่น่าเหลือเชื่อ แต่เมื่อมันมาถึงหน่วยความจำ ไม่มีทางที่จะค้นหาแบบเซมานติกผ่านข้อมูลที่ไม่มีโครงสร้างขนาดใหญ่ ซึ่งต้องใช้วิศวกรที่เชี่ยวชาญอย่างมากที่รู้วิธีการสร้างโซลูชันการค้นหาเวกเตอร์ที่ซับซ้อน ฉันรู้ว่าถ้ามีทางให้ผู้คนเข้าถึงความอุดมสมบูรณ์ทางเซมานติกที่เวกเตอร์จับได้และรวมเข้ากับโมเดลที่ซับซ้อนได้ แล้วทุกคนจะเร่งความเร็วในการเพิ่มคุณค่าของ AI ให้กับตัวเองได้ ดังนั้นฉันจึงออกจาก AWS ด้วยเป้าหมายที่จะเปลี่ยนแปลงวิธีการทำให้ได้คุณค่าสูงสุดจากข้อมูลที่ไม่มีโครงสร้างที่เป็นของตนเองโดยใช้พลังของ AI

Pinecone เติบโตขึ้นเป็นบริษัทที่กำหนดประเภทฐานข้อมูลเวกเตอร์ เมื่อมองย้อนกลับไป อุปสรรคทางเทคนิคหรือตลาดที่ใหญ่ที่สุดที่คุณต้อง克服เพื่อสร้างประเภทใหม่นี้คืออะไร?

ความท้าทายที่ใหญ่ที่สุด? ไม่มีใครรู้ว่าฐานข้อมูลเวกเตอร์คืออะไร! เราต้องให้ความรู้แก่ตลาดเกี่ยวกับสิ่งที่เรากำลังสร้างและทำไมมันจึงสำคัญ เราได้ถามลูกค้าของเราว่าพวกเขาเรียกมันว่าอะไร และพวกเขาบอกเราว่าฐานข้อมูลเวกเตอร์

เมื่อคนอื่นๆ เริ่มเข้าใจแล้ว พวกเขาจะถามว่าทำไมไม่สามารถใช้โอเพ่นซอร์สได้ และเราต้องอธิบายข้อจำกัดของโอเพ่นซอร์สและผลกระทบด้านประสิทธิภาพและขนาดที่คุณจะได้รับ – และหลังจากทั้งหมดแล้ว คุณยังคงต้องการวิศวกรที่มีประสบการณ์เพื่อสร้างโครงสร้างพื้นฐานของคุณ นั่นเป็นเหตุผลที่เรามีบริการจัดการเสมอและเน้นไปที่ประสบการณ์ของผู้ใช้ ระบบของเรามีความซับซ้อนมากภายใต้ฝาแต่เราทำให้มันเข้าถึงได้ด้วยการเรียก API ที่นักพัฒนาทุกคนสามารถใช้ได้

สิ่งนี้หมายถึงการทำให้ความซับซ้อนของอัลกอริทึมการค้นหาเพื่อนบ้านที่ใกล้เคียงที่สุด การจัดการดัชนี และระบบกระจายทั้งหมดเป็นเรื่องง่ายสำหรับนักพัฒนาที่ไม่ต้องการคิดเกี่ยวกับพารามิเตอร์ HNSW พวกเขาต้องการให้มันทำงาน

คุณได้เปลี่ยนบทบาทจาก CEO ไปเป็น Chief Scientist โดยมี Ash Ashutosh เข้ามานำบริษัท คุณได้รับแรงบันดาลใจจากการตัดสินใจนี้อย่างไร และคุณเห็นบทบาทของคุณเปลี่ยนแปลงไปอย่างไรในระยะต่อไปของ Pinecone?

Pinecone เป็นบริษัท AI และบริษัทที่มีศูนย์กลางการวิจัย เราได้มาถึงจุดนี้เพราะเราได้กำหนดการค้นหา ระบบ และอัลกอริทึมใหม่ และเรายังได้เผยแพร่รายงานทางเทคนิคและเอกสารวิจัย การให้คำบรรยายและการศึกษาตลาด รวมถึงการเขียนหนังสือเรียนและให้หลักสูตรมหาวิทยาลัยเกี่ยวกับ AI และหน่วยความจำ เมื่อบริษัทเติบโตขึ้น เราต้องจัดตั้งความพยายามเหล่านี้ภายใต้ห้องวิจัยที่แยกออกจากธุรกิจอื่นๆ ให้想ถึง DeepMind และ Google (GOOGL ) เป็นตัวอย่าง ในอนาคต ฉันจะโฟกัสพลังงานของฉันไปที่การนำการวิจัย การทำให้ AI มีความรู้ และสร้างผลิตภัณฑ์บริบทถัดไปจาก Pinecone

ในเวลาเดียวกัน Ash จะเป็น CEO ที่น่าเหลือเชื่อและผู้นำสำหรับ Pinecone เขาได้ก่อตั้งและขยายบริษัทโครงสร้างพื้นฐานหลายแห่ง และรู้วิธีการดำเนินธุรกิจอย่าง Pinecone ได้อย่างมีประสิทธิภาพ เขามีความรู้อย่างลึกซึ้งและสร้างสรรค์เกี่ยวกับเทคโนโลยีและตลาดของเรา และเขามีความหลงใหลในการมุ่งเน้นลูกค้าอย่างมาก Ash และฉันจะร่วมมือกันอย่างลึกซึ้งในการเติบโตของบริษัทและธุรกิจของเรา

ในโพสต์บล็อกของคุณ คุณเขียนเกี่ยวกับการ “ทำให้ AI มีความรู้” คุณสามารถอธิบายสิ่งนี้ได้อย่างไรในทางปฏิบัติ และเทคโนโลยีของ Pinecone มีเอกลักษณ์เฉพาะตัวในการทำให้สิ่งนี้เป็นไปได้อย่างไร?

AI ที่ไม่มีหน่วยความจำเหมือนกับบุคคลที่มีความฉลาดสูงแต่มีอาการ健忘: มีความฉลาดมาก แต่ไม่มีบริบท “การทำให้ AI มีความรู้” หมายถึงการให้ระบบ AI สามารถเข้าถึง ทำความเข้าใจ และให้เหตุผลกับข้อมูลจำนวนมากในเวลาเดียวกัน

เรากำลังทำให้แอปพลิเคชันที่ใช้ AI สามารถให้ข้อมูลเชิงลึกที่เกี่ยวข้องในเวลาจริง ซึ่งดึงมาจากข้อมูลที่เข้าใจและจัดระเบียบทางเซมานติก และทำให้แน่ใจว่าระบบ AI ไม่เพียงแต่เดาเท่านั้น แต่ยังสามารถเรียกคืนและสรุปความรู้ตามคำขอได้ สิ่งนี้นำไปสู่ผลลัพธ์ที่แม่นยำ มีข้อมูล และมีความทันสมัยมากขึ้นสำหรับผู้ใช้สุดท้าย

เราทำสิ่งนี้โดยการให้すべてส่วนประกอบและความสามารถสำหรับการเรียกคืนแบบสิ้นสุด-สิ้นสุดคุณภาพสูงในสถานที่เดียว พร้อมกับประสิทธิภาพการเรียกคืนขนาดใหญ่ที่เป็นผู้นำในอุตสาหกรรม

หลังจากที่คุณสอน “หน่วยความจำระยะยาวใน AI” ที่ Princeton คุณเห็นความสัมพันธ์ระหว่างฐานข้อมูลเวกเตอร์กับอนาคตของโมเดล AI อย่างไร คุณเชื่อว่าหน่วยความจำและบริบทเป็นส่วนผสมที่หายไปสำหรับโมเดลขนาดใหญ่ในปัจจุบันหรือไม่?

แน่นอน LLMs เป็นเครื่องจักรที่จับคู่รูปแบบ – เครื่องจักรที่น่าเหลือเชื่อ แต่ยังคงมีข้อจำกัดโดยพื้นฐานจากข้อมูลการฝึกอบรมและหน้าต่างบริบท การเรียนที่ฉันสอนร่วมกับ Matthijs Douze จาก Meta มุ่งเน้นไปที่อัลกอริทึมที่ทำให้การค้นหาเวกเตอร์เป็นไปได้มากกว่าข้อมูลจำนวนมาก อนาคตไม่ใช่โมเดลที่ใหญ่กว่า แต่เป็นการเรียกคืนอย่างชาญฉลาดมากกว่าข้อมูลมากขึ้นในเวลาเดียวกัน

หลายองค์กรต้องดิ้นรนในการย้ายจาก AI ทดลองไปสู่การปรับใช้ในระดับการผลิต Pinecone ช่วยลดช่องว่างนี้ได้อย่างไร และคุณได้สังเกตเห็นแนวทางปฏิบัติที่ดีที่สุดจากลูกค้าที่ประสบความสำเร็จอย่างไร?

ช่องว่างที่ใหญ่ที่สุดมักจะมาจากสามสิ่ง: ประสิทธิภาพ (และต้นทุน) ในระดับขนาดใหญ่ ความปลอดภัย และความซับซ้อน การแสดงตัวอย่างที่ทำงานได้กับเอกสาร 10 ล้านชิ้นจะล้มเหลวที่ 10 พันล้าน การทำงานบางสิ่งที่ใช้เวลาหนึ่งชั่วโมงจะแตกต่างจากการทำงาน 24/7 โดยไม่มีการหยุดทำงาน นั่นเป็นเหตุผลที่เรามุ่งเน้นไปที่สถาปัตยกรรมแบบเซิร์ฟเวอร์เลสของเรา คุณสมบัติระดับองค์กร และความง่ายในการใช้งาน

สิ่งที่สำคัญที่สุดคือการเริ่มต้น ลูกค้าของเราบ่อยครั้งจะประหลาดใจว่าพวกเขาสามารถทำอะไรได้บ้างโดยไม่ต้องคุยกับเรา เราได้ออกแบบมันโดยเจตนา แต่เราก็มีให้เมื่อลูกค้าของเราต้องการ

คุณใช้เวลาทั้งอาชีพการงานในการย้ายระหว่างสภาพแวดล้อมทางวิชาการ การวิจัยเทคโนโลยี (Yahoo, AWS) และการเป็นผู้ประกอบการ สภาพแวดล้อมเหล่านี้มีอิทธิพลต่อแนวทางของคุณในการสร้าง Pinecone อย่างไร?

สภาพแวดล้อมทางวิชาการสอนฉันวิธีการคิดจากหลักการแรก วิธีการสร้างโซลูชันที่ดี ที่ Yahoo และ AWS ฉันเรียนรู้วิธีการสร้างแพลตฟอร์มข้อมูลที่ง่ายซึ่งวิศวกรรักการสร้างบน

การเป็นผู้ประกอบการคือที่ที่คุณเรียนรู้ว่าเทคโนโลยีที่ดีที่สุดชนะเฉพาะเมื่อมันแก้ปัญหาที่แท้จริงในทางที่ผู้คนสามารถใช้ได้จริง

สิ่งนี้มีความสำคัญอย่างยิ่งสำหรับสิ่งที่เรากำลังสร้าง เราไม่ได้เขียนเพียงแค่เอกสารวิจัยหรือสร้างเทคโนโลยีเพื่อเทคโนโลยีเท่านั้น แต่ละนวัตกรรมต้องทำให้ชีวิตของนักพัฒนาง่ายขึ้นและแอปพลิเคชันขององค์กรมีพลังมากขึ้น

การรวมกันของการค้นหาและ AI ดูเหมือนจะเป็นหนึ่งในการเปลี่ยนแปลงที่ใหญ่ที่สุดในการคำนวณ คุณคิดว่าสิ่งนี้จะไปทางไหนในอีกห้าปี และงานของ Pinecone จะช่วยกำหนดอนาคตได้อย่างไร?

การค้นหาจะกลายเป็นการค้นหาที่มีบริบทและแบบสนทนา ในอีกห้าปี คุณจะไม่ “ค้นหา” – คุณจะมีการสนทนากับระบบ AI ที่เข้าใจไม่เพียงแต่คำถามของคุณ แต่ยังเข้าใจความตั้งใจ บริบท ประวัติของคุณด้วย ทุกๆ การโต้ตอบจะถูกแจ้งโดยฐานความรู้ที่อัปเดตในเวลาจริง

เรากำลังสร้างโครงสร้างพื้นฐานสำหรับสิ่งนี้ ฐานข้อมูลเวกเตอร์ของเราคือเพียงจุดเริ่มต้น ฉันเห็นอนาคตที่ทุกแอปพลิเคชันมีบริบทที่ฝังตัวที่ไหน AI ไม่เพียงแต่จะไม่ “หาว่า” แต่ยังตั้งอยู่บนข้อมูล และขอบเขตระหว่างการค้นหาสิ่งที่รู้จะหายไป

ในฐานะ Chief Scientist คุณจะทำงานอย่างใกล้ชิดกับข้อมูล โมเดล และการสร้างต้นแบบ คุณมีความกระตือรือร้นในการวิจัยส่วนใดมากที่สุดในขณะนี้?

โอ้ ฉันไม่รู้ว่าจะเริ่มต้นที่ไหน สำหรับระยะสั้น-กลาง ฉันกำลังดำดิ่งลึกไปในการเพิ่มประสิทธิภาพและความง่ายในการใช้งาน มันจะเร็วและถูกกว่า 10 เท่าได้หรือไม่? เราสามารถทำให้ API ของเราง่ายกว่าที่เป็นอยู่ได้หรือไม่? สิ่งเหล่านี้เป็นปัญหาที่ยาก

ในระยะยาว ฉันหลงใหลในจุดตัดกันของการเรียกคืนและการให้เหตุผล วิธีการสร้างระบบที่ไม่เพียงแต่ค้นหาข้อเท็จจริงที่เกี่ยวข้อง แต่ยังเข้าใจความสัมพันธ์ระหว่างพวกมันด้วย และใช้บริบทนั้นเพื่อสร้าง AI ที่มีความรู้และตัวแทนเชิงปัญญาที่มีพลังมากขึ้น

สุดท้าย ในระดับส่วนตัว การถอยกลับจากบทบาท CEO สิ่งที่คุณตื่นเต้นที่สุดเกี่ยวกับการเปลี่ยนแปลงนี้คืออะไร และคุณหวังว่าจะปลดปล่อยความสำเร็จใดในระยะต่อไปของ Pinecone?

ฉันมีความสุขที่สุดเมื่อฉันอยู่ลึกในโค้ด ทำงานกับทีมวิจัยของเรา และมี “ว้าว สิ่งนี้ทำงานจริงๆ!” ในเวลา 2 นาฬิกา

ความฝันของฉัน? ทำให้การเรียกคืนง่ายจนดูเหมือนจะหายไป ที่นักพัฒนาสามารถสร้างแอปพลิเคชันที่มีบริบทได้โดยไม่ต้องคิดเกี่ยวกับการฝังตัว ดัชนี หรือสิ่งอื่นใด – และมันก็ทำงาน

เรากำลังอยู่ในขณะนี้ที่น่าเหลือเชื่อซึ่ง AI และข้อมูลกำลังมาบรรจบกัน ความเป็นไปได้ไม่มีที่สิ้นสุด และฉันใช้เวลาส่วนใหญ่ในการสร้างอนาคตให้เป็นจริงในขณะนี้

ขอขอบคุณสำหรับการสัมภาษณ์ที่น่าสนใจ ผู้อ่านสามารถเรียนรู้เพิ่มเติมได้ที่ Pinecone