แฟรงค์ หลิว ผู้อำนวยการฝ่ายปฏิบัติการของ Zilliz – ซีรีส์สัมภาษณ์

แฟรงค์ หลิว เป็นผู้อำนวยการฝ่ายปฏิบัติการของ Zilliz ซึ่งเป็นผู้ให้บริการชั้นนำด้านฐานข้อมูลเวกเตอร์และเทคโนโลยี AI พวกเขายังเป็นวิศวกรและนักวิทยาศาสตร์ที่สร้าง LF AI Milvus® ซึ่งเป็นฐานข้อมูลเวกเตอร์แบบโอเพนซอร์สที่ได้รับความนิยมมากที่สุดในโลก

อะไรดึงดูดคุณเข้าสู่การเรียนรู้ของเครื่องในตอนแรก?

ฉันได้สัมผัสพลังของ ML/AI ครั้งแรกขณะเรียนปริญญาตรีที่ Stanford แม้จะค่อนข้างห่างจากวิชาเอกของฉันคือวิศวกรรมไฟฟ้า เดิมฉันสนใจสาขานี้เพราะการย่อระบบไฟฟ้าและระบบกายภาพที่ซับซ้อนให้อยู่ในรูปการประมาณทางคณิตศาสตร์ดูทรงพลังมาก และสถิติกับการเรียนรู้ของเครื่องก็ให้ความรู้สึกเช่นเดียวกัน ระหว่างเรียนระดับบัณฑิตศึกษา ฉันลงเรียนคอมพิวเตอร์วิทัศน์และการเรียนรู้ของเครื่องเพิ่ม และเขียนวิทยานิพนธ์ปริญญาโทเรื่องการใช้ ML ให้คะแนนความงามเชิงสุนทรียะของภาพ สิ่งเหล่านี้นำไปสู่งานแรกในทีม Computer Vision & Machine Learning ของ Yahoo ซึ่งผสมงานวิจัยกับการพัฒนาซอฟต์แวร์ ตอนนั้นยังเป็นยุค AlexNet และ VGG ก่อนโมเดล Transformer การเห็นทั้งสาขาและอุตสาหกรรมเปลี่ยนเร็ว ตั้งแต่การเตรียมข้อมูล การฝึกโมเดลแบบขนานจำนวนมหาศาล ไปจนถึงการนำโมเดลใช้งานจริง เป็นเรื่องน่าทึ่ง หลายแง่มุมทำให้รู้สึกแปลกที่จะพูดว่า “สมัยนั้น” กับสิ่งที่เกิดขึ้นไม่ถึงสิบปีก่อน แต่นั่นคือความก้าวหน้าในสาขานี้

หลังจากที่ทำงานที่ Yahoo ฉันเคยเป็น CTO ของสตาร์ทอัพที่ฉันร่วมก่อตั้ง ซึ่งเราใช้ ML สำหรับการระบุตำแหน่งภายในอาคาร ที่นั่น เราต้องปรับโมเดลแบบลำดับสำหรับไมโครคอนโทรลเลอร์ที่มีขนาดเล็กมาก ซึ่งเป็นความท้าทายด้านวิศวกรรมที่ต่างจากแต่ก็เกี่ยวข้องกับ LLM และโมเดลดิฟฟิวชันขนาดมหาศาลในปัจจุบัน เรายังสร้างฮาร์ดแวร์ ดาเชบอร์ดสำหรับการแสดงภาพ และแอปพลิเคชันที่ออกแบบมาสำหรับคลาวด์ตั้งแต่ต้นแบบง่าย แต่ AI/ML เป็นส่วนสำคัญของงานที่เราทำ

แม้ว่าฉันจะอยู่ในหรือใกล้กับ ML มาเกือบ 7 หรือ 8 ปีแล้ว แต่ฉันยังคงรักการออกแบบวงจรและตรรกะดิจิทัล การมีพื้นฐานมาจากวิศวกรรมไฟฟ้าเป็นประโยชน์อย่างมากสำหรับงานที่ฉันทำในปัจจุบัน ความเข้าใจเกี่ยวกับแนวคิดสำคัญในดิจิทัลดีไซน์ เช่น เมมโมรี่เสมือน การทำนายการแตกแขนงคำสั่ง และการดำเนินการแบบขนานใน HDL ช่วยให้เห็นภาพตลอดทุกชั้นของเทคโนโลยีใน ML และระบบแบบกระจายในปัจจุบัน แม้ฉันเข้าใจแรงดึงดูดของวิทยาการคอมพิวเตอร์ แต่ก็หวังว่าสาขาวิศวกรรมดั้งเดิม เช่น วิศวกรรมไฟฟ้า เครื่องกล และเคมี จะกลับมาเป็นที่นิยมในอีกสองสามปีข้างหน้า

สำหรับผู้ที่ไม่คุ้นเคยกับคำว่า “ข้อมูลที่ไม่มีโครงสร้าง” คืออะไร?

ข้อมูลที่ไม่มีโครงสร้างหมายถึง “ข้อมูลที่ซับซ้อน” ซึ่งเป็นข้อมูลที่ไม่สามารถเก็บไว้ในรูปแบบที่กำหนดไว้ล่วงหน้าหรือไม่สามารถเข้ากับโมเดลข้อมูลที่มีอยู่ได้ ข้อมูลที่มีโครงสร้างหมายถึงข้อมูลที่มีโครงสร้างที่กำหนดไว้ล่วงหน้า เช่น ข้อมูลตัวเลข, สตริง, ตาราง, วัตถุ, และคีย์/วาลูสโตร์ เป็นต้น

เพื่อให้เข้าใจข้อมูลที่ไม่มีโครงสร้างและความท้าทายในการประมวลผลข้อมูลประเภทนี้ ควรเปรียบเทียบกับข้อมูลที่มีโครงสร้าง ข้อมูลที่มีโครงสร้างสามารถเก็บไว้ในรูปแบบแบบเรลเชชันแนลได้ ตัวอย่างเช่น ฐานข้อมูลที่มีตารางสำหรับเก็บข้อมูลหนังสือ แต่ละแถวในตารางสามารถแสดงถึงหนังสือหนึ่งเล่มที่มี ISBN ที่เฉพาะเจาะจง และคอลัมน์จะแสดงถึงหมวดหมู่ข้อมูลที่เกี่ยวข้อง เช่น ชื่อหนังสือ, ผู้แต่ง, วันที่เผยแพร่ เป็นต้น ปัจจุบันมีโมเดลข้อมูลที่ยืดหยุ่นกว่า เช่น ที่เก็บข้อมูลแบบคอลัมน์กว้าง ฐานข้อมูลวัตถุ และฐานข้อมูลกราฟ แต่หลักการยังเหมือนเดิม คือฐานข้อมูลเหล่านี้เก็บข้อมูลที่พอดีกับรูปแบบหรือโมเดลข้อมูลที่กำหนด

ข้อมูลที่ไม่มีโครงสร้างสามารถถือเป็น ก้อนข้อมูลไบนารีที่ดูเสมือนสุ่ม ได้ ซึ่งสามารถแสดงถึงอะไรได้ตามใจชอบ มีขนาดใหญ่หรือเล็กตามที่ต้องการ และสามารถถูกแปลงและอ่านได้ในรูปแบบต่างๆ ซึ่งทำให้ไม่สามารถจัดให้เข้ากับโมเดลข้อมูลใดได้ ยิ่งไม่อาจใส่ลงในตารางฐานข้อมูลเชิงสัมพันธ์

ตัวอย่างของข้อมูลประเภทนี้คืออะไร?

ข้อมูลที่สร้างโดยมนุษย์ เช่น ภาพ, วิดีโอ, เสียง, ภาษาธรรมชาติ เป็นต้น เป็นตัวอย่างของข้อมูลที่ไม่มีโครงสร้าง แต่ก็มีตัวอย่างอื่นๆ ที่น่าสนใจ เช่น ข้อมูลโปรไฟล์ผู้ใช้, โครงสร้างโปรตีน, ลำดับจีโนม, และแม้กระทั่งโค้ดที่อ่านได้โดยมนุษย์ สาเหตุหลักที่ข้อมูลที่ไม่มีโครงสร้างมักจะยากในการจัดการคือสามารถมีรูปแบบใดๆ ก็ได้ และอาจต้องใช้เวลาที่แตกต่างกันในการประมวลผล

การใช้ภาพเป็นตัวอย่าง ภาพสองภาพของฉากเดียวกันอาจมีค่าพิกเซลที่แตกต่างกัน แต่ทั้งสองภาพมีเนื้อหาที่คล้ายกัน ภาษาธรรมชาติยังเป็นตัวอย่างของข้อมูลที่ไม่มีโครงสร้างที่ฉันชอบอ้างถึง วลี “วิศวกรรมไฟฟ้า” และ “วิทยาการคอมพิวเตอร์” มีความเกี่ยวข้องกันอย่างใกล้ชิด จนอาคารของสองสาขาที่ Stanford ตั้งอยู่ติดกัน แต่หากไม่มีวิธีการเข้ารหัสความหมายเชิงความหมายให้กับวลีเหล่านี้ คอมพิวเตอร์อาจคิดว่า “วิทยาการคอมพิวเตอร์” และ “สังคมศาสตร์” มีความเกี่ยวข้องมากกว่า

ฐานข้อมูลเวกเตอร์คืออะไร?

เพื่อเข้าใจฐานข้อมูลเวกเตอร์ ควรเข้าใจก่อนว่า embedding คืออะไร ฉันจะอธิบายต่อไป แต่โดยย่อคือเวกเตอร์ที่มีมิติสูงซึ่งแทนความหมายของข้อมูลไม่มีโครงสร้างได้ โดยทั่วไป embedding สองตัวที่มีระยะใกล้กันมากมักสอดคล้องกับข้อมูลเข้าที่มีความหมายคล้ายกัน ML สมัยใหม่ทำให้เราเข้ารหัสและแปลงข้อมูลไม่มีโครงสร้างหลายชนิด เช่น ภาพและข้อความ ให้เป็นเวกเตอร์ embedding ที่สื่อความหมายได้อย่างทรงพลัง

ในมุมขององค์กร ข้อมูลไม่มีโครงสร้างจะจัดการได้ยากมากเมื่อมีปริมาณเกินระดับหนึ่ง นี่คือจุดที่ฐานข้อมูลเวกเตอร์อย่าง Zilliz Cloud เข้ามาช่วย ฐานข้อมูลเวกเตอร์สร้างมาเพื่อจัดเก็บ ทำดัชนี และค้นหาข้อมูลไม่มีโครงสร้างมหาศาล โดยใช้ embedding เป็นตัวแทนพื้นฐาน โดยทั่วไปค้นหาด้วยเวกเตอร์คำค้น และได้ผลลัพธ์ N รายการที่คล้ายที่สุดตามระยะทาง

ฐานข้อมูลเวกเตอร์ที่ดีที่สุดมีคุณสมบัติความสามารถใช้งานที่คล้ายกับฐานข้อมูลแบบเรลเชชันแนล เช่น การขยายขนาดแบบแนวนอน, การแคช, การทำซ้ำ, การสลับไปใช้ระบบสำรองเมื่อเกิดความขัดข้อง, และการดำเนินการคำถาม เป็นต้น ในฐานะผู้กำหนดประเภท เราได้เข้าร่วมในวงการวิชาการและได้ตีพิมพ์งานวิจัยใน SIGMOD 2021 และ VLDB 2022 ซึ่งเป็นสองการประชุมฐานข้อมูลชั้นนำ

คุณสามารถอธิบายเกี่ยวกับการฝังตัวได้หรือไม่?

โดยทั่วไป embedding คือเวกเตอร์มิติสูงที่มาจากการกระตุ้นของชั้นกลางในโครงข่ายประสาทเทียมหลายชั้น โครงข่ายจำนวนมากฝึกให้สร้าง embedding โดยตรง และบางแอปพลิเคชันใช้เวกเตอร์จากหลายชั้นกลางมาต่อกันเป็น embedding แต่ฉันจะยังไม่ลงรายละเอียดทั้งสองวิธี อีกวิธีที่พบน้อยกว่าแต่สำคัญไม่แพ้กันคือคุณลักษณะที่มนุษย์ออกแบบเอง แทนให้โมเดล ML เรียนรู้ตัวแทนข้อมูลที่เหมาะสมอัตโนมัติ วิศวกรรมคุณลักษณะแบบดั้งเดิมก็ยังใช้ได้กับหลายงาน ไม่ว่าวิธีพื้นฐานใด embedding ของสิ่งที่มีความหมายคล้ายกันจะอยู่ใกล้กันตามระยะทาง และคุณสมบัตินี้ขับเคลื่อนฐานข้อมูลเวกเตอร์

ตัวอย่างการใช้งานที่นิยมของเทคโนโลยีนี้คืออะไร?

ฐานข้อมูลเวกเตอร์เหมาะสำหรับการใช้งานใดๆ ที่ต้องการการค้นหาเชิงความหมาย เช่น การแนะนำผลิตภัณฑ์, การวิเคราะห์วิดีโอ, การค้นหาเอกสาร, การตรวจจับภัยคุกคามและการฉ้อโกง, และแชทบอทที่ใช้ AI เป็นต้น เพื่ออธิบายให้เห็นภาพชัดเจนยิ่งขึ้น Milvus ซึ่งเป็นฐานข้อมูลเวกเตอร์แบบโอเพนซอร์สที่สร้างโดย Zilliz และเป็นแก่นกลางของ Zilliz Cloud ได้ถูกใช้โดยผู้ใช้ระดับองค์กรมากกว่า 1,000 รายในหลายๆ การใช้งาน

ฉันชอบพูดคุยเกี่ยวกับการใช้งานเหล่านี้และช่วยให้คนเข้าใจว่ามันทำงานอย่างไร แต่ฉันก็ชอบพูดถึงการใช้งานฐานข้อมูลเวกเตอร์ที่ไม่ค่อยเป็นที่รู้จักเช่นกัน การค้นหายาใหม่คือหนึ่งในตัวอย่างที่ฉันชอบพูดถึงมากที่สุด การท้าทายสำหรับการใช้งานนี้คือการค้นหาสารที่เป็นตัวเลือกสำหรับพัฒนายาที่มีศักยภาพในการรักษาโรคหรืออาการใดๆ ในฐานข้อมูลที่มีสารประกอบ 800 ล้านชนิด บริษัทเภสัชกรรมที่เราพูดคุยด้วยสามารถปรับปรุงกระบวนการค้นหายาอย่างมาก พร้อมลดทรัพยากรฮาร์ดแวร์ โดยใช้ Milvus ร่วมกับไลบรารีเคมีสารสนเทศชื่อ RDKit

อีกตัวอย่างหนึ่งที่ฉันชอบพูดถึงคือ AI ArtLens ของ Cleveland Museum of Art (CMA) ซึ่งเป็นเครื่องมืออินเทอร์แอคทีฟที่รับภาพเป็นคำถามและดึงภาพที่คล้ายกันออกมาจากฐานข้อมูลของพิพิธภัณฑ์ ซึ่งเป็นตัวอย่างของการค้นหาภาพย้อนกลับ และเป็นการใช้งานที่พบบ่อยสำหรับฐานข้อมูลเวกเตอร์ แต่คุณค่าพิเศษที่ Milvus มอบให้ CMA คือทำให้แอปพลิเคชันพร้อมใช้งานภายในหนึ่งสัปดาห์ด้วยทีมขนาดเล็กมาก

คุณสามารถพูดถึงแพลตฟอร์มแบบโอเพนซอร์ส Towhee ได้หรือไม่?

เมื่อพูดคุยกับคนในชุมชน Milvus เราพบว่าหลายคนต้องการวิธีเดียวกันในการสร้าง embedding สำหรับ Milvus ซึ่งเป็นจริงสำหรับแทบทุกองค์กรที่เราคุยด้วย โดยเฉพาะบริษัทที่มีวิศวกรการเรียนรู้ของเครื่องไม่มาก Towhee มุ่งเติมช่องว่างนี้ด้วยสิ่งที่เราเรียกว่า “ETL สำหรับข้อมูลเวกเตอร์” ขณะที่กระบวนการ ETL แบบดั้งเดิมรวมและแปลงข้อมูลมีโครงสร้างจากหลายแหล่งให้เป็นรูปแบบใช้งานได้ Towhee ออกแบบมาสำหรับข้อมูลไม่มีโครงสร้าง และรวม ML ไว้ในกระบวนการ ETL อย่างชัดเจน โดยมีโมเดล อัลกอริทึม และการแปลงหลายร้อยรายการเป็นส่วนประกอบของ ETL สำหรับข้อมูลเวกเตอร์ นอกจากนี้ยังมี Python API ที่ใช้ง่าย ทำให้นักพัฒนาสร้างและทดสอบกระบวนการ ETL เหล่านี้ได้ด้วยโค้ดบรรทัดเดียว

แม้ว่า Towhee จะเป็นโครงการอิสระ แต่ก็เป็นส่วนหนึ่งของระบบนิเวศฐานข้อมูลเวกเตอร์ที่กว้างขึ้นซึ่ง Zilliz กำลังสร้างขึ้นโดยมี Milvus เป็นศูนย์กลาง เราเห็น Milvus และ Towhee เป็นสองโครงการที่เสริมกันซึ่งเมื่อใช้ร่วมกันสามารถทำให้การประมวลผลข้อมูลที่ไม่มีโครงสร้างเป็นประชาธิปไตยได้จริงๆ

Zilliz เพิ่งได้รับการสนับสนุน 60 ล้านดอลลาร์ ในรอบ Series B จะเร่งรัดภารกิจของ Zilliz อย่างไร?

ก่อนอื่น ฉันอยากจะขอบคุณ Prosperity7 Ventures, Pavilion Capital, Hillhouse Capital, 5Y Capital, Yunqi Capital และผู้สนับสนุนอื่นๆ ที่เชื่อมั่นในภารกิจของ Zilliz และให้การสนับสนุนเราในการขยายรอบ Series B นี้ เราได้ระดมทุนรวมแล้ว 113 ล้านดอลลาร์ และการสนับสนุนรอบนี้จะช่วยให้เราขยายทีมวิศวกรรมและทีมงานนำผลิตภัณฑ์ออกสู่ตลาดของเรา โดยเฉพาะการปรับปรุงบริการคลาวด์แบบมีการจัดการ ซึ่งยังเปิดให้เข้าใช้ก่อนกำหนดและมีแผนให้ทุกคนใช้ได้ภายในปีนี้ เราจะลงทุนต่อในงานวิจัยฐานข้อมูลและ AI แนวหน้า เช่นเดียวกับตลอดสี่ปีที่ผ่านมา

มีอะไรอีกไหมที่คุณต้องการแบ่งปันเกี่ยวกับ Zilliz?

ในฐานะบริษัท เรากำลังเติบโตอย่างรวดเร็ว แต่สิ่งที่ทำให้ทีมของเราต่างจากคนอื่นๆ ในอุตสาหกรรมฐานข้อมูลและ ML คือความหลงใหลที่แท้จริงต่อสิ่งที่เรากำลังสร้าง เรามีภารกิจที่จะทำให้การประมวลผลข้อมูลที่ไม่มีโครงสร้างเป็นประชาธิปไตย และเป็นเรื่องที่น่าเหลือเชื่อที่ได้เห็นคนเก่งๆ มากมายที่ Zilliz ทำงานเพื่อเป้าหมายเดียวกัน หากสิ่งที่เราทำฟังดูน่าสนใจ คุณสามารถ ติดต่อเรา ได้ เรายินดีให้คุณมาร่วมงานด้วย

หากคุณสนใจที่จะรู้เพิ่มเติม ฉันยังเปิดให้พูดคุยเกี่ยวกับ Zilliz, ฐานข้อมูลเวกเตอร์, หรือความก้าวหน้าในการฝังตัวใน AI/ML อยู่เสมอ ประตูในเชิงเปรียบเทียบของฉันเปิดอยู่เสมอ คุณสามารถติดต่อฉันโดยตรงผ่าน Twitter/LinkedIn ได้

สุดท้าย ขอขอบคุณที่อ่าน!

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Zilliz เพื่อเรียนรู้เพิ่มเติม