ลิน เฉียว ซีอีโอ และผู้ร่วมก่อตั้ง Fireworks AI – ซีรีส์สัมภาษณ์

ลิน เฉียว เคยดำรงตำแหน่งหัวหน้า Meta’s PyTorch และเป็นผู้ร่วมก่อตั้งและซีอีโอของ Fireworks AI Fireworks AI เป็นแพลตฟอร์ม AI สำหรับการผลิตที่ถูกสร้างขึ้นสำหรับนักพัฒนา Fireworks ร่วมมือกับนักวิจัย AI ที่มีชื่อเสียงระดับโลกเพื่อให้บริการโมเดลที่ดีที่สุดด้วยความเร็วที่เร็วที่สุด Fireworks AI ได้ระดมทุน $25M Series A

สิ่งใดที่ดึงดูดคุณให้เข้าสู่สาขาวิทยาการคอมพิวเตอร์?

พ่อของฉันเป็นวิศวกรเครื่องกลระดับสูงในอู่ต่อเรือ ซึ่งเขาสร้างเรือบรรทุกสินค้าจากศูนย์ ตั้งแต่เด็ก ฉันเรียนรู้ที่จะอ่านมุมและขนาดที่แม่นยำของแผนผังเรือ และฉันชอบมัน

ฉันสนใจ STEM มาตั้งแต่ระดับมัธยมต้น และทุกอย่างที่เกี่ยวข้องกับคณิตศาสตร์ ฟิสิกส์ และเคมี ฉันเรียนรู้การเขียนโปรแกรมภาษา BASIC ในโรงเรียนมัธยม และเขียนเกมเกี่ยวกับงูสวะที่กินหางของมันเอง หลังจากนั้น ฉันรู้ว่าวิทยาการคอมพิวเตอร์เป็นอนาคตของฉัน

ในขณะที่คุณอยู่ที่ Meta คุณได้นำทีมวิศวกร AI มากกว่า 300 คน และสร้างและใช้งาน Caffe2 และ PyTorch คุณได้เรียนรู้อะไรจากประสบการณ์นี้?

บริษัท Big Tech เช่น Meta มักจะอยู่ข้างหน้าเส้นโค้ง 5 ปีหรือมากกว่า เมื่อฉันเข้าร่วม Meta ในปี 2015 เราเริ่มต้นการเดินทาง AI ของเรา โดยเปลี่ยนจาก CPU เป็น GPU เราต้องออกแบบโครงสร้างพื้นฐาน AI จากศูนย์ โมเดลอย่าง Caffe2 เป็นนวัตกรรมเมื่อถูกสร้างขึ้น แต่ AI พัฒนาเร็วมากจนกลายเป็นโมเดลที่ล้าสมัย เราได้พัฒนา PyTorch และระบบทั้งหมดรอบๆ มันเพื่อแก้ปัญหา

PyTorch คือที่ที่ฉันเรียนรู้เกี่ยวกับอุปสรรคที่ใหญ่ที่สุดของนักพัฒนาในการสร้าง AI อุปสรรคแรกคือการหาสถาปัตยกรรมโมเดลที่มีเสถียรภาพและเชื่อถือได้ ซึ่งมี Latency ต่ำและยืดหยุ่น เพื่อให้โมเดลสามารถปรับขนาดได้ อุปสรรคที่สองคือต้นทุนรวมของการเป็นเจ้าของ เพื่อให้บริษัทไม่ล้มละลายในการเติบโตโมเดลของพวกเขา

ช่วงเวลาที่ฉันอยู่ที่ Meta ทำให้ฉันเห็นความสำคัญของการเปิดแหล่งที่มาของโมเดลและเฟรมเวิร์กอย่าง PyTorch มันส่งเสริมนวัตกรรม เราไม่สามารถเติบโตได้มากเท่าที่เราทำที่ PyTorch หากไม่มีโอกาสในการปรับปรุงแบบเปิดแหล่งที่มา นอกจากนี้ยังเป็นไปไม่ได้ที่จะตามทันการวิจัยล่าสุดโดยไม่มีการร่วมมือ

คุณสามารถพูดถึงสิ่งที่นำไปสู่การเปิดตัว Fireworks AI ได้หรือไม่?

ฉันอยู่ในอุตสาหกรรมเทคโนโลยีมามากกว่า 20 ปี และฉันเห็นคลื่นการเปลี่ยนแปลงในอุตสาหกรรมต่อเนื่อง แต่การเปลี่ยนแปลง AI นี้เป็นการเปลี่ยนแปลงที่สมบูรณ์ ฉันเห็นบริษัทหลายแห่งที่ต่อสู้กับการเปลี่ยนแปลงนี้ ทุกคนต้องการเคลื่อนที่อย่างรวดเร็วและให้ AI เป็นศูนย์กลาง แต่พวกเขาไม่มีโครงสร้างพื้นฐาน ทรัพยากร และทักษะที่จะทำให้เกิดขึ้น เมื่อฉันพูดคุยกับบริษัทเหล่านี้มากขึ้น ฉันรู้ว่าฉันสามารถแก้ไขช่องว่างในตลาดนี้ได้

ฉันเริ่มต้น Fireworks AI เพื่อแก้ปัญหานี้และเป็นการสืบทอดงานที่น่าเหลือเชื่อที่เราได้ทำที่ PyTorch มันสร้างแรงบันดาลใจให้กับชื่อของเรา! PyTorch คือคบเพลิงที่ถือไฟ แต่เราต้องการให้ไฟนี้แพร่กระจายไปทุกที่ ดังนั้นเราจึงใช้ชื่อ Fireworks

ฉันรู้สึกหลงใหลในการทำให้เทคโนโลยีเข้าถึงได้ และทำให้นักพัฒนาสามารถสร้างสรรค์นวัตกรรมได้อย่างง่ายดายและราคาไม่แพง โดยไม่คำนึงถึงทรัพยากรที่พวกเขามี นั่นเป็นเหตุผลที่เรามีอินเทอร์เฟซที่ใช้งานง่ายและระบบสนับสนุนที่แข็งแกร่งเพื่อช่วยให้นักพัฒนาสามารถสร้างสรรค์ผลงานของพวกเขาได้

คุณสามารถพูดถึง AI ที่มีศูนย์กลางอยู่ที่นักพัฒนาอย่างไร และทำไมมันจึงสำคัญ?

มันคือเรื่องง่ายๆ: “นักพัฒนาสามารถเข้าถึงได้” หมายถึงการจัดลำดับความสำคัญของความต้องการของนักพัฒนาอินเทอร์เฟซ AI เช่น การสร้างเครื่องมือ ชุมชน และกระบวนการที่ช่วยให้นักพัฒนามีประสิทธิภาพและเป็นอิสระมากขึ้น

แพลตฟอร์ม AI ที่มีศูนย์กลางอยู่ที่นักพัฒนาอย่าง Fireworks ควรจะรวมเข้ากับกระบวนการทำงานและเทคโนโลยีสแต็กที่มีอยู่แล้ว มันควรจะทำให้นักพัฒนาสามารถทดลอง ล้มเหลว และปรับปรุงงานของพวกเขาได้อย่างง่ายดาย มันควรจะส่งเสริมการให้ข้อเสนอแนะ เนื่องจากนักพัฒนาคือคนที่เข้าใจสิ่งที่พวกเขาต้องการเพื่อให้ประสบความสำเร็จ สุดท้าย มันคือมากกว่าแค่การเป็นแพลตฟอร์ม มันคือชุมชน – ชุมชนที่นักพัฒนาสามารถร่วมมือกันเพื่อขยายขอบเขตของสิ่งที่เป็นไปได้กับ AI

แพลตฟอร์ม GenAI ที่คุณพัฒนาขึ้นนั้นเป็นการพัฒนาที่สำคัญสำหรับนักพัฒนาที่ทำงานกับโมเดลภาษาขนาดใหญ่ (LLMs) คุณสามารถอธิบายคุณสมบัติและประโยชน์ที่เป็นเอกลักษณ์ของแพลตฟอร์มของคุณได้หรือไม่?

แนวทางของเราในฐานะแพลตฟอร์ม AI สำหรับการผลิตนั้นเป็นเอกลักษณ์ แต่คุณสมบัติที่ดีที่สุดของเราบางอย่าง ได้แก่:

การอนุมานที่มีประสิทธิภาพ – เราวิศวกรรม Fireworks AI สำหรับประสิทธิภาพและความเร็ว นักพัฒนาที่ใช้แพลตฟอร์มของเราสามารถรันแอปพลิเคชัน LLM ของพวกเขาได้ด้วย Latency ที่ต่ำที่สุดและต้นทุนที่ต่ำที่สุด เราบรรลุเป้าหมายนี้ด้วยเทคนิคการปรับโมเดลและบริการล่าสุด รวมถึงการแคชพรอมต์ การแบ่งส่วนแบบปรับเปลี่ยน ควอนไทเซชัน การแบตช์แบบต่อเนื่อง FireAttention และอื่นๆ

การสนับสนุน LoRA-tuned โมเดลที่มีราคาไม่แพง – เราให้บริการ LoRA-tuned โมเดลที่มีราคาไม่แพงผ่านการเช่าหลายรายบนโมเดลฐาน นี่หมายความว่านักพัฒนาสามารถทดลองกับกรณีการใช้งานหรือรูปแบบที่แตกต่างกันของโมเดลเดียวกันโดยไม่ต้องใช้จ่ายมาก

อินเทอร์เฟซและ API ที่เรียบง่าย – อินเทอร์เฟซและ API ของเราง่ายต่อการรวมเข้ากับแอปพลิเคชันของนักพัฒนา API ของเรายังเข้ากันได้กับ OpenAI เพื่อความสะดวกในการย้ายถิ่น

โมเดลพร้อมใช้งานและโมเดลที่ปรับให้เหมาะสม – เรามีโมเดลที่ได้รับการฝึกฝนมากกว่า 100 โมเดลที่นักพัฒนาสามารถใช้งานได้ทันที เราครอบคลุม LLM ที่ดีที่สุด โมเดลการสร้างภาพ โมเดลการฝังตัว ฯลฯ แต่นักพัฒนายังสามารถเลือกที่จะโฮสต์และให้บริการโมเดลที่กำหนดเองได้ เรายังให้บริการปรับให้เหมาะสมแบบ self-serve เพื่อช่วยให้นักพัฒนาสามารถปรับโมเดลที่กำหนดเองเหล่านี้ด้วยข้อมูลที่เป็นกรรมสิทธิ์ของตนเอง

การทำงานร่วมกันของชุมชน: เราเชื่อในจิตวิญญาณของการทำงานร่วมกันแบบเปิดแหล่งที่มาของชุมชน แพลตฟอร์มของเราส่งเสริมให้นักพัฒนาสามารถแบ่งปันโมเดลที่ปรับให้เหมาะสมและช่วยให้ฐานทรัพยากร AI และความรู้เติบโตขึ้น ทุกคนจะได้รับประโยชน์จากการเติบโตของความเชี่ยวชาญร่วมกัน

คุณสามารถพูดถึงแนวทางแบบไฮบริดระหว่างโมเดลแบบขนานและการแบ่งส่วนข้อมูลได้หรือไม่?

การแบ่งส่วนแบบขนานของโมเดลเครื่องจักรจะช่วยปรับปรุงประสิทธิภาพและความเร็วในการฝึกโมเดล และช่วยให้นักพัฒนาสามารถจัดการโมเดลที่ใหญ่กว่าที่สามารถประมวลผลได้ด้วย GPU เดียว

การแบ่งส่วนแบบโมเดลเกี่ยวข้องกับการแบ่งโมเดลออกเป็นหลายส่วนและฝึกแต่ละส่วนบนโปรเซสเซอร์ที่แยกจากกัน ในทางกลับกัน การแบ่งส่วนข้อมูลเกี่ยวข้องกับการแบ่งชุดข้อมูลออกเป็นหลายส่วนและฝึกโมเดลบนแต่ละส่วนพร้อมกันบนโปรเซสเซอร์ที่แยกจากกัน แนวทางแบบไฮบริดรวมวิธีการเหล่านี้เข้าด้วยกัน โมเดลจะถูกแบ่งออกเป็นหลายส่วน และแต่ละส่วนจะถูกฝึกฝนบนชุดข้อมูลที่แตกต่างกัน ซึ่งช่วยปรับปรุงประสิทธิภาพ ความสามารถในการปรับขนาด และความยืดหยุ่น

Fireworks AI ถูกใช้โดยนักพัฒนามากกว่า 20,000 คน และปัจจุบันให้บริการมากกว่า 60 พันล้านโทเค็นต่อวัน คุณเผชิญกับความท้าทายใดๆ ในการขยายการดำเนินงานให้ถึงระดับนี้ และคุณเอาชนะมันอย่างไร?

ฉันจะซื่อสัตย์ มีภูเขาสูงมากมายที่ต้องข้ามตั้งแต่เราก่อตั้ง Fireworks AI ในปี 2022

ลูกค้าของเรามาให้บริการเราในตอนแรกเพื่อสนับสนุนความหน่วงต่ำเพราะพวกเขา正在สร้างแอปพลิเคชันสำหรับผู้บริโภค ผู้บริโภคระดับมืออาชีพ หรือนักพัฒนาอื่นๆ – ผู้ชมที่ต้องการโซลูชันที่รวดเร็ว เมื่อแอปพลิเคชันของลูกค้าเริ่มปรับขนาดอย่างรวดเร็ว พวกเขาก็รู้ว่าไม่สามารถจ่ายค่าใช้จ่ายที่เกี่ยวข้องกับการปรับขนาดได้ พวกเขาจึงขอให้เราช่วยลดต้นทุนรวมของการเป็นเจ้าของ (TCO) ซึ่งเราทำได้ จากนั้นลูกค้าของเราต้องการย้ายจาก OpenAI ไปยังโมเดล OSS และขอให้เรามอบคุณภาพที่เทียบเท่าหรือดีกว่า OpenAI เราทำให้เกิดขึ้น

ทุกขั้นตอนในการพัฒนาผลิตภัณฑ์ของเรานั้นเป็นปัญหาที่ท้าทาย แต่สิ่งนี้ทำให้ผลิตภัณฑ์ของเรากลายเป็นผลิตภัณฑ์ที่มีประสิทธิภาพสูงและต้นทุนต่ำ ซึ่งเป็นเครื่องมือที่รวดเร็วสำหรับการอนุมาน นอกจากนี้เรายังมีโมเดลที่มีคุณภาพสูงหลายร้อยโมเดลให้เลือก หรือบริการปรับให้เหมาะสมสำหรับนักพัฒนาที่จะสร้างโมเดลของตนเอง

ด้วยความก้าวหน้าที่รวดเร็วของ AI และการเรียนรู้ของเครื่อง จริยธรรมมีความสำคัญมากกว่าที่เคย Fireworks AI จัดการกับข้อกังวลที่เกี่ยวข้องกับอคติ ความเป็นส่วนตัว และการใช้ AI อย่างมีจริยธรรมอย่างไร?

ฉันมีลูกสาวสองคนในวัยรุ่นที่ใช้แอป GenAI เช่น ChatGPT บ่อยๆ ในฐานะแม่ ฉันกังวลเกี่ยวกับพวกเขาในการค้นหาความไม่ถูกต้องหรือเนื้อหาที่ไม่เหมาะสม เนื่องจากอุตสาหกรรมนี้เพิ่งเริ่มต้นในการแก้ไขปัญหาที่สำคัญของความปลอดภัยของเนื้อหา Meta กำลังทำอะไรบางอย่างกับโครงการ Purple Llama และ Stability AI ก็มีโมเดล SD3 ใหม่ที่ดี ทั้งสองบริษัทกำลังทำงานอย่างหนักเพื่อนำความปลอดภัยมาสู่โมเดล Llama3 และ SD3 ใหม่ของพวกเขาโดยใช้หลายชั้นของตัวกรอง

เราที่ Fireworks ให้ความสำคัญกับความเป็นส่วนตัวและความปลอดภัยอย่างมาก เราเป็นไปตามข้อกำหนด HIPAA และ SOC2 และให้บริการ VPC และ VPN ที่ปลอดภัย บริษัทต่างๆ เชื่อใจ Fireworks กับข้อมูลและโมเดลที่เป็นกรรมสิทธิ์ของตนเองเพื่อสร้างธุรกิจของพวกเขา

คุณมีวิสัยทัศน์เกี่ยวกับวิธีการพัฒนา AI ในอนาคตอย่างไร?

เช่นเดียวกับ AlphaGo ที่แสดงให้เห็นถึงความเป็นอิสระในการเรียนรู้การเล่นหมากรุกด้วยตัวเอง ฉันคิดว่าเราจะเห็นแอปพลิเคชัน GenAI ที่มีความเป็นอิสระมากขึ้น แอปพลิเคชันจะจัดการและกำหนดเส้นทางคำขอไปยังตัวแทนหรือ API ที่เหมาะสมเพื่อประมวลผล และจะแก้ไขเส้นทางจนกว่าจะได้รับผลลัพธ์ที่ถูกต้อง และแทนที่จะเป็นโมเดลที่เรียกฟังก์ชันจากโมเดลอื่นเป็นคอนโทรลเลอร์ เราจะเห็นเอเย่นต์ที่จัดระเบียบและประสานงานตนเองมากขึ้นในการทำงานร่วมกันเพื่อแก้ปัญหา

การอนุมานที่รวดเร็วของ Fireworks, โมเดลที่เรียกฟังก์ชัน และบริการปรับให้เหมาะสมได้เตรียมความพร้อมสำหรับความเป็นจริงนี้แล้ว ตอนนี้ขึ้นอยู่กับนักพัฒนาที่มีความคิดสร้างสรรค์ในการทำให้เกิดขึ้น

ขอขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านสามารถเยี่ยมชม Fireworks AI เพื่อเรียนรู้เพิ่มเติม