คีริลล์ โซโลดสกีห์ ผู้ร่วมก่อตั้งและซีอีโอของ TheStage AI – สัมภาษณ์ซีรีส์

คีริลล์ โซโลดสกีห์ PhD เป็นผู้ร่วมก่อตั้งและซีอีโอของ TheStage AI และเป็นนักวิจัยและนักธุรกิจที่มีประสบการณ์มากกว่า 10 ปีในการปรับให้เหมาะสมของเครือข่ายประสาทเทียมสำหรับการใช้งานทางธุรกิจในโลกแห่งความเป็นจริง ในปี 2024 เขาได้ร่วมก่อตั้ง TheStage AI ซึ่งได้รับการสนับสนุน 4.5 ล้านดอลลาร์ในการเร่งการทำงานของเครือข่ายประสาทเทียมโดยอัตโนมัติข้ามแพลตฟอร์มฮาร์ดแวร์ทั้งหมด

ก่อนหน้านี้ ในฐานะหัวหน้าทีมที่ Huawei คีริลล์เป็นผู้นำในการเร่งการทำงานของแอปพลิเคชันกล้อง AI สำหรับ Qualcomm (QCOM ) NPUs ซึ่งได้ผลกระทบต่อประสิทธิภาพของสมาร์ทโฟน P50 และ P60 และได้รับอนุสิทธิบัตรหลายรายการสำหรับนวัตกรรมของเขา การวิจัยของเขาได้รับการนำเสนอที่การประชุมชั้นนำ เช่น CVPR และ ECCV โดยที่ได้รับรางวัลและได้รับการยอมรับในระดับอุตสาหกรรม เขายังเป็นพิธีกร พอดแคสต์ เกี่ยวกับการปรับให้เหมาะสมของ AI และการอนุมาน

คุณได้รับแรงบันดาลใจจากอะไรในการร่วมก่อตั้ง TheStage AI และคุณเปลี่ยนจากการวิจัยและการศึกษาไปสู่การเป็นผู้ก่อตั้งธุรกิจที่มุ่งเน้นการปรับให้เหมาะสมของการอนุมานอย่างไร?

รากฐานของสิ่งที่กลายเป็น TheStage AI ในที่สุดเริ่มต้นจากงานของฉันที่ Huawei โดยที่ฉันอยู่ลึกในการปรับให้เหมาะสมของการปรับใช้และการปรับให้เหมาะสมของเครือข่ายประสาทเทียม ซึ่งกลายเป็นพื้นฐานสำหรับนวัตกรรมที่มีผลกระทบของเรา และนั่นคือที่ที่ฉันเห็นความท้าทายที่แท้จริง การฝึกอบรมแบบจำลองเป็นสิ่งหนึ่ง แต่การทำให้มันทำงานได้อย่างมีประสิทธิภาพในโลกแห่งความเป็นจริงและการทำให้มันเข้าถึงได้สำหรับผู้ใช้คืออีกสิ่งหนึ่ง การปรับใช้เป็นปัญหาอุปสรรคที่ทำให้ความคิดที่ดีมากมายไม่สามารถเป็นจริงได้ เพื่อให้บางสิ่งเหมือน ChatGPT มีหลายความท้าทายด้านหลังที่เกี่ยวข้อง

การปรับให้เหมาะสมของการอนุมานด้วยตนเองเป็นปัญหาอุปสรรคมานาน คุณสามารถอธิบายได้อย่างไรว่า TheStage AI ปรับให้เหมาะสมของการอนุมานโดยอัตโนมัติและทำไมมันจึงเป็นเรื่องเปลี่ยนแปลงเกม?

TheStage AI มุ่งเน้นไปที่การปรับให้เหมาะสมของการอนุมานด้วยตนเองและการเร่งการทำงานของเครือข่ายประสาทเทียม ซึ่งเป็นปัญหาอุปสรรคใน AI เครือข่ายประสาทเทียมมีพารามิเตอร์หลายพันล้าน และการหาพารามิเตอร์ที่จะลบออกเพื่อปรับปรุงประสิทธิภาพเป็นเรื่องที่เกือบจะเป็นไปไม่ได้ด้วยตนเอง ANNA (Automated Neural Networks Analyzer) ปรับให้เหมาะสมของการอนุมานโดยอัตโนมัติ โดยระบุว่าชั้นใดที่ควรแยกออกจากการปรับให้เหมาะสม ซึ่งคล้ายกับวิธีการที่การบีบอัด ZIP ถูกปรับให้เหมาะสมโดยอัตโนมัติครั้งแรก

สิ่งนี้เปลี่ยนเกมโดยการทำให้การนำ AI ไปใช้เร็วขึ้นและราคาไม่แพง แทนที่จะพึ่งพาการประมวลผลด้วยตนเองที่มีค่าใช้จ่ายสูง สตาร์ทอัพสามารถปรับให้เหมาะสมของแบบจำลองโดยอัตโนมัติได้ เทคโนโลยีนี้ให้ความชัดเจนเกี่ยวกับประสิทธิภาพและต้นทุนแก่ธุรกิจ ทำให้สามารถปรับให้เหมาะสมและปรับขนาดได้โดยไม่ต้องเดา

TheStage AI อ้างว่าสามารถลดต้นทุนการอนุมานได้มากถึง 5 เท่า สิ่งใดที่ทำให้เทคโนโลยีการปรับให้เหมาะสมของคุณมีประสิทธิภาพมากกว่าวิธีการแบบดั้งเดิม?

TheStage AI ตัดต้นทุนการผลิตได้มากถึง 5 เท่าด้วยวิธีการปรับให้เหมาะสมที่ไปไกลกว่าวิธีการแบบดั้งเดิม แทนที่จะใช้อัลกอริทึมเดียวกันกับเครือข่ายประสาทเทียมทั้งหมด ANNA แยกออกเป็นชั้นเล็กๆ และตัดสินใจว่าจะใช้อัลกอริทึมใดสำหรับส่วนใดเพื่อให้ได้การบีบอัดที่ต้องการในขณะที่ยังคงรักษาคุณภาพของแบบจำลองไว้ โดยการรวมการอนุมานทางคณิตศาสตร์ที่ชาญฉลาดกับการประมาณค่าที่มีประสิทธิภาพ วิธีการของเรามีความสามารถในการปรับขนาดสูงและทำให้การนำ AI ไปใช้สำหรับธุรกิจทุกขนาดง่ายขึ้น เรายังรวมการตั้งค่าคอมไพล์เลอร์ที่ยืดหยุ่นเพื่อปรับให้เหมาะสมของเครือข่ายสำหรับฮาร์ดแวร์เฉพาะ เช่น iPhone หรือ NVIDIA GPU ซึ่งช่วยให้เรามีควบคุมมากขึ้นในการปรับให้เหมาะสมของประสิทธิภาพโดยไม่สูญเสียคุณภาพ

การเร่งการทำงานของการอนุมานของ TheStage AI เปรียบเทียบกับเครื่องมือคอมไพล์แบบดั้งเดิมของ PyTorch อย่างไร และมีประโยชน์อะไรที่มอบให้กับนักพัฒนา AI?

TheStage AI เร่งการทำงานของการผลิตได้ไกลกว่าเครื่องมือคอมไพล์แบบดั้งเดิมของ PyTorch PyTorch ใช้วิธีการคอมไพล์ “ตามเวลาจริง” ซึ่งจะคอมไพล์แบบจำลองทุกครั้งที่มันทำงาน สิ่งนี้นำไปสู่เวลาเริ่มต้นที่ยาวนาน ซึ่งบางครั้งอาจใช้เวลาหลายนาทีหรือมากกว่านั้น ในสภาพแวดล้อมที่สามารถปรับขนาดได้ สิ่งนี้สามารถสร้างความไม่มีประสิทธิภาพ โดยเฉพาะอย่างยิ่งเมื่อ GPU ใหม่ต้องถูกนำออนไลน์เพื่อจัดการกับภาระผู้ใช้ที่เพิ่มขึ้น ทำให้เกิดความล่าช้าที่ส่งผลกระทบต่อประสบการณ์ของผู้ใช้

ในทางตรงกันข้าม TheStage AI อนุญาตให้แบบจำลองสามารถคอมไพล์ได้ก่อนหน้า ดังนั้นเมื่อแบบจำลองพร้อมแล้ว มันสามารถปรับใช้ได้ทันที สิ่งนี้นำไปสู่การเปิดตัวที่เร็วขึ้น ประสิทธิภาพการบริการที่ดีขึ้น และการประหยัดต้นทุน นักพัฒนาสามารถปรับใช้และปรับขนาดแบบจำลอง AI ได้เร็วขึ้น โดยไม่มีการอุปสรรคของการคอมไพล์แบบดั้งเดิม ทำให้สามารถตอบสนองได้ดีขึ้นสำหรับการใช้งานที่มีความต้องการสูง

คุณสามารถแบ่งปันข้อมูลเพิ่มเติมเกี่ยวกับ QLIP toolkit ของ TheStage AI และวิธีที่มันปรับปรุงประสิทธิภาพของแบบจำลองในขณะที่รักษาคุณภาพไว้?

QLIP ซึ่งเป็นเครื่องมือของ TheStage AI เป็นไลบรารี Python ที่ให้เซตของปริมาณพื้นฐานสำหรับการสร้างอัลกอริทึมการปรับให้เหมาะสมใหม่ๆ ที่ปรับให้เหมาะสมสำหรับฮาร์ดแวร์ต่างๆ เช่น GPU และ NPUs เครื่องมือนี้รวมถึงส่วนประกอบ เช่น การปรับขนาด การตัดทอน การระบุ การคอมไพล์ และการให้บริการ ซึ่งทั้งหมดนี้มีความสำคัญสำหรับการพัฒนาระบบ AI ที่มีประสิทธิภาพและสามารถปรับขนาดได้

สิ่งที่ทำให้ QLIP แตกต่างคือความยืดหยุ่นของมัน มันทำให้วิศวกร AI สามารถสร้างและใช้อัลกอริทึมใหม่ๆ ได้ด้วยโค้ดเพียงไม่กี่บรรทัด ตัวอย่างเช่น หนึ่งเอกสารวิจัยเกี่ยวกับเครือข่ายประสาทเทียมที่มีการปรับขนาดสามารถถูกแปลงเป็นอัลกอริทึมที่ใช้งานได้โดยใช้ QLIP ในเวลาเพียงไม่กี่นาที สิ่งนี้ทำให้นักพัฒนาสามารถรวมการวิจัยล่าสุดเข้ากับแบบจำลองของตนได้โดยไม่ต้องถูกจำกัดโดยเฟรมเวิร์กที่ยืดหยุ่นไม่ได้

ไม่เหมือนกับเฟรมเวิร์กที่เปิดกว้างแบบดั้งเดิมที่จำกัดคุณให้ใช้อัลกอริทึมที่กำหนดไว้ล่วงหน้า QLIP อนุญาตให้ใครก็ตามสามารถเพิ่มเทคนิคการปรับให้เหมาะสมใหม่ๆ ได้ ความสามารถในการปรับเปลี่ยนนี้ช่วยให้ทีมสามารถอยู่ข้างหน้าภูมิทัศน์ของ AI ที่เปลี่ยนแปลงอย่างรวดเร็ว โดยการปรับปรุงประสิทธิภาพในขณะที่รักษาความยืดหยุ่นสำหรับการนวัตกรรมในอนาคต

คุณมีส่วนร่วมในการสร้างเฟรมเวิร์กการปรับขนาด AI ที่ใช้ในกล้อง P50 และ P60 ของ Huawei อย่างไร และประสบการณ์นั้นช่วยให้คุณเข้าใจถึงการปรับให้เหมาะสมของ AI ได้อย่างไร?

ประสบการณ์ของฉันในการทำงานกับเฟรมเวิร์กการปรับขนาด AI สำหรับกล้อง P50 และ P60 ของ Huawei ให้ข้อมูลเชิงลึกที่มีคุณค่าเกี่ยวกับวิธีการปรับให้เหมาะสมที่สามารถสตรีมไลน์และปรับขนาดได้ เมื่อฉันเริ่มต้นกับ PyTorch การทำงานกับกราฟการดำเนินการเต็มรูปแบบของเครือข่ายประสาทเทียมเป็นเรื่องที่ยืดหยุ่นไม่ได้ และอัลกอริทึมการปรับขนาดต้องถูกนำไปใช้ด้วยตนเองชั้นละชั้น ใน Huawei ฉันสร้างเฟรมเวิร์กที่ทำให้กระบวนการนี้เป็นแบบอัตโนมัติ คุณเพียงแค่ป้อนแบบจำลอง และมันจะสร้างโค้ดสำหรับการปรับขนาดโดยอัตโนมัติ โดยกำจัดงานด้วยตนเอง

สิ่งนี้ทำให้ฉันเข้าใจว่าการปรับให้เหมาะสมของ AI คือการทำให้เร็วขึ้นโดยไม่สูญเสียคุณภาพไป การพัฒนาอัลกอริทึมหนึ่งของฉันซึ่งได้รับอนุสิทธิบัตรกลายเป็นสิ่งจำเป็นสำหรับ Huawei โดยเฉพาะอย่างยิ่งเมื่อพวกเขาต้องเปลี่ยนจากโปรเซสเซอร์ Kirin ไปเป็น Qualcomm เนื่องจากมาตรการคว่ำบาตร มันทำให้ทีมสามารถปรับเครือข่ายประสาทเทียมให้เข้ากับโครงสร้าง Qualcomm ได้อย่างรวดเร็วโดยไม่สูญเสียประสิทธิภาพหรือความแม่นยำ

โดยการทำให้กระบวนการเป็นแบบสตรีมไลน์และอัตโนมัติ เราลดเวลาในการพัฒนาจากมากกว่าหนึ่งปีเหลือเพียงไม่กี่เดือน สิ่งนี้มีผลกระทบอย่างมากต่อผลิตภัณฑ์ที่ใช้โดยล้านๆ คน และช่วยกำหนดแนวทางของฉันในการปรับให้เหมาะสม โดยเน้นความเร็ว ประสิทธิภาพ และการสูญเสียคุณภาพที่น้อยที่สุด นี่คือมุมมองเดียวกับที่ฉันนำมาใช้กับ ANNA ในปัจจุบัน

การวิจัยของคุณได้รับการนำเสนอที่ CVPR และ ECCV คุณภูมิใจที่สุดกับข้อพัฒนาที่สำคัญใดๆ ในด้านการปรับให้เหมาะสมของ AI?

เมื่อฉันถูกถามเกี่ยวกับความสำเร็จของฉันในด้านการปรับให้เหมาะสมของ AI ฉันคิดถึงเอกสารของเรา ซึ่งถูกเลือกให้นำเสนอแบบปากเปลาที่ CVPR 2023 การถูกเลือกให้นำเสนอแบบปากเปลาที่การประชุมดังกล่าวเป็นเรื่องที่หายาก เนื่องจากมีเอกสารเพียง 12 ฉบับที่ถูกเลือก สิ่งนี้บวกกับข้อเท็จจริงที่ว่า AI ที่สร้างขึ้นโดยทั่วไปมักจะครอบงำจุดสนใจ และเอกสารของเรานำทางที่แตกต่าง โดยเน้นไปที่ด้านคณิตศาสตร์ โดยเฉพาะการวิเคราะห์และการบีบอัดของเครือข่ายประสาทเทียม

เราได้พัฒนาแนวทางที่ช่วยให้เราเข้าใจว่าเครือข่ายประสาทเทียมต้องการพารามิเตอร์จำนวนเท่าใดจึงจะทำงานได้อย่างมีประสิทธิภาพ โดยการนำเทคนิคจากวิเคราะห์เชิงฟังก์ชันและการย้ายจากการกำหนดที่ไม่ต่อเนื่องไปยังการกำหนดที่ต่อเนื่อง เราสามารถบรรลุผลการบีบอัดที่ดีในขณะที่ยังคงสามารถรวมการเปลี่ยนแปลงเหล่านี้กลับเข้าไปในแบบจำลองได้ เอกสารนี้ยังแนะนำอัลกอริทึมใหม่ๆ ที่ชุมชนไม่เคยใช้มาก่อนและพบการประยุกต์ใช้เพิ่มเติม

สิ่งนี้เป็นหนึ่งในเอกสารแรกของฉันในด้าน AI และสิ่งสำคัญคือเป็นผลมาจากความพยายามร่วมกันของทีม รวมถึงผู้ร่วมก่อตั้งคนอื่นๆ ของฉัน มันเป็น 里程碑ที่สำคัญสำหรับทุกคน

คุณสามารถอธิบายได้อย่างไรว่า Integral Neural Networks (INNs) ทำงานและทำไมพวกมันจึงเป็นนวัตกรรมที่สำคัญในด้านการเรียนรู้ลึก?

เครือข่ายประสาทเทียมแบบดั้งเดิมใช้เมทริกซ์ที่ตายตัว เช่น ตาราง Excel โดยที่ขนาดและพารามิเตอร์ถูกกำหนดไว้ล่วงหน้า INNs อย่างไรก็ตาม อธิบายเครือข่ายเป็นฟังก์ชันที่ต่อเนื่อง โดยมีความยืดหยุ่นมากกว่า คิดว่ามันเป็นเหมือนผ้าใบพร้อมกับปักหมุดในระดับความสูงที่แตกต่างกัน และสิ่งนี้แสดงถึงคลื่นต่อเนื่อง

สิ่งที่ทำให้ INNs น่าตื่นเต้นคือความสามารถในการ “บีบอัด” หรือ “ขยาย” ได้ตามทรัพยากรที่มีอยู่ เช่นเดียวกับวิธีการที่สัญญาณแอนะล็อกถูกแปลงเป็นเสียง คุณสามารถย่อเครือข่ายได้โดยไม่สูญเสียคุณภาพ และเมื่อต้องการขยายมันกลับโดยไม่ต้องฝึกอบรมใหม่

เราได้ทดสอบสิ่งนี้ และในขณะที่วิธีการบีบอัดแบบดั้งเดิมนำไปสู่การสูญเสียคุณภาพอย่างมาก INNs รักษาคุณภาพที่ใกล้เคียงกับแบบจำลองเดิมแม้ภายใต้การบีบอัดอย่างรุนแรง คณิตศาสตร์เบื้องหลังคือไม่เหมือนกับของชุมชน AI แต่คุณค่าที่แท้จริงอยู่ในความสามารถในการให้ผลลัพธ์ที่เป็นรูปธรรมและเชื่อถือได้ด้วยความพยายามน้อย

TheStage AI ได้ทำงานเกี่ยวกับอัลกอริทึมการแอนนีลิงก์แบบควอนตัม — คุณมองเห็นควอนตัมคอมพิวติ้งจะเล่นบทบาทใดในด้านการปรับให้เหมาะสมของ AI ในอนาคตอันใกล้?

เมื่อพูดถึงควอนตัมคอมพิวติ้งและบทบาทของมันในการปรับให้เหมาะสมของ AI สิ่งสำคัญคือควอนตัมระบบเสนอวิธีการแก้ปัญหาที่แตกต่างออกไป เช่น การปรับให้เหมาะสม โดยที่เราจะไม่โหลดเครือข่ายประสาทเทียมโดยตรงเข้าไปในคอมพิวเตอร์ควอนตัม เนื่องจากสิ่งนี้ไม่สามารถทำได้ด้วยสถาปัตยกรรมปัจจุบัน แต่เราจะประมาณการว่าเครือข่ายประสาทเทียมจะทำงานอย่างไรภายใต้การเสื่อมสภาพที่แตกต่างกัน ทำให้พวกมันเหมาะสมสำหรับการประมวลผลโดยชิปควอนตัม

ในอนาคต ระบบควอนตัมอาจปรับขนาดและปรับให้เหมาะสมเครือข่ายประสาทเทียมด้วยความแม่นยำที่ระบบคลาสสิกต้องใช้ทรัพยากรเพิ่มเติมเพื่อจำลองได้ ความได้เปรียบของระบบควอนตัมอยู่ในความขนานที่มีอยู่ในตัว ซึ่งระบบคลาสสิกสามารถทำได้เพียงการจำลองโดยใช้ทรัพยากรเพิ่มเติม สิ่งนี้อาจเร่งการปรับให้เหมาะสมของ AI ได้อย่างมาก โดยเฉพาะอย่างยิ่งเมื่อเราพบวิธีการสร้างและปรับให้เหมาะสมเครือข่ายที่ซับซ้อนมากขึ้นได้อย่างมีประสิทธิภาพ

โอกาสที่แท้จริงมาจากการใช้ควอนตัมคอมพิวติ้งในการแก้ปัญหาการปรับให้เหมาะสมที่ซับซ้อนและแบ่งพารามิเตอร์ออกเป็นกลุ่มเล็กๆ ที่จัดการได้ง่ายขึ้น ด้วยเทคโนโลยีเช่น ควอนตัมและออปติคอลคอมพิวติ้ง มีศักยภาพที่กว้างขวางสำหรับการปรับให้เหมาะสมของ AI ที่ไปไกลกว่าสิ่งที่คอมพิวเตอร์แบบดั้งเดิมสามารถทำได้

คุณมีวิสัยทัศน์ระยะยาวสำหรับ TheStage AI อย่างไร และคุณเห็นอนาคตของการปรับให้เหมาะสมของการอนุมานใน 5-10 ปีหน้าอย่างไร?

ในระยะยาว TheStage AI มีเป้าหมายที่จะเป็นศูนย์กลางแบบจำลองระดับโลก โดยที่ใครก็ตามสามารถเข้าถึงเครือข่ายประสาทเทียมที่ปรับให้เหมาะสมพร้อมคุณลักษณะที่ต้องการได้อย่างง่ายดาย ไม่ว่าจะเป็นสำหรับสมาร์ทโฟนหรืออุปกรณ์อื่นๆ เป้าหมายคือการนำเสนอประสบการณ์แบบลากและวาง โดยที่ผู้ใช้ป้อนพารามิเตอร์ของตนและระบบจะสร้างเครือข่ายโดยอัตโนมัติ หากเครือข่ายไม่มีอยู่แล้ว มันจะถูกสร้างขึ้นโดยใช้ ANNA

เรามีเป้าหมายที่จะทำให้เครือข่ายประสาทเทียมทำงานโดยตรงบนอุปกรณ์ของผู้ใช้ โดยลดต้นทุนลง 20-30 เท่า ในอนาคต สิ่งนี้อาจกำจัดต้นทุนได้โดยสิ้นเชิง เนื่องจากอุปกรณ์ของผู้ใช้จะจัดการการคำนวณแทนการอาศัยเซิร์ฟเวอร์คลาวด์ นอกจากนี้เรายังวางแผนรวมเทคโนโลยีของเรากับโซลูชันฮาร์ดแวร์ เช่น เซ็นเซอร์ ชิป และหุ่นยนต์ สำหรับการใช้งานในด้านต่างๆ เช่น การขับขี่อัตโนมัติและหุ่นยนต์

ตัวอย่างเช่น เราตั้งเป้าที่จะสร้างกล้อง AI ที่สามารถทำงานได้ในทุกสภาพแวดล้อม ไม่ว่าจะเป็นในอวกาศหรือภายใต้สภาพที่รุนแรง เช่น ความมืดหรือฝุ่น สิ่งนี้จะทำให้ AI สามารถใช้งานได้ในหลากหลายแอปพลิเคชัน และช่วยให้เราสามารถสร้างโซลูชันที่กำหนดเองสำหรับฮาร์ดแวร์และกรณีการใช้งานเฉพาะได้

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเรียนรู้เพิ่มเติมได้ที่ TheStage AI