นีตู ปฐาก Co-Founder และ CEO ของ Skymel – ซีรีส์สัมภาษณ์

นีตู ปฐาก Co-Founder และ CEO ของ Skymel นำบริษัทในการปฏิวัติ AI inference ด้วยเทคโนโลยี NeuroSplit™ ที่เป็นนวัตกรรมใหม่ ร่วมกับ CTO Sushant Tripathy เธอขับเคลื่อนภารกิจของ Skymel ในการเพิ่มประสิทธิภาพของ AI application และลดค่าใช้จ่ายในการคำนวณ

NeuroSplit™ เป็นเทคโนโลยีการอนุมานแบบปรับเปลี่ยนได้ ซึ่งกระจายงาน AI ระหว่างอุปกรณ์ของผู้ใช้และเซิร์ฟเวอร์คลาวด์อย่างมีประสิทธิภาพ วิธีการนี้ใช้ทรัพยากรการคำนวณที่ไม่ได้ใช้งานบนอุปกรณ์ของผู้ใช้ ลดค่าใช้จ่ายโครงสร้างพื้นฐานคลาวด์ได้ถึง 60% เพิ่มความเร็วในการอนุมาน รักษาความเป็นส่วนตัวของข้อมูล และทำให้สามารถปรับขนาดได้อย่างราบรื่น

ด้วยการเพิ่มประสิทธิภาพของการคำนวณท้องถิ่น NeuroSplit™ ช่วยให้ AI application สามารถทำงานได้อย่างมีประสิทธิภาพบนอุปกรณ์ที่มี GPU เก่าๆ ลดค่าใช้จ่ายและปรับปรุงประสบการณ์ของผู้ใช้

อะไรเป็นแรงบันดาลใจให้คุณร่วมก่อตั้ง Skymel และอะไรคือความท้าทายหลักในด้านโครงสร้างพื้นฐาน AI ที่คุณพยายามแก้ไขด้วย NeuroSplit?

แรงบันดาลใจในการก่อตั้ง Skymel มาจากการรวมกันของประสบการณ์ที่แตกต่างกัน ในช่วงเวลาที่ Sushant Tripathy เป็นพนักงานที่ Google (GOOGL ) เขาได้นำโมเดล AI แบบพูดไปใช้กับอุปกรณ์ Android มากกว่า 1 พันล้านเครื่อง และพบว่ามีทรัพยากรการคำนวณที่ไม่ได้ใช้งานอยู่บนอุปกรณ์ของผู้ใช้ แต่บริษัทส่วนใหญ่ไม่สามารถใช้ทรัพยากรเหล่านี้ได้อย่างมีประสิทธิภาพเนื่องจากความซับซ้อนของปัญหาด้านวิศวกรรม

ในขณะเดียวกัน ประสบการณ์ของฉันในการทำงานกับบริษัทและสตาร์ทอัพต่างๆ ที่ Redis ทำให้ฉันเข้าใจถึงความสำคัญของความหน่วงในการดำเนินธุรกิจ เมื่อ AI application กลายเป็นที่นิยมมากขึ้น มันชัดเจนว่าเราต้องย้ายการประมวลผลไปใกล้กับแหล่งที่มาของข้อมูล มากกว่าที่จะส่งต่อข้อมูลไปมาระหว่างศูนย์ข้อมูล

เมื่อ Sushant และฉันรู้สึกว่าอนาคตไม่ใช่เรื่องของการเลือกระหว่างการประมวลผลท้องถิ่นหรือการประมวลผลบนคลาวด์ แต่เป็นการสร้างเทคโนโลยีที่สามารถปรับเปลี่ยนได้อย่างราบรื่นระหว่างการประมวลผลท้องถิ่น คลาวด์ หรือไฮบริด ตามความต้องการของการอนุมานแต่ละครั้ง นี่คือจุดเริ่มต้นของ Skymel และการพัฒนา NeuroSplit เพื่อไปไกลกว่าข้อจำกัดของโครงสร้างพื้นฐานที่มีอยู่

คุณสามารถอธิบายได้อย่างไรว่า NeuroSplit ปรับเปลี่ยนทรัพยากรการคำนวณได้อย่างไรในขณะเดียวกันก็รักษาความเป็นส่วนตัวและประสิทธิภาพของผู้ใช้?

หนึ่งในข้อผิดพลาดที่สำคัญของการอนุมาน AI ท้องถิ่นคือความต้องการทรัพยากรการคำนวณที่คงที่ โดยทั่วไปการทำงานของ AI model ต้องการทรัพยากรการคำนวณเท่ากัน ไม่ว่าอุปกรณ์จะมีคุณสมบัติหรือผู้ใช้จะใช้งานอย่างไร

NeuroSplit ติดตามตัวชี้วัดอุปกรณ์ต่างๆ ตั้งแต่ความสามารถของฮาร์ดแวร์ไปจนถึงการใช้ทรัพยากรปัจจุบัน สถานะแบตเตอรี่ และสภาพของเครือข่าย นอกจากนี้เรายังพิจารณารูปแบบพฤติกรรมของผู้ใช้ เช่น การใช้งานอื่นๆ ที่กำลังทำงานและรูปแบบการใช้อุปกรณ์ การติดตามที่ครอบคลุมนี้ช่วยให้ NeuroSplit สามารถกำหนดได้ว่าการอนุมานสามารถทำงานได้บนอุปกรณ์ของผู้ใช้โดยไม่กระทบต่อประสิทธิภาพ

เมื่อความเป็นส่วนตัวเป็นสิ่งสำคัญ NeuroSplit รับรองว่าข้อมูลดิบไม่เคยออกจากอุปกรณ์ โดยประมวลผลข้อมูลที่ละเอียดอ่อนท้องถิ่นในขณะเดียวกันก็รักษาความเร็วในการอนุมานให้เหมาะสม

ประโยชน์หลักๆ ของการอนุมานแบบปรับเปลี่ยนได้ของ NeuroSplit สำหรับบริษัท AI คืออะไร โดยเฉพาะอย่างยิ่งสำหรับบริษัทที่ใช้ GPU เก่าๆ?

NeuroSplit มอบประโยชน์สามประการให้กับบริษัท AI ประการแรก มันลดค่าใช้จ่ายโครงสร้างพื้นฐานได้อย่างมากผ่านสองกลไก: บริษัทสามารถใช้ GPU ที่มีราคาถูกกว่าและเก่ากว่าได้อย่างมีประสิทธิภาพ และความสามารถพิเศษของเราในการใส่โมเดล AI ทั้งแบบเต็มและแบบย่อลงใน GPU คลาวด์เดียวกัน ทำให้สามารถใช้ GPU ได้อย่างมีประสิทธิภาพมากขึ้น

ประการสอง มันปรับปรุงประสิทธิภาพโดยการประมวลผลข้อมูลดิบเบื้องต้นบนอุปกรณ์ของผู้ใช้ ซึ่งหมายความว่าข้อมูลที่ส่งไปยังคลาวด์มีขนาดเล็กกว่ามาก ลดความหน่วงของเครือข่ายในขณะเดียวกันก็รักษาความแม่นยำไว้

ประการที่สาม โดยการประมวลผลข้อมูลที่ละเอียดอ่อนเบื้องต้นบนอุปกรณ์ของผู้ใช้ เราช่วยให้บริษัทสามารถรักษาความเป็นส่วนตัวของผู้ใช้ได้โดยไม่กระทบต่อประสิทธิภาพ ซึ่งเป็นสิ่งสำคัญที่เพิ่มขึ้นเมื่อข้อกำหนดด้านความเป็นส่วนตัวมีความเข้มงวดมากขึ้นและผู้ใช้ให้ความสำคัญกับความเป็นส่วนตัวมากขึ้น

Skymel ลดค่าใช้จ่ายสำหรับการอนุมาน AI โดยไม่กระทบต่อความซับซ้อนหรือความแม่นยำของโมเดลได้อย่างไร?

ประการแรก โดยการแบ่งโมเดล AI แต่ละตัวออกเป็นสองส่วน เรากระจายการคำนวณระหว่างอุปกรณ์ของผู้ใช้และคลาวด์ ส่วนแรกทำงานบนอุปกรณ์ของผู้ใช้ โดยจัดการ 5% ถึง 100% ของการคำนวณทั้งหมด ขึ้นอยู่กับทรัพยากรอุปกรณ์ที่มีอยู่

สิ่งนี้ทำให้ GPU คลาวด์จัดการกับภาระการคำนวณที่ลดลง หากโมเดลเดิมต้องการ GPU A100 ทั้งหมด หลังจากแบ่งออกแล้ว โหลดการทำงานเดียวกันอาจต้องการเพียง 30-40% ของความจุของ GPU

ประการที่สอง NeuroSplit ปรับปรุงการใช้ GPU ในคลาวด์ โดยการจัดเรียงโมเดล AI ทั้งแบบเต็มและแบบย่อลงใน GPU คลาวด์เดียวกันอย่างมีประสิทธิภาพ เราบรรลุอัตราการใช้ GPU ที่สูงกว่าเมื่อเทียบกับวิธีการแบบดั้งเดิม

อะไรที่ทำให้ Skymel แตกต่างจากโซลูชันโครงสร้างพื้นฐาน AI อื่นๆ ในตลาด?

ภูมิทัศน์ของ AI อยู่ที่จุดเปลี่ยนเชิงกลยุทธ์ ในขณะที่ Apple (AAPL ), Samsung และ Qualcomm (QCOM ) แสดงถึงพลังของ AI แบบไฮบริดผ่านคุณสมบัติของระบบนิเวศของตน แต่สิ่งเหล่านี้ยังคงเป็นสวนรั้วที่ปิด

NeuroSplit เป็นเทคโนโลยีที่ไม่ขึ้นอยู่กับอุปกรณ์ ไม่ขึ้นอยู่กับคลาวด์ และไม่ขึ้นอยู่กับโครงข่ายประสาทเทียม ซึ่งหมายความว่านักพัฒนาได้รับประสบการณ์ AI ที่สอดคล้องกันไม่ว่าผู้ใช้จะใช้อุปกรณ์ iPhone, Android, หรือแล็ปท็อป หรือใช้บริการ AWS, Azure หรือ Google Cloud

นึกถึงสิ่งที่นี้หมายถึงสำหรับนักพัฒนา พวกเขาสามารถสร้างแอปพลิเคชัน AI ได้ครั้งเดียวและรู้ว่ามันจะปรับเปลี่ยนได้อย่างชาญฉลาดบนอุปกรณ์ใดๆ คลาวด์ใดๆ และโครงข่ายประสาทเทียมใดๆ

เรากำลังนำความสามารถของ AI แบบไฮบริดระดับองค์กรออกจากสวนรั้วและทำให้สามารถเข้าถึงได้ทั่วไป เมื่อ AI กลายเป็นศูนย์กลางของทุกแอปพลิเคชัน ความยืดหยุ่นและความสอดคล้องนี้ไม่ใช่แค่ความได้เปรียบ แต่เป็นสิ่งจำเป็นสำหรับการนวัตกรรม

Orchestrator Agent มีบทบาทอย่างไรในการเปลี่ยนแปลงกลยุทธ์การใช้งาน AI และมันเสริม NeuroSplit ได้อย่างไร?

Orchestrator Agent (OA) และ NeuroSplit ทำงานร่วมกันเพื่อสร้างระบบการนำ AI ไปใช้งานที่ปรับเปลี่ยนได้ด้วยตนเอง:

1. นักพัฒนากำหนดขอบเขต:

• ข้อจำกัด: โมเดลที่อนุญาต เวอร์ชัน ผู้ให้บริการคลาวด์ โซน กฎการปฏิบัติตาม
• เป้าหมาย: ความหน่วงเป้าหมาย ขีดจำกัดค่าใช้จ่าย ความต้องการประสิทธิภาพ ความต้องการความเป็นส่วนตัว

2. OA ทำงานภายในขอบเขตเหล่านี้เพื่อบรรลุเป้าหมาย:

• ตัดสินใจว่าจะใช้โมเดลหรือ API ใดสำหรับการร้องขอแต่ละครั้ง
• ปรับเปลี่ยนกลยุทธ์การใช้งานตามประสิทธิภาพจริง
• ทำการแลกเปลี่ยนเพื่อปรับให้เหมาะสมสำหรับเป้าหมายที่กำหนด
• สามารถกำหนดค่าใหม่ได้ทันทีเมื่อความต้องการเปลี่ยนแปลง

3. NeuroSplit นำการดำเนินการของ OA ไปใช้:

• ใช้ข้อมูลอุปกรณ์แบบเรียลไทม์เพื่อปรับให้เหมาะสม
• แบ่งการประมวลผลระหว่างอุปกรณ์และคลาวด์เมื่อมีประโยชน์
• รับรองว่าการอนุมานแต่ละครั้งทำงานได้อย่างเหมาะสมที่สุดในสถานการณ์ปัจจุบัน

มันเหมือนกับการมีระบบ AI ที่ปรับเปลี่ยนได้ด้วยตนเองภายในกฎและเป้าหมายที่คุณกำหนด ไม่ต้องใช้การปรับให้เหมาะสมด้วยตนเองสำหรับทุกสถานการณ์

คุณคิดว่า Orchestrator Agent จะเปลี่ยนแปลงวิธีการใช้งาน AI ในอุตสาหกรรมต่างๆ อย่างไร?

มันแก้ไขความท้าทายที่สำคัญสามประการซึ่งยับยั้งการนำ AI ไปใช้และการนวัตกรรม

ประการแรก มันช่วยให้บริษัทต่างๆ สามารถติดตามความก้าวหน้าล่าสุดของ AI ได้อย่างง่ายดาย ด้วย Orchestrator Agent คุณสามารถใช้โมเดลและเทคนิคใหม่ๆ ได้ทันทีโดยไม่ต้องปรับโครงสร้างพื้นฐานใหม่

ประการที่สอง มันทำให้สามารถเลือกโมเดล AI ได้อย่างมีประสิทธิภาพสำหรับการร้องขอแต่ละครั้ง Orchestrator Agent สามารถผสมผสานโมเดลจากระบบนิเวศที่กว้างขวางเพื่อให้ผลลัพธ์ที่ดีที่สุดสำหรับการโต้ตอบของผู้ใช้แต่ละครั้ง

ประการที่สาม มันเพิ่มประสิทธิภาพในขณะที่ลดค่าใช้จ่าย ตัวแทนจัดการความสมดุลระหว่างการทำงาน AI บนอุปกรณ์ของผู้ใช้หรือบนคลาวด์โดยอัตโนมัติ เมื่อความเป็นส่วนตัวมีความสำคัญ มันประมวลผลข้อมูลท้องถิ่น เมื่อต้องการพลังการคำนวณเพิ่มเติม มันใช้คลาวด์ ทั้งหมดนี้เกิดขึ้นเบื้องหลังเพื่อสร้างประสบการณ์ที่ราบรื่นสำหรับผู้ใช้ ในขณะเดียวกันก็เพิ่มประสิทธิภาพทรัพยากรสำหรับธุรกิจ

คุณได้รับคำติชมอย่างไรจากบริษัทที่เข้าร่วมการเบต้าแบบส่วนตัวของ Orchestrator Agent?

คำติชมจากผู้เข้าร่วมการเบต้าแบบส่วนตัวนั้นยอดเยี่ยม บริษัทต่างๆ ตื่นเต้นที่จะพบว่าพวกเขาสามารถหลีกเลี่ยงการล็อกอินโครงสร้างพื้นฐานได้ ไม่ว่าจะเป็นโมเดลที่เป็นกรรมสิทธิ์หรือบริการโฮสติ้ง

ผลลัพธ์ประสิทธิภาพของ NeuroSplit นั้นน่าประทับใจ และเรารอไม่ไหวที่จะแบ่งปันข้อมูลเหล่านี้ต่อสาธารณะ สิ่งที่น่าตื่นเต้นที่สุดคือแนวคิดเรื่องการนำ AI ไปใช้งานแบบปรับเปลี่ยนได้ได้ครอบงำจินตนาการ

เมื่อ AI เจนเนอรेटีฟก้าวหน้าอย่างรวดเร็ว คุณเห็นความท้าทายหลักๆ ใดๆ สำหรับโครงสร้างพื้นฐาน AI และ Skymel วางแผนแก้ไขปัญหาเหล่านี้อย่างไร?

เรากำลังเข้าสู่อนาคตที่ส่วนใหญ่ยังไม่เข้าใจอย่างเต็มที่: จะไม่มีโมเดล AI ที่โดดเด่นเพียงตัวเดียว แต่มีหลายพันล้านโมเดล แม้ว่าเราจะสร้างโมเดล AI ที่ทรงพลังที่สุดเท่าที่จะเป็นไปได้ เราก็ยังคงต้องการรุ่นที่ปรับให้เหมาะสมสำหรับแต่ละคนบนโลกใบนี้

สิ่งนี้หมายถึงการเปลี่ยนแปลงจากแนวทางแบบหนึ่งขนาดที่เหมาะกับทุกคนในปัจจุบันไปสู่โครงสร้างพื้นฐานที่ฉลาดซึ่งสามารถจัดการโมเดล AI หลายพันล้านแบบได้ ที่ Skymel เราไม่ได้เพียงแก้ไขปัญหาการใช้งานในปัจจุบันเท่านั้น แต่ยังสร้างรากฐานสำหรับสิ่งที่จะเกิดขึ้นต่อไปด้วย

คุณเห็นโครงสร้างพื้นฐาน AI วิวัฒนาการอย่างไรในช่วงห้าปีข้างหน้า และ Skymel จะมีบทบาทอย่างไรในการเปลี่ยนแปลงนี้?

ภูมิทัศน์ของโครงสร้างพื้นฐาน AI กำลังจะเปลี่ยนแปลงไปอย่างมาก ในขณะที่การมุ่งเน้นในปัจจุบันคือการขยายโมเดลภาษาขนาดใหญ่บนคลาวด์ ห้าปีข้างหน้าจะเห็น AI ที่เป็นส่วนตัวและตระหนักถึงบริบทมากขึ้น

การเปลี่ยนแปลงนี้สร้างความท้าทายโครงสร้างพื้นฐานสองประการ ประการแรก วิธีการแบบดั้งเดิมในการทำงานทุกอย่างในศูนย์ข้อมูลที่มีศูนย์กลางนั้นไม่ยั่งยืน ทั้งทางเทคนิคและเศรษฐกิจ ประการที่สอง ความซับซ้อนของแอปพลิเคชัน AI ต้องการโครงสร้างพื้นฐานที่สามารถปรับให้เหมาะสมได้หลายรูปแบบหลายอุปกรณ์และที่ตั้งการคำนวณ

ที่ Skymel เรากำลังสร้างโครงสร้างพื้นฐานที่จัดการกับความท้าทายเหล่านี้โดยตรง เทคโนโลยีของเราทำให้ AI สามารถทำงานได้ที่ที่เหมาะสมที่สุด ไม่ว่าจะเป็นอุปกรณ์ที่สร้างข้อมูล คลาวด์ที่มีทรัพยากรการคำนวณมากขึ้น หรือการแบ่งส่วนระหว่างทั้งสองอย่างอย่างชาญฉลาด

เมื่อมองไปข้างหน้า แอปพลิเคชัน AI ที่ประสบความสำเร็จจะไม่ได้ถูกกำหนดโดยขนาดของโมเดลหรือปริมาณการคำนวณที่สามารถเข้าถึงได้ แต่จะถูกกำหนดโดยความสามารถในการส่งมอบประสบการณ์ที่เป็นส่วนตัวและตอบสนองได้อย่างมีประสิทธิภาพในขณะเดียวกันก็จัดการทรัพยากรได้อย่างมีประสิทธิภาพ

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Skymel เพื่อเรียนรู้เพิ่มเติม