ไฟเบอร์ของ Uber เป็นเฟรมเวิร์กการฝึกอบรมแบบกระจายสำหรับโมเดล AI ใหม่

ตาม VentureBeat นักวิจัย AI ของ Uber ได้เผยแพร่ เอกสาร บน Arxiv โดยอธิบายเกี่ยวกับแพลตฟอร์มใหม่ที่มีจุดมุ่งหมายเพื่อช่วยในการสร้างโมเดล AI ที่กระจายตัว แพลตฟอร์มนี้เรียกว่า ไฟเบอร์ และสามารถใช้เพื่อขับเคลื่อนการเรียนรู้แบบเสริมและแบบประชากร ไฟเบอร์ถูกออกแบบมาเพื่อให้การคำนวณขนานขนาดใหญ่เข้าถึงได้ง่ายสำหรับผู้ที่ไม่ใช่ผู้เชี่ยวชาญ โดยให้พวกเขาใช้ประโยชน์จากพลังของอัลกอริทึมและโมเดล AI ที่กระจายตัว

ไฟเบอร์ถูกเผยแพร่แบบโอเพ่นซอร์สบน GitHub และเข้ากันได้กับ Python 3.6 หรือสูงกว่า โดยใช้ Kubernetes บนระบบ Linux และทำงานใน môi trườngคลาวด์ ตามทีมนักวิจัย แพลตฟอร์มนี้สามารถปรับขนาดได้ง่ายขึ้นเป็นร้อยหรือพันเครื่อง

ทีมนักวิจัยจาก Uber อธิบายว่าความก้าวหน้าล่าสุดและเกี่ยวข้องมากที่สุดในด้านปัญญาประดิษฐ์ถูกขับเคลื่อนโดยโมเดลที่ใหญ่ขึ้นและอัลกอริทึมที่ฝึกอบรมโดยใช้เทคนิคการฝึกอบรมแบบกระจาย อย่างไรก็ตาม การสร้างโมเดลประชากรและโมเดลการเสริมยังคงเป็นงานที่ยากสำหรับการวางแผนการฝึกอบรมแบบกระจาย เนื่องจากมักจะมีปัญหาเกี่ยวกับประสิทธิภาพและความยืดหยุ่น ไฟเบอร์ทำให้ระบบการกระจายตัวมีความน่าเชื่อถือและยืดหยุ่นมากขึ้นโดยการรวมซอฟต์แวร์การจัดการคลัสเตอร์กับการปรับขนาดแบบไดนามิก และทำให้ผู้ใช้สามารถย้ายงานจากเครื่องหนึ่งไปยังเครื่องหลายเครื่องได้อย่างราบรื่น

ไฟเบอร์ประกอบด้วยสามส่วน: API, backend และคลัสเตอร์เลเยอร์ เลเยอร์ API ช่วยให้ผู้ใช้สามารถสร้างคิว, ผู้จัดการ และกระบวนการได้ เลเยอร์แบ็กเอนด์ของไฟเบอร์ให้ผู้ใช้สามารถสร้างและยุติงานที่จัดการโดยคลัสเตอร์ต่างๆ และเลเยอร์คลัสเตอร์จะจัดการคลัสเตอร์แต่ละตัวพร้อมทรัพยากร ซึ่งช่วยลดจำนวนรายการที่ไฟเบอร์ต้องติดตาม

ไฟเบอร์ทำให้งานสามารถถูกจัดคิวและรันจากระยะไกลบนเครื่องเดียวหรือหลายเครื่อง โดยใช้แนวคิดของกระบวนการที่รองรับงาน ไฟเบอร์ยังใช้コンテนเนอร์เพื่อให้แน่ใจว่าข้อมูลอินพุตและแพ็คเกจที่พึ่งพาเป็นแบบ self-contained ไฟเบอร์มีการจัดการข้อผิดพลาดที่มีมาเกิดให้สามารถฟื้นฟูได้อย่างรวดเร็วหากผู้ปฏิบัติงานล้มเหลว ไฟเบอร์สามารถทำสิ่งเหล่านี้ได้ขณะโต้ตอบกับผู้จัดการคลัสเตอร์ ทำให้แอปพลิเคชันไฟเบอร์สามารถรันเหมือนแอปพลิเคชันปกติบนคลัสเตอร์คอมพิวเตอร์ที่กำหนด

ผลการทดลองแสดงให้เห็นว่าโดยเฉลี่ยเวลาในการตอบสนองของไฟเบอร์คือเพียงไม่กี่มิลลิวินาที และยังปรับขนาดได้ดีกว่าเทคนิค AI พื้นฐานเมื่อสร้างด้วย 2,048 คอร์/ผู้ปฏิบัติงาน เวลาที่ต้องการในการทำงานลดลงเมื่อจำนวนผู้ปฏิบัติงานเพิ่มขึ้น IPyParallel ใช้เวลาประมาณ 1,400 วินาทีในการทำ 50 อิเทอร์เรชันของการฝึกอบรม ในขณะที่ไฟเบอร์สามารถทำ 50 อิเทอร์เรชันของการฝึกอบรมได้ภายใน 50 วินาทีโดยมีผู้ปฏิบัติงาน 512 คน

ผู้เขียนร่วมของเอกสารไฟเบอร์ อธิบาย ว่าไฟเบอร์สามารถบรรลุเป้าหมายหลายอย่าง เช่น การปรับขนาดอัลกอริทึมแบบไดนามิกและการใช้ปริมาณการคำนวณขนาดใหญ่:

“[งานของเราแสดงให้เห็น] ว่าไฟเบอร์บรรลุเป้าหมายหลายอย่าง รวมถึงการใช้ฮาร์ดแวร์การคำนวณที่ไม่เหมือนกันจำนวนมากอย่างมีประสิทธิภาพ การปรับขนาดอัลกอริทึมเพื่อปรับปรุงการใช้ทรัพยากรอย่างมีประสิทธิภาพ ลดภาระงานวิศวกรรมที่จำเป็นในการทำให้อัลกอริทึมการเรียนรู้แบบเสริมและแบบประชากรทำงานบนคลัสเตอร์คอมพิวเตอร์ และปรับตัวให้เข้ากับสภาพแวดล้อมการคำนวณที่แตกต่างกันเพื่อปรับปรุงประสิทธิภาพการวิจัย เราคาดหวังว่ามันจะช่วยให้สามารถก้าวหน้าในการแก้ปัญหาที่ยากลำบากด้วยอัลกอริทึมการเรียนรู้แบบเสริมและวิธีการแบบประชากร โดยการทำให้ง่ายต่อการสร้างและฝึกอบรมวิธีการเหล่านี้ในระดับที่จำเป็นเพื่อให้พวกมันสามารถทำงานได้อย่างแท้จริง”