Uber’in Fiber’ı Yeni Bir Dağıtılmış AI Model Eğitimi Çerçevesi

VentureBeat’e göre, Uber’deki AI araştırmacıları, dağıtılmış AI modellerinin oluşturulmasına yardımcı olmak amacıyla tasarlanan bir platform hakkında bir makaleyi Arxiv’e gönderdiler. Platformun adı Fiber ve pekiştirmeli öğrenme görevleri ve population-based öğrenme için kullanılabilir. Fiber, büyük ölçekli paralel hesaplama işlemlerini uzman olmayanlara daha erişilebilir hale getirmek için tasarlandı, böylece dağıtılmış AI algoritmaları ve modellerinin gücünden yararlanabiliyorlar.

Fiber最近 GitHub’da açık kaynak olarak yayınlandı ve Python 3.6 veya üstü sürümlerle, Linux sistemi üzerinde çalışan Kubernetes ile bulut ortamında çalışabiliyor. Araştırmacıların belirttiğine göre, platform kolayca yüzlerce veya binlerce ayrı makineye ölçeklenebiliyor.

Uber’den araştırmacı ekibi, son zamanlarda yapılan ve en ilgili AI ilerlemelerinin, daha büyük modeller ve daha fazla algoritma ile dağıtılmış eğitim teknikleri kullanılarak elde edildiğini açıkladı. Ancak, population-based modeller ve pekiştirmeli modeller oluşturmak, dağıtılmış eğitim şemaları için hala zor bir görev olarak kalıyor, çünkü genellikle verimlilik ve esneklik sorunları yaşanıyor. Fiber, küme yönetimi yazılımlarını dinamik ölçeklendirme ile birleştirerek ve kullanıcıların işlerini bir makineden birçok makineye sorunsuz bir şekilde taşıyabilmesini sağlayarak dağıtılmış sistemi daha güvenilir ve esnek hale getiriyor.

Fiber üç farklı bileşenden oluşuyor: API, arka uç ve küme katmanı. API katmanı, kullanıcıların kuyruklar, yöneticiler ve işlemler oluşturmasını sağlıyor. Fiber’ın arka uç katmanı, kullanıcıların farklı kümeler tarafından yönetilen işleri oluşturmasına ve sonlandırmasına izin veriyor ve küme katmanı, bireysel kümeleri ve kaynaklarını yönetiyor, bu da Fiber’ın takip etmesi gereken öğelerin sayısını artırıyor.

Fiber, işlerin bir yerel makine veya birçok farklı makine üzerinde uzaktan sıraya konulmasına ve çalıştırılmasına olanak tanır, iş destekli işlemler kavramını kullanır. Fiber ayrıca, girdileri ve bağımlı paketleri self-contained tutmak için konteynırları kullanır. Fiber çerçevesi ayrıca, bir işçi çöktüğünde hızlı bir şekilde canlandırılabilmesi için yerleşik hata işleme özelliğine sahiptir. Fiber, küme yöneticileri ile etkileşime girerken, Fiber uygulamalarının bir bilgisayar kümesinde normal uygulamalar gibi çalışmasını sağlar.

Deneysel sonuçlar, Fiber’ın ortalama yanıt süresinin birkaç milisaniye olduğunu ve 2.048 işlemci çekirdeği/işçi ile inşa edildiğinde temel AI tekniklerine göre daha iyi ölçeklendiğini gösterdi. İşlerin tamamlanması için gereken süre, işçi sayısının artmasıyla dần dần azaldı. IPyParallel, 50 eğitim iterasyonunu yaklaşık 1400 saniyede tamamlarken, Fiber 512 işçi ile aynı 50 eğitim iterasyonunu yaklaşık 50 saniyede tamamlayabildi.

Fiber makalesinin ortak yazarları açıkladı ki Fiber, birden fazla hedefi gerçekleştirebiliyor, bunlar arasında büyük miktarda heterojen hesaplama donanımını verimli bir şekilde kullanmak, algoritmaları kaynak kullanım verimliliğini artırmak için dinamik olarak ölçeklendirmek, pekiştirmeli öğrenme ve population-based algoritmaların bilgisayar kümelerinde çalışması için gereken mühendislik yükünü azaltmak ve araştırma verimliliğini artırmak için farklı hesaplama ortamlarına hızlı bir şekilde uyum sağlamak yer alıyor. Fiber’ın, pekiştirmeli öğrenme algoritmaları ve population-based yöntemler ile zor pekiştirmeli öğrenme sorunlarını çözmeyi kolaylaştırarak, bu yöntemlerin geliştirilmesini ve gerekli ölçeklerde eğitimlerini kolaylaştırarak ilerlemeyi sağlayacağı bekleniyor.