Uber's Fiber je nový distribuovaný vzdelávací rámec modelu AI

Podľa VentureBeat, nedávno zverejnili výskumníci AI zo spoločnosti Uber referát pre Arxiv načrtnutie novej platformy určenej na pomoc pri vytváraní distribuovaných modelov AI. Platforma je tzv Vláknoa môže sa použiť na riadenie úloh posilňovacieho vzdelávania aj na vzdelávanie založené na populácii. Fiber je navrhnutý tak, aby sprístupnil rozsiahle paralelné výpočty aj pre neodborníkov a umožnil im využiť silu distribuovaných algoritmov a modelov AI.

Fiber bol nedávno vytvorený ako open source na GitHub a je kompatibilný s Pythonom 3.6 alebo vyšším, pričom Kubernetes beží na systéme Linux a beží v cloudovom prostredí. Podľa tímu výskumníkov je platforma schopná jednoducho škálovať až stovky alebo tisíce jednotlivých strojov.

Tím výskumníkov z Uber vysvetľuje, že mnohé z najnovších a relevantných pokrokov v umelej inteligencii boli poháňané väčšími modelmi a viacerými algoritmami, ktoré sú trénované pomocou distribuovaných tréningových techník. Vytváranie modelov založených na populácii a modelov posilnenia však zostáva ťažkou úlohou pre distribuované školiace schémy, pretože často majú problémy s efektívnosťou a flexibilitou. Fiber robí distribuovaný systém spoľahlivejším a flexibilnejším tým, že kombinuje softvér na správu klastrov s dynamickým škálovaním a umožňuje používateľom bezproblémovo presúvať úlohy z jedného stroja na veľký počet strojov.

Fiber sa skladá z troch rôznych komponentov: API, backend a klastrová vrstva. Vrstva API umožňuje používateľom vytvárať veci, ako sú fronty, manažéri a procesy. Backendová vrstva Fiber umožňuje používateľovi vytvárať a ukončovať úlohy, ktoré sú spravované rôznymi klastrami, a klastrová vrstva spravuje jednotlivé klastre samotné spolu s ich zdrojmi, čo predstavuje veľký počet položiek, ktoré musí Fiber sledovať.

Fiber umožňuje zaraďovať úlohy do frontu a spúšťať ich na diaľku na jednom lokálnom počítači alebo na mnohých rôznych strojoch, pričom využíva koncepciu procesov podporovaných úlohami. Fiber tiež využíva kontajnery na zabezpečenie toho, aby veci ako vstupné dáta a závislé balíky boli samostatné. Rámec Fiber dokonca obsahuje vstavané spracovanie chýb, takže v prípade zlyhania pracovníka ho možno rýchlo oživiť. FIber to všetko dokáže pri interakcii so správcami klastrov, vďaka čomu môžu aplikácie Fiber bežať tak, ako keby to boli bežné aplikácie bežiace na danom počítačovom klastri.

Experimentálne výsledky ukázali, že priemerná doba odozvy Fiber bola niekoľko milisekúnd a že sa tiež zlepšila lepšie ako základné techniky AI, keď bola postavená s 2,048 50 procesorovými jadrami/pracovníkmi. Dĺžka času potrebného na dokončenie úloh sa postupne znižovala so zvyšujúcim sa stanoveným počtom pracovníkov. IPyParallel dokončil 1400 iterácií tréningu za približne 50 sekúnd, zatiaľ čo Fiber bol schopný dokončiť rovnakých 50 iterácií tréningu za približne 512 sekúnd s XNUMX dostupnými pracovníkmi.

Spoluautori článku Fiber vysvetliť že Fiber je schopný dosiahnuť viacero cieľov, ako sú dynamické škálovacie algoritmy a využitie veľkých objemov výpočtového výkonu:

„[Naša práca ukazuje], že Fiber dosahuje mnoho cieľov, vrátane efektívneho využívania veľkého množstva heterogénneho výpočtového hardvéru, dynamického škálovania algoritmov na zlepšenie efektívnosti využívania zdrojov, zníženia inžinierskej záťaže potrebnej na to, aby [učenie na posilnenie] a algoritmy založené na populácii fungovali. počítačové klastre a rýchle prispôsobenie sa rôznym výpočtovým prostrediam s cieľom zlepšiť efektivitu výskumu. Očakávame, že to ďalej umožní pokrok pri riešení ťažkých problémov [posilňovacieho učenia] s algoritmami [posilneného učenia] a metódami založenými na populácii tým, že uľahčí vývoj týchto metód a ich trénovanie v rozsahu potrebnom na to, aby skutočne žiarili.“