Uber se vesel is 'n nuwe verspreide KI-model-opleidingsraamwerk

Volgens VentureBeat, KI-navorsers by Uber het onlangs geplaas 'n vraestel aan Arxiv uiteensetting van 'n nuwe platform wat bedoel is om te help met die skepping van verspreide KI-modelle. Die platform word genoem Fiber, en dit kan gebruik word om beide versterkingsleertake en bevolkingsgebaseerde leer aan te dryf. Vesel is ontwerp om grootskaalse parallelle berekening meer toeganklik te maak vir nie-kundiges, sodat hulle voordeel kan trek uit die krag van verspreide AI-algoritmes en -modelle.

Vesel is onlangs oopbron op GitHub gemaak, en dit is versoenbaar met Python 3.6 of hoër, met Kubernetes wat op 'n Linux-stelsel loop en in 'n wolkomgewing loop. Volgens die span navorsers is die platform in staat om maklik tot honderde of duisende individuele masjiene te skaal.

Die span navorsers van Uber verduidelik dat baie van die mees onlangse en relevante vooruitgang in kunsmatige intelligensie gedryf is deur groter modelle en meer algoritmes wat opgelei word deur gebruik te maak van verspreide opleidingstegnieke. Die skep van bevolkingsgebaseerde modelle en versterkingsmodelle bly egter 'n moeilike taak vir verspreide opleidingskemas, aangesien hulle gereeld probleme met doeltreffendheid en buigsaamheid het. Vesel maak die verspreide stelsel meer betroubaar en buigsaam deur groepbestuursagteware te kombineer met dinamiese skaal en laat gebruikers hul werk naatloos van een masjien na 'n groot aantal masjiene skuif.

Vesel bestaan ​​uit drie verskillende komponente: 'n API, 'n agterkant en 'n groeplaag. Die API-laag stel gebruikers in staat om dinge soos toue, bestuurders en prosesse te skep. Die agterste laag van vesel laat die gebruiker toe om werk te skep en te beëindig wat deur verskillende groepe bestuur word, en die groepielaag bestuur die individuele groepe self saam met hul hulpbronne, wat grootliks die aantal items wat Fiber moet dophou.

Vesel stel take in staat om in tou te staan ​​en op afstand op een plaaslike masjien of baie verskillende masjiene te hardloop, deur die konsep van werkgesteunde prosesse te gebruik. Vesel maak ook gebruik van houers om te verseker dat dinge soos invoerdata en afhanklike pakkette selfstandig is. Die veselraamwerk sluit selfs ingeboude fouthantering in sodat as 'n werker ineenstort dit vinnig herleef kan word. FIber is in staat om dit alles te doen terwyl dit met groepbestuurders in wisselwerking tree, wat Fiber-toepassings laat loop asof dit normale toepassings is wat op 'n gegewe rekenaargroepering loop.

Eksperimentele resultate het getoon dat Fiber se reaksietyd gemiddeld 'n paar millisekondes was en dat dit ook beter opgeskaal het as basislyn KI-tegnieke wanneer dit met 2,048 50 verwerkerkerne/werkers gebou is. Die tydsduur wat nodig was om werk te voltooi, het geleidelik afgeneem namate die vasgestelde aantal werkers toegeneem het. IPyParallel het 1400 iterasies van opleiding in ongeveer 50 sekondes voltooi, terwyl Fiber dieselfde 50 iterasies van opleiding in ongeveer 512 sekondes kon voltooi met XNUMX werkers beskikbaar.

Die mede-outeurs van die Fiber-vraestel verduidelik dat Fiber in staat is om verskeie doelwitte te bereik, soos om algoritmes dinamiese skaal te maak en groot volumes rekenaarkrag te gebruik:

"[Ons werk toon] dat Fiber baie doelwitte bereik, insluitend die doeltreffende gebruik van 'n groot hoeveelheid heterogene rekenaarhardeware, dinamiese skaal van algoritmes om doeltreffendheid van hulpbrongebruik te verbeter, die vermindering van die ingenieurslas wat nodig is om [versterkingsleer] en bevolkingsgebaseerde algoritmes te laat werk. rekenaarklusters, en vinnig aan te pas by verskillende rekenaaromgewings om navorsingsdoeltreffendheid te verbeter. Ons verwag dat dit verdere vordering sal moontlik maak in die oplossing van harde [versterkingsleer]-probleme met [versterkingsleer]-algoritmes en populasie-gebaseerde metodes deur dit makliker te maak om hierdie metodes te ontwikkel en op te lei op die skale wat nodig is om hulle werklik te sien skyn.”