Ubers Fiber Er En Ny Fordelt AI-Modelltrening Ramme

Ifølge VentureBeat, AI-forskere ved Uber har nylig publisert en artikkel på Arxiv som beskriver en ny plattform som skal hjelpe med å utvikle fordelt AI-modeller. Plattformen heter Fiber, og den kan brukes til både forsterkingslæring og populasjonsbasert læring. Fiber er designet for å gjøre stor skala parallell beregning mer tilgjengelig for ikke-eksperter, slik at de kan dra nytte av kraften i fordelt AI-algoritmer og modeller.

Fiber er nylig blitt åpnet på GitHub, og den er kompatibel med Python 3.6 eller høyere, med Kubernetes som kjører på et Linux-system og i en sky-miljø. Ifølge forskergruppen kan plattformen lett skaleres opp til hundrevis eller tusenvis av enkeltmaskiner.

Forskergruppen fra Uber forklarer at mange av de nyeste og mest relevante fremgangene i kunstig intelligens har blitt drevet av større modeller og flere algoritmer som er trent med fordelt treningsteknikk. Imidlertid er det fortsatt en vanskelig oppgave å lage populasjonsbaserte modeller og forsterkingsmodeller med fordelt treningsskjemaer, da de ofte har problemer med effisiens og fleksibilitet. Fiber gjør det fordelt systemet mer pålitelig og fleksibelt ved å kombinere cluster-styringsprogramvare med dynamisk skalerings- og å la brukerne flytte jobbene sine fra en maskin til mange maskiner uten problemer.

Fiber består av tre forskjellige komponenter: en API, en backend og en cluster-lag. API-laget gjør det mulig for brukerne å opprette ting som køer, ledere og prosesser. Backend-laget i Fiber lar brukerne opprette og avslutte jobber som styres av forskjellige cluster, og cluster-laget styrer de enkelte clusterne selv samt deres ressurser, noe som reduserer antallet ting Fiber må holde styr på.

Fiber gjør det mulig å køe og kjøre jobber fjernett på en lokal maskin eller mange forskjellige maskiner, ved å bruke konseptet jobb-baserte prosesser. Fiber bruker også containere for å sikre at ting som inndata og avhengige pakker er selv-inneholdt. Fiber-rammen inkluderer også innebygget feilhåndtering, så hvis en arbeider krasjer, kan den raskt gjenopprettes. Fiber kan gjøre all dette samtidig som den samarbeider med cluster-styringsprogramvare, slik at Fiber-applikasjonene kan kjøre som vanlige applikasjoner på en gitt datamaskin-cluster.

Ekperimentelle resultater viste at Fibers responstid i gjennomsnitt var noen millisekunder, og at den også skalerte bedre enn baseline AI-teknikker når den ble bygget med 2 048 prosessor-kjerner/arbeidere. Tiden det tok å fullføre jobber ble gradvis redusert etterhvert som antallet arbeidere økte. IPyParallel fullførte 50 iterasjoner av trening på omtrent 1400 sekunder, mens Fiber kunne fullføre de samme 50 iterasjonene av trening på omtrent 50 sekunder med 512 arbeidere tilgjengelige.

Medforfatterne av Fiber-artikkelen forklarer at Fiber kan oppnå flere mål, som å dynamisk skalerings-algoritmer og bruke store volumer av beregningskraft:

“[Vår arbeid viser] at Fiber oppnår mange mål, inkludert å effektivt utnytte en stor mengde heterogen beregningsmaskinvare, dynamisk skalerings-algoritmer for å forbedre ressurs-utnyttelses-effisiens, redusere den tekniske byrden som kreves for å gjøre [forsterkingslæring] og populasjonsbaserte algoritmer fungere på datamaskin-cluster, og raskt tilpasse seg forskjellige beregningsmiljøer for å forbedre forsknings-effisiens. Vi forventer at det vil bidra til å fremme fremgang i å løse vanskelige [forsterkingslæring]-problemer med [forsterkingslæring]-algoritmer og populasjonsbaserte metoder ved å gjøre det enklere å utvikle disse metodene og trene dem i de skalaer som er nødvendige for å virkelig se dem skinne.”