Ubers Fiber Er En Ny Fordelt AI-Model Træningsramme

Ifølge VentureBeat, har AI-forskere på Uber nylig offentliggjort en artikel på Arxiv, der beskriver en ny platform, der skal hjælpe med at skabe fordelt AI-modeller. Platformen hedder Fiber, og den kan bruges til både forstærkning af læring og population-baseret læring. Fiber er designet til at gøre stor skala parallel beregning mere tilgængelig for ikke-eksperter, så de kan udnytte kraften af fordelt AI-algoritmer og -modeller.

Fiber er nylig blevet open-source på GitHub, og den er kompatibel med Python 3.6 eller højere, med Kubernetes kørende på et Linux-system og kørende i en cloud-miljø. Ifølge forskerholdet er platformen i stand til nemt at skala op til hundredvis eller tusindvis af enkeltmaskiner.

Forskerholdet fra Uber forklarer, at mange af de seneste og mest relevante fremskridt i kunstig intelligens er blevet drevet af større modeller og flere algoritmer, der er trænet ved hjælp af fordelt træningsteknikker. Men at skabe population-baserede modeller og forstærkningmodeller er stadig en svær opgave for fordelt træningsskemaer, da de ofte har problemer med effektivitet og fleksibilitet. Fiber gør det fordelt system mere pålideligt og fleksibelt ved at kombinere clusterstyringssoftware med dynamisk skala og lade brugerne flytte deres job fra en maskine til mange maskiner uden problemer.

Fiber består af tre forskellige komponenter: en API, en backend og en clusterlag. API-laget giver brugerne mulighed for at oprette ting som køer, ledere og processer. Backend-laget på Fiber giver brugeren mulighed for at oprette og afslutte job, der styres af forskellige clusters, og cluster-laget styrer de enkelte clusters og deres ressourcer, hvilket reducerer antallet af elementer, som Fiber skal holde styr på.

Fiber giver mulighed for at køre job på en lokal maskine eller på mange forskellige maskiner, ved hjælp af konceptet job-baserede processer. Fiber bruger også containere til at sikre, at ting som inputdata og afhængige pakker er selvstændige. Fiber-rammen indeholder også indbygget fejlhåndtering, så hvis en arbejder fejler, kan den hurtigt genoprettes. Fiber kan gøre alt dette, samtidig med at den interagerer med clusterledere, så Fiber-apps kan køre som almindelige apps på en given computercluster.

Eksperimentelle resultater viste, at Fibers respons tid i gennemsnit var få millisekunder, og at den også skalaerede bedre end baseline AI-teknikker, da den blev bygget med 2.048 processor-kerner/arbejdere. Tiden, der var nødvendig for at fuldføre job, faldt gradvist, efterhånden som antallet af arbejdere øgedes. IPyParallel fuldførte 50 iterationer af træning på cirka 1400 sekunder, mens Fiber kunne fuldføre de samme 50 iterationer af træning på cirka 50 sekunder med 512 arbejdere til rådighed.

Medforfatterne til Fiber-artiklen forklarer, at Fiber kan opnå flere mål, herunder dynamisk skala af algoritmer og brug af store mængder beregningskraft:

“[Vores arbejde viser], at Fiber opnår mange mål, herunder effektivt udnyttelse af en stor mængde heterogen beregningshardware, dynamisk skala af algoritmer til at forbedre ressourceudnyttelse, reducering af den tekniske byrde, der kræves for at gøre [forstærkning af læring] og population-baserede algoritmer arbejde på computerclusters, og hurtig tilpasning til forskellige beregningsmiljøer til at forbedre forsknings-effektivitet. Vi forventer, at det vil yderligere muliggøre fremskridt i løsning af svære [forstærkning af læring]-problemer med [forstærkning af læring]-algoritmer og population-baserede metoder ved at gøre det lettere at udvikle disse metoder og træne dem i den skala, der er nødvendig for at se dem virkelig lykkes.”