Το Fiber της Uber είναι ένα νέο κατανεμημένο πλαίσιο εκπαίδευσης μοντέλων AI

Σύμφωνα με το VentureBeat, ερευνητές της Uber έχουν δημοσιεύσει ένα έγγραφο στο Arxiv που περιγράφει μια νέα πλατφόρμα που έχει ως στόχο να βοηθήσει στη δημιουργία κατανεμημένων μοντέλων AI. Η πλατφόρμα ονομάζεται Fiber και μπορεί να χρησιμοποιηθεί για την εκτέλεση εργασιών εκμάθησης ενίσχυσης και population-based εκμάθησης. Το Fiber σχεδιάστηκε για να κάνει την μεγάλη κλίμακα παράλληλη υπολογιστική πιο προσιτή στους μη ειδικούς, επιτρέποντάς τους να επωφεληθούν από τη δύναμη των κατανεμημένων αλγορίθμων και μοντέλων AI.

Το Fiber έχει δημοσιευθεί πρόσφατα ως ανοικτό λογισμικό στο GitHub και είναι συμβατό με Python 3.6 ή άνω, με Kubernetes που τρέχει σε σύστημα Linux και σε περιβάλλον cloud. Σύμφωνα με την ομάδα ερευνητών, η πλατφόρμα είναι ικανή να κλιμακωθεί εύκολα σε εκατοντάδες ή χιλιάδες μεμονωμένες μηχανές.

Η ομάδα ερευνητών της Uber εξηγεί ότι πολλές από τις πιο πρόσφατες και σχετικές προόδους στην τεχνητή νοημοσύνη έχουν οδηγηθεί από μεγαλύτερα μοντέλα και περισσότερους αλγορίθμους που εκπαιδεύονται με τεχνικές κατανεμημένης εκπαίδευσης. Ωστόσο, η δημιουργία population-based μοντέλων και μοντέλων ενίσχυσης παραμένει một δύσκολη εργασία για τις κατανεμημένες σχηματισμοί, καθώς συχνά έχουν προβλήματα με την αποτελεσματικότητα και την ευελιξία. Το Fiber κάνει το κατανεμημένο σύστημα πιο αξιόπιστο και ευέλικτο συνδυάζοντας λογισμικό διαχείρισης cluster με δυναμική κλιμάκωση και επιτρέποντας στους χρήστες να μεταφέρουν τις εργασίες τους από μια μηχανή σε πολλές μηχανές ομαλά.

Το Fiber αποτελείται από τρία διαφορετικά στοιχεία: ένα API, ένα backend και ένα επίπεδο cluster. Το επίπεδο API επιτρέπει στους χρήστες να δημιουργήσουν αντικείμενα όπως ουρές, διαχειριστές και διαδικασίες. Το επίπεδο backend του Fiber επιτρέπει στους χρήστες να δημιουργήσουν και να τερματίσουν εργασίες που διαχειρίζονται από διαφορετικά cluster, και το επίπεδο cluster διαχειρίζεται τα μεμονωμένα cluster και τους πόρους τους, που μειώνει τον αριθμό των αντικειμένων που το Fiber πρέπει να παρακολουθεί.

Το Fiber επιτρέπει στις εργασίες να τεθούν σε ουρά και να εκτελεστούν απομακρυσμένα σε μια τοπική μηχανή ή σε πολλές διαφορετικές μηχανές, χρησιμοποιώντας την έννοια των διαδικασιών που υποστηρίζονται από εργασίες. Το Fiber χρησιμοποιεί επίσης контέινερ για να διασφαλίσει ότι τα δεδομένα εισόδου και τα εξαρτημένα πακέτα είναι αυτοτελή. Το πλαίσιο Fiber περιλαμβάνει επίσης ενσωματωμένη διαχείριση σφαλμάτων, ώστε αν ένας εργαζόμενος συντριβεί, μπορεί να αναβιώσει γρήγορα. Το Fiber μπορεί να κάνει όλα αυτά ενώ αλληλεπιδρά με διαχειριστές cluster, επιτρέποντας στις εφαρμογές Fiber να τρέχουν σαν να ήταν κανονικές εφαρμογές που τρέχουν σε ένα δεδομένο cluster.

Τα πειραματικά αποτελέσματα έδειξαν ότι ο μέσος χρόνος απόκρισης του Fiber ήταν quelques χιλιοστά του δευτερολέπτου και ότι κλιμάκωνε επίσης καλύτερα από τις βασικές τεχνικές AI όταν χτίστηκε με 2.048 πυρήνες/εργαζόμενους. Ο χρόνος που απαιτείται για την ολοκλήρωση των εργασιών μειώθηκε σταδιακά καθώς αυξανόταν ο αριθμός των εργαζομένων. Το IPyParallel ολοκλήρωσε 50 επαναλήψεις εκπαίδευσης σε περίπου 1400 δευτερόλεπτα, ενώ το Fiber μπόρεσε να ολοκληρώσει τις ίδιες 50 επαναλήψεις εκπαίδευσης σε περίπου 50 δευτερόλεπτα με 512 εργαζόμενους διαθέσιμους.

Οι συνεργάτες του εγγράφου Fiber εξηγούν ότι το Fiber μπορεί να επιτύχει πολλαπλά στόχους, όπως η δυναμική κλιμάκωση αλγορίθμων και η χρήση μεγάλων όγκων υπολογιστικής δύναμης:

«[Η δουλειά μας δείχνει] ότι το Fiber επιτυγχάνει πολλά στόχους, συμπεριλαμβανομένης της αποτελεσματικής εκμετάλλευσης ενός μεγάλου όγκου ετερογενών υπολογιστικών υλικών, της δυναμικής κλιμάκωσης αλγορίθμων για τη βελτίωση της αποτελεσματικότητας της χρήσης των πόρων, της μείωσης του φόρτου μηχανικής που απαιτείται για να λειτουργήσουν οι αλγόριθμοι ενίσχυσης και population-based σε cluster υπολογιστών, και της γρήγορης προσαρμογής σε διαφορετικά περιβάλλοντα υπολογιστών για τη βελτίωση της αποτελεσματικότητας της έρευνας. Περιμένουμε ότι θα ενισχύσει περαιτέρω την πρόοδο στην επίλυση δύσκολων προβλημάτων [εκμάθησης ενίσχυσης] με αλγορίθμους [εκμάθησης ενίσχυσης] και μεθόδους population-based, κάνωντας πιο εύκολη την ανάπτυξη αυτών των μεθόδων και την εκπαίδευσή τους στις κλίμακες που απαιτούνται για να τις δούμε να λάμπουν».