Ερευνητές Δημιουργούν Εναλλακτική Λύση για GPU

Οι επιστήμονες υπολογιστών από το Πανεπιστήμιο Rice, μαζί με συνεργάτες από την Intel (INTC ), έχουν αναπτύξει μια πιο οικονομική εναλλακτική λύση για το GPU. Ο νέος αλγόριθμος ονομάζεται “υπο-γραμμικός αλγόριθμος深度 μάθησης” (SLIDE) και χρησιμοποιεί γενικού σκοπού κεντρικού επεξεργαστή (CPU) χωρίς εξειδικευμένο υλικό επιτάχυνσης.

Τα αποτελέσματα παρουσιάστηκαν στο Κέντρο Συνεδρίων του Όστιν, το οποίο φιλοξενεί τη διάσκεψη συστημάτων μάθησης MLSys.

Μια από τις μεγαλύτερες προκλήσεις внутри της τεχνητής νοημοσύνης (AI) περιβάλλει εξειδικευμένο υλικό επιτάχυνσης όπως οι μονάδες επεξεργασίας γραφικών (GPUs). Πριν από τις νέες εξελίξεις, πιστευόταν ότι για να επιταχύνουμε την τεχνολογία βαθιάς μάθησης, χρειαζόμαστε το υλικό επιτάχυνσης.

Πολυάριθμες εταιρείες έχουν δώσει μεγάλη σημασία στην επένδυση σε GPUs και εξειδικευμένο υλικό για βαθιά μάθηση, η οποία είναι υπεύθυνη για τεχνολογίες όπως ψηφιακές βοηθοί, αναγνώριση προσώπου και συστήματα σύστασης προϊόντων. Μια τέτοια εταιρεία είναι η Nvidia (NVDA ), η οποία δημιουργεί τις Tesla (TSLA ) V100 Tensor Core GPUs. Η Nvidia αναφέρθηκε πρόσφατα ότι είχε αύξηση 41% στα έσοδά της στο τέταρτο τρίμηνο σε σύγκριση με πέρυσι.

Η ανάπτυξη του SLIDE ανοίγει εντελώς νέες δυνατότητες.

Ο Anshumali Shrivastava είναι助ανδρος καθηγητής στο Τμήμα Μηχανικής του Πανεπιστημίου Rice και βοήθησε να εφευρεθεί ο αλγόριθμος SLIDE με τους φοιτητές Beidi Chen και Tharun Medini.

“Οι δοκιμές μας δείχνουν ότι ο SLIDE είναι η πρώτη έξυπνη αλγοριθμική υλοποίηση βαθιάς μάθησης σε CPU που μπορεί να ξεπεράσει την επιτάχυνση υλικού GPU σε βιομηχανικής κλίμακας σύνολα δεδομένων συστάσεων με μεγάλες πλήρως συνδεδεμένες αρχιτεκτονικές”, είπε ο Shrivastava.

Ο SLIDE ξεπερνά την πρόκληση των GPUs λόγω της εντελώς διαφορετικής προσέγγισής του στη βαθιά μάθηση. Hiệnως, η τυπική τεχνική εκπαίδευσης για βαθιά νευρωνικά δίκτυα είναι η “πίσω διάδοση” και απαιτεί πολλαπλασιασμό πινάκων. Αυτό το φορτίο απαιτεί την χρήση GPUs, οπότε οι ερευνητές άλλαξαν την εκπαίδευση του νευρωνικού δικτύου ώστε να μπορεί να λυθεί με πίνακες κατακερματισμού.

Αυτή η νέα προσέγγιση μειώνει σημαντικά το υπολογιστικό φορτίο για τον SLIDE. Η τρέχουσα καλύτερη πλατφόρμα GPU που χρησιμοποιούν εταιρείες όπως η Amazon (AMZN ) και η Google (GOOGL ) για cloud-βάση βαθιά μάθηση έχει οκτώ Tesla V100, και το κόστος είναι περίπου 100.000 δολάρια.

“Έχουμε ένα στο εργαστήριο, και στο τεστ μας πήραμε ένα φορτίο που είναι ιδανικό για V100, ένα με περισσότερα από 100 εκατομμύρια παραμέτρους σε μεγάλες, πλήρως συνδεδεμένες δικτύωση που ταιριάζει στη μνήμη GPU”, είπε ο Shrivastava. “Εκπαιδεύσαμε το με το καλύτερο πακέτο που υπάρχει, το TensorFlow της Google, και πήρε 3 1/2 ώρες για την εκπαίδευση.

“Στη συνέχεια δείξαμε ότι ο νέος μας αλγόριθμος μπορεί να κάνει την εκπαίδευση σε μία ώρα, όχι σε GPU αλλά σε einen 44-πυρήνα Xeon-κλάσης CPU”, συνέχισε.

Ο κατακερματισμός είναι ένας τύπος μεθόδου ευρετηρίου δεδομένων που εφευρέθηκε τη δεκαετία του 1990 για την αναζήτηση στο διαδίκτυο. Χρησιμοποιούνται αριθμητικές μεθόδους για να κωδικοποιήσουν μεγάλες ποσότητες πληροφοριών ως eine σειρά ψηφίων, η οποία ονομάζεται κατακερματισμός. Οι κατακερματισμοί καταγράφονται για να δημιουργήσουν πίνακες που μπορούν να αναζητηθούν γρήγορα.

“Δεν θα είχε νόημα να υλοποιήσουμε τον αλγόριθμό μας στο TensorFlow ή PyTorch γιατί η πρώτη τους πράξη είναι να μετατρέψουν ό,τι κάνετε σε πρόβλημα πολλαπλασιασμού πινάκων”, είπε ο Chen. “Αυτή είναι ακριβώς η πράξη που θέλαμε να αποφύγουμε. Οπότε γράψαμε τον δικό μας κώδικα C++ από την αρχή.”

Σύμφωνα με τον Shrivastava, το μεγαλύτερο πλεονέκτημα του SLIDE είναι ότι είναι παράλληλος στα δεδομένα.

“Με την παράλληλη επεξεργασία δεδομένων εννοώ ότι αν έχω δύο δεδομένα που θέλω να εκπαιδεύσω, π.χ. μια εικόνα ενός γάτου και μια εικόνα ενός λεωφορείου, θα ενεργοποιήσουν πιθανώς διαφορετικά νευρικά και ο SLIDE μπορεί να ενημερώσει ή να εκπαιδεύσει αυτά τα δύο ανεξάρτητα”, είπε. “Αυτή είναι μια πολύ καλύτερη αξιοποίηση της παράλληλης επεξεργασίας για τους CPU.”

“Η άλλη πλευρά, σε σύγκριση με το GPU, είναι ότι απαιτούμε μια μεγάλη μνήμη”, είπε. “Υπάρχει μια ιεραρχία cache στη μνήμη και αν δεν είμαστε προσεκτικοί με αυτήν, μπορούμε να αντιμετωπίσουμε ένα πρόβλημα που ονομάζεται cache thrashing, όπου παίρνουμε πολλά λάθη cache.”

Ο SLIDE έχει ανοίξει την πόρτα για νέους τρόπους υλοποίησης βαθιάς μάθησης και ο Shrivastava πιστεύει ότι είναι μόνο η αρχή.

“Μόλις abbiamo γράψουμε την επιφάνεια”, είπε. “Υπάρχουν πολλά που ακόμα μπορούμε να κάνουμε για να βελτιώσουμε. Δεν abbiamo χρησιμοποιήσει διανυσματισμό, για παράδειγμα, ή ενσωματωμένους επιταχυντές στον CPU, όπως ο Intel Deep Learning Boost. Υπάρχουν πολλά άλλα κόλπα που μπορούμε ακόμα να χρησιμοποιήσουμε για να το κάνουμε ακόμα πιο γρήγορο.”