Η γωνία του Anderson
Περιορισμός των αυξανόμενων ενεργειακών αναγκών της μηχανικής μάθησης

Βασικά σημείαΟ περιορισμός ισχύος των GPU στα 150W μειώνει την κατανάλωση ενέργειας κατά 13,7%…
Δείτε περισσότερα
- Ο περιορισμός ισχύος των GPU στα 150W μειώνει την κατανάλωση ενέργειας κατά 13,7% προσθέτοντας μόνο 6,8% χρόνο εκπαίδευσης.
- Η εξαγωγή συμπερασμάτων καταναλώνει πολύ περισσότερη ενέργεια από την εκπαίδευση, επομένως τα όρια ισχύος αποδίδουν περισσότερο εκεί.
- Ο προγραμματισμός της βαριάς εκπαίδευσης NLP για νύχτες του χειμώνα μπορεί να μειώσει το αποτύπωμα άνθρακα του κέντρου δεδομένων έως και 33%.
Ανταποκρινόμενοι στις αυξανόμενες ανησυχίες σχετικά με τις ενεργειακές απαιτήσεις των μεγάλων μοντέλων machine learning, μια πρόσφατη μελέτη από το MIT Lincoln Laboratory και το Πανεπιστήμιο του Northeastern έχει διερευνήσει τις οικονομίες που μπορούν να επιτευχθούν με τη θέσπιση ορίων ισχύος για τις GPU που χρησιμοποιούνται στην εκπαίδευση και στην εξαγωγή συμπερασμάτων μοντέλων, καθώς και με διάφορες άλλες τεχνικές και μεθόδους για την περικοπή της ενεργειακής κατανάλωσης του AI.
Το νέο έργο καλεί επίσης για νέες επιστημονικές εργασίες από τον τομέα του machine learning να ολοκληρώνονται με μια «Δήλωση Ενέργειας» (παρόμοια με την πρόσφατη τάση για «ηθικές επιπτώσεις» στις εργασίες από τον τομέα της έρευνας του machine learning).
Η κύρια πρόταση από το έργο είναι ότι η θέσπιση ορίων ισχύος (περιορισμός της διαθέσιμης ισχύος στην GPU που εκπαιδεύει το μοντέλο) προσφέρει σημαντικά οφέλη ως προς την εξοικονόμηση ενέργειας, ιδιαίτερα για το Masked Language Modeling (MLM) και τα πλαίσια όπως το BERT και οι παραλλαγές του.

Τρία δίκτυα γλωσσικής μοντελοποίησης που λειτουργούν στο ποσοστό της προεπιλεγμένης ρύθμισης 250W (μαύρη γραμμή), σε όρους κατανάλωσης ισχύος. Ο περιορισμός της κατανάλωσης ισχύος δεν περιορίζει την αποτελεσματικότητα ή την ακρίβεια της εκπαίδευσης σε μια βάση 1-1 και προσφέρει οικονομίες ενέργειας που είναι αξιοσημείωτες σε κλίμακα. Πηγή: https://arxiv.org/pdf/2205.09646.pdf
Για μεγαλύτερα μοντέλα, τα οποία έχουν κερδίσει την προσοχή τα τελευταία χρόνια λόγω των υπερκλιμακωμένων συνόλων δεδομένων και των νέων μοντέλων με δισεκατομμύρια ή τρισεκατομμύρια παραμέτρους, παρόμοιες οικονομίες μπορούν να επιτευχθούν ως αντάλλαγμα μεταξύ του χρόνου εκπαίδευσης και της κατανάλωσης ενέργειας.

Εκπαίδευση πιο ισχυρών NLP μοντέλων σε κλίμακα υπό περιορισμούς ισχύος. Ο μέσος σχετικός χρόνος με όριο 150W εμφανίζεται σε μπλε και η μέση σχετική κατανάλωση ενέργειας για 150W σε πορτοκαλί.
Για αυτές τις υψηλότερες κλίμακες, οι ερευνητές βρήκαν ότι ένα 150W όριο στην κατανάλωση ισχύος απέφερε μια μέση μείωση της κατανάλωσης ενέργειας κατά 13,7% σε σύγκριση με το προεπιλεγμένο μέγιστο 250W, καθώς και μια σχετικά μικρή αύξηση του χρόνου εκπαίδευσης κατά 6,8%.
Επιπλέον, οι ερευνητές σημειώνουν ότι, παρά τις επικεφαλίδες που έχει προσελκύσει το κόστος εκπαίδευσης μοντέλων τα τελευταία χρόνια, το ενεργειακό κόστος της πραγματικής χρήσης των εκπαιδευμένων μοντέλων είναι πολύ υψηλότερο*.
‘Για την γλωσσική μοντελοποίηση με BERT, τα ενεργειακά οφέλη μέσω της θέσπισης ορίων ισχύος είναι σημαντικά μεγαλύτερα κατά την εξαγωγή συμπερασμάτων παρά κατά την εκπαίδευση. Εάν αυτό είναι συνεπές για άλλες εφαρμογές AI, αυτό θα μπορούσε να έχει σημαντικές επιπτώσεις σε όρους κατανάλωσης ενέργειας για μεγάλης κλίμακας ή cloud υπολογιστικές πλατφόρμες που εξυπηρετούν εφαρμογές εξαγωγής συμπερασμάτων για έρευνα και βιομηχανία.’
Περαιτέρω, και ίσως πιο αμφιλεγόμενα, η εργασία προτείνει ότι η κύρια εκπαίδευση των μοντέλων machine learning θα πρέπει να ανατεθεί στους ψυχρότερους μήνες του έτους και τη νύχτα, για να μειωθεί το κόστος ψύξης.

Πάνω, στατιστικά PUE για κάθε ημέρα του 2020 στο κέντρο δεδομένων των συγγραφέων, με μια αξιοσημείωτη και διατηρημένη αύξηση/οροπέδιο τους θερινούς μήνες. Κάτω, η μέση ωριαία μεταβολή στο PUE για την ίδια τοποθεσία κατά τη διάρκεια μιας εβδομάδας, με την κατανάλωση ενέργειας που αυξάνεται προς το μέσο της ημέρας, καθώς και το εσωτερικό υλικό ψύξης GPU και η ψύξη ολόκληρου του κέντρου δεδομένων αγωνίζονται να διατηρήσουν μια κατάλληλη θερμοκρασία λειτουργίας.
Οι συγγραφείς δηλώνουν:
‘Εμφανώς, οι βαριές NLP εργασίες είναι τυπικά πολύ λιγότερο αποτελεσματικές το καλοκαίρι παρά αυτές που εκτελούνται κατά τη διάρκεια του χειμώνα. Δεδομένης της μεγάλης εποχιακής μεταβλητότητας, εάν υπάρχουν υπολογιστικά δαπανηρά πειράματα που μπορούν να προγραμματιστούν για ψυχρότερους μήνες, αυτό μπορεί να μειώσει σημαντικά το αποτύπωμα άνθρακα.’
Η εργασία αναγνωρίζει επίσης τις αναδυόμενες δυνατότητες εξοικονόμησης ενέργειας που είναι δυνατές μέσω της περικοπής και της βελτιστοποίησης της αρχιτεκτονικής μοντέλου και των ροών εργασίας – αν και οι συγγραφείς αφήνουν την περαιτέρω ανάπτυξη αυτής της οδού σε άλλες πρωτοβουλίες.
Τέλος, οι συγγραφείς προτείνουν ότι νέες επιστημονικές εργασίες από τον τομέα του machine learning θα πρέπει να ενθαρρυνθούν ή ίσως να υποχρεωθούν να ολοκληρώνονται με μια δήλωση που δηλώνει την κατανάλωση ενέργειας της εργασίας που διεξάγεται στην έρευνα και τις πιθανές ενεργειακές επιπτώσεις της υιοθέτησης πρωτοβουλιών που προτείνονται στην εργασία.

Η εργασία, οδηγώντας με το παράδειγμα, εξηγεί τις ενεργειακές επιπτώσεις της δικής της έρευνας.
Η εργασία έχει τον τίτλο Μεγάλη Ισχύς, Μεγάλη Ευθύνη: Προτάσεις για τη Μείωση της Ενέργειας για την Εκπαίδευση Γλωσσικών Μοντέλων και προέρχεται από έξι ερευνητές σε όλο το MIT Lincoln και το Northeastern.
Οι Αυξανόμενες Ενεργειακές Ανάγκες της Μηχανικής Μάθησης
Καθώς οι υπολογιστικές απαιτήσεις για τα μοντέλα machine learning έχουν αυξηθεί σε συνδυασμό με τη χρησιμότητα των αποτελεσμάτων, η τρέχουσα κουλτούρα του ML ταυτίζει την ενεργειακή δαπάνη με τη βελτιωμένη απόδοση – παρά ορισμένους σημαντικούς υποστηρικτές αλλαγών, όπως ο Andrew Ng, που προτείνουν ότι η επιμέλεια δεδομένων μπορεί να είναι ένας σημαντικότερος παράγοντας.
Σε μια σημαντική συνεργασία του MIT το 2020, εκτιμήθηκε ότι μια δεκαπλάσια βελτίωση της απόδοσης του μοντέλου συνεπάγεται μια 10.000-πλάσια αύξηση των υπολογιστικών απαιτήσεων, μαζί με μια αντίστοιχη ποσότητα ενέργειας.
Συνεπώς, η έρευνα για λιγότερο ενεργοβόρες αποτελεσματικές εκπαιδεύσεις ML έχει αυξηθεί τα τελευταία χρόνια. Η νέα εργασία, οι συγγραφείς ισχυρίζονται, είναι η πρώτη που λαμβάνει μια βαθιά ματιά στην επίδραση των ορίων ισχύος στην εκπαίδευση και εξαγωγή συμπερασμάτων του machine learning, με έμφαση στα NLP πλαίσια (όπως η σειρά GPT).
Καθώς η ποιότητα της εξαγωγής συμπερασμάτων είναι ζήτημα ύψιστης σημασίας, οι συγγραφείς δηλώνουν για τα ευρήματά τους στην αρχή:
‘Αυτή η μέθοδος δεν επηρεάζει τις προβλέψεις των εκπαιδευμένων μοντέλων ή συνεπώς την ακρίβεια της απόδοσης τους σε εργασίες. Δηλαδή, αν δύο δίκτυα με την ίδια δομή, αρχικές τιμές και δεδομένα χωρισμένα σε παρτίδες εκπαιδεύονται για τον ίδιο αριθμό παρτίδων υπό διαφορετικά όρια ισχύος, οι τελικές παράμετροί τους θα είναι ταυτόσημα και μόνο η ενέργεια που απαιτείται για την παραγωγή τους μπορεί να διαφέρει.’
Περικοπή της Ισχύος για NLP
Για να αξιολογήσουν την επίδραση των ορίων ισχύος στην εκπαίδευση και εξαγωγή συμπερασμάτων, οι συγγραφείς χρησιμοποίησαν την nvidia-smi (Διασύνδεση Διαχείρισης Συστήματος) εργαλείο γραμμής εντολών, μαζί με μια βιβλιοθήκη MLM από HuggingFace.
Οι συγγραφείς εκπαίδευσαν μοντέλα NLP BERT, DistilBERT και Big Bird πάνω στο MLM, και παρακολούθησαν την κατανάλωση ισχύος τους κατά την εκπαίδευση και την ανάπτυξη.
Τα μοντέλα εκπαιδεύτηκαν ενάντια στο σύνολο δεδομένων WikiText-103 για 4 εποχές εκπαίδευσης σε παρτίδες των οκτώ δειγμάτων, σε 16 V100 GPU, με τέσσερα διαφορετικά όρια ισχύος: 100W, 150W, 200W και 250W (η προεπιλογή, ή βάση, για μια NVIDIA V100 GPU). Τα μοντέλα είχαν παραμέτρους που εκπαιδεύτηκαν από το μηδέν και τυχαίες αρχικές τιμές, για να διασφαλιστεί η σύγκριση των εκπαιδεύσεων.
Όπως φαίνεται στην πρώτη εικόνα παραπάνω, τα αποτελέσματα δείχνουν καλές οικονομίες ενέργειας σε μη γραμμικές, ευνοϊκές αυξήσεις του χρόνου εκπαίδευσης. Οι συγγραφείς δηλώνουν:
‘Τα πειράματά μας δείχνουν ότι η εφαρμογή ορίων ισχύος μπορεί να μειώσει σημαντικά την κατανάλωση ενέργειας με το κόστος του χρόνου εκπαίδευσης.’
Μείωση του φόρτου του ‘Μεγάλου NLP’
Επόμενο, οι συγγραφείς εφαρμόζουν την ίδια μέθοδο σε μια πιο απαιτητική περίπτωση: εκπαίδευση του BERT με MLM σε κατανεμημένες ρυθμίσεις σε πολλαπλά GPU – μια πιο τυπική περίπτωση για καλά χρηματοδοτούμενα και δημοσιευμένα FAANG NLP μοντέλα.
Η κύρια διαφορά σε αυτό το πείραμα ήταν ότι ένα μοντέλο μπορεί να χρησιμοποιήσει οποιαδήποτε ποσότητα GPU από 2-400 ανά εκπαίδευση. Οι ίδιοι περιορισμοί για την κατανάλωση ισχύος εφαρμόστηκαν, και η ίδια εργασία χρησιμοποιήθηκε (WikiText-103). Δείτε τη δεύτερη εικόνα παραπάνω για γραφικές παραστάσεις των αποτελεσμάτων.
Η εργασία δηλώνει:
‘Μέσος όρος σε κάθε επιλογή ρύθμισης, ένα 150W όριο στην κατανάλωση ισχύος οδήγησε σε μια μέση μείωση της κατανάλωσης ενέργειας κατά 13,7% και αύξηση του χρόνου εκπαίδευσης κατά 6,8% σε σύγκριση με το προεπιλεγμένο μέγιστο. [Το] 100W ρύθμιση έχει σημαντικά μεγαλύτερο χρόνο εκπαίδευσης (31,4% μεγαλύτερο κατά μέσο όρο). Ένα 200W όριο αντιστοιχεί σχεδόν με τον ίδιο χρόνο εκπαίδευσης με ένα 250W όριο αλλά με πιο μετρημένες οικονομίες ενέργειας από ένα 150W όριο.’
Οι συγγραφείς προτείνουν ότι αυτά τα αποτελέσματα υποστηρίζουν την περικοπή ισχύος στα 150W για αρχιτεκτονικές GPU και τις εφαρμογές που τρέχουν σε αυτές. Επίσης, σημειώνουν ότι οι οικονομίες ενέργειας που επιτυγχάνονται μεταφράζονται σε διαφορετικές πλατφόρμες υλικού και έτρεξαν τις δοκιμές ξανά για να συγκρίνουν τα αποτελέσματα για τις NVIDIA (NVDA ) K80, T4 και A100 GPU.

Οικονομίες που επιτυγχάνονται σε τρία διαφορετικά NVIDIA GPU.
Εξαγωγή Συμπερασμάτων, Όχι Εκπαίδευση, Καταναλώνει Ισχύ
Η εργασία αναφέρει πολλές προηγούμενες μελέτες που δείχνουν ότι, παρά τις επικεφαλίδες, είναι η εξαγωγή συμπερασμάτων (η χρήση ενός ολοκληρωμένου μοντέλου, όπως ένα NLP μοντέλο) και όχι η εκπαίδευση που απαιτεί την μεγαλύτερη ποσότητα ισχύος, υποδεικνύοντας ότι καθώς τα δημοφιλή μοντέλα γίνονται εμπορεύματα και εισέρχονται στη μαζική αγορά, η κατανάλωση ισχύος θα μπορούσε να γίνει ένα μεγαλύτερο πρόβλημα από ότι είναι αυτή τη στιγμή σε αυτό το πιο πρωτογενές στάδιο της ανάπτυξης του NLP.
Έτσι, οι ερευνητές μετρούν την επίδραση της εξαγωγής συμπερασμάτων στην κατανάλωση ισχύος, βρίσκοντας ότι η επιβολή ορίων ισχύος έχει μια αξιοσημείωτη επίδραση στην καθυστέρηση εξαγωγής συμπερασμάτων:
‘Συγκριτικά με το 250W, ένα 100W ρύθμιση απαιτούσε διπλάσιο χρόνο εξαγωγής συμπερασμάτων (αύξηση 114%) και κατανάλωσε 11,0% λιγότερη ενέργεια, 150W απαιτούσε 22,7% περισσότερο χρόνο και εξοικονομήθηκε 24,2% της ενέργειας, και 200W απαιτούσε 8,2% περισσότερο χρόνο με 12,0% λιγότερη ενέργεια.’
Χειμερινή Εκπαίδευση
Η εργασία προτείνει ότι η εκπαίδευση (όχι όμως η εξαγωγή συμπερασμάτων, για προφανείς λόγους) θα μπορούσε να προγραμματιστεί σε ώρες όταν το κέντρο δεδομένων είναι σε βέλτιστη ενεργειακή αποδοτικότητα, δηλαδή Power Usage Effectiveness (PUE) – αποτελεσματικά, αυτό είναι το χειμώνα και τη νύχτα.
‘Σημαντικές οικονομίες ενέργειας μπορούν να επιτευχθούν εάν οι εργασίες μπορούν να προγραμματιστούν σε ώρες όταν ένα χαμηλότερο PUE αναμένεται. Για παράδειγμα, η μεταφορά μιας σύντομης εργασίας από την ημέρα στη νύχτα μπορεί να προσφέρει μια περίπου 10% μείωση, και η μεταφορά μιας μεγαλύτερης, ακριβής εργασίας (π.χ. ένα γλωσσικό μοντέλο που διαρκεί εβδομάδες για να ολοκληρωθεί) από το καλοκαίρι στο χειμώνα μπορεί να δει μια 33% μείωση.
‘Ενώ είναι δύσκολο να προβλεφθεί η εξοικονόμηση που ένας μεμονωμένος ερευνητής μπορεί να επιτύχει, οι πληροφορίες που παρουσιάζονται εδώ υπογραμμίζουν τη σημασία των περιβαλλοντικών παραγόντων που επηρεάζουν την συνολική ενέργεια που καταναλώνεται από τις εργασίες τους.’
Αξιοποιήστε το Cloud
Τέλος, η εργασία παρατηρεί ότι οι ιδιωτικές πηγές επεξεργασίας είναι απίθανο να έχουν εφαρμόσει τα ίδια μέτρα αποδοτικότητας με τα μεγάλα κέντρα δεδομένων και τους υψηλού επιπέδου παρόχους cloud υπολογιστών, και ότι οι περιβαλλοντικές ωφέλειες θα μπορούσαν να εξοικονομηθούν με τη μεταφορά των εργασιών σε τοποθεσίες που έχουν επενδύσει σημαντικά στην επίτευξη καλού PUE.
‘Ενώ υπάρχει η ευκολία να έχουν ιδιωτικές πηγές επεξεργασίας που είναι προσβάσιμες, αυτή η ευκολία έρχεται με ένα κόστος. Γενικά, οι οικονομίες ενέργειας και η επίδραση είναι πιο εύκολο να επιτευχθούν σε μεγαλύτερες κλίμακες. Τα κέντρα δεδομένων και οι παρόχοι cloud υπολογιστών κάνουν σημαντικές επενδύσεις στην επίτευξη καλού PUE.’
* Σημαντικοί σύνδεσμοι που δόθηκαν από την εργασία.












