Αυξήστε και Κλαδεύστε την Στρατηγική του AI Φαίνεται να Μειώνει την Κατανάλωση Ενέργειας του AI

Ο ανθρώπινος εγκέφαλος λειτουργεί με μια στρατηγική “αύξησης και κλάδευσης”, αρχίζοντας αρχικά με ένα τεράστιο αριθμό νευρικών συνδέσεων και στη συνέχεια κλαδεύοντας τις ανενεργές συνδέσεις με την πάροδο του χρόνου. Πρόσφατα, μια ομάδα ερευνητών του AI έχει εφαρμόσει αυτήν την προσέγγιση στα συστήματα AI και βρήκε ότι μπορεί να μειώσει σημαντικά την ποσότητα ενέργειας που απαιτείται για την εκπαίδευση ενός AI.

Μια ομάδα ερευνητών από το Πανεπιστήμιο του Πρίνστον πρόσφατα δημιούργησε μια νέα μέθοδο εκπαίδευσης συστημάτων τεχνητής νοημοσύνης. Αυτή η νέα μέθοδος εκπαίδευσης φαίνεται να μπορεί να ικανοποιήσει ή να υπερβεί τα βιομηχανικά πρότυπα για ακρίβεια, αλλά μπορεί να το επιτύχει αυτό ενώ καταναλώνει πολύ λιγότερη υπολογιστική ισχύ και, ως εκ τούτου, λιγότερη ενέργεια, από τα παραδοσιακά μοντέλα μηχανικής μάθησης. Κατά τη διάρκεια δύο διαφορετικών ερευνών, οι ερευνητές του Πρίνστον επέδειξαν πώς να αυξήσουν ένα δίκτυο προσθέτοντας νευρώνες και συνδέσεις σε αυτό. Οι ανενεργές συνδέσεις κλαδεύτηκαν στη συνέχεια με την πάροδο του χρόνου, αφήνοντας μόνο τα πιο αποτελεσματικά και αποτελεσματικά τμήματα του μοντέλου.

Ο Niraj Jha, καθηγητής Ηλεκτρολογικού Μηχανικού στο Πρίνστον, εξήγησε στο Πρίνστον νιους ότι το μοντέλο που αναπτύχθηκε από τους ερευνητές λειτουργεί με ένα “παράδειγμα αύξησης και κλάδευσης”. Ο Jha εξήγησε ότι ο ανθρώπινος εγκέφαλος είναι ο πιο σύνθετος που θα είναι σε ηλικία τριών ετών και μετά από αυτό το σημείο ο εγκέφαλος αρχίζει να κλαδεύει τις ανενεργές συνάψεις. Το αποτέλεσμα είναι ότι ο πλήρως ανεπτυγμένος εγκέφαλος μπορεί να εκτελέσει όλα τα εξαιρετικά σύνθετα καθήκοντα που κάνουμε κάθε μέρα, αλλά χρησιμοποιεί περίπου το μισό από όλες τις συνάψεις που είχε στο αποκορύφωμά του. Ο Jha και οι άλλοι ερευνητές μίμησαν αυτήν την στρατηγική για να βελτιώσουν την εκπαίδευση του AI.

Ο Jha εξήγησε:

«Η προσέγγισή μας ονομάζεται παράδειγμα αύξησης και κλάδευσης. Είναι παρόμοιο με αυτό που κάνει ο εγκέφαλος από όταν είμαστε βρέφος μέχρι όταν είμαστε νήπιο. Στο τρίτο έτος, ο ανθρώπινος εγκέφαλος αρχίζει να κλαδεύει τις συνδέσεις μεταξύ των κυττάρων του εγκεφάλου. Αυτή η διαδικασία συνεχίζεται μέχρι την ενηλικίωση, ώστε ο πλήρως ανεπτυγμένος εγκέφαλος να λειτουργεί περίπου στο μισό του αποκορύφωμα των συνάψεων. Ο εγκέφαλος του ενηλίκου είναι εξειδικευμένος σε ό,τι εκπαίδευση έχουμε παρέχει. Δεν είναι τόσο καλός για γενικούς σκοπούς μάθησης όσο ο εγκέφαλος του νηπίου.»

Χάρη στην τεχνική αύξησης και κλάδευσης, μπορούν να γίνουν εξίσου καλές προβλέψεις για μοτίβα σε δεδομένα χρησιμοποιώντας μόνο ένα κλάσμα της υπολογιστικής ισχύος που απαιτούνταν προηγουμένως. Οι ερευνητές στοχεύουν να βρουν μεθόδους για τη μείωση της κατανάλωσης ενέργειας και του υπολογιστικού κόστους, καθώς αυτό είναι κλειδί για τη μεταφορά της μηχανικής μάθησης σε μικρές συσκευές όπως τα τηλέφωνα και τα smartwatches. Η μείωση της ποσότητας ενέργειας που καταναλώνουν οι αλγόριθμοι μηχανικής μάθησης μπορεί επίσης να βοηθήσει τη βιομηχανία να μειώσει την υβριδική της υπεξαίρεση. Ο Xiaoliang Dai, ο πρώτος συγγραφέας των ερευνών, εξήγησε ότι τα μοντέλα πρέπει να εκπαιδευτούν τοπικά λόγω της μετάδοσης στο cloud που απαιτεί πολλή ενέργεια.

Κατά τη διάρκεια της πρώτης μελέτης, οι ερευνητές προσπάθησαν να αναπτύξουν ένα εργαλείο δημιουργίας νευρικών δικτύων που θα μπορούσαν να χρησιμοποιήσουν για να σχεδιάσουν νευρικά δίκτυα και να αναπαράγουν κάποια από τα υψηλότερα δίκτυα από το μηδέν. Το εργαλείο ονομάζεται NeST (Εργαλείο σύνθεσης νευρικών δικτύων) και όταν παρέχεται με λίγους νευρώνες και συνδέσεις, αυξάνεται γρήγορα σε πολυπλοκότητα προσθέτοντας περισσότερους νευρώνες στο δίκτυο. Μόλις το δίκτυο φτάσει σε ένα επιλεγμένο σημείο αναφοράς, αρχίζει να κλαδεύεται με την πάροδο του χρόνου. Ενώ προηγούμενα μοντέλα δικτύων έχουν χρησιμοποιήσει τεχνικές κλάδευσης, η μέθοδος που σχεδιάστηκε από τους ερευνητές του Πρίνστον ήταν η πρώτη που πήρε ένα δίκτυο και προσομοίωσε στάδια ανάπτυξης, πηγαίνοντας από “βρέφος” σε “νήπιο” και τελικά σε “ενηλίκιο εγκέφαλο”.

Κατά τη διάρκεια της δεύτερης μελέτης, οι ερευνητές συνεργάστηκαν με μια ομάδα από το Πανεπιστήμιο της Καλιφόρνιας-Berkeley και το Facebook (META ) για να βελτιώσουν την τεχνική τους χρησιμοποιώντας ένα εργαλείο που ονομάζεται Chameleon. Το Chameleon μπορεί να αρχίσει με το επιθυμητό τελικό σημείο, τα επιθυμητά αποτελέσματα, και να εργαστεί ανάποδα για να κατασκευάσει το σωστό είδος νευρικού δικτύου. Αυτό εξαλείφει μεγάλο μέρος της τύχης που εμπλέκεται στη ρύθμιση ενός δικτύου χειροκίνητα, δίνοντας στους μηχανικούς σημεία εκκίνησης που είναι πιθανό να είναι άμεσα χρήσιμα. Το Chameleon προβλέπει την απόδοση διαφορετικών αρχιτεκτονικών υπό διαφορετικές συνθήκες. Η συνδυασμένη χρήση του Chameleon και του πλαισίου NeST θα μπορούσε να βοηθήσει ερευνητικές οργανώσεις που λείπουν από βαριά υπολογιστική ισχύ να επωφεληθούν από τη δύναμη των νευρικών δικτύων.