Τεχνητή νοημοσύνη
Η στρατηγική Grow And Prune AI φαίνεται να μειώνει τη χρήση ενέργειας AI
Ο ανθρώπινος εγκέφαλος λειτουργεί με μια στρατηγική «αναπτύξτε και κλαδέψτε», ξεκινώντας αρχικά με μια τεράστια ποσότητα νευρικών συνδέσεων και στη συνέχεια αφαιρώντας τις αχρησιμοποίητες συνδέσεις με την πάροδο του χρόνου. Πρόσφατα, μια ομάδα ερευνητών τεχνητής νοημοσύνης εφάρμοσε αυτήν την προσέγγιση σε συστήματα τεχνητής νοημοσύνης και διαπίστωσε ότι θα μπορούσε να μειώσει σημαντικά την ποσότητα ενέργειας που απαιτείται για την εκπαίδευση ενός AI.
Μια ομάδα ερευνητών από το Πανεπιστήμιο του Πρίνστον πρόσφατα δημιούργησε μια νέα μέθοδο εκπαίδευσης συστημάτων τεχνητής νοημοσύνης. Αυτή η νέα μέθοδος εκπαίδευσης φαίνεται ικανή να ανταποκρίνεται ή να ξεπερνά τα βιομηχανικά πρότυπα ακρίβειας, αλλά είναι σε θέση να το πετύχει ενώ καταναλώνει πολύ λιγότερη υπολογιστική ισχύ και επομένως λιγότερη ενέργεια από τα παραδοσιακά μοντέλα μηχανικής εκμάθησης. Κατά τη διάρκεια δύο διαφορετικών εργασιών, οι ερευνητές του Πρίνστον έδειξαν πώς να αναπτύξετε ένα δίκτυο προσθέτοντας νευρώνες και συνδέσεις σε αυτό. Οι αχρησιμοποίητες συνδέσεις κόπηκαν στη συνέχεια με την πάροδο του χρόνου, αφήνοντας μόνο τα πιο αποτελεσματικά και αποδοτικά τμήματα του μοντέλου.
Ο Niraj Jha, καθηγητής Ηλεκτρολόγων Μηχανικών στο Πρίνστον, εξήγησε στο Princeton News ότι το μοντέλο που ανέπτυξαν οι ερευνητές λειτουργεί με βάση το «παράδειγμα της σειράς και του κλαδέματος». Ο Jha εξήγησε ότι ο ανθρώπινος εγκέφαλος είναι ο πιο σύνθετος που θα είναι ποτέ στην ηλικία των τριών ετών περίπου και μετά από αυτό το σημείο ο εγκέφαλος αρχίζει να αφαιρεί τις περιττές συναπτικές συνδέσεις. Το αποτέλεσμα είναι ότι ο πλήρως ανεπτυγμένος εγκέφαλος είναι σε θέση να εκτελεί όλες τις εξαιρετικά πολύπλοκες εργασίες που κάνουμε καθημερινά, αλλά χρησιμοποιεί περίπου τις μισές από όλες τις συνάψεις που είχε στο αποκορύφωμά του. Ο Jha και οι άλλοι ερευνητές μιμήθηκαν αυτή τη στρατηγική για να βελτιώσουν την εκπαίδευση της Τεχνητής Νοημοσύνης.
«Η προσέγγισή μας είναι αυτό που ονομάζουμε παράδειγμα ανάπτυξης και κλαδεύματος. Είναι παρόμοιο με αυτό που κάνει ο εγκέφαλος από όταν είμαστε μωρό μέχρι όταν είμαστε νήπιο. Στο τρίτο έτος του, ο ανθρώπινος εγκέφαλος αρχίζει να κόβει τις συνδέσεις μεταξύ των εγκεφαλικών κυττάρων. Αυτή η διαδικασία συνεχίζεται και στην ενήλικη ζωή, έτσι ώστε ο πλήρως ανεπτυγμένος εγκέφαλος να λειτουργεί στο ήμισυ περίπου της συναπτικής του κορυφής. Ο εγκέφαλος των ενηλίκων είναι εξειδικευμένος σε οποιαδήποτε εκπαίδευση του παρέχουμε. Δεν είναι τόσο καλό για μάθηση γενικού σκοπού όσο ένας εγκέφαλος μικρού παιδιού».
Χάρη στην τεχνική καλλιέργειας και κλαδέματος, μπορούν να γίνουν εξίσου καλές προβλέψεις σχετικά με τα μοτίβα στα δεδομένα χρησιμοποιώντας μόνο ένα κλάσμα της υπολογιστικής ισχύος που απαιτούνταν προηγουμένως. Οι ερευνητές επιδιώκουν να βρουν μεθόδους μείωσης της κατανάλωσης ενέργειας και του υπολογιστικού κόστους, καθώς κάτι τέτοιο είναι το κλειδί για τη μεταφορά της μηχανικής μάθησης σε μικρές συσκευές όπως τηλέφωνα και smartwatches. Η μείωση της ποσότητας ενέργειας που καταναλώνεται από τους αλγόριθμους μηχανικής μάθησης μπορεί επίσης να βοηθήσει τη βιομηχανία να μειώσει το αποτύπωμα άνθρακα. Ο Xiaoliang Dai, ο πρώτος συγγραφέας στα χαρτιά, εξήγησε ότι τα μοντέλα πρέπει να εκπαιδεύονται τοπικά λόγω της μετάδοσης στο σύννεφο που απαιτεί πολλή ενέργεια.
Κατά τη διάρκεια της πρώτης μελέτης, οι ερευνητές προσπάθησαν να αναπτύξουν ένα εργαλείο δημιουργίας νευρωνικών δικτύων το οποίο θα μπορούσαν να χρησιμοποιήσουν για να σχεδιάσουν νευρωνικά δίκτυα και να αναδημιουργήσουν μερικά από τα δίκτυα με την υψηλότερη απόδοση από την αρχή. Το εργαλείο ονομάστηκε NeST (Εργαλείο Σύνθεσης Νευρωνικού Δικτύου) και όταν παρέχεται με λίγους μόνο νευρώνες και συνδέσεις, αυξάνεται γρήγορα σε πολυπλοκότητα προσθέτοντας περισσότερους νευρώνες στο δίκτυο. Μόλις το δίκτυο πληροί ένα επιλεγμένο σημείο αναφοράς, αρχίζει να κλαδεύεται με την πάροδο του χρόνου. Ενώ τα προηγούμενα μοντέλα δικτύου χρησιμοποιούσαν τεχνικές κλαδέματος, η μέθοδος που σχεδίασαν οι ερευνητές του Πρίνστον ήταν η πρώτη που πήρε ένα δίκτυο και προσομοίωσε στάδια ανάπτυξης, από το «μωρό» στο «νήπιο» και τελικά στον «εγκέφαλο ενηλίκου».
Κατά τη διάρκεια της δεύτερης εργασίας, οι ερευνητές συνεργάστηκαν με μια ομάδα από το Πανεπιστήμιο της Καλιφόρνια-Berkely και το Facebook για να βελτιώσουν την τεχνική τους χρησιμοποιώντας ένα εργαλείο που ονομάζεται Chameleon. Ο Chameleon είναι ικανός να ξεκινά με το επιθυμητό τελικό σημείο, τα επιθυμητά αποτελέσματα και να εργάζεται προς τα πίσω για να κατασκευάσει τον σωστό τύπο νευρωνικού δικτύου. Αυτό εξαλείφει πολλές από τις εικασίες που εμπλέκονται στη χειροκίνητη προσαρμογή ενός δικτύου, δίνοντας στους μηχανικούς σημεία εκκίνησης που είναι πιθανό να είναι άμεσα χρήσιμα. Ο Χαμαιλέοντας προβλέπει την απόδοση διαφορετικών αρχιτεκτονικών υπό διαφορετικές συνθήκες. Ο συνδυασμός του Chameleon και του πλαισίου NeST θα μπορούσε να βοηθήσει τους ερευνητικούς οργανισμούς που δεν έχουν μεγάλους υπολογιστικούς πόρους να επωφεληθούν από τη δύναμη των νευρωνικών δικτύων.
