Οι ερευνητές χρησιμοποιούν Memristors για να δημιουργήσουν περισσότερα ενεργειακά αποδοτικά νευρωνικά δίκτυα

Μία από τις λιγότερο γοητευτικές πτυχές της τεχνητής νοημοσύνης είναι ότι συχνά απαιτεί μεγάλη ποσότητα επεξεργασίας και επομένως συχνά έχει μεγάλο ενεργειακό αποτύπωμα. Πρόσφατη εργασία που έγινε από ερευνητές στο UCL έχει καθορίσει μια μέθοδο βελτίωσης της ενεργειακής απόδοσης ενός AI.

Τα νευρωνικά δίκτυα και η μηχανική μάθηση είναι ισχυρά εργαλεία, αλλά τα πιο εντυπωσιακά επιτεύγματα της τεχνητής νοημοσύνης έχουν συνήθως μεγάλο ενεργειακό κόστος. Για παράδειγμα, όταν το OpenAI δίδαξε ένα ρομποτικό χέρι να χειρίζεται τον κύβο του Ρούμπικ, υπολογίστηκε ότι το κατόρθωμα απαιτούσε περίπου 2.8 γιγαβατώρες ηλεκτρικής ενέργειας.

Σύμφωνα με το TechExplore, Ερευνητές στο UCL σχεδίασαν μια νέα μέθοδο δημιουργίας τεχνητών νευρωνικών δικτύων. Η νέα μέθοδος χρησιμοποιεί memristors για τη δημιουργία του δικτύου, τα οποία είναι περίπου 1000 φορές πιο ενεργειακά αποδοτικά από τα δίκτυα που δημιουργούνται με παραδοσιακές προσεγγίσεις. Memristors είναι συσκευές που μπορούν να ανακαλέσουν την ποσότητα ηλεκτρικού φορτίου που διέρρευσε τελευταία, διατηρώντας αυτή την κατάσταση μνήμης μετά την απενεργοποίησή τους. Αυτό σημαίνει ότι μπορούν να θυμούνται την κατάστασή τους ακόμα κι αν μια συσκευή χάσει την ισχύ. Παρόλο που τα memristor θεωρητικοποιήθηκαν για πρώτη φορά πριν από περίπου 50 χρόνια, μόλις το 2008 δημιουργήθηκε ένα πραγματικό memristor.

Τα memristors αναφέρονται περιστασιακά ως «νευρομορφικές» υπολογιστικές συσκευές ή συσκευές «εμπνευσμένες από τον εγκέφαλο». Τα memristors είναι παρόμοια με τα δομικά στοιχεία που χρησιμοποιεί ο εγκέφαλος για την επεξεργασία πληροφοριών και τη δημιουργία αναμνήσεων. Είναι εξαιρετικά αποδοτικά σε σύγκριση με τα περισσότερα σύγχρονα συστήματα υπολογιστών. Αυτές οι συσκευές memristor διαθέτουν πτυχές πυκνωτών και αντιστάσεων, και την τελευταία δεκαετία περίπου έχουν κατασκευαστεί και χρησιμοποιηθεί σε μια ποικιλία συσκευών μνήμης. Οι ερευνητικές ομάδες του UCL ελπίζουν ότι η έρευνά τους θα βοηθήσει αυτές τις συσκευές να χρησιμοποιηθούν για τη δημιουργία συστημάτων AI μέσα σε λίγα χρόνια.

Παρά την αυξημένη ενεργειακή τους απόδοση, τα memristors είναι παραδοσιακά πολύ λιγότερο αποδοτικά από τα κανονικά νευρωνικά δίκτυα, αλλά οι ερευνητές του UCL βρήκαν έναν τρόπο να αυξήσουν την ακρίβεια των memristors. Οι ερευνητές διαπίστωσαν ότι όταν χρησιμοποιούσαν πολλά memristors, μπορούσαν να χωριστούν σε πολλαπλές υποομάδες και στη συνέχεια οι υπολογισμοί τους να υπολογιστούν κατά μέσο όρο μαζί. Ο μέσος όρος των υπολογισμών βοηθά τα ελαττώματα στις υποομάδες να αλληλοεξουδετερώνονται και τα πιο σχετικά μοτίβα που βρέθηκαν.

Ο Δρ Adnan Mehonic και ο Ph.D. Ο μαθητής Dovydas Joksas (τόσο UCL Electronic όσο και Electrical Engineering) και οι συν-συγγραφείς τους δοκίμασαν αυτήν την προσέγγιση μέσου όρου σε διάφορους τύπους memristor και διαπίστωσαν ότι η τεχνική φαινόταν να βελτιώνει την ακρίβεια σε όλα τα διαφορετικά memristor που δοκιμάστηκαν, όχι μόνο σε ένα ή δύο από αυτά. Οι βελτιώσεις ακρίβειας εφαρμόστηκαν σε όλες τις ομάδες που δοκιμάστηκαν, ανεξάρτητα από το είδος του υλικού από το οποίο κατασκευάστηκε το memristor.

Σύμφωνα με τον Δρ Mehonic, όπως αναφέρεται από το TechExplore:

«Ελπίζαμε ότι μπορεί να υπήρχαν πιο γενικές προσεγγίσεις που να βελτιώνουν όχι το επίπεδο συσκευής, αλλά τη συμπεριφορά σε επίπεδο συστήματος και πιστεύουμε ότι βρήκαμε μία. Η προσέγγισή μας δείχνει ότι, όταν πρόκειται για memristors, πολλές κεφαλές είναι καλύτερες από μία. Η διάταξη του νευρωνικού δικτύου σε πολλά μικρότερα δίκτυα αντί για ένα μεγάλο δίκτυο οδήγησε σε μεγαλύτερη ακρίβεια συνολικά».

Η ερευνητική ομάδα ήταν ενθουσιασμένη που χρησιμοποίησε μια τεχνική επιστήμης υπολογιστών και εφάρμοσε σε memristors, χρησιμοποιώντας επίσης μια κοινή τεχνική αποφυγής σφαλμάτων (υπολογισμοί μέσου όρου) για να αυξήσει την ακρίβεια των μνημονικών νευρωνικών δικτύων. Ο συν-συγγραφέας της μελέτης Καθηγητής Tony Kenyon του UCL Electronic & Electrical Engineering πιστεύει ότι τα memristors θα μπορούσαν να «πάρουν πρωταγωνιστικό ρόλο» στη δημιουργία περισσότερων υπολογιστικών συσκευών αειφόρου ενέργειας και συσκευών IoT.

Τα Memristors δεν είναι μόνο πιο ενεργειακά αποδοτικά από τα παραδοσιακά μοντέλα νευρωνικών δικτύων, αλλά μπορούν εύκολα να συμπεριληφθούν σε μια φορητή συσκευή χειρός. Αυτό προβλέπεται ότι θα έχει αυξανόμενη σημασία στο εγγύς μέλλον, καθώς περισσότερα δεδομένα δημιουργούνται και μεταδίδονται συνεχώς, παρόλο που είναι δύσκολο να αυξηθεί η ικανότητα μετάδοσης πέρα ​​από ένα ορισμένο σημείο. Τα Memristors θα μπορούσαν να βοηθήσουν στη μεταφορά μεγάλου όγκου δεδομένων με ένα κλάσμα του ενεργειακού κόστους.