Ερευνητική ομάδα αναπτύσσει προσέγγιση για τη σύγκριση νευρωνικών δικτύων

Μια ομάδα ερευνητών στο Εθνικό Εργαστήριο του Λος Άλαμος έχει αναπτύξει μια νέα προσέγγιση για τη σύγκριση νευρωνικών δικτύων. Σύμφωνα με την ομάδα, αυτή η νέα προσέγγιση κοιτάζει μέσα στο “μαύρο κουτί” της τεχνητής νοημοσύνης (ΤΝ) και τους βοηθά να κατανοήσουν τη συμπεριφορά των νευρωνικών δικτύων. Τα νευρωνικά δίκτυα, τα οποία αναγνωρίζουν μοτίβα μέσα σε σύνολα δεδομένων, χρησιμοποιούνται για μια ευρεία γκάμα εφαρμογών όπως συστήματα αναγνώρισης προσώπου και αυτόνομα οχήματα.

Η ομάδα παρουσίασε το έγγραφό της, “If You’ve Trained One You’ve Trained Them All: Inter-Architecture Similarity Increases With Robustness,” στη Διάσκεψη για την Αβεβαιότητα στην Τεχνητή Νοημοσύνη.

Ο Haydn Jones είναι ερευνητής στην ομάδα Προηγμένης Έρευνας σε Κυβερνοσυστήματα στο Λος Άλαμος και πρωταρχικός συγγραφέας του ερευνητικού εγγράφου.

Καλύτερη Κατανόηση Νευρωνικών Δικτύων

“Η κοινότητα έρευνας της ΤΝ δεν έχει απαραίτητα μια πλήρη κατανόηση του τι κάνουν τα νευρωνικά δίκτυα· μας δίνουν καλά αποτελέσματα, αλλά δεν ξέρουμε πώς ή γιατί,” είπε ο Jones. “Η νέα μας μέθοδος κάνει καλύτερη δουλειά στη σύγκριση νευρωνικών δικτύων, το οποίο είναι ένα κρίσιμο βήμα προς την καλύτερη κατανόηση των μαθηματικών πίσω από την ΤΝ.

Η νέα έρευνα θα παίξει επίσης ρόλο στη βοήθεια των ειδικών να κατανοήσουν τη συμπεριφορά των ανθεκτικών νευρωνικών δικτύων.

Ενώ τα νευρωνικά δίκτυα έχουν υψηλή απόδοση, είναι επίσης εύθραυστα. Μικρές αλλαγές στις συνθήκες, όπως ένα μερικώς καλυμμένο σήμα στάσης που επεξεργάζεται ένα αυτόνομο όχημα, μπορούν να κάνουν το νευρωνικό δίκτυο να αναγνωρίσει λανθασμένα το σήμα. Αυτό σημαίνει ότι μπορεί να μην σταματήσει ποτέ, το οποίο μπορεί να αποδειχθεί επικίνδυνο.

Ανταγωνιστική Εκπαίδευση Νευρωνικών Δικτύων

Οι ερευνητές ξεκίνησαν να βελτιώσουν αυτά τα είδη νευρωνικών δικτύων κοιτάζοντας τρόπους για τη βελτίωση της ανθεκτικότητας του δικτύου. Μια από τις προσεγγίσεις περιλαμβάνει την “επίθεση” στα δίκτυα κατά τη διαδικασία εκπαίδευσής τους, όπου οι ερευνητές προκαλούν σκόπιμα ανακρίβειες ενώ εκπαιδεύουν την ΤΝ να τις αγνοήσει. Η διαδικασία, η οποία ονομάζεται ανταγωνιστική εκπαίδευση, κάνει πιο δύσκολο για τα δίκτυα να παραπλανηθούν.

Η ομάδα εφαρμόσε την νέα μετρική της ομοιότητας του δικτύου σε νευρωνικά δίκτυα που είχαν εκπαιδευτεί ανταγωνιστικά. Εκπλήχθηκαν όταν διαπίστωσαν ότι η ανταγωνιστική εκπαίδευση προκαλεί τα νευρωνικά δίκτυα στον τομέα της υπολογιστικής όρασης να συγκλίνουν σε παρόμοιες αναπαραστάσεις δεδομένων, ανεξάρτητα από την αρχιτεκτονική του δικτύου, καθώς η ένταση της επίθεσης αυξάνεται.

“Βρήκαμε ότι όταν εκπαιδεύουμε νευρωνικά δίκτυα να είναι ανθεκτικά σε επιθέσεις, αρχίζουν να κάνουν τα ίδια πράγματα,” είπε ο Jones.

Αυτό δεν είναι η πρώτη φορά που οι ειδικοί έχουν προσπαθήσει να βρουν την ιδανική αρχιτεκτονική για νευρωνικά δίκτυα. Ωστόσο, τα νέα ευρήματα δείχνουν ότι η εισαγωγή της ανταγωνιστικής εκπαίδευσης κλείνει το χάσμα σημαντικά, το οποίο σημαίνει ότι η κοινότητα έρευνας της ΤΝ μπορεί να μην χρειάζεται να εξερευνήσει τόσο πολλές νέες αρχιτεκτονικές,καθώς είναι πλέον γνωστό ότι η ανταγωνιστική εκπαίδευση προκαλεί διαφορετικές αρχιτεκτονικές να συγκλίνουν σε παρόμοιες λύσεις.

“Διαπιστώνοντας ότι τα ανθεκτικά νευρωνικά δίκτυα είναι παρόμοια μεταξύ τους, κάνουμε πιο εύκολη την κατανόηση του πώς μπορεί να λειτουργήσει η ανθεκτική ΤΝ,” είπε ο Jones. “Μπορεί να αποκαλύψουμε ακόμη και ενδείξεις για το πώς συμβαίνει η αντίληψη στους ανθρώπους και τα άλλα ζώα.”