Νέα Βιβλιοθήκη Νευρικών Ακμών Από Τη Google Παρέχει Στα Δεδομένα Επιστήμονες “Ανεπανάληπτη” Εποπτεία Σε Μοντέλα

Η Google (GOOGL ) έχει σχεδιάσει μια νέα ανοικτή βιβλιοθήκη που έχει ως στόχο να ανοίξει το μαύρο κουτί της μηχανικής μάθησης και να δώσει στους μηχανικούς περισσότερη εποπτεία σχετικά με τον τρόπο λειτουργίας των συστημάτων μηχανικής μάθησης. Όπως αναφέρθηκε από το VentureBeat, η ομάδα ερευνών της Google λέει ότι η βιβλιοθήκη μπορεί να παρέχει “ανεπανάληπτη” εποπτεία σχετικά με τον τρόπο λειτουργίας των μοντέλων μηχανικής μάθησης.

Τα νευρωνικά δίκτυα λειτουργούν μέσω νευρώνων που περιέχουν μαθηματικές συναρτήσεις που μετατρέπουν τα δεδομένα με διάφορους τρόπους. Οι νευρώνες στο δίκτυο είναι συνδεδεμένοι σε στρώματα, και τα νευρωνικά δίκτυα έχουν βάθος και πλάτος. Το βάθος ενός νευρωνικού δικτύου ελέγχεται από το πόσα στρώματα έχει, και τα διαφορετικά στρώματα των δικτύων調整ουν τις συνδέσεις μεταξύ νευρώνων, επηρεάζοντας τον τρόπο με τον οποίο τα δεδομένα χειρίζονται όταν κινούνται μεταξύ των στρωμάτων. Ο αριθμός των νευρώνων στο στρώμα είναι το πλάτος του στρώματος. Σύμφωνα με τον ερευνητή της Google Roman Novak και τον ανώτερο ερευνητή Samuel S. Schoenholz, το πλάτος των μοντέλων είναι στενά συσχετισμένο με τακτική, επαναλαμβανόμενη συμπεριφορά. Σε μια ανάρτηση στο blog, οι δύο ερευνητές εξήγησαν ότι η διεύρυνση των νευρωνικών δικτύων κάνει τη συμπεριφορά τους πιο τακτική και πιο εύκολη στην ερμηνεία.

Υπάρχει ένας διαφορετικός τύπος μοντέλου μηχανικής μάθησης που ονομάζεται γαουσιανός διαδικασία. Một γαουσιανός διαδικασία είναι μια στοχαστική διαδικασία που μπορεί να αναπαρασταθεί ως μια πολυμεταβλητή κανονική κατανομή. Με μια γαουσιανό διαδικασία, κάθε σύνολο/πεπερασμένη γραμμική συνδυασμός μεταβλητών θα είναι κανονικά διανεμημένος. Αυτό σημαίνει ότι είναι δυνατό να αναπαρασταθούν εξαιρετικά σύνθετες αλληλεπιδράσεις μεταξύ μεταβλητών ως ερμηνεύσιμες γραμμικές αλγεβρικές εξισώσεις, και επομένως είναι δυνατό να μελετηθεί η συμπεριφορά ενός AI μέσω αυτής της οπτικής. Πώς ακριβώς σχετίζονται τα μοντέλα μηχανικής μάθησης με τις γαουσιανές διαδικασίες; Τα μοντέλα μηχανικής μάθησης που είναι απεριόριστα σε πλάτος συγκλίνουν σε μια γαουσιανή διαδικασία.

Ωστόσο, ενώ είναι δυνατό να ερμηνευτούν τα μοντέλα μηχανικής μάθησης μέσω της οπτικής της γαουσιανής διαδικασίας, απαιτείται η ανάπτυξη του απειροπλάτου ορίου ενός μοντέλου. Αυτό είναι một σύνθετος σειράς υπολογισμών που πρέπει να γίνει για κάθε ξεχωριστή αρχιτεκτονική. Για να κάνουν αυτούς τους υπολογισμούς πιο εύκολους και γρήγορους, η ομάδα ερευνών της Google σχεδιάσε τα Νευρικά Ακμή. Τα Νευρικά Ακμή επιτρέπουν σε έναν επιστήμονα δεδομένων να χρησιμοποιήσει μόνο quelques γραμμές κώδικα και να εκπαιδεύσει πολλά απειροπλάτα δίκτυα ταυτόχρονα. Πολλά νευρωνικά δίκτυα εκπαιδεύονται συχνά στα ίδια σύνολα δεδομένων και οι προβλέψεις τους είναι μέσος όρος, για να ληφθεί μια πιο robust προβολή ανοσία στα προβλήματα που μπορεί να εμφανιστούν σε οποιοδήποτε μοντέλο. Một τέτοια τεχνική ονομάζεται ensemble μάθηση. Ένα από τα μειονεκτήματα της ensemble μάθησης είναι ότι είναι συχνά υπολογιστικά ακριβό. Ωστόσο, όταν ένα δίκτυο που είναι απεριόριστο σε πλάτος εκπαιδεύεται, το ensemble περιγράφεται από μια γαουσιανή διαδικασία και η διακύμανση και ο μέσος όρος μπορούν να υπολογιστούν.

Τρία διαφορετικά απειροπλάτα νευρωνικά δίκτυα αρχιτεκτονικής συγκρίθηκαν ως ένα τεστ, και τα αποτελέσματα της σύγκρισης δημοσιεύθηκαν στην ανάρτηση στο blog. Γενικά, τα αποτελέσματα των ensemble δικτύων που οδηγούνται από γαουσιανές διαδικασίες είναι παρόμοια με την κανονική, πεπερασμένη νευρωνική δίκτυο απόδοση:

Όπως εξηγεί η ομάδα ερευνών σε μια ανάρτηση στο blog:

“Βλέπουμε ότι, μιμούμενος τα πεπερασμένα νευρωνικά δίκτυα, τα απειροπλάτα δίκτυα ακολουθούν μια παρόμοια ιεραρχία απόδοσης με τα πλήρως συνδεδεμένα δίκτυα που εκτελούνται χειρότερα από τα convolutional δίκτυα, τα οποία με τη σειρά τους εκτελούνται χειρότερα από τα wide residual δίκτυα. Ωστόσο, αντίθετα με την κανονική εκπαίδευση, η δυναμική μάθηση αυτών των μοντέλων είναι完全 tractable σε κλειστό-μορφή, που επιτρέπει [νέα] εποπτεία στη συμπεριφορά τους.”

Η κυκλοφορία των Νευρικών Ακμών φαίνεται να είναι συγχρονισμένη με το TensorFlow Dev Summit. Το dev summit βλέπει τους μηχανικούς μηχανικής μάθησης που χρησιμοποιούν τη πλατφόρμα TensorFlow της Google να συναντιούνται. Η ανακοίνωση των Νευρικών Ακμών έρχεται επίσης λίγο μετά την ανακοίνωση του TensorFlow Quantum.

Τα Νευρικά Ακμή έχουν γίνει διαθέσιμα μέσω του GitHub και υπάρχει ένα Google Colaboratory σημειωματάριο και एक οδηγός για όσους ενδιαφέρονται να το προσεγγίσουν.