Τι είναι η Ομοσπονδιακή Μάθηση;

Τι είναι η Ομοσπονδιακή Μάθηση;

Η παραδοσιακή μέθοδος εκπαίδευσης μοντέλων τεχνητής νοημοσύνης περιλαμβάνει τη δημιουργία διακομιστών όπου τα μοντέλα εκπαιδεύονται σε δεδομένα, συχνά μέσω της χρήσης μιας υπολογιστικής πλατφόρμας που βασίζεται σε σύννεφο. Ωστόσο, τα τελευταία χρόνια έχει προκύψει μια εναλλακτική μορφή δημιουργίας μοντέλων, που ονομάζεται ομοσπονδιακή μάθηση. Ομοσπονδιακή μάθηση φέρνει μοντέλα μηχανικής εκμάθησης στην πηγή δεδομένων, αντί να φέρνει τα δεδομένα στο μοντέλο. Η ομοσπονδιακή μάθηση συνδέει πολλές υπολογιστικές συσκευές σε ένα αποκεντρωμένο σύστημα που επιτρέπει στις μεμονωμένες συσκευές που συλλέγουν δεδομένα να βοηθήσουν στην εκπαίδευση του μοντέλου.

Σε ένα ομοσπονδιακό σύστημα εκμάθησης, οι διάφορες συσκευές που αποτελούν μέρος του δικτύου εκμάθησης έχουν η καθεμία ένα αντίγραφο του μοντέλου στη συσκευή. Οι διαφορετικές συσκευές/πελάτες εκπαιδεύουν το δικό τους αντίγραφο του μοντέλου χρησιμοποιώντας τα τοπικά δεδομένα του πελάτη και, στη συνέχεια, οι παράμετροι/βαρίδια από τα μεμονωμένα μοντέλα αποστέλλονται σε μια κύρια συσκευή ή διακομιστή, που συγκεντρώνει τις παραμέτρους και ενημερώνει το καθολικό μοντέλο. Αυτή η διαδικασία εκπαίδευσης μπορεί στη συνέχεια να επαναληφθεί μέχρι να επιτευχθεί ένα επιθυμητό επίπεδο ακρίβειας. Εν ολίγοις, η ιδέα πίσω από την ομοσπονδιακή μάθηση είναι ότι κανένα από τα δεδομένα εκπαίδευσης δεν μεταδίδεται ποτέ μεταξύ συσκευών ή μεταξύ μερών, μόνο οι ενημερώσεις που σχετίζονται με το μοντέλο.

Η ομοσπονδιακή μάθηση μπορεί να αναλυθεί σε τρία διαφορετικά βήματα ή φάσεις. Η ομοσπονδιακή μάθηση ξεκινά συνήθως με ένα γενικό μοντέλο που λειτουργεί ως βάση και εκπαιδεύεται σε έναν κεντρικό διακομιστή. Στο πρώτο βήμα, αυτό το γενικό μοντέλο αποστέλλεται στους πελάτες της εφαρμογής. Αυτά τα τοπικά αντίγραφα στη συνέχεια εκπαιδεύονται σε δεδομένα που δημιουργούνται από τα συστήματα πελατών, μαθαίνοντας και βελτιώνοντας την απόδοσή τους.

Στο δεύτερο βήμα, όλοι οι πελάτες στέλνουν τις παραμέτρους του μοντέλου που έχουν μάθει στον κεντρικό διακομιστή. Αυτό συμβαίνει περιοδικά, σε καθορισμένο πρόγραμμα.

Στο τρίτο βήμα, ο διακομιστής συγκεντρώνει τις παραμέτρους που έχουν μάθει όταν τις λαμβάνει. Αφού συγκεντρωθούν οι παράμετροι, το κεντρικό μοντέλο ενημερώνεται και κοινοποιείται για άλλη μια φορά με τους πελάτες. Στη συνέχεια, ολόκληρη η διαδικασία επαναλαμβάνεται.

Η όφελος από την ύπαρξη αντιγράφου του μοντέλου στις διάφορες συσκευές είναι ότι μειώνονται ή εξαλείφονται οι καθυστερήσεις δικτύου. Το κόστος που σχετίζεται με την κοινή χρήση δεδομένων με τον διακομιστή εξαλείφεται επίσης. Άλλα πλεονεκτήματα των μεθόδων ομοσπονδιακής εκμάθησης περιλαμβάνουν το γεγονός ότι τα μοντέλα ομοσπονδιακής μάθησης διατηρούνται το απόρρητο και οι απαντήσεις μοντέλων εξατομικεύονται για τον χρήστη της συσκευής.

Παραδείγματα ομοσπονδιακών μοντέλων εκμάθησης περιλαμβάνουν μηχανές συστάσεων, μοντέλα ανίχνευσης απάτης και ιατρικά μοντέλα. Οι μηχανές συστάσεων πολυμέσων, του τύπου που χρησιμοποιούνται από το Netflix ή το Amazon, θα μπορούσαν να εκπαιδευτούν σε δεδομένα που συλλέγονται από χιλιάδες χρήστες. Οι συσκευές-πελάτες θα εκπαιδεύσουν τα δικά τους ξεχωριστά μοντέλα και το κεντρικό μοντέλο θα μάθαινε να κάνει καλύτερες προβλέψεις, παρόλο που τα μεμονωμένα σημεία δεδομένων θα ήταν μοναδικά για τους διαφορετικούς χρήστες. Ομοίως, τα μοντέλα ανίχνευσης απάτης που χρησιμοποιούνται από τις τράπεζες μπορούν να εκπαιδευτούν σε μοτίβα δραστηριότητας από πολλές διαφορετικές συσκευές και μερικές διαφορετικές τράπεζες θα μπορούσαν να συνεργαστούν για να εκπαιδεύσουν ένα κοινό μοντέλο. Όσον αφορά ένα μοντέλο ομόσπονδης ιατρικής μάθησης, πολλά νοσοκομεία θα μπορούσαν να συνεργαστούν για να εκπαιδεύσουν ένα κοινό μοντέλο που θα μπορούσε να αναγνωρίσει πιθανούς όγκους μέσω ιατρικών σαρώσεων.

Τύποι Ομοσπονδιακής Μάθησης

Ομοσπονδιακά σχήματα μάθησης συνήθως ανήκουν σε μία από δύο διαφορετικές κατηγορίες: πολυκομματικά συστήματα και μονοκομματικά συστήματα. Τα ομόσπονδα συστήματα εκμάθησης ενός μέρους ονομάζονται «μονομερή» επειδή μόνο μία οντότητα είναι υπεύθυνη για την επίβλεψη της σύλληψης και της ροής δεδομένων σε όλες τις συσκευές-πελάτες του δικτύου εκμάθησης. Τα μοντέλα που υπάρχουν στις συσκευές-πελάτες εκπαιδεύονται σε δεδομένα με την ίδια δομή, αν και τα σημεία δεδομένων είναι συνήθως μοναδικά για τους διάφορους χρήστες και τις συσκευές.

Σε αντίθεση με τα μονοκομματικά συστήματα, τα πολυκομματικά συστήματα διαχειρίζονται δύο ή περισσότερες οντότητες. Αυτές οι οντότητες συνεργάζονται για να εκπαιδεύσουν ένα κοινό μοντέλο χρησιμοποιώντας τις διάφορες συσκευές και σύνολα δεδομένων στα οποία έχουν πρόσβαση. Οι παράμετροι και οι δομές δεδομένων είναι συνήθως παρόμοιες σε όλες τις συσκευές που ανήκουν σε πολλές οντότητες, αλλά δεν χρειάζεται να είναι ακριβώς οι ίδιες. Αντίθετα, γίνεται προεπεξεργασία για την τυποποίηση των εισροών του μοντέλου. Μπορεί να χρησιμοποιηθεί μια ουδέτερη οντότητα για τη συγκέντρωση των βαρών που καθορίζονται από τις συσκευές που είναι μοναδικές για τις διαφορετικές οντότητες.

Πλαίσια για Ομοσπονδιακή Μάθηση

Τα δημοφιλή πλαίσια που χρησιμοποιούνται για την ομοσπονδιακή μάθηση περιλαμβάνουν Tensorflow Federated, Ομοσπονδιακός Ενεργοποιητής Τεχνολογίας AI (FATE), να PySyft. Το PySyft είναι μια ομοσπονδιακή βιβλιοθήκη εκμάθησης ανοιχτού κώδικα που βασίζεται στη βιβλιοθήκη βαθιάς μάθησης PyTorch. Το PySyft προορίζεται να εξασφαλίσει ιδιωτική, ασφαλή βαθιά εκμάθηση σε διακομιστές και πράκτορες χρησιμοποιώντας κρυπτογραφημένο υπολογισμό. Εν τω μεταξύ, το Tensorflow Federated είναι ένα άλλο πλαίσιο ανοιχτού κώδικα που έχει δημιουργηθεί στην πλατφόρμα Tensorflow της Google. Εκτός από τη δυνατότητα στους χρήστες να δημιουργούν τους δικούς τους αλγόριθμους, το Tensorflow Federated επιτρέπει στους χρήστες να προσομοιώνουν έναν αριθμό συμπεριλαμβανόμενων ομοσπονδιακών αλγορίθμων μάθησης στα δικά τους μοντέλα και δεδομένα. Τέλος, το FATE είναι επίσης πλαίσιο ανοιχτού κώδικα που σχεδιάστηκε από την Webank AI και προορίζεται να παρέχει στο ομόσπονδο οικοσύστημα AI ένα ασφαλές υπολογιστικό πλαίσιο.

Ομοσπονδιακές Προκλήσεις Μάθησης

Καθώς η ομοσπονδιακή μάθηση είναι ακόμα αρκετά εκκολαπτόμενη, μια σειρά από προκλήσεις πρέπει ακόμη να αποτελέσουν αντικείμενο διαπραγμάτευσης προκειμένου να αξιοποιήσει πλήρως τις δυνατότητές του. Οι δυνατότητες εκπαίδευσης των συσκευών αιχμής, η επισήμανση και η τυποποίηση δεδομένων και η σύγκλιση μοντέλων αποτελούν πιθανά εμπόδια για ομοσπονδιακές προσεγγίσεις μάθησης.

Οι υπολογιστικές ικανότητες των συσκευών αιχμής, όταν πρόκειται για τοπική εκπαίδευση, πρέπει να λαμβάνονται υπόψη κατά το σχεδιασμό ομοσπονδιακών προσεγγίσεων μάθησης. Ενώ τα περισσότερα smartphone, tablet και άλλες συσκευές συμβατές με το IoT είναι ικανά να εκπαιδεύουν μοντέλα μηχανικής εκμάθησης, αυτό συνήθως εμποδίζει την απόδοση της συσκευής. Θα πρέπει να γίνουν συμβιβασμοί μεταξύ της ακρίβειας του μοντέλου και της απόδοσης της συσκευής.

Η επισήμανση και η τυποποίηση δεδομένων είναι μια άλλη πρόκληση που πρέπει να ξεπεράσουν τα ομόσπονδα συστήματα μάθησης. Τα εποπτευόμενα μοντέλα μάθησης απαιτούν δεδομένα εκπαίδευσης που φέρουν σαφή και σταθερή επισήμανση, κάτι που μπορεί να είναι δύσκολο να γίνει σε πολλές συσκευές-πελάτες που αποτελούν μέρος του συστήματος. Για αυτόν τον λόγο, είναι σημαντικό να αναπτυχθούν αγωγοί δεδομένων μοντέλων που εφαρμόζουν αυτόματα ετικέτες με τυποποιημένο τρόπο με βάση τα συμβάντα και τις ενέργειες των χρηστών.

Ο χρόνος σύγκλισης μοντέλων είναι μια άλλη πρόκληση για την ομόσπονδη μάθηση, καθώς τα μοντέλα ομοσπονδιακής μάθησης συνήθως χρειάζονται περισσότερο χρόνο για να συγκλίνουν από τα τοπικά εκπαιδευμένα μοντέλα. Ο αριθμός των συσκευών που εμπλέκονται στην εκπαίδευση προσθέτει ένα στοιχείο απρόβλεπτου στην εκπαίδευση του μοντέλου, καθώς προβλήματα σύνδεσης, ακανόνιστες ενημερώσεις και ακόμη και διαφορετικοί χρόνοι χρήσης εφαρμογών μπορούν να συμβάλουν σε αυξημένο χρόνο σύγκλισης και μειωμένη αξιοπιστία. Για αυτόν τον λόγο, οι λύσεις ομοσπονδιακής μάθησης είναι συνήθως πιο χρήσιμες όταν παρέχουν σημαντικά πλεονεκτήματα σε σχέση με την κεντρική εκπαίδευση ενός μοντέλου, όπως περιπτώσεις όπου τα σύνολα δεδομένων είναι εξαιρετικά μεγάλα και κατανεμημένα.

Φωτογραφία: Jeromemetronome μέσω Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)