Τεχνική Επιτρέπει στους Αλγόριθμους Νοήματος να Σκέφτονται Μακρύτερα στο Μέλλον

Μια ομάδα ερευνητών από το MIT, το MIT-IBM Watson AI Lab και άλλα ιδρύματα έχει αναπτύξει μια νέα προσέγγιση που επιτρέπει στους αλγόριθμους νοήματος (AI) να επιτύχουν μια μακροπρόθεσμη προοπτική. Με άλλα λόγια, ο αλγόριθμος νοήματος μπορεί να σκέφτεται μακρύτερα στο μέλλον όταν λαμβάνει υπόψη το πώς η συμπεριφορά τους μπορεί να περιλαμβάνει τη συμπεριφορά άλλων αλγορίθμων νοήματος κατά την εκτέλεση μιας εργασίας. 

Η ερευνήση πρόκειται να παρουσιαστεί στη Διάσκεψη για τα Νευρωνικά Συστήματα Επεξεργασίας Πληροφοριών.

Αλγόριθμος Νοήματος που Λαμβάνει υπόψη τις Μελλοντικές Ενέργειες Άλλων Αλγορίθμων

Το πλαίσιο машинικής μάθησης που δημιούργησε η ομάδα επιτρέπει στους συνεργατικούς ή ανταγωνιστικούς αλγόριθμους νοήματος να λαμβάνουν υπόψη τι θα κάνουν άλλοι αλγόριθμοι. Αυτό δεν ισχύει μόνο για τα επόμενα βήματα, αλλά και καθώς ο χρόνος προσεγγίζει το άπειρο. Οι αλγόριθμοι προσαρμόζουν τη συμπεριφορά τους ανάλογα για να επηρεάσουν τη μελλοντική συμπεριφορά άλλων αλγορίθμων, βοηθώντας τους να φτάσουν σε βέλτιστες, μακροπρόθεσμες λύσεις. 

Σύμφωνα με την ομάδα, το πλαίσιο θα μπορούσε να χρησιμοποιηθεί, για παράδειγμα, από μια ομάδα αυτόνομων drones που συνεργάζονται για να βρουν έναν χαμένο ορειβάτη. Θα μπορούσε επίσης να χρησιμοποιηθεί από οχήματα αυτόνομης οδήγησης για να προβλέψουν τις μελλοντικές κινήσεις άλλων οχημάτων και να βελτιώσουν την ασφάλεια των επιβατών.

Ο Dong-Ki Kim είναι φοιτητής στο Εργαστήριο Πληροφοριών και Αποφάσεων του MIT (LIDS) και ο κύριος συγγραφέας της έρευνας. 

«Όταν οι αλγόριθμοι νοήματος συνεργάζονται ή ανταγωνίζονται, το πιο σημαντικό είναι όταν η συμπεριφορά τους συγκλίνει σε κάποιο σημείο στο μέλλον», λέει ο Kim. «Υπάρχουν πολλές μεταβατικές συμπεριφορές κατά μήκος του δρόμου που δεν έχουν μεγάλη σημασία στο μακρότερο χρονικό διάστημα. Η επίτευξη αυτής της συγκλίνουσας συμπεριφοράς είναι αυτό που πραγματικά μας ενδιαφέρει, και τώρα έχουμε einen μαθηματικό τρόπο να το επιτύχουμε». 

Το πρόβλημα που αντιμετωπίζουν οι ερευνητές ονομάζεται πολλαπλή ενίσχυση μάθησης, με την ενίσχυση μάθησης να είναι μια μορφή машинικής μάθησης όπου οι αλγόριθμοι νοήματος μαθαίνουν με δοκιμή και λάθος. 

Όταν υπάρχουν πολλαπλοί συνεργατικοί ή ανταγωνιστικοί αλγόριθμοι που μαθαίνουν ταυτόχρονα, η διαδικασία μπορεί να γίνει πολύ πιο σύνθετη. Όταν οι αλγόριθμοι λαμβάνουν υπόψη περισσότερα μελλοντικά βήματα άλλων αλγορίθμων, καθώς και τη δική τους συμπεριφορά και τον τρόπο με τον οποίο επηρεάζουν τους άλλους, το πρόβλημα απαιτεί πολύ υπολογιστική ισχύ. 

Αλγόριθμος Νοήματος που Σκέφτεται για το Άπειρο

«Οι αλγόριθμοι νοήματος πραγματικά θέλουν να σκέφτονται για το τέλος του παιχνιδιού, αλλά δεν ξέρουν πότε θα τελειώσει το παιχνίδι», λέει ο Kim. «Θέλουν να σκέφτονται πώς να συνεχίσουν να προσαρμόζουν τη συμπεριφορά τους στο άπειρο, ώστε να κερδίσουν σε κάποιο μακρινό μέλλον. Η εργασία μας προτείνει βασικά einen νέο στόχο που επιτρέπει στον αλγόριθμο νοήματος να σκέφτεται για το άπειρο». 

Είναι αδύνατο να ενσωματωθεί το άπειρο σε einen αλγόριθμο, οπότε η ομάδα σχεδίασε το σύστημα με τέτοιο τρόπο, ώστε οι αλγόριθμοι να εστιάζουν σε einen μελλοντικό σημείο όπου η συμπεριφορά τους θα συγκλίνει με άλλους αλγόριθμους. Αυτό ονομάζεται ισορροπία, και ένας σημείο ισορροπίας καθορίζει την μακροπρόθεσμη απόδοση των αλγορίθμων. 

Είναι δυνατό να υπάρχουν πολλαπλά ισορροπία σε einen σценάριο πολλαπλών αλγορίθμων, και όταν ένας αποτελεσματικός αλγόριθμος επηρεάζει ενεργά τη μελλοντική συμπεριφορά άλλων αλγορίθμων, μπορούν να φτάσουν σε eine επιθυμητή ισορροπία από την πλευρά του αλγορίθμου. Όταν όλοι οι αλγόριθμοι επηρεάζουν ο ένας τον άλλον, συγκλίνουν σε μια γενική έννοια που ονομάζεται «ενεργός ισορροπία». 

Πλαίσιο FURTHER

Το πλαίσιο машинικής μάθησης της ομάδας ονομάζεται FURTHER και επιτρέπει στους αλγόριθμους να μαθαίνουν πώς να προσαρμόζουν τη συμπεριφορά τους με βάση τις αλληλεπιδράσεις τους με άλλους αλγόριθμους για να επιτύχουν ενεργό ισορροπία. 

Το πλαίσιο βασίζεται σε δύο μονάδες машинικής μάθησης. Η πρώτη είναι μια μονάδα εύρεσης που επιτρέπει στον αλγόριθμο να μαντεύει τη μελλοντική συμπεριφορά άλλων αλγορίθμων και τους αλγόριθμους μάθησης που χρησιμοποιούν με βάση τις προηγούμενες ενέργειες. Οι πληροφορίες τροφοδοτούνται στη συνέχεια στη μονάδα ενίσχυσης μάθησης, στην οποία ο αλγόριθμος βασίζεται για να προσαρμόσει τη συμπεριφορά του και να επηρεάσει άλλους αλγόριθμους. 

«Η πρόκληση ήταν να σκεφτούμε για το άπειρο. Χρειαζόμασταν να χρησιμοποιήσουμε πολλά διαφορετικά μαθηματικά εργαλεία για να το επιτύχουμε και να κάνουμε κάποιες υποθέσεις για να το κάνουμε να λειτουργήσει στην πράξη», λέει ο Kim. 

Η ομάδα έ-tested την μέθοδό τους έναντι άλλων πλαισίων πολλαπλής ενίσχυσης μάθησης σε διάφορες σενάρια όπου οι αλγόριθμοι που χρησιμοποιούσαν το FURTHER βγήκαν μπροστά. 

Η προσέγγιση είναι αποκεντρωμένη, οπότε οι αλγόριθμοι μαθαίνουν να κερδίζουν ανεξάρτητα. Επιπλέον, είναι καλύτερα σχεδιασμένη για να κλιμακωθεί σε σύγκριση με άλλες μεθόδους που απαιτούν έναν κεντρικό υπολογιστή για τον έλεγχο των αλγορίθμων. 

Σύμφωνα με την ομάδα, το FURTHER θα μπορούσε να χρησιμοποιηθεί σε eine ευρεία γκάμα προβλημάτων πολλαπλών αλγορίθμων. Ο Kim είναι ιδιαίτερα ελπιδοφόρος για τις εφαρμογές του στην οικονομία, όπου θα μπορούσε να εφαρμοστεί για την ανάπτυξη μιας σωστής πολιτικής σε καταστάσεις που εμπλέκουν πολλά αλληλεπιδρώντα οντότητες με συμπεριφορές και συμφέροντα που αλλάζουν με τον καιρό.