Η τεχνική επιτρέπει στην τεχνητή νοημοσύνη να σκέφτεται μακριά στο μέλλον

Μια ομάδα ερευνητών από το MIT, το MIT-IBM Watson AI Lab και άλλα ιδρύματα έχει αναπτύξει μια νέα προσέγγιση που επιτρέπει στους πράκτορες τεχνητής νοημοσύνης (AI) να επιτύχουν μια διορατική προοπτική. Με άλλα λόγια, η τεχνητή νοημοσύνη μπορεί να σκεφτεί πολύ το μέλλον όταν εξετάζει πώς οι συμπεριφορές τους μπορούν να περιλαμβάνουν τις συμπεριφορές άλλων πρακτόρων τεχνητής νοημοσύνης κατά την ολοκλήρωση μιας εργασίας. 

Η έρευνα έχει οριστεί να παρουσιαστεί στο Συνέδριο για τα νευρικά συστήματα επεξεργασίας πληροφοριών.

AI Εξετάζοντας τις μελλοντικές ενέργειες άλλων πρακτόρων

Το πλαίσιο μηχανικής μάθησης που δημιουργήθηκε από την ομάδα επιτρέπει σε συνεργαζόμενους ή ανταγωνιστικούς πράκτορες τεχνητής νοημοσύνης να εξετάσουν τι θα κάνουν άλλοι πράκτορες. Αυτό δεν αφορά μόνο τα επόμενα βήματα αλλά μάλλον καθώς ο χρόνος πλησιάζει στο άπειρο. Οι πράκτορες προσαρμόζουν τις συμπεριφορές τους ανάλογα για να επηρεάσουν τις μελλοντικές συμπεριφορές άλλων πρακτόρων, βοηθώντας τους να καταλήξουν σε βέλτιστες, μακροπρόθεσμες λύσεις. 

Σύμφωνα με την ομάδα, το πλαίσιο θα μπορούσε να χρησιμοποιηθεί, για παράδειγμα, από μια ομάδα αυτόνομων drones που συνεργάζονται για να βρουν έναν χαμένο πεζοπόρο. Θα μπορούσε επίσης να χρησιμοποιηθεί από αυτοοδηγούμενα οχήματα για την πρόβλεψη των μελλοντικών κινήσεων άλλων οχημάτων για τη βελτίωση της ασφάλειας των επιβατών.

Ο Dong-Ki Kim είναι μεταπτυχιακός φοιτητής στο MIT Laboratory for Information and Decision Systems (LIDS) και επικεφαλής συγγραφέας της ερευνητικής εργασίας. 

«Όταν οι πράκτορες AI συνεργάζονται ή ανταγωνίζονται, αυτό που έχει μεγαλύτερη σημασία είναι πότε οι συμπεριφορές τους συγκλίνουν κάποια στιγμή στο μέλλον», λέει ο Kim. «Υπάρχουν πολλές παροδικές συμπεριφορές στην πορεία που δεν έχουν μεγάλη σημασία μακροπρόθεσμα. Η επίτευξη αυτής της σύγκλισης συμπεριφοράς είναι αυτό που πραγματικά μας ενδιαφέρει και τώρα έχουμε έναν μαθηματικό τρόπο να το επιτρέψουμε».

Το πρόβλημα που αντιμετωπίζουν οι ερευνητές ονομάζεται ενισχυτική μάθηση πολλαπλών παραγόντων, με την ενισχυτική μάθηση να είναι μια μορφή μηχανικής μάθησης όπου οι πράκτορες τεχνητής νοημοσύνης μαθαίνουν με δοκιμή και σφάλμα. 

Όποτε υπάρχουν πολλοί συνεργάτες ή ανταγωνιστικοί πράκτορες που μαθαίνουν ταυτόχρονα, η διαδικασία μπορεί να γίνει πολύ πιο περίπλοκη. Καθώς οι πράκτορες εξετάζουν περισσότερα μελλοντικά βήματα των άλλων πρακτόρων, καθώς και τη δική τους συμπεριφορά και πώς επηρεάζει τους άλλους, το πρόβλημα απαιτεί υπερβολική υπολογιστική ισχύ. 

AI Thinking About Infinity

«Το AI θέλει πραγματικά να σκεφτεί το τέλος του παιχνιδιού, αλλά δεν ξέρουν πότε θα τελειώσει το παιχνίδι», λέει ο Kim. «Πρέπει να σκεφτούν πώς να συνεχίσουν να προσαρμόζουν τη συμπεριφορά τους στο άπειρο, ώστε να μπορέσουν να κερδίσουν κάποια στιγμή στο μέλλον. Το έγγραφό μας ουσιαστικά προτείνει έναν νέο στόχο που επιτρέπει σε μια τεχνητή νοημοσύνη να σκεφτεί το άπειρο». 

Είναι αδύνατο να ενσωματωθεί το άπειρο σε έναν αλγόριθμο, έτσι η ομάδα σχεδίασε το σύστημα με τρόπο ώστε οι πράκτορες να εστιάζουν σε ένα μελλοντικό σημείο όπου η συμπεριφορά τους θα συγκλίνει με άλλους πράκτορες. Αυτό αναφέρεται ως ισορροπία και ένα σημείο ισορροπίας καθορίζει τη μακροπρόθεσμη απόδοση των παραγόντων. 

Είναι δυνατό να υπάρχουν πολλαπλές ισορροπίες σε ένα σενάριο πολλαπλών πρακτόρων και όταν ένας αποτελεσματικός παράγοντας επηρεάζει ενεργά τις μελλοντικές συμπεριφορές άλλων παραγόντων, μπορούν να φτάσουν σε μια επιθυμητή ισορροπία από την οπτική γωνία του πράκτορα. Όταν όλοι οι παράγοντες επηρεάζουν ο ένας τον άλλον, συγκλίνουν σε μια γενική έννοια που αναφέρεται ως «ενεργητική ισορροπία». 

ΠΕΡΑΙΤΕΡΩ Πλαίσιο

Το πλαίσιο μηχανικής μάθησης της ομάδας ονομάζεται FURTHER και δίνει τη δυνατότητα στους πράκτορες να μάθουν πώς να προσαρμόζουν τις συμπεριφορές τους με βάση τις αλληλεπιδράσεις τους με άλλους πράκτορες για την επίτευξη ενεργητικής ισορροπίας. 

Το πλαίσιο βασίζεται σε δύο ενότητες μηχανικής μάθησης. Η πρώτη είναι μια ενότητα συμπερασμάτων που επιτρέπει σε έναν πράκτορα να μαντέψει τις μελλοντικές συμπεριφορές άλλων πρακτόρων και τους αλγόριθμους μάθησης που χρησιμοποιούν με βάση προηγούμενες ενέργειες. Στη συνέχεια, οι πληροφορίες τροφοδοτούνται στη μονάδα ενισχυτικής μάθησης, στην οποία βασίζεται ο πράκτορας για να προσαρμόσει τη συμπεριφορά του και να επηρεάσει άλλους πράκτορες. 

«Η πρόκληση ήταν να σκεφτόμαστε το άπειρο. Έπρεπε να χρησιμοποιήσουμε πολλά διαφορετικά μαθηματικά εργαλεία για να το επιτρέψουμε και να κάνουμε κάποιες υποθέσεις για να το κάνουμε να λειτουργήσει στην πράξη», λέει η Kim. 

Η ομάδα δοκίμασε τη μέθοδό της έναντι άλλων πλαισίων εκμάθησης ενίσχυσης πολλαπλών παραγόντων σε διαφορετικά σενάρια όπου οι πράκτορες τεχνητής νοημοσύνης που χρησιμοποιούν το FURTHER βγήκαν μπροστά. 

Η προσέγγιση είναι αποκεντρωμένη, έτσι οι πράκτορες μαθαίνουν να κερδίζουν ανεξάρτητα. Επιπλέον, είναι καλύτερα σχεδιασμένο να κλιμακώνεται σε σύγκριση με άλλες μεθόδους που απαιτούν έναν κεντρικό υπολογιστή για τον έλεγχο των παραγόντων. 

Σύμφωνα με την ομάδα, το FURTHER θα μπορούσε να χρησιμοποιηθεί σε ένα ευρύ φάσμα προβλημάτων πολλαπλών παραγόντων. Η Kim είναι ιδιαίτερα αισιόδοξη για τις εφαρμογές της στα οικονομικά, όπου θα μπορούσε να εφαρμοστεί για την ανάπτυξη υγιούς πολιτικής σε καταστάσεις που αφορούν πολλές αλληλεπιδρώντες οντότητες με συμπεριφορές και ενδιαφέροντα που αλλάζουν με την πάροδο του χρόνου.