Τεχνική επιτρέπει στην τεχνητή νοημοσύνη να σκέφτεται μακριά στο μέλλον

Μια ομάδα ερευνητών από το MIT, το MIT-IBM Watson AI Lab και άλλα ιδρύματα έχει αναπτύξει μια νέα προσέγγιση που επιτρέπει στους πράκτορες τεχνητής νοημοσύνης (AI) να επιτύχουν μια μακροπρόθεσμη προοπτική. Με άλλα λόγια, ο πράκτορας τεχνητής νοημοσύνης μπορεί να σκέφτεται μακρύτερα στο μέλλον όταν λαμβάνει υπόψη τις συμπεριφορές άλλων πρακτόρων τεχνητής νοημοσύνης κατά την εκτέλεση μιας εργασίας.

Η έρευνα πρόκειται να παρουσιαστεί στο Conference on Neural Information Processing Systems.

Πράκτορες Τεχνητής Νοημοσύνης που Λαμβάνουν υπόψη τις Μελλοντικές Ενέργειες Άλλων Αλγόριθμων

Το πλαίσιο μηχανικής μάθησης που δημιούργησε η ομάδα επιτρέπει στους συνεργατικούς ή ανταγωνιστικούς αλγόριθμους νοήσης να λαμβάνουν υπόψη τι θα κάνουν άλλοι αλγόριθμοι. Αυτό δεν ισχύει μόνο για τα επόμενα βήματα, αλλά και καθώς ο χρόνος προσεγγίζει το άπειρο. Οι αλγόριθμοι προσαρμόζουν τις συμπεριφορές τους ανάλογα για να επηρεάσουν τις μελλοντικές συμπεριφορές άλλων αλγόριθμων, βοηθώντας τους να φτάσουν σε βέλτιστες, μακροπρόθεσμες λύσεις.

Σύμφωνα με την ομάδα, το πλαίσιο θα μπορούσε να χρησιμοποιηθεί, για παράδειγμα, από μια ομάδα αυτόνομων drone που εργάζονται μαζί για να βρουν έναν χαμένο ορειβάτη. Θα μπορούσε επίσης να χρησιμοποιηθεί από αυτόνομα οχήματα για να προβλέψουν τις μελλοντικές κινήσεις άλλων οχημάτων και να βελτιώσουν την ασφάλεια των επιβατών.

Ο Dong-Ki Kim είναι μεταπτυχιακός φοιτητής στο Εργαστήριο Πληροφοριών και Αποφάσεων του MIT (LIDS) και πρώτος συγγραφέας της έρευνας.

«Όταν οι πράκτορες τεχνητής νοημοσύνης συνεργάζονται ή ανταγωνίζονται, αυτό που μετρά περισσότερο είναι όταν οι συμπεριφορές τους συγκλίνουν σε κάποιο σημείο στο μέλλον», λέει ο Kim. «Υπάρχουν πολλές μεταβατικές συμπεριφορές κατά μήκος του δρόμου που δεν μετράνε πολύ σε μακροπρόθεσμο χρονικό διάστημα. Η επίτευξη αυτής της συγκλίνουσας συμπεριφοράς είναι αυτό που πραγματικά μας ενδιαφέρει, και τώρα έχουμε έναν μαθηματικό τρόπο να το επιτύχουμε».

Το πρόβλημα που αντιμετωπίζει η ομάδα είναι γνωστό ως multi-πράκτορας τεχνητής νοημοσύνης ενίσχυσης, με την ενισχυτική μάθηση να είναι ένας τύπος μηχανικής μάθησης όπου οι πράκτορες τεχνητής νοημοσύνης μαθαίνουν με δοκιμή και λάθος.

Όταν υπάρχουν πολλαπλοί συνεργατικοί ή ανταγωνιστικοί αλγόριθμοι που μαθαίνουν ταυτόχρονα, η διαδικασία μπορεί να γίνει πολύ πιο σύνθετη. Όταν οι αλγόριθμοι λαμβάνουν υπόψη περισσότερα μελλοντικά βήματα άλλων αλγόριθμων, καθώς και τη δική τους συμπεριφορά και τον τρόπο με τον οποίο επηρεάζουν άλλους, το πρόβλημα απαιτεί πολύ υπολογιστική ισχύ.

Πράκτορες Τεχνητής Νοημοσύνης που Σκέφτονται το Άπειρο

«Οι πράκτορες τεχνητής νοημοσύνης πραγματικά θέλουν να σκέφτονται το τέλος του παιχνιδιού, αλλά δεν ξέρουν πότε θα τελειώσει το παιχνίδι», λέει ο Kim. «Θέλουν να σκέφτονται πώς να συνεχίσουν να προσαρμόζουν τη συμπεριφορά τους στο άπειρο, ώστε να κερδίσουν σε κάποιο μακρινό μέλλον. Η εργασία μας προτείνει βασικά έναν νέο στόχο που επιτρέπει στον αλγόριθμο νοήσης να σκέφτεται το άπειρο».

Είναι αδύνατο να ενσωματωθεί το άπειρο σε έναν αλγόριθμο, οπότε η ομάδα σχεδίασε το σύστημα με τρόπο που οι αλγόριθμοι να εστιάζουν σε ένα μελλοντικό σημείο όπου η συμπεριφορά τους θα συγκλίνει με τη συμπεριφορά άλλων πρακτόρων. Αυτό ονομάζεται ισορροπία, και ένα σημείο ισορροπίας καθορίζει την μακροπρόθεσμη απόδοση των αλγόριθμων.

Είναι δυνατό να υπάρχουν πολλαπλές ισορροπίες σε ένα σενάριο πολλαπλών αλγόριθμων, και όταν ένας αποτελεσματικός αλγόριθμος επηρεάζει ενεργά τις μελλοντικές συμπεριφορές άλλων αλγόριθμων, μπορούν να φτάσουν σε μια επιθυμητή ισορροπία από την πλευρά του αλγόριθμου. Όταν όλοι οι αλγόριθμοι επηρεάζουν ο ένας τον άλλον, συγκλίνουν σε μια γενική έννοια που ονομάζεται «ενεργός ισορροπία».

Πλαίσιο FURTHER

Το πλαίσιο μηχανικής μάθησης της ομάδας ονομάζεται FURTHER, και επιτρέπει στους αλγόριθμους να μαθαίνουν πώς να προσαρμόζουν τις συμπεριφορές τους με βάση τις αλληλεπιδράσεις τους με άλλους αλγόριθμους για να επιτύχουν ενεργό ισορροπία.

Το πλαίσιο βασίζεται σε δύο μονάδες μηχανικής μάθησης. Η πρώτη είναι μια μονάδα συμπερασμού που επιτρέπει στον αλγόριθμο να μαντέψει τις μελλοντικές συμπεριφορές άλλων αλγόριθμων και τους αλγόριθμους μάθησης που χρησιμοποιούν με βάση προηγούμενες ενέργειες. Οι πληροφορίες τροφοδοτούνται στη μονάδα ενισχυτικής μάθησης, την οποία ο αλγόριθμος χρησιμοποιεί για να προσαρμόσει τη συμπεριφορά του και να επηρεάσει άλλους αλγόριθμους.

«Η πρόκληση ήταν να σκεφτούμε το άπειρο. Χρειαζόμασταν να χρησιμοποιήσουμε πολλά διαφορετικά μαθηματικά εργαλεία για να το επιτύχουμε, και να κάνουμε κάποιες υποθέσεις για να το κάνουμε να λειτουργήσει στην πράξη», λέει ο Kim.

Η ομάδα δοκίμασε τη μέθοδό της ενάντια σε άλλα πλαίσια πολυπρακτορικής ενισχυτικής μάθησης σε διαφορετικά σενάρια, όπου οι αλγόριθμοι που χρησιμοποιούν το FURTHER βγήκαν μπροστά.

Η προσέγγιση είναι αποκεντρωμένη, οπότε οι αλγόριθμοι μαθαίνουν να κερδίζουν ανεξάρτητα. Επιπλέον, είναι καλύτερα σχεδιασμένη για να κλιμακωθεί σε σύγκριση με άλλες μεθόδους που απαιτούν έναν κεντρικό υπολογιστή για τον έλεγχο των αλγόριθμων.

Σύμφωνα με την ομάδα, το FURTHER θα μπορούσε να χρησιμοποιηθεί σε ένα ευρύ φάσμα προβλημάτων πολλαπλών αλγόριθμων. Ο Kim είναι ιδιαίτερα ελπιδοφόρος για τις εφαρμογές του στην οικονομία, όπου θα μπορούσε να εφαρμοστεί για την ανάπτυξη μιας σωστής πολιτικής σε καταστάσεις που εμπλέκουν πολλές αλληλεπιδρώσες οντότητες με συμπεριφορές και ενδιαφέροντα που αλλάζουν με τον χρόνο.