Η Ubisoft Εκπαιδεύει Ένα Πράκτορα AI Για Οδήγηση Αυτοκινήτου Σε Ένα Ρατσίνγκ Παιχνίδι

Ο όρος «AI» χρησιμοποιείται πολύ στις συζητήσεις για βιντεοπαιχνίδια, αλλά συνήθως χρησιμοποιείται για να αναφερθεί στη λογική που ελέγχει τους μη-παίκτες χαρακτήρες στα βιντεοπαιχνίδια, και όχι για να αναφερθεί σε οποιοδήποτε σύστημα που οδηγείται από αυτό που οι επιστήμονες υπολογιστών θα αναγνώριζαν ως AI. Οι πραγματικές εφαρμογές του AI που χρησιμοποιούν τεχνητά νευρωνικά δίκτυα είναι αρκετά σπάνιες μέσα στη βιομηχανία των βιντεοπαιχνιδιών, αλλά όπως αναφέρει το VentureBeat, η εταιρεία παιχνιδιών Ubisoft έχει πρόσφατα δημοσιεύσει ένα άρθρο που εξετάζει τις πιθανές χρήσεις ενός πράκτορα AI που έχει εκπαιδευτεί με ενισχυμένη μάθηση.

Ενώ οντότητες όπως η DeepMind και η OpenAI έχουν ερευνήσει πώς τα AI εκτελούνται σε διάφορα βιντεοπαιχνίδια, όπως το StarCraft 2, Dota 2, και Minecraft, πολύ λίγη έρευνα έχει γίνει για τη χρήση του AI υπό τις συγκεκριμένες περιορισμοί που αντιμετωπίζουν συχνά οι dévelopers παιχνιδιών. Η Ubisoft La Forge, ο протotyping βραχίονας της Ubisoft, μόλις δημοσίευσε ένα άρθρο που περιγράφει einen αλγόριθμο ικανό να εκτελεί προβλέψιμες ενέργειες μέσα σε ένα εμπορικό βιντεοπαιχνίδι. Σύμφωνα με την αναφορά, οι αλγόριθμοι AI ήταν ικανοί να φτάσουν τα τρέχοντα benchmarκs και να εκτελέσουν σύνθετες εργασίες με αξιοπιστία.

Οι συγγραφείς του άρθρου σημειώνουν ότι ενώ η ενισχυμένη μάθηση έχει χρησιμοποιηθεί με μεγάλη επιτυχία στο контέκστ των βιντεοπαιχνιδιών, συχνά φτάνοντας στην ισότητα με τους καλύτερους ανθρώπινους παίκτες των παιχνιδιών, τα συστήματα που δημιουργούνται από την OpenAI και την DeepMind σπάνια είναι χρήσιμα για τους dévelopers παιχνιδιών. Οι συγγραφείς σημειώνουν ότι η έλλειψη προσβασιμότητας είναι ένα μεγάλο ζήτημα και ότι τα πιο εντυπωσιακά αποτελέσματα λαμβάνονται από ερευνητικές ομάδες με πρόσβαση σε μεγάλης κλίμακας υπολογιστικές πόρους, πόρους που συνήθως υπερβαίνουν αυτά που έχει ένας μέσος déveloper παιχνιδιών. Γράφουν οι ερευνητές:

«Αυτά τα συστήματα έχουν συγκριτικά λίγη χρήση μέσα στη βιομηχανία των βιντεοπαιχνιδιών, και πιστεύουμε ότι η έλλειψη προσβασιμότητας είναι ένας主要 λόγος για αυτό. Πράγματι, πραγματικά εντυπωσιακά αποτελέσματα … παράγονται από μεγάλες ερευνητικές ομάδες με υπολογιστικές πόρους που υπερβαίνουν αυτά που είναι συνήθως διαθέσιμα μέσα στα στούντιο βιντεοπαιχνιδιών».

Η ερευνητική ομάδα της Ubisoft αποσκοπούσε να θεραπεύσει κάποια από αυτά τα προβλήματα δημιουργώντας μια προσέγγιση ενισχυμένης μάθησης που βελτιστοποιεί για ζητήματα όπως η συλλογή δειγμάτων δεδομένων και οι περιορισμοί προϋπολογισμού εκτέλεσης. Η λύση της Ubisoft ήταν προσαρμοσμένη από έρευνα που thựcίστηκε στο Πανεπιστήμιο της Καλιφόρνιας, Μπέρκλεϊ. Το μοντέλο Soft Actor-Critic που αναπτύχθηκε από τους ερευνητές του UC Berkely είναι ικανό να δημιουργήσει ένα μοντέλο που μπορεί να γενικεύσει αποτελεσματικά σε νέες συνθήκες και είναι πολύ πιο δειγματο-αποτελεσματικό από τα περισσότερα μοντέλα. Η ομάδα της Ubisoft πήρε αυτή την προσέγγιση και την προσάρμοσε για διακριτές και συνεχείς ενέργειες.

Η ερευνητική ομάδα της Ubisoft αξιολόγησε την απόδοση του αλγορίθμου τους σε τρία διαφορετικά παιχνίδια. Υπήρχαν δύο παιχνίδια ποδοσφαίρου που χρησιμοποιήθηκαν για να δοκιμάσουν τον αλγόριθμο, καθώς και ένα απλό platformer-στυλ παιχνίδι. Ενώ τα αποτελέσματα για αυτά τα παιχνίδια ήταν ελαφρώς χειρότερα από τα αποτελέσματα της βιομηχανίας, πραγματοποιήθηκε ένα άλλο τεστ στο οποίο οι αλγόριθμοι εκτελέστηκαν πολύ καλύτερα. Οι ερευνητές χρησιμοποίησαν ένα δραστικό βιντεοπαιχνίδι ως την περίπτωση τους, έχοντας τον πράκτορα AI να ακολουθεί μια δεδομένη διαδρομή και να διαπραγματεύεται εμπόδια σε ένα περιβάλλον που ο πράκτορας δεν είχε δει κατά την εκπαίδευση. Υπήρχαν δύο συνεχείς ενέργειες, στήριξη και επιτάχυνση, καθώς και μια δυαδική ενέργεια (φρένο).

Οι ερευνητές περιέγραψαν τα αποτελέσματά τους στο άρθρο, δηλώνοντας ότι η υβριδική προσέγγιση Soft Actor-Critic ήταν επιτυχημένη όταν εκπαιδεύτηκε ένας πράκτορας AI για οδήγηση σε υψηλές ταχύτητες σε ένα εμπορικά διαθέσιμο βιντεοπαιχνίδι. Σύμφωνα με τους ερευνητές, η προσέγγιση εκπαίδευσής τους μπορεί να λειτουργήσει για eine μεγάλη ποικιλία πιθανών προσεγγίσεων αλληλεπίδρασης. Αυτά περιλαμβάνουν περιπτώσεις όπου ο πράκτορας AI έχει τις ίδιες εισόδους που έχει ο παίκτης, αποδεικνύοντας την «πρακτική χρησιμότητα ενός τέτοιου αλγορίθμου για τη βιομηχανία των βιντεοπαιχνιδιών».