Η Ubisoft Εκπαιδεύει Ένα Πράκτορα AI για Οδήγηση Αυτοκινήτου σε Ένα ΡACING Παιχνίδι

Ο όρος “AI” χρησιμοποιείται πολύ στις συζητήσεις για βιντεοπαιχνίδια, αλλά συνήθως χρησιμοποιείται για να αναφερθεί στη λογική που ελέγχει τους μη-παίκτες χαρακτήρες στα βιντεοπαιχνίδια, και όχι για να αναφερθεί σε οποιοδήποτε σύστημα που οδηγείται από αυτό που οι επιστήμονες υπολογιστών θα αναγνώριζαν ως AI. Πραγματικές εφαρμογές του AI που χρησιμοποιούν τεχνητά νευρωνικά δίκτυα είναι αρκετά σπάνιες μέσα στην βιομηχανία βιντεοπαιχνιδιών, αλλά όπως αναφέρει η VentureBeat, η εταιρεία βιντεοπαιχνιδιών Ubisoft έχει δημοσιεύσει πρόσφατα ένα έγγραφο που διερευνά τις πιθανές χρήσεις ενός πράκτορα AI που έχει εκπαιδευτεί με ενισχυμένη μάθηση.

Ενatím που οντότητες όπως η DeepMind και η OpenAI έχουν διερευνήσει πώς τα AI εκτελούνται σε διάφορα βιντεοπαιχνίδια, όπως το StarCraft 2, Dota 2, και Minecraft, πολύ λίγη έρευνα έχει γίνει για τη χρήση του AI υπό τις συγκεκριμένες περιορισμοί που αντιμετωπίζουν οι dévelopπεurs παιχνιδιών. Η Ubisoft La Forge, ο протotyping βραχίονας της Ubisoft, δημοσίευσε πρόσφατα ένα έγγραφο που περιγράφει einen αλγόριθμο ικανό να εκτελεί προβλέψιμες ενέργειες μέσα σε ένα εμπορικό βιντεοπαιχνίδι. Σύμφωνα με την αναφορά, οι αλγόριθμοι AI ήταν ικανοί να φτάσουν τα τρέχοντα benchmarκs και να εκτελέσουν σύνθετες εργασίες με αξιοπιστία.

Οι συγγραφείς του εγγράφου σημειώνουν ότι ενώ η ενισχυμένη μάθηση έχει χρησιμοποιηθεί με μεγάλη επιτυχία στο контέκστ των bestimmter βιντεοπαιχνιδιών, συχνά φτάνοντας την ισότητα με τους καλύτερους ανθρώπινους παίκτες των παιχνιδιών, τα συστήματα που δημιουργήθηκαν από την OpenAI και την DeepMind σπάνια είναι χρήσιμα για τους dévelopπεurs παιχνιδιών. Οι συγγραφείς σημειώνουν ότι η έλλειψη προσβασιμότητας είναι ένα μεγάλο πρόβλημα και ότι τα πιο εντυπωσιακά αποτελέσματα … προέρχονται από μεγάλες ερευνητικές ομάδες με υπολογιστικές πόρους που υπερβαίνουν αυτούς που είναι συνήθως διαθέσιμοι στα στούντιο βιντεοπαιχνιδιών. Γράφουν οι ερευνητές:

«Αυτά τα συστήματα έχουν συγκριτικά μικρή χρήση μέσα στην βιομηχανία βιντεοπαιχνιδιών, και πιστεύουμε ότι η έλλειψη προσβασιμότητας είναι ένας σημαντικός λόγος γι’ αυτό. Πράγματι, πραγματικά εντυπωσιακά αποτελέσματα … παράγονται από μεγάλες ερευνητικές ομάδες με υπολογιστικές πόρους που υπερβαίνουν αυτούς που είναι συνήθως διαθέσιμοι στα στούντιο βιντεοπαιχνιδιών».

Η ερευνητική ομάδα της Ubisoft στόχευε να θεραπεύσει κάποια από αυτά τα προβλήματα δημιουργώντας μια προσέγγιση ενισχυμένης μάθησης που βελτιστοποιούσε για προβλήματα όπως η συλλογή δειγμάτων δεδομένων και οι περιορισμοί του προϋπολογισμού εκτέλεσης. Η λύση της Ubisoft ήταν προσαρμοσμένη από έρευνα που thựcίστηκε στο Πανεπιστήμιο της Καλιφόρνιας, Μπέρκλεϊ. Το μοντέλο Soft Actor-Critic που αναπτύχθηκε από τους ερευνητές του UC Berkely είναι σε θέση να δημιουργήσει ένα μοντέλο που μπορεί να γενικευθεί αποτελεσματικά σε νέες συνθήκες και είναι πολύ πιο αποτελεσματικό σε δείγματα από τα περισσότερα μοντέλα. Η ομάδα της Ubisoft πήρε αυτήν την προσέγγιση και την προσάρμοσε για διακριτές και συνεχείς ενέργειες.

Η ερευνητική ομάδα της Ubisoft αξιολόγησε την απόδοση του αλγορίθμου τους σε τρία διαφορετικά παιχνίδια. Υπήρχαν δύο παιχνίδια ποδοσφαίρου που χρησιμοποιήθηκαν για να δοκιμαστεί ο αλγόριθμος, καθώς και ένα απλό παιχνίδι πλατφόρμας. Ενώ τα αποτελέσματα για αυτά τα παιχνίδια ήταν ελαφρώς χειρότερα από τα αποτελέσματα της βιομηχανίας, πραγματοποιήθηκε ένα άλλο τεστ στο οποίο οι αλγόριθμοι εκτέλεσαν πολύ καλύτερα. Οι ερευνητές χρησιμοποίησαν ένα βιντεοπαιχνίδι οδήγησης ως την περίπτωση τους, έχοντας τον πράκτορα AI να ακολουθεί μια δεδομένη διαδρομή και να διαπραγματεύεται εμπόδια σε ένα περιβάλλον που ο πράκτορας δεν είχε δει κατά την εκπαίδευση. Υπήρχαν δύο συνεχείς ενέργειες, στρίψιμο και επιτάχυνση, καθώς και μια δυαδική ενέργεια (φρένο).

Οι ερευνητές συνόψισαν τα αποτελέσματά τους στο έγγραφο, δηλώνοντας ότι η υβριδική προσέγγιση Soft Actor-Critic ήταν επιτυχημένη όταν εκπαιδεύτηκε ένας πράκτορας AI για οδήγηση σε υψηλές ταχύτητες σε ένα εμπορικό βιντεοπαιχνίδι. Σύμφωνα με τους ερευνητές, η προσέγγιση εκπαίδευσής τους μπορεί να λειτουργήσει για eine μεγάλη ποικιλία πιθανών προσεγγίσεων αλληλεπίδρασης. Αυτές περιλαμβάνουν περιπτώσεις όπου ο πράκτορας AI έχει τις ίδιες επιλογές εισόδου που έχει ο παίκτης, αποδεικνύοντας την «πρακτική χρησιμότητα ενός τέτοιου αλγορίθμου για τη βιομηχανία βιντεοπαιχνιδιών».