Η Ubisoft εκπαιδεύει τον πράκτορα AI για να οδηγεί ένα αυτοκίνητο σε ένα παιχνίδι αγώνων

Ο όρος "AI" χρησιμοποιείται πολύ σε συζητήσεις για βιντεοπαιχνίδια, αλλά συνήθως χρησιμοποιείται για να αναφέρεται στη λογική που ελέγχει τους χαρακτήρες που δεν είναι παίκτες στα βιντεοπαιχνίδια, αντί να αναφέρεται σε οποιοδήποτε σύστημα καθοδηγείται από αυτό που οι επιστήμονες υπολογιστών θα αναγνώριζαν ως AI . Οι πραγματικές εφαρμογές της τεχνητής νοημοσύνης που χρησιμοποιούν τεχνητά νευρωνικά δίκτυα είναι αρκετά σπάνιες στη βιομηχανία βιντεοπαιχνιδιών, αλλά όπως αναφέρει το VentureBeat Η εταιρεία παιχνιδιών Ubisoft δημοσίευσε πρόσφατα ένα χαρτί διερεύνηση πιθανών χρήσεων για έναν πράκτορα AI που έχει εκπαιδευτεί με ενισχυτική μάθηση.

Ενώ οντότητες όπως το DeepMind και το OpenAI έχουν ερευνήσει την απόδοση των AI σε μια ποικιλία βιντεοπαιχνιδιών, όπως StarCraft 2, Dota 2, να Minecraft, πολύ λίγη έρευνα έχει γίνει σχετικά με τη χρήση της τεχνητής νοημοσύνης υπό τους συγκεκριμένους περιορισμούς που αντιμετωπίζουν συχνά οι προγραμματιστές παιχνιδιών. Η Ubisoft La Forge, ο βραχίονας δημιουργίας πρωτοτύπων της Ubisoft, δημοσίευσε πρόσφατα μια εργασία που περιγράφει λεπτομερώς έναν αλγόριθμο ικανό να πραγματοποιεί προβλέψιμες ενέργειες σε ένα εμπορικό βιντεοπαιχνίδι. Σύμφωνα με την έκθεση, οι αλγόριθμοι τεχνητής νοημοσύνης ήταν σε θέση να πετύχουν τρέχοντα σημεία αναφοράς και να εκτελούν σύνθετες εργασίες αξιόπιστα.

Οι συντάκτες της εργασίας σημειώνουν ότι ενώ η ενισχυτική μάθηση έχει χρησιμοποιηθεί με μεγάλο αποτέλεσμα στο πλαίσιο ορισμένων βιντεοπαιχνιδιών, επιτυγχάνοντας συχνά ισοτιμία με τους καλύτερους ανθρώπινους παίκτες των εν λόγω παιχνιδιών, τα συστήματα που δημιουργούνται από το OpenAI και το DeepMind είναι σπάνια χρήσιμα για τους προγραμματιστές παιχνιδιών. Οι συγγραφείς σημειώνουν ότι η έλλειψη προσβασιμότητας είναι ένα μεγάλο ζήτημα και ότι τα πιο εντυπωσιακά αποτελέσματα επιτυγχάνονται από ερευνητικές ομάδες με πρόσβαση σε υπολογιστικούς πόρους μεγάλης κλίμακας, πόρους που συνήθως υπερβαίνουν κατά πολύ αυτό στους οποίους έχει πρόσβαση ο μέσος προγραμματιστής παιχνιδιών. Έγραψαν οι ερευνητές:

«Αυτά τα συστήματα έχουν συγκριτικά ελάχιστη χρήση στη βιομηχανία βιντεοπαιχνιδιών και πιστεύουμε ότι η έλλειψη προσβασιμότητας είναι ο κύριος λόγος πίσω από αυτό. Πράγματι, πραγματικά εντυπωσιακά αποτελέσματα… παράγονται από μεγάλες ερευνητικές ομάδες με υπολογιστικούς πόρους πολύ πέρα ​​από αυτό που είναι συνήθως διαθέσιμο στα στούντιο βιντεοπαιχνιδιών».

Η ερευνητική ομάδα της Ubisoft είχε ως στόχο να διορθώσει ορισμένα από αυτά τα προβλήματα δημιουργώντας μια προσέγγιση ενισχυτικής μάθησης που βελτιστοποιήθηκε για ζητήματα όπως η συλλογή δειγμάτων δεδομένων και οι περιορισμοί προϋπολογισμού χρόνου εκτέλεσης. Η λύση της Ubisoft προσαρμόστηκε από έρευνα που έγινε στο Πανεπιστήμιο της Καλιφόρνια στο Μπέρκλεϋ. Το μοντέλο Soft Actor-Critic που αναπτύχθηκε από τις έρευνες του UC Berkely είναι σε θέση να δημιουργήσει ένα μοντέλο που μπορεί να γενικευτεί αποτελεσματικά σε νέες συνθήκες και είναι πολύ πιο αποδοτικό ως προς το δείγμα από τα περισσότερα μοντέλα. Η ομάδα της Ubisoft ακολούθησε αυτήν την προσέγγιση και την προσάρμοσε τόσο για διακριτές όσο και για συνεχείς ενέργειες.

Η ερευνητική ομάδα της Ubisoft αξιολόγησε την απόδοση του αλγορίθμου της σε τρία διαφορετικά παιχνίδια. Υπήρχαν δύο παιχνίδια ποδοσφαίρου που χρησιμοποιήθηκαν για τη δοκιμή του αλγόριθμου, καθώς και ένα απλό παιχνίδι σε στυλ πλατφόρμας. Ενώ τα αποτελέσματα για αυτά τα παιχνίδια ήταν ελαφρώς χειρότερα από τα τελευταίας τεχνολογίας αποτελέσματα της βιομηχανίας, πραγματοποιήθηκε μια άλλη δοκιμή στην οποία οι αλγόριθμοι είχαν πολύ καλύτερη απόδοση. Οι ερευνητές χρησιμοποίησαν ένα βιντεοπαιχνίδι οδήγησης ως δοκιμαστική περίπτωση, βάζοντας τον πράκτορα AI να ακολουθήσει μια δεδομένη διαδρομή και να διαπραγματευτεί εμπόδια σε ένα περιβάλλον που ο πράκτορας δεν είχε δει κατά τη διάρκεια της εκπαίδευσης. Υπήρχαν δύο συνεχείς ενέργειες, το τιμόνι και η επιτάχυνση, καθώς και μια δυαδική ενέργεια (σπάσιμο).

Οι ερευνητές συνόψισαν τα αποτελέσματά τους στο έγγραφο, δηλώνοντας ότι η υβριδική προσέγγιση Soft Actor-Critic ήταν επιτυχής όταν εκπαιδεύτηκε έναν πράκτορα AI να οδηγεί σε υψηλές ταχύτητες σε ένα εμπορικά διαθέσιμο βιντεοπαιχνίδι. Σύμφωνα με τους ερευνητές, η εκπαιδευτική τους προσέγγιση μπορεί δυνητικά να λειτουργήσει για μια μεγάλη ποικιλία πιθανών προσεγγίσεων αλληλεπίδρασης. Αυτές περιλαμβάνουν περιπτώσεις όπου ο πράκτορας AI έχει τις ίδιες ακριβώς επιλογές εισαγωγής που έχει ο παίκτης, αποδεικνύοντας την «πρακτική χρησιμότητα ενός τέτοιου αλγορίθμου για τη βιομηχανία βιντεοπαιχνιδιών».