Ubisoft Đào tạo Trí tuệ nhân tạo để Lái Xe trong Trò chơi Đua

Thuật ngữ “trí tuệ nhân tạo” được sử dụng rất nhiều trong các cuộc thảo luận về trò chơi điện tử, nhưng thường được sử dụng để chỉ logic điều khiển các nhân vật không phải người chơi trong trò chơi điện tử, chứ không phải bất kỳ hệ thống nào được điều khiển bởi những gì các nhà khoa học máy tính sẽ công nhận là trí tuệ nhân tạo. Các ứng dụng thực tế của trí tuệ nhân tạo sử dụng mạng nơ-ron nhân tạo khá hiếm trong ngành công nghiệp trò chơi điện tử, nhưng theo VentureBeat báo cáo công ty trò chơi điện tử Ubisoft vừa xuất bản một bài báo điều tra các ứng dụng có thể của một tác nhân trí tuệ nhân tạo được đào tạo với học tăng cường.

Mặc dù các thực thể như DeepMind và OpenAI đã điều tra cách các trí tuệ nhân tạo hoạt động trong nhiều trò chơi điện tử, như StarCraft 2, Dota 2, và Minecraft, rất ít nghiên cứu đã được thực hiện về việc sử dụng trí tuệ nhân tạo dưới các ràng buộc cụ thể thường phải đối mặt với các nhà phát triển trò chơi. Ubisoft La Forge, cánh tay nguyên mẫu của Ubisoft, vừa xuất bản một bài báo chi tiết về một thuật toán có khả năng thực hiện các hành động dự đoán trong một trò chơi điện tử thương mại. Theo báo cáo, các thuật toán trí tuệ nhân tạo có khả năng đạt được các tiêu chuẩn hiện tại và thực hiện các nhiệm vụ phức tạp một cách đáng tin cậy.

Các tác giả của bài báo lưu ý rằng mặc dù học tăng cường đã được sử dụng rất hiệu quả trong bối cảnh của một số trò chơi điện tử, thường đạt được sự ngang bằng với các người chơi tốt nhất của các trò chơi đó, các hệ thống được tạo ra bởi OpenAI và DeepMind hiếm khi hữu ích cho các nhà phát triển trò chơi. Các tác giả lưu ý rằng thiếu khả năng tiếp cận là một vấn đề lớn và rằng các kết quả ấn tượng nhất được tạo ra bởi các nhóm nghiên cứu có quyền truy cập vào các tài nguyên tính toán quy mô lớn, tài nguyên thường vượt quá những gì mà các nhà phát triển trò chơi điện tử có thể tiếp cận. Các nhà nghiên cứu viết:

“Các hệ thống này đã so sánh thấy rất ít sử dụng trong ngành công nghiệp trò chơi điện tử, và chúng tôi tin rằng thiếu khả năng tiếp cận là một lý do chính đằng sau điều này. Thật vậy, các kết quả ấn tượng … được tạo ra bởi các nhóm nghiên cứu lớn với tài nguyên tính toán vượt quá những gì thường có sẵn trong các studio trò chơi điện tử.”

Đội ngũ nghiên cứu của Ubisoft nhằm mục đích khắc phục một số vấn đề này bằng cách tạo ra một cách tiếp cận học tăng cường tối ưu hóa cho các vấn đề như thu thập mẫu dữ liệu và ràng buộc ngân sách thời gian chạy. Giải pháp của Ubisoft được điều chỉnh từ nghiên cứu được thực hiện tại Đại học California, Berkeley. Mô hình Soft Actor-Critic được phát triển bởi các nhà nghiên cứu UC Berkely có thể tạo ra một mô hình có thể tổng quát hóa hiệu quả cho các điều kiện mới và hiệu quả hơn nhiều so với hầu hết các mô hình. Đội ngũ của Ubisoft đã lấy cách tiếp cận này và điều chỉnh nó cho cả hành động rời rạc và liên tục.

Đội ngũ nghiên cứu của Ubisoft đã đánh giá hiệu suất của thuật toán trên ba trò chơi điện tử khác nhau. Có hai trò chơi bóng đá được sử dụng để kiểm tra thuật toán, cũng như một trò chơi nền tảng đơn giản. Mặc dù kết quả cho các trò chơi này hơi kém hơn so với kết quả ngành công nghiệp hiện tại, một thử nghiệm khác đã được thực hiện trong đó các thuật toán hoạt động tốt hơn. Các nhà nghiên cứu đã sử dụng một trò chơi điện tử đua xe làm trường hợp thử nghiệm, có tác nhân trí tuệ nhân tạo theo dõi một đường dẫn nhất định và đàm phán các chướng ngại vật trong một môi trường mà tác nhân chưa từng chứng kiến trong quá trình đào tạo. Có hai hành động liên tục, lái và tăng tốc, cũng như một hành động nhị phân (phanh).

Các nhà nghiên cứu đã tóm tắt kết quả của họ trong bài báo, tuyên bố rằng cách tiếp cận Soft Actor-Critic hỗn hợp đã thành công khi đào tạo một tác nhân trí tuệ nhân tạo để lái xe với tốc độ cao trong một trò chơi điện tử thương mại. Theo các nhà nghiên cứu, cách tiếp cận đào tạo của họ có thể hoạt động cho nhiều cách tương tác có thể. Điều này bao gồm các trường hợp mà tác nhân trí tuệ nhân tạo có cùng các tùy chọn đầu vào mà người chơi có, chứng tỏ “sự hữu ích thực tế của một thuật toán như vậy cho ngành công nghiệp trò chơi điện tử.”