DeepMind và Google Brain Nhắm Tạo Phương Pháp Để Cải Thiện Hiệu Suất Của Học Luyện Lại

Hệ thống học luyện lại có thể mạnh mẽ và vững chắc, có khả năng thực hiện các nhiệm vụ phức tạp thông qua hàng nghìn lần đào tạo. Mặc dù các thuật toán học luyện lại có thể cho phép hành vi tinh vi và đôi khi gây ngạc nhiên, chúng mất nhiều thời gian để đào tạo và yêu cầu lượng lớn dữ liệu. Những yếu tố này làm cho các kỹ thuật học luyện lại khá không hiệu quả, và gần đây các nhóm nghiên cứu từ Alphabet (GOOG ) (GOOGL ) DeepMind và Google Brain đã cố gắng tìm ra các phương pháp hiệu quả hơn để tạo ra hệ thống học luyện lại.

Theo VentureBeat, nhóm nghiên cứu kết hợp gần đây đã đề xuất các phương pháp để làm cho quá trình đào tạo học luyện lại hiệu quả hơn. Một trong những cải tiến được đề xuất là một thuật toán gọi là Chia Sẻ Chính Sách Hành Vi Thích Nghi (ABPS), trong khi phương pháp khác là một khuôn khổ gọi là Xấp Xỉ Hàm Giá Trị Toàn Cầu (UVFA). ABPS cho phép các nhóm đại lý AI chia sẻ kinh nghiệm chính sách hành vi được chọn thích nghi, trong khi UVFA cho phép các đại lý AI đồng thời điều tra các chính sách khám phá có hướng.

ABPS được thiết kế để đẩy nhanh quá trình tùy chỉnh siêu tham số khi đào tạo mô hình. ABPS giúp tìm siêu tham số tối ưu nhanh hơn bằng cách cho phép nhiều đại lý khác nhau với các siêu tham số khác nhau chia sẻ kinh nghiệm chính sách hành vi. Cụ thể, ABPS cho phép các đại lý học luyện lại chọn hành động từ các hành động mà chính sách đã cho là hợp lệ và sau đó được cấp phần thưởng và quan sát dựa trên trạng thái tiếp theo.

Các đại lý AI học luyện lại được đào tạo với các kết hợp khác nhau của siêu tham số có thể, như tốc độ giảm và tốc độ học. Khi đào tạo mô hình, mục tiêu là mô hình hội tụ đến kết hợp siêu tham số mang lại hiệu suất tốt nhất, và trong trường hợp này, cũng cải thiện hiệu quả dữ liệu. Hiệu quả được tăng lên bằng cách đào tạo nhiều đại lý cùng một lúc và chọn hành vi của chỉ một đại lý để triển khai trong bước thời gian tiếp theo. Chính sách mà đại lý mục tiêu có được được sử dụng để lấy mẫu hành động. Các chuyển đổi được đăng nhập trong không gian chia sẻ và không gian này được đánh giá liên tục để chọn chính sách không cần xảy ra quá thường xuyên. Vào cuối quá trình đào tạo, một tập hợp các đại lý được chọn và các đại lý hoạt động tốt nhất được chọn để triển khai cuối cùng.

Về UVFA, nó cố gắng giải quyết một trong những vấn đề phổ biến của học luyện lại, đó là các đại lý yếu thường không học được nhiệm vụ. UVFA cố gắng giải quyết vấn đề này bằng cách cho phép đại lý học một tập hợp riêng biệt các chính sách khai thác và khám phá cùng một lúc. Việc tách các nhiệm vụ này tạo ra một khuôn khổ cho phép các chính sách khám phá tiếp tục khám phá môi trường trong khi các chính sách khai thác tiếp tục cố gắng tối đa hóa phần thưởng cho nhiệm vụ hiện tại. Các chính sách khám phá của UVFA đóng vai trò là kiến trúc cơ sở sẽ tiếp tục cải thiện ngay cả khi không có phần thưởng tự nhiên được tìm thấy. Trong trường hợp như vậy, một hàm tương ứng với phần thưởng nội tại được xấp xỉ, điều này thúc đẩy các đại lý khám phá tất cả các trạng thái trong môi trường, ngay cả khi chúng thường quay lại các trạng thái quen thuộc.

Theo VentureBeat, khi khuôn khổ UVFA được áp dụng, các phần thưởng nội tại của hệ thống được cung cấp trực tiếp cho đại lý dưới dạng đầu vào. Đại lý sau đó giữ một biểu diễn của tất cả các đầu vào (như phần thưởng, hành động và trạng thái) trong một tập hợp nhất định. Kết quả là phần thưởng được bảo tồn theo thời gian và chính sách của đại lý ít nhất có một số thông tin về nó ở mọi thời điểm.

Điều này được thực hiện với sự trợ giúp của một mô-đun “tính mới theo tập” và một mô-đun “tính mới suốt đời”. Chức năng của mô-đun đầu tiên là giữ bộ nhớ tập hiện tại và ánh xạ các phát hiện hiện tại đến biểu diễn đã đề cập, cho phép đại lý xác định một phần thưởng nội tại theo tập cho mỗi bước đào tạo. Sau đó, trạng thái liên kết với quan sát hiện tại được thêm vào bộ nhớ. Trong khi đó, mô-đun tính mới suốt đời chịu trách nhiệm ảnh hưởng đến tần suất đại lý khám phá trong nhiều tập.

Theo các nhóm nghiên cứu của Alphabet/Google, các kỹ thuật đào tạo mới đã chứng minh tiềm năng cải thiện đáng kể khi đào tạo hệ thống học luyện lại. UVFA đã có thể tăng gấp đôi hiệu suất của một số đại lý cơ bản

that played các trò chơi Atari khác nhau. Trong khi đó, ABPS đã có thể tăng hiệu suất trên một số trò chơi Atari giống nhau, giảm phương sai giữa các đại lý hoạt động tốt nhất khoảng 25%. Thuật toán được đào tạo bằng UVFA đã có thể đạt được điểm số cao trong Pitfall một mình, không có các tính năng được thiết kế của các bản demo của con người.