Deep Reinforcement Learning là gì?

Deep reinforcement learning (deep RL) kết hợp reinforcement learning với các mạng nơ-ron sâu. Một tác nhân quan sát một trạng thái, chọn một hành động, nhận phần thưởng và một quan sát mới, sau đó điều chỉnh chính sách hoặc hàm giá trị để cải thiện các quyết định trong tương lai.

Mạng sâu không loại bỏ những phần khó của reinforcement learning. Nó cung cấp cách linh hoạt để biểu diễn hình ảnh, luồng cảm biến, không gian hành động lớn hoặc các hàm giá trị phức tạp. Việc khám phá, tín hiệu phản hồi chậm, đào tạo không ổn định và đánh giá an toàn trong thực tế vẫn là những vấn đề kỹ thuật cốt lõi.

Những điểm chính

• Deep RL học các quyết định tuần tự từ tương tác thay vì từ một bảng cố định các ví dụ đã được gán nhãn.
• Các phương pháp dựa trên giá trị ước tính mức độ tốt của các hành động; các phương pháp chính sách học trực tiếp phân phối hành động; các phương pháp actor‑critic kết hợp cả hai.
• Bộ nhớ replay, mạng mục tiêu và thiết kế phần thưởng cẩn thận có thể cải thiện quá trình đào tạo, nhưng không phương pháp nào đảm bảo hành vi đáng tin cậy.
• Một điểm số mô phỏng cao không chứng minh tính bền vững, an toàn hoặc việc chuyển giao thành công sang thế giới thực.

Vấn đề quyết định: trạng thái, hành động và phần thưởng

Nhiều nhiệm vụ deep‑RL được mô hình hoá như một quá trình quyết định Markov. Tại thời điểm t, tác nhân nhận trạng thái hoặc quan sát s_t, chọn hành động a_t, sau đó nhận phần thưởng r_t+1 và trạng thái tiếp theo. Mục tiêu là giá trị kỳ vọng chiết khấu, không nhất thiết chỉ là phần thưởng tiếp theo.

Hệ số chiết khấu quyết định mức độ quan trọng của các phần thưởng ở xa. Hàm phần thưởng xác định mục tiêu mà quá trình tối ưu sẽ theo đuổi, vì vậy một proxy không đầy đủ có thể tạo ra hành vi kỹ thuật thành công nhưng không mong muốn về mặt vận hành. Đây là một lý do khiến thiết kế phần thưởng và kiểm tra ràng buộc cần được chú ý tương đương với kiến trúc mô hình.

Các phương pháp dựa trên giá trị, dựa trên chính sách và actor‑critic

Một thuật toán dựa trên giá trị ước tính giá trị trạng thái hoặc giá trị hành động. Deep Q‑networks sử dụng mạng nơ‑ron để xấp xỉ các giá trị Q và thường chọn hành động có ước tính cao nhất đồng thời duy trì một mức độ khám phá nào đó. Thuật toán gradient chính sách thay vào đó tối ưu một chính sách có tham số, xuất ra một phân phối hành động.

Các hệ thống actor‑critic duy trì cả một actor, người đề xuất các hành động, và một critic, người ước tính giá trị của chúng. Thiết kế này hỗ trợ điều khiển liên tục nhưng tạo ra các nguồn lỗi ước tính tương tác. Do đó, Deep RL dựa trên cùng những nền tảng như deep learning, gradient descent và backpropagation.

Tại sao bộ nhớ replay và mạng mục tiêu lại hữu ích

Các mẫu kinh nghiệm liên tiếp có tính tương quan, trong khi việc cập nhật mạng làm thay đổi các mục tiêu được sử dụng cho các cập nhật sau. Replay kinh nghiệm phá vỡ một phần tương quan thời gian này bằng cách lấy mẫu các chuyển đổi cũ hơn. Mạng mục tiêu thay đổi chậm hơn mạng trực tuyến, khiến các mục tiêu bootstrap ít biến động hơn.

Các cơ chế này cải thiện độ ổn định của quá trình đào tạo, nhưng việc tinh chỉnh vẫn quan trọng. Tốc độ học, lịch trình khám phá, quy mô phần thưởng, cấu trúc replay và khả năng của mạng đều có thể thay đổi kết quả. Nên báo cáo nhiều seed ngẫu nhiên vì một lần chạy duy nhất có thể gây hiểu lầm.

RL ngoại tuyến, RL dựa trên mô hình và chuyển đổi mô phỏng‑thực tế

RL ngoại tuyến học từ một tập dữ liệu đã ghi cố định mà không thu thập tương tác mới. Nó có thể hữu ích khi việc khám phá tốn kém hoặc không an toàn, nhưng chính sách phải tránh các hành động mà trong log không được đại diện đầy đủ. RL dựa trên mô hình học hoặc sử dụng một mô hình chuyển đổi để lập kế hoạch, đổi lại các giả định bổ sung để đạt hiệu quả mẫu cao.

Trong robotics, thường đào tạo trong mô phỏng, ngẫu nhiên hoá các tham số vật lý, sau đó tinh chỉnh hoặc xác thực trên phần cứng. Khoảng cách thực tế vẫn có thể bộc lộ các lỗi trong nhận thức, thời gian, động lực tiếp xúc và các trường hợp biên chưa được mô hình hoá. Một hệ thống reinforcement-learning nên được đánh giá dưới các nhiễu, sự dịch chuyển phân phối và các ràng buộc an toàn rõ ràng.

Đánh giá và triển khai

Đánh giá hữu ích tách biệt môi trường đào tạo và kiểm tra, báo cáo phân phối giá trị trả về thay vì chỉ một điểm số tốt nhất, và kiểm tra vi phạm ràng buộc, tần suất can thiệp và hành vi trong trường hợp xấu nhất. Đối với các hệ thống thực, các nhóm cũng cần giám sát, quy trình quay lại, không gian hành động có giới hạn và khả năng can thiệp của con người.

Deep RL thực sự hấp dẫn khi các quyết định là tuần tự, có phản hồi và các quy tắc điều khiển viết tay không đủ. Nó lại không phù hợp khi nhãn giám sát phong phú, một bộ tối ưu truyền thống giải quyết được vấn đề, hoặc việc khám phá sẽ đặt con người hoặc tài sản vào nguy cơ.

Kiến trúc Deep RL và tín hiệu đào tạo

Deep reinforcement learning sử dụng các mạng nơ‑ron để biểu diễn hàm giá trị, chính sách, mô hình môi trường, hoặc một sự kết hợp của chúng. Deep Q‑network dự đoán giá trị hành động và học từ các mục tiêu chênh lệch thời gian; replay kinh nghiệm giảm sự tương quan giữa các cập nhật, trong khi mạng mục tiêu ổn định mục tiêu đang di chuyển. Các phương pháp gradient chính sách tối ưu giá trị kỳ vọng trực tiếp, và các phương pháp actor‑critic sử dụng một critic đã học để giảm phương sai gradient. Các hành động liên tục thường đòi hỏi các biến thể deterministic hoặc stochastic của actor‑critic, trong khi các hành động rời rạc có chiều không gian cao cần khám phá cẩn thận và thiết kế đầu ra.

Quá trình đào tạo không ổn định vì chính sách thay đổi dữ liệu mà nó thu thập. Dữ liệu replay trở thành off‑policy, các mục tiêu bootstrap phụ thuộc vào các ước tính hiện tại, và việc xấp xỉ hàm có thể khuếch đại lỗi — sự kết hợp này đôi khi được gọi là bộ ba chết chóc. Các bộ ước tính đôi giảm hiện tượng đánh giá giá trị quá cao; hàm advantage cải thiện việc gán tín hiệu; phần thưởng entropy khuyến khích khám phá; các mục tiêu cắt ngắn hạn chế các cập nhật chính sách phá hoại. Chỉ chuẩn hoá quan sát và phần thưởng khi trạng thái không rò rỉ, và ghi lại môi trường, wrapper, lặp lại hành động, kết thúc, và tiền xử lý phần thưởng vì mỗi yếu tố đều thay đổi vấn đề.

Đánh giá, mô phỏng và an toàn khi triển khai

Báo cáo phân phối giá trị trả về trên nhiều seed độc lập và các thể hiện môi trường, không chỉ chạy tốt nhất. Đánh giá hiệu quả mẫu, vi phạm ràng buộc, kết quả thảm họa, độ nhạy cảm với quy mô phần thưởng, và độ bền vững trước nhiễu quan sát, độ trễ, lỗi bộ truyền động và thay đổi động lực. So sánh với điều khiển script, điều khiển cổ điển, mô phỏng giám sát và RL đơn giản hơn. Giữ lại các biến thể môi trường và kiểm tra các chỉ số kết quả không dựa trên phần thưởng, vì một tác nhân có thể lợi dụng phần thưởng đã lập trình trong khi không hoàn thành nhiệm vụ dự định.

Việc kiểm tra video và quỹ đạo thường tiết lộ hành vi bị ẩn sau giá trị trả về tổng hợp.

Mô phỏng cho phép khám phá nhưng tạo ra khoảng cách thực tế. Ngẫu nhiên hoá các vật lý và nhận thức liên quan, hiệu chuẩn dựa trên các đo lường thực tế, và sử dụng chuyển giao bảo thủ. Dữ liệu đã ghi hoặc RL ngoại tuyến tránh việc khám phá trực tuyến nhưng không thể đánh giá một cách đáng tin cậy các hành động không được chính sách hành vi hỗ trợ. Các hệ thống sản xuất nên giới hạn tập hợp hành động, tốc độ, tài nguyên và phạm vi hoạt động; yêu cầu phê duyệt cho các hành động có tác động cao; và bao gồm một bộ điều khiển an toàn đã được xác minh hoặc dừng lại. Giám sát đầu vào của chính sách, phân phối hành động, phần thưởng, kết quả thực tế và các can thiệp, với khả năng quay lại phiên bản chính sách đã kiểm thử.

Ví dụ kiểm soát cụ thể

Đối với việc định tuyến robot trong kho, xác định trạng thái dựa trên vị trí, tải trọng, pin, giao thông lân cận và hàng đợi nhiệm vụ; các hành động dựa trên các chuyển động cho phép và quyết định sạc pin; và phần thưởng dựa trên công việc hoàn thành, năng lượng, tắc nghẽn và các ràng buộc an toàn. Đầu tiên đào tạo trong một mô phỏng đã hiệu chuẩn với nhu cầu ngẫu nhiên và lỗi cảm biến, sau đó áp dụng đồng thời quyết định thực tế. Không bao giờ cho phép chính sách đã học bỏ qua tránh va chạm. Đánh giá thông lượng cùng với các trường hợp suýt va chạm, deadlock, khẩn cấp pin và độ trễ trong trường hợp xấu nhất. Dự án chỉ thành công nếu hệ thống lớp đa tầng cải thiện hoạt động mà không truyền rủi ro khám phá không chấp nhận được tới con người hoặc thiết bị.

Ví dụ thực tế: DRL cho việc làm mát trung tâm dữ liệu

Một trung tâm dữ liệu giới hạn một tác nhân RL ở các mức đặt nhiệt độ làm mát đã được phê duyệt và đào tạo nó trong một mô phỏng được hiệu chuẩn từ dữ liệu thời tiết lịch sử, tải công việc, nhiệt độ và phản hồi của thiết bị. Phần thưởng bao gồm năng lượng nhưng các ràng buộc cứng riêng biệt bảo vệ nhiệt độ, độ ẩm và chu kỳ thiết bị. Điều khiển dự đoán mô hình và các quy tắc hiện có là các baseline. Đánh giá trải dài qua các mùa, nhiễu cảm biến, độ trễ bộ truyền động, mất thiết bị, tải bất thường và nhiều seed, báo cáo năng lượng, vi phạm, phương sai và khả năng phục hồi.

Chính sách đã học chạy ở chế độ shadow trước khi thử nghiệm trong một khu vực giới hạn. Bộ điều khiển an toàn bên ngoài cắt giảm các hành động và các nhà vận hành có thể can thiệp. Tốc độ hành động, phạm vi trạng thái, độ không chắc chắn của mô hình và kết quả thực tế của cơ sở được giám sát; sự không khớp của mô phỏng hoặc can thiệp lặp lại kích hoạt việc quay lại. Thiết bị hoặc logic điều khiển được cập nhật tạo ra một phiên bản môi trường mới và quá trình xác thực. Tiết kiệm năng lượng chỉ được chấp nhận khi độ tin cậy, biên nhiệt, bảo trì và phản hồi với lỗi vẫn mạnh ít nhất bằng baseline.

Bằng chứng triển khai và sẵn sàng vận hành

Một quyết định sản xuất cần nhiều hơn một minh chứng thành công. Xác định người dùng mục tiêu, môi trường vận hành, đầu vào, đầu ra, phụ thuộc, chủ sở hữu và hậu quả của mỗi lỗi quan trọng. Thiết lập một baseline có thể tái tạo và một bộ dữ liệu đánh giá có phiên bản trước khi tinh chỉnh. Kiểm tra các trường hợp thường, điều kiện biên, đầu vào sai dạng hoặc thiếu, sự dịch chuyển phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị thiếu phục vụ. Đo lường chất lượng nhiệm vụ cùng với hiệu chuẩn hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi biến đổi và ngưỡng để một người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.

Trước khi ra mắt, chỉ định quyền chịu trách nhiệm cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng hoạt động. Sử dụng triển khai theo giai đoạn, duy trì một dự phòng an toàn, và xác minh giám sát bằng các lỗi được đưa vào cố ý. Dữ liệu đo lường vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, tình trạng phụ thuộc, can thiệp của con người và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Xác định ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì giả định hiệu năng offline sẽ kéo dài. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần có quy trình khôi phục, học từ sự cố, xóa và lưu trữ tài liệu, và một điểm rõ ràng khi nó nên bị vô hiệu hoá hoặc thay thế.

Câu hỏi thường gặp

Deep reinforcement learning có giống với deep learning không?

Không. Deep learning cung cấp các bộ xấp xỉ hàm; reinforcement learning cung cấp tương tác, phần thưởng và mục tiêu quyết định tuần tự.

Phần thưởng cao có nghĩa là tác nhân đã học được hành vi mong muốn không?

Không nhất thiết. Điều đó chỉ có nghĩa là chính sách đã tìm ra hành vi đạt điểm cao theo phần thưởng và môi trường đã triển khai. Các bài kiểm tra độc lập về an toàn và sự phù hợp mục tiêu vẫn cần thiết.

Tài liệu tham khảo chính

• Mnih et al.: Điều khiển mức độ con người thông qua deep reinforcement learning
• Lillicrap et al.: Điều khiển liên tục với deep reinforcement learning
• Fujimoto et al.: Off‑policy deep reinforcement learning mà không cần khám phá