Học sâu về Học tăng cường

Học sâu về Học tăng cường là gì?

Cùng với học máy không giám sát và học máy có giám sát, một hình thức khác của tạo ra trí tuệ nhân tạo là học tăng cường. Ngoài học tăng cường thông thường, học tăng cường sâu có thể dẫn đến kết quả ấn tượng, nhờ vào việc kết hợp những ưu điểm tốt nhất của cả học sâu và học tăng cường. Hãy cùng xem xét cách học tăng cường sâu hoạt động.

Trước khi chúng ta đi sâu vào học tăng cường sâu, có thể là một ý tưởng tốt để làm mới lại cách học tăng cường thông thường hoạt động. Trong học tăng cường, các thuật toán định hướng mục tiêu được thiết kế thông qua một quá trình thử và sai, tối ưu hóa cho hành động dẫn đến kết quả tốt nhất / hành động mang lại nhiều “phần thưởng” nhất. Khi các thuật toán học tăng cường được đào tạo, chúng được đưa ra “phần thưởng” hoặc “hình phạt” ảnh hưởng đến hành động chúng sẽ thực hiện trong tương lai. Các thuật toán cố gắng tìm một tập hợp các hành động sẽ cung cấp cho hệ thống nhiều phần thưởng nhất, cân bằng giữa phần thưởng ngay lập tức và tương lai.

Các thuật toán học tăng cường rất mạnh vì chúng có thể được áp dụng cho hầu như bất kỳ nhiệm vụ nào, có thể học linh hoạt và động từ môi trường và khám phá các hành động có thể.

Tổng quan về Học tăng cường sâu

Hình: Megajuice qua Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Khi nói đến học tăng cường sâu, môi trường thường được đại diện bằng hình ảnh. Một hình ảnh là một bản chụp của môi trường tại một thời điểm cụ thể. Trình tác nhân phải phân tích hình ảnh và trích xuất thông tin liên quan từ chúng, sử dụng thông tin để thông báo về hành động nên thực hiện. Học tăng cường sâu thường được thực hiện với một trong hai kỹ thuật khác nhau: học dựa trên giá trị và học dựa trên chính sách.

Các kỹ thuật học dựa trên giá trị sử dụng các thuật toán và kiến trúc như mạng nơ-ron tích chập và Mạng Q-Sâu. Các thuật toán này hoạt động bằng cách chuyển đổi hình ảnh sang thang độ xám và cắt bỏ các phần không cần thiết của hình ảnh. Sau đó, hình ảnh trải qua các phép tích chập và gộp khác nhau, trích xuất các phần quan trọng nhất của hình ảnh. Các phần quan trọng của hình ảnh sau đó được sử dụng để tính toán giá trị Q cho các hành động khác nhau mà trình tác nhân có thể thực hiện. Giá trị Q được sử dụng để xác định hành động tốt nhất cho trình tác nhân. Sau khi các giá trị Q ban đầu được tính toán, việc lan truyền ngược được thực hiện để các giá trị Q chính xác nhất có thể được xác định.

Các phương pháp dựa trên chính sách được sử dụng khi số lượng hành động có thể mà trình tác nhân có thể thực hiện là cực kỳ cao, điều này thường xảy ra trong các kịch bản thế giới thực. Các tình huống như vậy yêu cầu một cách tiếp cận khác vì việc tính toán giá trị Q cho tất cả các hành động riêng lẻ không thực tế. Các phương pháp dựa trên chính sách hoạt động mà không tính toán giá trị hàm cho các hành động riêng lẻ. Thay vào đó, chúng áp dụng các chính sách bằng cách học trực tiếp chính sách, thường thông qua các kỹ thuật gọi là Gradient Chính sách.

Gradient chính sách hoạt động bằng cách nhận một trạng thái và tính toán xác suất cho các hành động dựa trên kinh nghiệm trước của trình tác nhân. Hành động có khả năng nhất được chọn. Quá trình này được lặp lại cho đến khi kết thúc giai đoạn đánh giá và phần thưởng được trao cho trình tác nhân. Sau khi phần thưởng đã được xử lý, các tham số của mạng được cập nhật bằng lan truyền ngược.

Học tăng cường Q là gì?

Vì Học tăng cường Q là một phần lớn của quá trình học tăng cường sâu, hãy dành thời gian để hiểu rõ cách hệ thống học Q hoạt động.

Quy trình ra quyết định Markov

Một quy trình ra quyết định Markov. Hình: waldoalvarez qua Pixabay, Pixbay License (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

Để một trình tác nhân trí tuệ nhân tạo thực hiện một loạt nhiệm vụ và đạt được mục tiêu, trình tác nhân phải có khả năng xử lý một chuỗi trạng thái và sự kiện. Trình tác nhân sẽ bắt đầu tại một trạng thái và nó phải thực hiện một loạt hành động để đạt được trạng thái cuối cùng, và có thể có một số lượng lớn trạng thái tồn tại giữa trạng thái bắt đầu và trạng thái cuối cùng. Việc lưu trữ thông tin về mọi trạng thái là không thực tế hoặc không thể, vì vậy hệ thống phải tìm cách lưu trữ chỉ thông tin trạng thái hiện tại và trạng thái trước đó. Điều này được thực hiện thông qua việc sử dụng một Quy trình ra quyết định Markov, lưu trữ chỉ thông tin về trạng thái hiện tại và trạng thái trước đó. Mỗi trạng thái tuân theo một thuộc tính Markov, theo dõi cách trình tác nhân thay đổi từ trạng thái trước đó sang trạng thái hiện tại.

Học tăng cường Q sâu

Khi mô hình có quyền truy cập vào thông tin về các trạng thái của môi trường học, giá trị Q có thể được tính toán. Giá trị Q là phần thưởng tổng thể được trao cho trình tác nhân vào cuối một chuỗi hành động.

Giá trị Q được tính toán với một loạt phần thưởng. Có một phần thưởng ngay lập tức, được tính toán tại trạng thái hiện tại và phụ thuộc vào hành động hiện tại. Giá trị Q cho trạng thái tiếp theo cũng được tính toán, cùng với giá trị Q cho trạng thái sau đó, và như vậy cho đến khi tất cả giá trị Q cho các trạng thái khác nhau đã được tính toán. Có một tham số Gamma được sử dụng để kiểm soát mức độ ảnh hưởng của phần thưởng trong tương lai đến hành động của trình tác nhân. Các chính sách thường được tính toán bằng cách khởi tạo giá trị Q một cách ngẫu nhiên và để mô hình hội tụ đến giá trị Q tối ưu trong quá trình đào tạo.

Mạng Q sâu

Một trong những vấn đề cơ bản liên quan đến sử dụng học Q cho học tăng cường là lượng bộ nhớ cần thiết để lưu trữ dữ liệu tăng nhanh khi số lượng trạng thái tăng. Mạng Q sâu giải quyết vấn đề này bằng cách kết hợp mô hình mạng nơ-ron với giá trị Q, cho phép trình tác nhân học từ kinh nghiệm và đưa ra dự đoán hợp lý về hành động nên thực hiện. Với học Q sâu, các hàm giá trị Q được ước tính bằng mạng nơ-ron. Mạng nơ-ron lấy trạng thái làm dữ liệu đầu vào và mạng đầu ra giá trị Q cho tất cả các hành động có thể mà trình tác nhân có thể thực hiện.

Học Q sâu được thực hiện bằng cách lưu trữ tất cả kinh nghiệm trong quá khứ trong bộ nhớ, tính toán đầu ra tối đa cho mạng Q và sau đó sử dụng một hàm mất mát để tính toán sự khác biệt giữa giá trị hiện tại và giá trị lý thuyết cao nhất có thể.

Học tăng cường sâu so với Học sâu

Sự khác biệt quan trọng giữa học tăng cường sâu và học sâu thông thường là trong trường hợp đầu tiên, đầu vào luôn thay đổi, điều này không xảy ra trong học sâu thông thường. Làm thế nào mô hình học có thể tính đến đầu vào và đầu ra luôn thay đổi?

Về cơ bản, để tính đến sự khác biệt giữa giá trị dự đoán và giá trị mục tiêu, hai mạng nơ-ron có thể được sử dụng thay vì một. Một mạng ước tính giá trị mục tiêu, trong khi mạng khác chịu trách nhiệm dự đoán. Các tham số của mạng mục tiêu được cập nhật khi mô hình học, sau một số lần lặp đào tạo đã chọn. Đầu ra của các mạng tương ứng sau đó được kết hợp để xác định sự khác biệt.

Học dựa trên Chính sách

Học dựa trên chính sách hoạt động khác với các phương pháp dựa trên giá trị Q. Trong khi các phương pháp dựa trên giá trị Q tạo ra một hàm giá trị dự đoán phần thưởng cho trạng thái và hành động, các phương pháp dựa trên chính sách xác định một chính sách sẽ ánh xạ trạng thái đến hành động. Nói cách khác, hàm chính sách chọn hành động được tối ưu hóa trực tiếp mà không quan tâm đến hàm giá trị.

Gradient Chính sách

Chính sách cho học tăng cường sâu thuộc một trong hai loại: ngẫu nhiên hoặc xác định. Một chính sách xác định là một chính sách trong đó trạng thái được ánh xạ trực tiếp đến hành động, có nghĩa là khi chính sách được cung cấp thông tin về một trạng thái, một hành động được trả về. Trong khi đó, các chính sách ngẫu nhiên trả về một phân phối xác suất cho hành động thay vì một hành động rời rạc duy nhất.

Chính sách xác định được sử dụng khi không có sự không chắc chắn về kết quả của các hành động có thể thực hiện. Nói cách khác, khi môi trường bản thân là xác định. Ngược lại, đầu ra chính sách ngẫu nhiên phù hợp với môi trường mà kết quả của hành động không chắc chắn. Thông thường, các kịch bản học tăng cường liên quan đến một mức độ không chắc chắn nào đó, vì vậy các chính sách ngẫu nhiên được sử dụng.

Các phương pháp dựa trên gradient chính sách có một số ưu điểm so với các phương pháp dựa trên học Q, cũng như một số nhược điểm. Về ưu điểm, các phương pháp dựa trên chính sách hội tụ đến các tham số tối ưu nhanh hơn và đáng tin cậy hơn. Gradient chính sách có thể chỉ cần được theo dõi cho đến khi các tham số tốt nhất được xác định, trong khi với các phương pháp dựa trên giá trị, các thay đổi nhỏ trong giá trị hành động ước tính có thể dẫn đến các thay đổi lớn trong hành động và tham số của chúng.

Gradient chính sách hoạt động tốt hơn cho không gian hành động có chiều cao. Khi có một số lượng hành động có thể cực kỳ cao, học Q sâu trở nên không thực tế vì nó phải gán một điểm số cho mọi hành động có thể cho mọi bước thời gian, điều này có thể không thể về mặt tính toán. Tuy nhiên, với các phương pháp dựa trên chính sách, các tham số được điều chỉnh theo thời gian và số lượng tham số tốt nhất có thể nhanh chóng giảm khi mô hình hội tụ.

Gradient chính sách cũng có khả năng thực hiện các chính sách ngẫu nhiên, không giống như các chính sách dựa trên giá trị. Vì các chính sách ngẫu nhiên tạo ra một phân phối xác suất, một sự trao đổi giữa khám phá và khai thác không cần phải được thực hiện.

Về nhược điểm, nhược điểm chính của gradient chính sách là chúng có thể bị kẹt trong khi tìm kiếm các tham số tối ưu, tập trung chỉ vào một tập hợp các giá trị tối ưu cục bộ thay vì các giá trị tối ưu toàn cầu.

Chức năng Điểm Chính sách

Các chính sách được sử dụng để tối ưu hóa hiệu suất của mô hình nhằm tối đa hóa một hàm điểm – J(θ). Nếu J(θ) là một thước đo về mức độ tốt của chính sách chúng ta để đạt được mục tiêu mong muốn, chúng ta có thể tìm các giá trị của “θ” mang lại chính sách tốt nhất. Đầu tiên, chúng ta cần tính toán một phần thưởng chính sách dự kiến. Chúng ta ước tính phần thưởng chính sách để có một mục tiêu, một thứ gì đó để tối ưu hóa. Chức năng Điểm Chính sách là cách chúng ta tính toán phần thưởng chính sách dự kiến, và có các Chức năng Điểm Chính sách khác nhau được sử dụng, chẳng hạn như: giá trị bắt đầu cho môi trường giai đoạn, giá trị trung bình cho môi trường liên tục, và phần thưởng trung bình trên mỗi bước thời gian.

Leo Gradient Chính sách

Leo gradient nhằm di chuyển các tham số cho đến khi chúng ở vị trí điểm cao nhất. Hình: Public Domain (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

Sau khi Chức năng Điểm Chính sách mong muốn được sử dụng và phần thưởng chính sách dự kiến được tính toán, chúng ta có thể tìm một giá trị cho tham số “θ” tối đa hóa hàm điểm. Để tối đa hóa hàm điểm J(θ), một kỹ thuật gọi là “leo gradient” được sử dụng. Leo gradient tương tự như concept leo gradient trong học sâu, nhưng chúng ta đang tối ưu hóa cho sự tăng trưởng lớn nhất thay vì giảm thiểu. Điều này là vì điểm số của chúng ta không phải là “lỗi”, như trong nhiều vấn đề học sâu. Điểm số của chúng ta là thứ gì đó chúng ta muốn tối đa hóa. Một biểu thức gọi là Định lý Gradient Chính sách được sử dụng để ước tính gradient liên quan đến chính sách “θ“.

Tổng kết về Học tăng cường sâu

Tóm lại, học tăng cường sâu kết hợp các khía cạnh của học tăng cường và mạng nơ-ron sâu. Học tăng cường sâu được thực hiện với hai kỹ thuật khác nhau: Học Q sâu và gradient chính sách.

Các phương pháp học Q sâu nhằm dự đoán phần thưởng sẽ theo sau các hành động được thực hiện trong một trạng thái nhất định, trong khi các phương pháp dựa trên gradient chính sách nhằm tối ưu hóa không gian hành động, dự đoán các hành động chính mình. Các phương pháp dựa trên chính sách cho học tăng cường sâu có thể là xác định hoặc ngẫu nhiên theo bản chất. Các chính sách xác định ánh xạ trạng thái trực tiếp đến hành động trong khi các chính sách ngẫu nhiên tạo ra phân phối xác suất cho hành động.