Các nhà nghiên cứu nhìn vào động vật để cung cấp học tăng cường hệ thống cảm giác chung

Các nhà nghiên cứu trí tuệ nhân tạo từ các viện như Imperial College London, University of Cambridge và Google DeepMind đang tìm kiếm sự cảm hứng từ động vật để cải thiện hiệu suất của các hệ thống học tăng cường. Trong một bài báo chung được xuất bản trên CellPress Reviews, có tiêu đề “Trí tuệ nhân tạo và cảm giác chung của động vật”, các nhà nghiên cứu cho rằng nhận thức động vật cung cấp các tiêu chuẩn và phương pháp đánh giá hữu ích cho các tác nhân học tăng cường và cũng có thể thông báo về việc thiết kế nhiệm vụ và môi trường.

Các nhà nghiên cứu và kỹ sư trí tuệ nhân tạo đã lâu tìm kiếm sự cảm hứng từ các mạng nơ-ron sinh học khi thiết kế các thuật toán, sử dụng các nguyên tắc từ khoa học hành vi và thần kinh học để thông báo về cấu trúc của các thuật toán. Tuy nhiên, hầu hết các tín hiệu mà các nhà nghiên cứu trí tuệ nhân tạo lấy từ lĩnh vực khoa học thần kinh/hành vi đều dựa trên con người, với nhận thức của trẻ em và trẻ sơ sinh là điểm trung tâm. Các nhà nghiên cứu trí tuệ nhân tạo vẫn chưa lấy nhiều cảm hứng từ các mô hình động vật, nhưng nhận thức động vật là một nguồn lực chưa được khai thác có thể dẫn đến những đột phá quan trọng trong không gian học tăng cường.

Các hệ thống học tăng cường sâu được đào tạo thông qua một quá trình thử nghiệm và sai lầm, được tăng cường với các phần thưởng mỗi khi một tác nhân học tăng cường đến gần hơn với việc hoàn thành một mục tiêu mong muốn. Điều này rất giống với việc dạy một con vật thực hiện một nhiệm vụ mong muốn bằng cách sử dụng thức ăn làm phần thưởng. Các nhà sinh vật học và chuyên gia nhận thức động vật đã thực hiện nhiều thí nghiệm đánh giá các khả năng nhận thức của nhiều loại động vật khác nhau, bao gồm chó, gấu, sóc, lợn, quạ, cá heo, mèo, chuột, voi và bạch tuộc. Nhiều động vật thể hiện những màn trình diễn thông minh ấn tượng, và một số động vật như voi và cá heo có thể thậm chí có một lý thuyết về tâm trí.

Nhìn vào cơ thể nghiên cứu về nhận thức động vật có thể cảm hứng cho các nhà nghiên cứu trí tuệ nhân tạo xem xét các vấn đề từ các góc độ khác nhau. Khi học tăng cường sâu trở nên mạnh mẽ và tinh vi hơn, các nhà nghiên cứu trí tuệ nhân tạo chuyên về lĩnh vực này đang tìm kiếm các cách mới để kiểm tra các khả năng nhận thức của các tác nhân học tăng cường. Trong bài báo nghiên cứu, nhóm nghiên cứu提 đến các loại thí nghiệm được thực hiện với linh trưởng và chim, đề cập rằng họ nhằm mục đích thiết kế các hệ thống có khả năng thực hiện các nhiệm vụ tương tự, cung cấp cho trí tuệ nhân tạo một loại “cảm giác chung”. Theo các tác giả của bài báo, họ “khuyến nghị một cách tiếp cận trong đó các tác nhân RL, có thể với các kiến trúc chưa được phát triển, có được những gì cần thiết thông qua tương tác mở rộng với các môi trường ảo phong phú.”

Theo VentureBeat, các nhà nghiên cứu trí tuệ nhân tạo cho rằng cảm giác chung không phải là một đặc điểm duy nhất của con người và nó phụ thuộc vào sự hiểu biết về các thuộc tính cơ bản của thế giới vật lý, chẳng hạn như cách một đối tượng chiếm một điểm và không gian, những hạn chế nào trên chuyển động của đối tượng đó và sự đánh giá về nguyên nhân và kết quả. Động vật thể hiện những đặc điểm này trong các nghiên cứu phòng thí nghiệm. Ví dụ, quạ hiểu rằng các đối tượng là những thứ vĩnh cửu, vì chúng có thể lấy lại hạt giống thậm chí khi hạt giống bị che giấu bởi một đối tượng khác.

Để trao cho một hệ thống học tăng cường các thuộc tính này, các nhà nghiên cứu cho rằng họ sẽ cần tạo ra các nhiệm vụ mà, khi kết hợp với kiến trúc phù hợp, sẽ tạo ra các tác nhân có khả năng chuyển giao các nguyên tắc đã học sang các nhiệm vụ khác. Các nhà nghiên cứu cho rằng việc đào tạo cho một mô hình như vậy nên bao gồm các kỹ thuật yêu cầu một tác nhân phải hiểu một khái niệm sau khi chỉ được tiếp xúc với một vài ví dụ, được gọi là đào tạo vài lần. Điều này trái ngược với hàng trăm hoặc hàng nghìn thử nghiệm thường đi vào quá trình đào tạo thử nghiệm và sai lầm của một tác nhân RL.

Đội nghiên cứu tiếp tục giải thích rằng trong khi một số tác nhân RL hiện đại có thể học để giải quyết nhiều nhiệm vụ, một số trong đó yêu cầu việc chuyển giao các nguyên tắc đã học, thì không rõ liệu các tác nhân RL có thể học một khái niệm trừu tượng như “cảm giác chung” hay không. Nếu có một tác nhân có khả năng học một khái niệm như vậy, họ sẽ cần các bài kiểm tra có khả năng xác định xem một tác nhân RL có hiểu khái niệm về một容器 hay không.

DeepMind đặc biệt hào hứng với việc tham gia vào các cách mới và khác nhau để phát triển và kiểm tra các tác nhân học tăng cường. Gần đây, tại hội nghị Stanford HAI diễn ra vào đầu tháng 10, trưởng nhóm nghiên cứu khoa học thần kinh của DeepMind, Matthew Botvinick, đã kêu gọi các nhà nghiên cứu và kỹ sư học máy hợp tác nhiều hơn trong các lĩnh vực khoa học khác. Botvinick đã nhấn mạnh tầm quan trọng của công việc liên ngành với các nhà tâm lý học và khoa học thần kinh cho lĩnh vực trí tuệ nhân tạo trong một bài nói chuyện có tiêu đề “Triangulating Intelligence: Melding Neuroscience, Psychology, and AI”.