Marlos C. Machado, Giáo sư phụ tá tại Đại học Alberta, Amii Fellow, CIFAR AI Chair – Phỏng vấn Series

Marlos C. Machado là một thành viên tại Viện Máy tính Alberta (Amii), một giáo sư phụ tá tại Đại học Alberta, và một Amii Fellow, nơi ông cũng giữ chức Chủ tịch AI của CIFAR. Nghiên cứu của Marlos chủ yếu tập trung vào vấn đề học tăng cường. Ông đã nhận bằng Cử nhân và Thạc sĩ từ UFMG, Brazil, và bằng Tiến sĩ từ Đại học Alberta, nơi ông đã phổ biến ý tưởng về khám phá mở rộng theo thời gian thông qua các tùy chọn.

Ông đã từng là nhà nghiên cứu tại DeepMind từ năm 2021 đến 2023 và tại Google (GOOGL ) Brain từ năm 2019 đến 2021, trong thời gian đó ông đã có những đóng góp quan trọng cho học tăng cường, đặc biệt là ứng dụng học tăng cường sâu cho việc điều khiển các quả bóng stratosphere của Loon. Công việc của Marlos đã được xuất bản trên các hội nghị và tạp chí hàng đầu trong lĩnh vực AI, bao gồm Nature, JMLR, JAIR, NeurIPS, ICML, ICLR và AAAI. Nghiên cứu của ông cũng đã được giới thiệu trên các phương tiện truyền thông phổ biến như BBC, Bloomberg TV, The Verge và Wired.

Chúng tôi đã có một cuộc phỏng vấn tại hội nghị Upper Bound năm 2023 về AI, được tổ chức tại Edmonton, AB và được tổ chức bởi Amii (Viện Máy tính Alberta).

Trọng tâm chính của bạn đã là học tăng cường, điều gì thu hút bạn đến loại học máy này?

Điều tôi thích về học tăng cường là khái niệm này, nó là một cách học rất tự nhiên, theo tôi. Nó feels rằng đó là cách chúng ta học như con người, theo một nghĩa nào đó. Tôi không thích anthropomorphize AI, nhưng nó chỉ là cách học trực quan, bạn thử những điều, một số điều cảm thấy tốt, một số điều cảm thấy không tốt, và bạn học cách làm những điều khiến bạn cảm thấy tốt hơn. Một trong những điều tôi bị thu hút bởi học tăng cường là thực tế rằng vì bạn thực sự tương tác với thế giới, bạn là một tác nhân đang cố gắng những điều trong thế giới và tác nhân có thể đưa ra một giả thuyết và kiểm tra giả thuyết đó.

Lý do này quan trọng là vì nó cho phép khám phá ra những hành vi mới. Ví dụ, một trong những ví dụ nổi tiếng nhất là AlphaGo, nước đi 37 mà họ nói về trong phim tài liệu, đó là một nước đi mà mọi người nói là sáng tạo. Đó là một điều mà không ai từng thấy trước đây, nó khiến chúng tôi tất cả đều ngạc nhiên. Đó là nhờ tương tác với thế giới, bạn có được khả năng khám phá những điều đó. Bạn có được khả năng khám phá, như một trong những dự án mà tôi đã làm việc trên là bay các quả bóng stratosphere, và chúng tôi đã thấy những điều tương tự như vậy.

Chúng tôi đã thấy hành vi xuất hiện mà mọi người đều ấn tượng và như chúng tôi chưa từng nghĩ về điều đó, nhưng nó tuyệt vời. Tôi nghĩ rằng học tăng cường là đặc biệt phù hợp để cho phép chúng tôi khám phá loại hành vi này, vì bạn đang tương tác, vì trong một nghĩa nào đó, một trong những điều khó khăn nhất là các đối tượng tương phản, như những gì sẽ xảy ra nếu tôi đã làm điều đó thay vì điều tôi đã làm? Đây là một vấn đề siêu khó trong tổng quát, nhưng trong nhiều trường hợp trong học máy, không có gì bạn có thể làm về nó. Trong học tăng cường, bạn có thể, “Những gì sẽ xảy ra nếu tôi đã làm điều đó?” Tôi có thể thử điều đó vào lần tiếp theo khi tôi đang trải qua điều đó. Tôi nghĩ rằng khía cạnh tương tác của nó, tôi thực sự thích nó.

Tất nhiên, tôi sẽ không giả tạo, tôi nghĩ rằng nhiều ứng dụng thú vị mà nó đã mang lại cũng làm cho nó trở nên thú vị. Giống như quay lại nhiều thập kỷ trước, ngay cả khi chúng ta nói về những ví dụ đầu tiên về thành công lớn của học tăng cường, tất cả những điều đó đã làm cho nó trở nên hấp dẫn đối với tôi.

Ứng dụng lịch sử nào là ứng dụng yêu thích của bạn?

Tôi nghĩ rằng có hai ứng dụng rất nổi tiếng, một là máy bay trực thăng bay bằng học tăng cường tại Stanford, và một là TD-Gammon, đó là một chương trình chơi cờ bạc được phát triển vào những năm 90, và đó là một trong những thành công đầu tiên của học tăng cường. Đó là một điều thực sự cool, vì khi tôi bắt đầu làm việc về học tăng cường, tôi không hoàn toàn nhận thức được những gì nó là. Khi tôi áp dụng vào trường sau đại học, tôi đã đọc mô tả nghiên cứu của nhiều giáo sư, và tôi đã chọn những người mà mô tả nghiên cứu của họ hấp dẫn tôi. Tôi đã chọn tất cả những giáo sư nổi tiếng trong lĩnh vực học tăng cường, nhưng không phải vì họ nổi tiếng, mà vì mô tả nghiên cứu của họ hấp dẫn tôi.

Giống như bạn đã tìm thấy họ một cách tự nhiên.

Đúng vậy, khi tôi nhìn lại, tôi đã chọn những người mà tôi đã áp dụng để làm việc với họ từ rất lâu trước, hoặc những bài báo mà tôi đã đọc trước khi tôi thậm chí biết về lĩnh vực này. Tôi đã chọn chúng vì mô tả nghiên cứu của họ hấp dẫn tôi.

Khi bạn đang làm việc tại Google Brain, bạn đã làm việc trên điều hướng tự động của các quả bóng stratosphere. Tại sao đây là một trường hợp sử dụng tốt cho việc cung cấp truy cập internet đến các khu vực khó tiếp cận?

Đó là một ý tưởng mà Loon, một công ty con của Alphabet (GOOG ), đã làm việc trên. Khi chúng ta đi qua cách chúng ta cung cấp internet cho nhiều người trên thế giới, nó thường là xây dựng một ăng-ten, như xây dựng một ăng-ten ở Edmonton, và ăng-ten đó có thể phục vụ internet cho một khu vực có bán kính 5-6 km. Nếu bạn đặt một ăng-ten ở trung tâm thành phố New York, bạn có thể phục vụ internet cho hàng triệu người, nhưng hãy tưởng tượng bạn đang cố gắng phục vụ internet cho một bộ lạc ở rừng Amazon. Có thể có 50 người trong bộ lạc, và chi phí kinh tế để đặt một ăng-ten ở đó là rất cao, không kể đến việc tiếp cận khu vực đó.

Ý tưởng về các quả bóng là xây dựng một ăng-ten có thể cao 20 km, và sau đó bạn có thể phục vụ internet cho một khu vực có bán kính lớn hơn 10 lần, hoặc 100 lần diện tích. Nếu bạn đặt nó ở giữa rừng hoặc giữa rừng nhiệt đới, bạn có thể phục vụ internet cho nhiều bộ lạc khác nhau, thay vì cần một ăng-ten riêng cho mỗi bộ lạc. Cung cấp truy cập internet đến các khu vực khó tiếp cận là một trong những động lực chính.

Những vấn đề điều hướng mà bạn đang cố gắng giải quyết là gì?

Các quả bóng stratosphere hoạt động bằng cách không được đẩy, giống như cách con người điều khiển các quả bóng khí nóng, bạn có thể đi lên hoặc đi xuống và tìm một dòng gió thổi theo hướng cụ thể, sau đó bạn đi theo dòng gió đó. Điều này cũng xảy ra với các quả bóng stratosphere. Nó không phải là một quả bóng khí nóng, mà là một quả bóng có thể tích cố định bay trong stratosphere.

Tất cả những gì nó có thể làm từ góc độ điều hướng là đi lên, đi xuống hoặc ở lại nơi nó đang ở, và sau đó nó phải tìm các dòng gió để nó có thể đi đến nơi nó muốn. Có nhiều thách thức, thực sự. Thứ nhất, khi nói về việc xây dựng một mô hình, bạn muốn ở trong một khu vực, phục vụ internet, nhưng bạn cũng muốn đảm bảo rằng các quả bóng stratosphere được cung cấp năng lượng mặt trời, vì vậy bạn phải cân bằng giữa việc ở trong khu vực và tiết kiệm năng lượng.

Đây là vấn đề chính, nhưng khi bạn nhìn vào chi tiết, bạn không biết dòng gió trông như thế nào, bạn chỉ biết dòng gió ở nơi bạn đang ở, nhưng bạn không biết dòng gió 500 mét trên bạn. Bạn có một vấn đề quan sát không đầy đủ, và dự báo thường có thể sai lên đến 90 độ. Đây là một vấn đề rất khó, vì bạn phải đối phó với một không gian rất lớn, với hàng trăm lớp gió khác nhau, và bạn phải tính đến tốc độ gió, hướng gió, cách bạn mô hình hóa nó, và sự không chắc chắn của dự báo.

Machine learning đang nghiên cứu những gì? Có phải chỉ là mẫu gió và nhiệt độ?

Cách nó hoạt động là chúng tôi đã xây dựng một mô hình gió sử dụng học máy, nhưng nó không phải là học tăng cường. Bạn có dữ liệu lịch sử về gió ở các độ cao khác nhau, và sau đó bạn xây dựng một mô hình học máy trên dữ liệu đó. Khi tôi nói “chúng tôi”, tôi không phải là một phần của dự án này, mà là một điều mà Loon đã làm trước khi Google Brain tham gia. Họ đã xây dựng một mô hình gió mà không chỉ là gió ở các độ cao khác nhau, mà còn là cách bạn nội suy giữa các độ cao khác nhau.

Bạn có thể nói, “Hãy để tôi xem, hai năm trước, gió trông như thế này, nhưng làm thế nào để tôi biết gió trông như thế nào 10 mét trên đó?” Sau đó, bạn đặt một quá trình Gaussian trên mô hình đó, và họ đã viết các bài báo về mô hình đó. Cách chúng tôi làm là bắt đầu từ quan điểm học tăng cường, chúng tôi đã xây dựng một mô hình mô phỏng động lực học của quả bóng stratosphere, và sau đó chúng tôi cũng có một mô hình gió.

Sau đó, chúng tôi đã đi ngược thời gian và nói, “Hãy để tôi giả sử rằng tôi đang ở năm 2010.” Chúng tôi có dữ liệu về gió vào năm 2010 trên toàn thế giới, nhưng rất thô, và sau đó chúng tôi có thể chồng mô hình học máy này lên trên dữ liệu đó, và sau đó chúng tôi có thể giới thiệu nhiễu, và chúng tôi có thể làm nhiều điều khác.

Nó giống như một bản sao kỹ thuật số trở lại thời gian.

Đúng vậy, chúng tôi đã thiết kế một hàm phần thưởng mà nó không chỉ ở trong khu vực mục tiêu, mà còn tiết kiệm năng lượng. Chúng tôi đã thiết kế một hàm phần thưởng mà chúng tôi đã cho quả bóng stratosphere học bằng cách tương tác với thế giới, nhưng nó chỉ có thể tương tác với thế giới vì chúng tôi không biết cách mô hình hóa thời tiết và gió, nhưng vì chúng tôi đang giả sử rằng chúng tôi đang ở trong quá khứ, và sau đó chúng tôi đã quản lý để học cách điều hướng.

Những thách thức khi triển khai học tăng cường trong thế giới thực so với môi trường trò chơi là gì?

Tôi nghĩ rằng có một số thách thức. Tôi không nghĩ rằng nó chỉ là về trò chơi và thế giới thực, mà là về nghiên cứu cơ bản và nghiên cứu ứng dụng. Bởi vì bạn có thể làm nghiên cứu ứng dụng trong trò chơi, chẳng hạn như khi bạn đang cố gắng triển khai mô hình tiếp theo trong một trò chơi sẽ được phát hành cho hàng triệu người, nhưng tôi nghĩ rằng một trong những thách thức chính là kỹ thuật.

Khi bạn đang làm việc trong một môi trường nghiên cứu, bạn có thể sử dụng trò chơi như một môi trường nghiên cứu, vì chúng nắm bắt được nhiều thuộc tính mà chúng ta quan tâm, nhưng chúng nắm bắt chúng trong một tập hợp các ràng buộc được xác định rõ. Vì vậy, chúng ta có thể thực hiện nghiên cứu, chúng ta có thể xác nhận việc học, nhưng nó là một môi trường an toàn hơn, một môi trường được hiểu rõ hơn.

Nó không phải là nghiên cứu cần phải khác nhau, nhưng tôi nghĩ rằng thế giới thực mang lại nhiều thách thức hơn. Nó liên quan đến việc triển khai hệ thống như các ràng buộc về an toàn, như chúng tôi phải đảm bảo rằng giải pháp là an toàn. Khi bạn chỉ làm việc với trò chơi, bạn không nhất thiết phải nghĩ về điều đó. Làm thế nào để bạn đảm bảo rằng quả bóng stratosphere không làm điều gì đó ngu ngốc, hoặc rằng tác nhân học tăng cường không học được điều gì mà chúng tôi không dự kiến, và điều đó sẽ có hậu quả tiêu cực?

Đây là một trong những thách thức chính. Tôi nghĩ rằng thách thức khác là kỹ thuật. Nó khác rất nhiều so với khi bạn là một nhà nghiên cứu chỉ tương tác với máy tính để xác nhận một mô hình, nhưng bây giờ bạn có một chồng kỹ thuật của toàn bộ sản phẩm mà bạn phải đối phó.

I think that one of the differences is that, one, engineering, safety and so on, and maybe the other one of course is that your assumptions don’t hold. A lot of the assumptions that you make that these algorithms are based on, when they go to the real world, they don’t hold, and then you have to figure out how to deal with that. The world is not as friendly as any application that you’re going to do in games, it’s mainly if you’re talking about just a very constrained game that you are doing on your own.

Không giống như trò chơi, không có một triệu lần lặp lại của cùng một trò chơi chạy đồng thời.

Đúng vậy. Chúng tôi đã có điều đó cho việc đào tạo vì chúng tôi đã tận dụng mô phỏng, mặc dù tốc độ mô phỏng chậm hơn so với bất kỳ trò chơi nào bạn sẽ có, nhưng chúng tôi đã có thể đối phó với điều đó về mặt kỹ thuật. Khi bạn làm việc trong thế giới thực, thì nó khác.

Nghiên cứu của bạn hiện tại là gì?

Bây giờ tôi đang ở Đại học Alberta, và tôi có một nhóm nghiên cứu với nhiều sinh viên. Nghiên cứu của tôi đa dạng hơn, vì sinh viên của tôi cho phép tôi làm điều đó. Một điều mà tôi đặc biệt hứng thú là khái niệm học liên tục. Điều gì xảy ra là hầu hết mọi lần chúng ta nói về học máy nói chung, chúng ta sẽ thực hiện một số tính toán, có thể sử dụng một mô phỏng, hoặc có thể sử dụng một tập dữ liệu và xử lý dữ liệu, và chúng ta sẽ học một mô hình học máy, và chúng ta sẽ triển khai mô hình đó và hy vọng nó hoạt động tốt, và điều đó ổn.

Nhiều lần đó là chính xác những gì bạn cần, nhiều lần đó là hoàn hảo, nhưng đôi khi nó không phải là như vậy, vì đôi khi các vấn đề trong thế giới thực quá phức tạp để bạn có thể mong đợi một mô hình, không quan trọng nó lớn đến mức nào, thực sự có thể bao gồm tất cả các phức tạp trong thế giới, vì vậy bạn phải thích nghi.

Một trong những dự án mà tôi đang tham gia, ví dụ, ở đây tại Đại học Alberta là một nhà máy xử lý nước. Cơ bản là làm thế nào chúng ta có thể đưa ra các thuật toán học tăng cường có thể hỗ trợ con người trong quá trình ra quyết định, hoặc làm thế nào để làm điều đó một cách tự động cho xử lý nước? Chúng tôi có dữ liệu, chúng tôi có thể xem dữ liệu, và đôi khi chất lượng nước thay đổi trong vài giờ, vì vậy ngay cả khi bạn nói rằng, “Mỗi ngày tôi sẽ đào tạo mô hình học máy từ ngày trước, và tôi sẽ triển khai nó trong vài giờ của ngày hôm nay,” mô hình đó không còn hợp lệ nữa, vì có sự thay đổi dữ liệu, nó không ổn định.

Nó thực sự khó để mô hình hóa những điều đó, vì có thể là một đám cháy rừng đang xảy ra ở thượng nguồn, hoặc có thể tuyết đang bắt đầu tan, vì vậy bạn sẽ phải mô hình hóa toàn bộ thế giới để có thể làm điều đó. Tất nhiên, không ai làm điều đó, chúng ta không làm điều đó như con người, vì vậy chúng ta làm gì? Chúng ta thích nghi, chúng ta tiếp tục học, chúng ta như, “Oh, điều đó mà tôi đã làm, nó không hoạt động nữa, vì vậy tôi có thể học cách làm điều gì đó khác.” Tôi nghĩ rằng có nhiều bài báo về điều này, chủ yếu là những bài báo trong thế giới thực, yêu cầu bạn phải học liên tục và mãi mãi, và điều này không phải là cách tiêu chuẩn mà chúng ta nói về học máy.

Các ứng dụng tương lai sử dụng học liên tục mà bạn hứng thú nhất là gì?

Đây là câu hỏi một tỷ đô la, vì theo tôi, như một nhà nghiên cứu, tôi đã có thể đặt ra những câu hỏi đúng. Tôi nghĩ rằng trong học tăng cường, nhiều lần, tôi thích được dẫn dắt bởi các vấn đề. Nó giống như, “Oh, hãy nhìn, chúng ta có một thách thức, hãy để tôi xem cách giải quyết nó,” và sau đó dọc theo đường đi, bạn đang thực hiện các bước tiến khoa học.

Hiện tại, tôi đang làm việc với các API như Adam White, Martha White trên dự án này, dự án thực sự được dẫn dắt bởi họ về nhà máy xử lý nước. Điều này là điều mà tôi thực sự hứng thú, vì nó là một điều mà thực sự khó để mô tả bằng ngôn ngữ, vì vậy nó giống như nó không phải là tất cả những thành công hiện tại mà chúng ta có với ngôn ngữ, chúng dễ dàng áp dụng ở đó.

Nó đòi hỏi khía cạnh học liên tục, như tôi đã nói, bạn có nước thay đổi khá thường, cho dù đó là độ đục, nhiệt độ, v.v. và hoạt động ở các thời gian khác nhau. Tôi nghĩ rằng nó không thể tránh khỏi mà chúng ta cần phải học liên tục. Nó có tác động xã hội lớn, nó khó để tưởng tượng điều gì quan trọng hơn việc cung cấp nước uống cho dân số, và đôi khi điều này rất quan trọng.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập các tài nguyên sau:

• Hội nghị Upper Bound AI.
• Amii (Viện Máy tính Alberta)