Thư viện Neural Tangent Mới của Google Mang Đến “Tầm Nhìn Bất Thường” Cho Các Nhà Khoa Học Dữ Liệu Về Mô Hình

Google (GOOGL ) đã thiết kế một thư viện mã nguồn mở mới nhằm mục đích mở khóa hộp đen của học máy và cung cấp cho các kỹ sư thêm thông tin về cách hệ thống học máy của họ hoạt động. Theo VentureBeat, nhóm nghiên cứu của Google cho biết thư viện này có thể mang lại “tầm nhìn bất thường” về cách các mô hình học máy hoạt động.

Mạng nơ-ron hoạt động thông qua các nơ-ron chứa các hàm toán học biến đổi dữ liệu theo nhiều cách khác nhau. Các nơ-ron trong mạng được kết nối với nhau thành các lớp, và mạng nơ-ron có độ sâu và chiều rộng. Độ sâu của một mạng nơ-ron được kiểm soát bởi số lượng lớp nó có, và các lớp khác nhau của mạng điều chỉnh các kết nối giữa các nơ-ron, ảnh hưởng đến cách dữ liệu được xử lý khi di chuyển giữa các lớp. Số lượng nơ-ron trong một lớp là chiều rộng của lớp. Theo kỹ sư nghiên cứu Roman Novak và nhà khoa học nghiên cứu cao cấp tại Google, Samuel S. Schoenholz, chiều rộng của mô hình có mối quan hệ chặt chẽ với hành vi thường xuyên và lặp lại. Trong một bài đăng trên blog, hai nhà nghiên cứu này giải thích rằng việc làm cho mạng nơ-ron rộng hơn làm cho hành vi của chúng trở nên thường xuyên hơn và dễ giải thích hơn.

Có một loại mô hình học máy khác được gọi là quá trình Gaussian. Quá trình Gaussian là một quá trình ngẫu nhiên có thể được biểu diễn dưới dạng phân phối chuẩn đa biến. Với quá trình Gaussian, mọi tập hợp / tổ hợp tuyến tính hữu hạn của biến sẽ được phân phối chuẩn. Điều này có nghĩa là có thể biểu diễn các tương tác phức tạp giữa các biến dưới dạng các phương trình đại số tuyến tính có thể giải thích được, và do đó, có thể nghiên cứu hành vi của AI thông qua ống kính này. Làm thế nào chính xác các mô hình học máy liên quan đến các quá trình Gaussian? Các mô hình học máy có chiều rộng vô hạn hội tụ đến một quá trình Gaussian.

Tuy nhiên, mặc dù có thể giải thích các mô hình học máy thông qua ống kính của quá trình Gaussian, nhưng nó đòi hỏi phải suy dẫn giới hạn chiều rộng vô hạn của mô hình. Đây là một loạt các tính toán phức tạp phải được thực hiện cho mỗi kiến trúc riêng biệt. Để làm cho các tính toán này trở nên dễ dàng và nhanh chóng hơn, nhóm nghiên cứu của Google đã thiết kế Neural Tangents. Neural Tangents cho phép một nhà khoa học dữ liệu sử dụng chỉ một vài dòng mã và đào tạo nhiều mạng nơ-ron có chiều rộng vô hạn cùng một lúc. Nhiều mạng nơ-ron thường được đào tạo trên cùng một tập dữ liệu và dự đoán của chúng được tính trung bình, để có được một dự đoán mạnh mẽ hơn, không bị ảnh hưởng bởi các vấn đề có thể xảy ra trong từng mô hình riêng lẻ. Một kỹ thuật như vậy được gọi là học tập hợp tác. Một trong những nhược điểm của học tập hợp tác là nó thường tốn kém về mặt tính toán. Tuy nhiên, khi một mạng có chiều rộng vô hạn được đào tạo, tập hợp được mô tả bởi một quá trình Gaussian và phương sai và trung bình có thể được tính toán.

Ba kiến trúc mạng nơ-ron có chiều rộng vô hạn khác nhau đã được so sánh như một thử nghiệm, và kết quả của so sánh này đã được xuất bản trong bài đăng trên blog. Generally, kết quả của các mạng hợp tác được驱 động bởi các quá trình Gaussian tương tự như hiệu suất của mạng nơ-ron hữu hạn thông thường:

Como nhóm nghiên cứu giải thích trong một bài đăng trên blog:

“Chúng tôi thấy rằng, bắt chước các mạng nơ-ron hữu hạn, các mạng có chiều rộng vô hạn tuân theo một thứ tự hiệu suất tương tự, với các mạng hoàn toàn kết nối hoạt động kém hơn so với các mạng convolutional, mà lại hoạt động kém hơn so với các mạng残 dư rộng. Tuy nhiên, không giống như đào tạo thông thường, động lực học của các mô hình này hoàn toàn có thể theo dõi được trong dạng đóng, cho phép [có được] tầm nhìn mới vào hành vi của chúng.”

Việc phát hành Neural Tangents dường như được thời gian để trùng với Hội nghị phát triển TensorFlow. Hội nghị này là nơi các kỹ sư học máy sử dụng nền tảng TensorFlow của Google gặp gỡ nhau. Việc công bố Neural Tangents cũng diễn ra không lâu sau khi TensorFlow Quantum được công bố.

Neural Tangents đã được cung cấp thông qua GitHub và có một notebook Colaboratory của Google và hướng dẫn dành cho những người quan tâm có thể truy cập.