Các Kỹ Sư Phát Triển Phương Pháp “Early Bird” Tiết Kiệm Năng Lượng Để Đào Tạo Mạng Nơ-Ron Sâu

Các kỹ sư tại Đại học Rice đã phát triển một phương pháp mới để đào tạo mạng nơ-ron sâu (DNNs) với một phần nhỏ năng lượng thường được yêu cầu. DNNs là hình thức trí tuệ nhân tạo (AI) đóng vai trò quan trọng trong việc phát triển các công nghệ như xe tự lái, trợ lý thông minh, nhận dạng khuôn mặt và các ứng dụng khác.

Early Bird được mô tả chi tiết trong một bài báo vào ngày 29 tháng 4 bởi các nhà nghiên cứu từ Rice và Đại học Texas A&M. Nó diễn ra tại Hội nghị Quốc tế về Đại diện Học, hoặc ICLR 2020.

Các tác giả chính của nghiên cứu là Haoran You và Chaojian Li từ Phòng thí nghiệm Máy tính Hiệu quả và Thông minh (EIC) của Rice. Trong một nghiên cứu, họ đã chứng minh phương pháp này có thể đào tạo một DNN ở cùng mức độ và độ chính xác như các phương pháp hiện tại, nhưng sử dụng 10,7 lần ít năng lượng hơn.

Nghiên cứu được dẫn dắt bởi giám đốc Phòng thí nghiệm EIC, Yingyan Lin, Richard Baraniuk của Rice và Zhangyang Wang của Texas A&M. Các đồng tác giả khác bao gồm Pengfei Xu, Yonggan Fu, Yue Wang và Xiaohan Chen.

“Một lực đẩy chính trong các đột phá AI gần đây là việc giới thiệu các DNN lớn hơn, đắt tiền hơn,” Lin nói. “Tuy nhiên, việc đào tạo những DNN này đòi hỏi một lượng năng lượng đáng kể. Để có thêm các đổi mới được công bố, điều quan trọng là phải tìm ra các phương pháp đào tạo ‘xanh’ hơn, cả về mặt môi trường và giảm rào cản tài chính trong nghiên cứu AI.”

Đào Tạo DNN Tốn Kém

Việc đào tạo các DNN tốt nhất trên thế giới có thể rất tốn kém, và giá tag tiếp tục tăng. Vào năm 2019, một nghiên cứu do Viện Trí tuệ Nhân tạo Allen ở Seattle dẫn đầu đã phát hiện ra rằng để đào tạo một mạng nơ-ron sâu hàng đầu, cần 300.000 lần tính toán hơn so với giai đoạn 2012-2018. Một nghiên cứu khác vào năm 2019, lần này do các nhà nghiên cứu tại Đại học Massachusetts Amherst dẫn đầu, đã phát hiện ra rằng việc đào tạo một DNN duy nhất, hàng đầu, sẽ phát thải khoảng cùng một lượng khí carbon dioxide như năm ô tô ở Mỹ.

Để thực hiện các nhiệm vụ chuyên biệt của mình, DNN bao gồm ít nhất hàng triệu nơ-ron nhân tạo. Chúng có khả năng học cách đưa ra quyết định, đôi khi vượt trội so với con người, bằng cách quan sát một số lượng lớn ví dụ. Chúng có thể làm điều này mà không cần lập trình rõ ràng.

Prune và Đào Tạo

Lin là giáo sư trợ lý về kỹ thuật điện và máy tính tại Trường Kỹ thuật Brown của Rice.

“Cách hiện đại để thực hiện đào tạo DNN được gọi là cắt tỉa và đào tạo tiến bộ,” Lin nói. “Trước tiên, bạn đào tạo một mạng lưới dày đặc, khổng lồ, sau đó loại bỏ các phần không quan trọng – giống như cắt tỉa một cây. Sau đó, bạn đào tạo lại mạng lưới đã cắt tỉa để phục hồi hiệu suất vì hiệu suất sẽ giảm sau khi cắt tỉa. Và trong thực tế, bạn cần phải cắt tỉa và đào tạo lại nhiều lần để đạt được hiệu suất tốt.”

Phương pháp này được sử dụng vì không phải tất cả các nơ-ron nhân tạo đều cần thiết để hoàn thành nhiệm vụ chuyên biệt. Các kết nối giữa các nơ-ron được củng cố do quá trình đào tạo, và các kết nối khác có thể bị loại bỏ. Phương pháp cắt tỉa này cắt giảm chi phí tính toán và giảm kích thước mô hình, khiến cho các DNN đã được đào tạo đầy đủ trở nên hợp lý hơn.

“Bước đầu tiên, đào tạo mạng lưới dày đặc, khổng lồ, là bước tốn kém nhất,” Lin nói. “Ý tưởng của chúng tôi trong công việc này là xác định mạng lưới đã cắt tỉa hoàn toàn, mà chúng tôi gọi là ‘vé sớm’, trong giai đoạn đầu của bước tốn kém này.”

Các nhà nghiên cứu làm điều này bằng cách tìm kiếm các mẫu kết nối mạng quan trọng, và họ đã có thể phát hiện ra những vé sớm này. Điều này cho phép họ đẩy nhanh quá trình đào tạo DNN.

Early Bird Trong Giai Đoạn Đầu Tiên Của Đào Tạo

Lin và các nhà nghiên cứu khác đã tìm thấy rằng Early Bird có thể xuất hiện một phần mười hoặc ít hơn qua giai đoạn đầu tiên của đào tạo.

“Phương pháp của chúng tôi có thể tự động xác định vé sớm trong 10% đầu tiên hoặc ít hơn của quá trình đào tạo mạng lưới dày đặc, khổng lồ,” Lin nói. “Điều này có nghĩa bạn có thể đào tạo một DNN để đạt được độ chính xác相同 hoặc thậm chí tốt hơn cho một nhiệm vụ nhất định trong khoảng 10% hoặc ít hơn thời gian cần thiết cho đào tạo truyền thống, điều này có thể dẫn đến tiết kiệm hơn một bậc về tính toán và năng lượng.”

Ngoài việc nhanh hơn và tiết kiệm năng lượng hơn, các nhà nghiên cứu cũng tập trung mạnh vào tác động môi trường.

“Mục tiêu của chúng tôi là làm cho AI trở nên thân thiện với môi trường hơn và bao gồm hơn,” cô nói. “Kích thước lớn của các vấn đề AI phức tạp đã khiến các nhà nghiên cứu nhỏ hơn bị loại khỏi cuộc chơi. AI xanh có thể mở cửa cho phép các nhà nghiên cứu với máy tính xách tay hoặc tài nguyên tính toán hạn chế khám phá các đổi mới AI.”

Nghiên cứu này đã nhận được sự hỗ trợ từ Quỹ Khoa học Quốc gia.