Chiến Lược Phát Triển Và Cắt Giảm AI Dường Như Giảm Tiêu Thụ Năng Lượng Của AI

Não bộ con người hoạt động với chiến lược “phát triển và cắt giảm”, ban đầu bắt đầu với một lượng lớn kết nối thần kinh và sau đó cắt giảm các kết nối không sử dụng theo thời gian. Gần đây, một nhóm nghiên cứu về AI đã áp dụng phương pháp này cho các hệ thống AI và phát hiện ra rằng nó có thể giảm đáng kể lượng năng lượng cần thiết để đào tạo một AI.

Một nhóm nghiên cứu từ Đại học Princeton gần đây đã tạo ra một phương pháp đào tạo mới cho các hệ thống trí tuệ nhân tạo. Phương pháp đào tạo mới này dường như có thể đáp ứng hoặc vượt qua các tiêu chuẩn ngành về độ chính xác, nhưng nó có thể thực hiện điều này trong khi tiêu thụ ít năng lượng tính toán hơn, và do đó ít năng lượng hơn, so với các mô hình học máy truyền thống. Trong suốt hai bài báo khác nhau, các nhà nghiên cứu của Princeton đã chứng minh cách phát triển một mạng lưới bằng cách thêm các nơ-ron và kết nối vào nó. Các kết nối không sử dụng sau đó được cắt giảm theo thời gian, chỉ để lại các phần hiệu quả và hiệu suất cao nhất của mô hình.

Niraj Jha, giáo sư Kỹ thuật Điện tại Princeton, giải thích với tin tức Princeton rằng mô hình được phát triển bởi các nhà nghiên cứu hoạt động trên “mô hình phát triển và cắt giảm”. Jha giải thích rằng não bộ của con người là phức tạp nhất khi khoảng ba tuổi, và sau điểm này, não bộ bắt đầu cắt giảm các kết nối synap không cần thiết. Kết quả là não bộ đã phát triển đầy đủ có thể thực hiện tất cả các nhiệm vụ phức tạp mà chúng ta làm mỗi ngày, nhưng nó sử dụng khoảng một nửa số synap mà nó có ở đỉnh cao. Jha và các nhà nghiên cứu khác đã bắt chước chiến lược này để cải thiện đào tạo AI.

Jha giải thích:

“Phương pháp của chúng tôi là những gì chúng tôi gọi là mô hình phát triển và cắt giảm. Nó tương tự như những gì não bộ làm từ khi chúng ta là một đứa trẻ đến khi chúng ta là một đứa trẻ lớn. Vào năm thứ ba, não bộ con người bắt đầu cắt giảm các kết nối giữa các tế bào não. Quá trình này tiếp tục vào tuổi trưởng thành, vì vậy não bộ đã phát triển đầy đủ hoạt động ở mức khoảng một nửa đỉnh cao synap. Não bộ trưởng thành được chuyên môn hóa cho bất kỳ đào tạo nào mà chúng tôi đã cung cấp. Nó không tốt cho việc học tổng quát như não bộ của một đứa trẻ.”

Cảm ơn kỹ thuật phát triển và cắt giảm, những dự đoán tương tự có thể được thực hiện về các mẫu trong dữ liệu bằng cách sử dụng chỉ một phần nhỏ của năng lượng tính toán trước đây. Các nhà nghiên cứu đang cố gắng tìm cách giảm tiêu thụ năng lượng và chi phí tính toán, vì việc này là chìa khóa để đưa học máy vào các thiết bị nhỏ như điện thoại và đồng hồ thông minh. Giảm lượng năng lượng tiêu thụ bởi các thuật toán học máy cũng có thể giúp ngành công nghiệp giảm dấu chân carbon. Xiaoliang Dai, tác giả đầu tiên của các bài báo, giải thích rằng các mô hình cần được đào tạo cục bộ do truyền đến đám mây yêu cầu nhiều năng lượng.

Trong suốt quá trình nghiên cứu đầu tiên, các nhà nghiên cứu đã cố gắng phát triển một công cụ tạo mạng nơ-ron mà họ có thể sử dụng để thiết kế mạng nơ-ron và tái tạo một số mạng nơ-ron hiệu suất cao nhất từ đầu. Công cụ này được gọi là NeST (Công cụ Tổng hợp Mạng nơ-ron), và khi nó được cung cấp với chỉ một vài nơ-ron và kết nối, nó nhanh chóng tăng độ phức tạp bằng cách thêm các nơ-ron vào mạng lưới. Khi mạng lưới đáp ứng một tiêu chuẩn nhất định, nó bắt đầu cắt giảm bản thân theo thời gian. Trong khi các mô hình mạng nơ-ron trước đây đã sử dụng các kỹ thuật cắt giảm, phương pháp do các nhà nghiên cứu của Princeton thiết kế là phương pháp đầu tiên lấy một mạng lưới và mô phỏng các giai đoạn phát triển, từ “trẻ sơ sinh” đến “trẻ lớn” và cuối cùng là “não bộ trưởng thành”.

Trong bài báo thứ hai, các nhà nghiên cứu đã hợp tác với một nhóm từ Đại học California-Berkely và Facebook (META ) để cải thiện kỹ thuật của họ bằng cách sử dụng một công cụ gọi là Chameleon. Chameleon có thể bắt đầu với điểm cuối mong muốn, kết quả mong muốn và làm việc ngược lại để xây dựng loại mạng nơ-ron phù hợp. Điều này loại bỏ nhiều việc đoán già của việc điều chỉnh mạng lưới thủ công, cung cấp cho các kỹ sư các điểm bắt đầu có khả năng hữu ích ngay lập tức. Chameleon dự đoán hiệu suất của các kiến trúc khác nhau trong các điều kiện khác nhau. Kết hợp Chameleon và khuôn khổ NeST có thể giúp các tổ chức nghiên cứu thiếu tài nguyên tính toán nặng tận dụng sức mạnh của mạng nơ-ron.